XI. UNA EVALUACIÓN CUANTITATIVA DE LA IMPORTANCIA INTERNACIONAL DE LA ASTRONOMÍA MEXICANA
LUIS F. RODRIGUEZ Y JORGE CANTO
EN CUALQUIER estructura de producción, la evaluación del trabajo del personal
involucrado en ella constituye uno de los aspectos más difíciles y delicados a los que
debe uno enfrentarse. La dificultad en la evaluación se agudiza cuando el bien producido no es un bien
material, sino que, como en el caso de la ciencia, el producto
son ideas.
Con el fin, de realizar la evaluación de su personal, las estructuras científicas establecen tradicionalmente distintos consejos o comités que, con base en el curriculum vitae de la persona, evalúan y deciden, por ejemplo, si amerita ser contratada a cierto nivel o bien ser promovida a una categoría superior, etcétera. Un aspecto de gran importancia en la evaluación del trabajo de un científico (es decir; de sus ideas) es el número de artículos que publica, si se considera que las ideas generadas por los científicos son plasmadas invariablemente en un artículo científico. Sin embargo, quizá más importante que la cantidad es la calidad de dichos artículos (y por tanto de las ideas tras ellos). La evaluación cuantitativa del primer criterio (es decir, el número de artículos científicos) es obvia y directa. Cuantificar el segundo criterio, por otro lado, es mucho más difícil. Claramente, la calidad de un artículo científico estará directamente relacionada con la impresión que causa en la comunidad científica internacional. Un buen indicador es, por ejemplo, el número de veces que el trabajo es citado en las obras de otros especialistas.
El uso del número de citas que alcanza un artículo como medida objetiva del valor científico de su contenido es objeto de discusión. Por ejemplo, se puede argumentar que al número lo influye la moda en la investigación. Sin embargo, cuando se usa con las debidas precauciones sus resultados son confiables (Garfield, 1979).
En este trabajo hemos querido aplicar criterios de evaluación similares, no
a una persona, sino al grupo de investigadores del Instituto de Astronomía de
la Universidad Nacional Autónoma de México (IAUNAM). Primero, con
los artículos elaborados por los investigadores del IAUNAM en la
década pasada y publicados en las cuatro revistas internacionales más importantes.
Segundo, mediante el análisis del relieve que la Revista Mexicana de Astronomía
y Astrofísica (publicación del IAUNAM) tiene en la comunidad
científica internacional.
ARTÍCULOS PUBLICADOS Y CITAS RECIBIDAS POR LOS INVESTIGADORES DEL INSTITUTO DE ASTRONOMÍA
Entre 1970 y 1980 el Instituto de Astronomía publicó un promedio de 20 a 30 artículos
por año. La mitad apareció en revistas internacionales de gran prestigio, como The
Astrophysical Journal (publicación de la Sociedad Astronómica de Estados Unidos),
Astronomy and Astrophysics (que edita un consorcio de países europeos), Monthly
Notices of the Royal Astronomical Society (de la Sociedad Astronómica Real de la Gran
Bretaña) y The Astronomical Journal (de la Sociedad Astronómica de Estados Unidos).
La otra mitad apareció, de 1970 a 1974, en el Boletín de los Observatorios de
Tonantzintla y Tacubaya (publicado por el IAUNAM) y, a partir de 1974, en la Revista
Mexicana de Astronomía y Astrofísica.
Para evaluar de manera aproximada la presencia y el relieve de la astronomía mexicana
en el contexto internacional, procedimos a hacer la siguiente estadística. Tomamos
todos los artículos publicados en 1980 por The Astrophysical Journal, la revista
estadounidense de más prestigio, y por Astronomy and Astrophysics, su contraparte
europea, y contamos los realizados, en parte o en su totalidad, por personal del IAUNAM.
Los resultados se presentan en la cuadro 1. De similar manera se enumeraron las citas
dadas en dichos artículos, que correspondían a trabajos anteriores, totales o parciales, de
integrantes del IAUNAM (cuadro 1). Así, del total de artículos publicados en las dos
revistas internacionales de mayor prestigio (y por tanto representativas de la producción
mundial), el 0.67% de ellos involucró a personas del IAUNAM. Por otro lado, del total de
artículos citados en el total de artículos publicados, el 0.54% correspondió a autores
nacionales.
A primera vista, estos porcentajes podrían parecer pequeños; sin embargo, y
como mostraremos en la siguiente sección, son altamente significativos e indican
que la actividad del IAUNAM tiene alto nivel en el contexto mundial.
UNA COMPARACIÓN DEL GASTO CON EL IMPACTO
La cantidad y calidad de la producción científica de un centro de investigación dependerá, entre muchas otras cosas, de la cantidad y calidad de sus investigadores, así como de los recursos que éstos tengan a su disposición para el desarrollo de su actividad, tales como bibliotecas, computadoras, equipo experimental (telescopios de alto nivel e instrumental asociado con el caso de la astronomía), facilidades para asistir a congresos, infraestructura administrativa, etcétera.
Hacer una comparación justa de la calidad de la producción científica del IAUNAM
con otros centros de investigación en el mundo deberá tomar en cuenta aquellos
factores. Es obvio que un análisis detallado de todos estos elementos es imposible,
principalmente por la falta de información sobre los que existen en otras instituciones.
Una forma indirecta de lograrlo consiste en comparar la producción (cantidad
y calidad) del IAUNAM con otras instituciones, pero tomando en cuenta el presupuesto
asignado a cada institución.
Es evidente que una institución con mayor personal científico deberá pagar también más sueldos. Por otro lado, el personal más calificado percibe normalmente un sueldo elevado. También una biblioteca bien provista, una buena computadora, etcétera, cuestan más dinero. Así podríamos decir que, a igualdad de eficiencia, una institución con mayor presupuesto debería producir mayor y mejor calidad de trabajos científicos en comparación con una de menores recursos económicos.
De los datos publicados en Physics Today (Feshbach, 1981) estimamos
que la investigación básica en los Estados Unidos recibió en 1980 un subsidio
federal de 4350 millones de dólares, que equivale aproximadamente a 109 mil
millones de pesos. De esta cantidad, alrededor del 10% se destina a la astronomía.
O sea que en 1980 Estados Unidos invirtió alrededor de 10 mil millones de pesos
en estudios astronómicos. No poseemos cifras al respecto, pero podemos suponer
razonablemente que el resto del mundo invierte una cantidad similar, llegando
a la conclusión de que en 1980 se gastaron algo así como 20 mil millones de
pesos en la investigación astronómica en todo el mundo.
1
Por otro lado, en 1980 el IAUNAM ejerció un presupuesto de 57 millones de pesos
(Cuenta anual 1980), es decir, aproximadamente el 0.3% del gasto mundial
en este campo. Comparando tal porcentaje con el 0.67% correspondiente a los
artículos publicados por autores mexicanos o con el 0.54% correspondiente al
número de citas recibidas por mexicanos, podemos concluir que el IAUNAM es un
instituto de astronomía al menos comparable y posiblemente superior al promedio
mundial.
LA INFLUENCIA DE LA REVISTA MEXICANA DE ASTRONOMÍA Y ASTROFÍSICA
En la sección anterior consideramos el relieve que tiene internacionalmente
el trabajo que realiza el IAUNAM, con base en los artículos publicados y las
citas que merecieron en las dos revistas más importantes del mundo. A su vez,
el IAUNAM publica desde 1974 la Revista Mexicana de Astronomía y Astrofísica
(RMAA), de aparición semestral y con artículos de miembros del IAUNAM y
de científicos de otros países. En los últimos años apareció un número considerable
de artículos de colegas españoles y latinoamericanos. Sin embargo, el prestigio
de la RMAA es, fundamentalmente, reflejo de la labor académica del IAUNAM.
¿Cómo ha recibido la comunidad internacional a la RMAA? ¿Cuál es su
influencia en el mundo científico? Para contestar estas preguntas y evaluar
el valor científico de la RMAA, hicimos un estudio estadístico similar
al realizado por Abt (1981) para el Astrophysical Journal y el Astronomical
Journal, las dos principales revistas astronómicas norteamericanas. Consideramos
al efecto los 31 artículos publicados en el primer volumen de la RMAA
(1974-1975) y procedimos a contar las citas que ameritó cada uno de ellos durante
los cinco años siguientes a su publicación. La información se obtuvo de la misma
fuente que Abt, del Science Citation Index (1981). En la figura 1 mostramos
un histograma de los resultados obtenidos; El promedio de citas recibidas por
años y por artículos es de 0.9. Para tener una idea del significado de esta
cifra podemos citar el estudio de Abt, en el que se consideran los 326 artículos
publicados durante 1961 en las dos revistas ya mencionadas y el número de citas
recibidas por ellos de 1962 a 1977. Se encuentra un promedio de 1.1 citas por
año y por artículo. Esta cifra se compara favorablemente con el valor de 0.9
que obtuvo la RMAA , y más si tomamos en cuenta que ésta apareció en
1974, mientras que las revistas norteamericanas que analiza Abt son las de mayor
prestigio en el mundo y tienen casi un siglo de estar en circulación. Por lo
tanto, podemos concluir que la tasa de citas recibidas por la RMAA es
comparable a la de las mejores revistas del mundo.
Figura 1. Histograma que muestra las citas recibidas por cada
uno de los artículos publicados en el primer volumen de la Revista Mexicana
de Astronomía y Astrofísica durante los cinco años posteriores a su publicación.
Figura 2. Se muestran los resultados de la estadística llevada a cabo
por Abt y la hecha por los autores de este trabajo.
Alguien podría objetar que nuestras estadísticas y la de Abt se refieren a periodos de tiempo distintos y que, por tanto, su comparación no es enteramente válida, pues cada año la producción científica va en aumento. Sin embargo, si bien ahora hay más astrónomos que puedan citar un artículo, también hay, proporcionalmente, más artículos que pueden ser citados. Nuestra hipótesis es que ambos efectos se cancelan y por tanto nuestra comparación es válida.
Finalmente, es interesante ver que nuestra estadística tiene mucha similitud con la hecha
por Abt. Primero, la figura 2 muestra el número de citas recibidas por artículos en cada
año para la estadística de Abt (respecto a 1961) y la nuestra (respecto a 1974). Ambas son muy
parecidas, con la excepción de que el primer punto de la RMAA tiene un valor muy
inferior al de las revistas estadounidenses. Esto se puede deber, quizá, a que algunos de
sus artículos fueron publicados en el mismo 1975 y a que entonces era poco conocida
por la comunidad científica. Otra similitud interesante entre ambos estudios es el hecho
de que una fracción pequeña de los artículos tiende a captar la mayoría de las citas. En el
estudio de Abt, 19 de los 326 artículos (6%) recibieron 796 de las 2 152 citas (37%). En
el caso de la RMAA, 2 artículos de los 31(6%) recibieron 81 de las 171 citas (47%).
Por último, el estudio de Abt indica que la tasa de citas recibidas por un artículo
astronómico tiene una vida media de aproximadamente veinte años. La figura 2 indica
que esta conclusión puede ser válida también para los artículos de la RMAA pues
después de seis años no hay evidencia de una declinación en las citas recibidas.
Abot, H. A., Publications of the Astronomical Society of the Pacific, 93, 207, 1981.
Cuenta anual 1980, Patronato Universitario de la UNAM, México.
Feshbach, H., Physics Today, vol. 34, núm. 4, 38,1981.
Garfield, E., Scientometrics, 1, 359, 1979.
Science Citation Index, 1981, Institute for Scientific Information,
Filadelfia, EUA . 1975-1980