Universidades Espaolas En El Ranking De Shanghai 2012

102 24
Universidades espaolas en la prxima edicin (2012) del Shanghai Jiao Tong Academic Ranking of World Universities

Domingo Docampo
Universidade de Vigo
Atlantic Research Center for Information and Communication Technologies
Campus Universitario, 36310 Vigo, Spain.
[email protected]

Resumen
La aparicin de clasificaciones de universidades realizadas con rigor constituye uno de los fenmenos ms interesantes en el campo del anlisis comparado de la educacin superior. En particular, la creciente influencia del Shanghai academic ranking of world universities ha llevado a sus detractores a mostrar fuertes reticencias a su utilizacin como elemento de reflexin y fuente de mejora, debido fundamentalmente a que se pensaba que sus resultados no eran reproducibles. Una vez se ha encontrado la forma de replicar con altsima fiabilidad sus resultados, podemos no solamente evaluar los mritos de las instituciones que aparecen listadas, sino tambin los de aquellas que pueden estar a un paso de conseguir la clasificacin. El presente trabajo realiza una estimacin de las puntuaciones en la prxima edicin del ranking de Shanghai, lo que nos permite reducir sensiblemente la incertidumbre acerca del conjunto de universidades espaolas que estarn presentes en la lista oficial.
Palabras Clave: Clasificaciones de universidades; rankings acadmicos; universidades globales; indicadores de produccin cientfica; Espaa; arwu 2012; Shanghai ranking.
Abstract
The emergence of international academic rankings conducted with the appropriate methodological rigor is one of the most interesting phenomena in the field of comparative analysis of higher education. In particular, the growing influence of the Shanghai ranking has led its many critics to show strong reluctance in using it as a source of analysis and improvement, mainly because it was generally thought that its results were irreproducible. Once we have found a way to replicate with high reliability the results of the Shanghai ranking, we can not only evaluate the merits of the institutions included in the list of the 500 world class universities, but also those of the ones that may be at a short step to qualify. We can anticipate the publication of the results of the ranking, thus reducing uncertainty about the number of universities from Spain which will included in the official list.

Key Words: Academic rankings; Shanghai; arwu; world class universities; global universities;Spain.

1. Introduccin
A pesar de la habitual controversia que la elaboracin y difusin de las clasificaciones universitarias conlleva, conocer el porqu de sus resultados puede convertirlos en tiles instrumentos de gestin y poltica universitaria. Algunos rankings en particular, en los que la informacin utilizada es slida y rigurosa, han emergido recientemente como instrumentos de benchmarking universitario global.
El presente trabajo est basado en las investigaciones realizadas recientemente por el autor en relacin con la reproducibilidad de los resultados del Shianghai Jiao Tong Academic Ranking of World Universities (arwu). Arwu analiza cada ao ms de dos mil universidades del mundo y clasifica a las 500 mejores de entre ellas. El ranking se basa en el anlisis de datos bibliomtricos sobre el nmero de premios relevantes (premios Nobel, medallas Field) obtenidos por el alumnado y el profesorado de las universidades para generar sus dos primeros indicadores (Alumni y Award); los investigadores ms citados en 21 reas de investigacin determinadas por Thomson ISI (Institute for Scientific Information) que dan lugar al tercer indicador (HiCi); los artculos publicados en Nature y Science en los ltimos cinco aos, cuarto indicador (N&S), y los registrados en el Science Citation Index Expanded (SCIE) y el Social Science Citation Index (SSCI) en el ao anterior a la publicacin del ranking, que producen el quinto indicador (PUB). Finalmente, la prestacin relativa en funcin de las dimensiones de cada institucin, lo que da lugar al sexto indicador, (PCP). As pues, los cinco primeros son directos, mientras que el sexto es compuesto, se basa en los cinco anteriores y el tamao de la universidad. Una completa descripcin de los indicadores y la metodologa utilizada en la elaboracin del ranking puede encontrarse en (Liu y Cheng, 2005).
La eleccin de indicadores produce un sesgo hacia las ciencias naturales; as pues, en la medida en que dichas disciplinas constituyan un adecuado reflejo de la calidad de una institucin, podrn los resultados proporcionar informacin sensible acerca de su posicin relativa en el contexto acadmico global. Por otra parte esa simplificacin en la eleccin de indicadores, unida al hecho de que solamente se atienda a la dimensin investigadora, hace del arwu un instrumento que puede facilitar el benchmarking universitario y ayudar en la toma de decisiones. Estando de acuerdo en que no se puede estar sometido a la tirana de aspirar a un estatus, conviene recordar, como ya se ha sealado por el grupo de expertos IREG, que para las universidades orientadas a la investigacin, lo nico peor que sufrir las imprecisiones de los rankings es no aparecer en ellos.
Muchas veces nos hemos preguntado por la forma en la que se obtienen los resultados que arwu publica cada agosto. Conocemos los parmetros que se miden, pero las referencias a la metodologa empleada en el cmputo final de las puntuaciones, que los autores del ranking enuncian en algunas de las comunicaciones y artculos, arrojan ms sombras que luces. En (Liu y Cheng, 2005) se nos indica que las puntuaciones son relativas con respecto a la institucin de mejores prestaciones en cada indicador, pero se advierte sin esfuerzo que la proporcionalidad no es directa. Se habla de determinadas manipulaciones estadsticas que se realizan con los datos, pero no se indica con claridad el tipo de operaciones que se realizan. Se dan algunas pistas sobre la distribucin de las puntuaciones entre los laureados con el premio Nobel o la medalla Fields, pero no se precisan las puntuaciones individuales que constituirn la base para la obtencin de los correspondientes indicadores. Se indica que se adjudica un peso especial a los trabajos censados en el Social Sciences Citation Index (SSCI), pero no se desvela la cuanta de dicho peso. Se seala el equivalente a tiempo completo del personal acadmico en el cmputo del indicador per cpita, pero no se aclara de qu tipo de personal se trata. Asimismo, se indica que el indicador per cpita se obtiene mediante una combinacin lineal de los indicadores directos, pero no se hace referencia a si se utilizan en el cmputo las puntuaciones en los indicadores o alguna funcin de dichas puntuaciones.
Varios autores se han acercado a este problema (Florian, 2007; Dehon y Verardi, 2010) pero no han conseguido desvelar el misterio; de hecho, uno de los autores (Florian) afirma en el ttulo de su trabajo que los resultados del ranking son irreproducibles. En una serie de artculos que se inicia en 2008, (Docampo, 2008, Docampo 2011, Docampo 2012a) se analizan los resultados del ranking a nivel de sistemas universitarios. A lo largo de esos estudios se consigui averiguar como calcular alguno de los indicadores, buscando una proporcionalidad no lineal para el clculo final del indicador. Esa investigacin ha llegado a su final y en (Docampo, 2012b) se ha mostrado que estamos ya en disposicin de poder calcular y predecir con un alto nivel de certeza los resultados de arwu.
El presente artculo analiza las prestaciones investigadoras de la Universidad espaola en los indicadores que el ranking arwu mide. Los resultados del trabajo permiten realizar una clasificacin de todas las universidades espaolas, no solamente de aquellas que luego aparecern en el listado de las 500 universidades globales de Shanghai. Podemos pues predecir los resultados y discutir las posibilidades de clasificacin en arwu 2012 de nuestras universidades.

2. Metodologa para el clculo de las puntuaciones en los indicadores
En esta seccin haremos una revisin de la metodologa utilizada en la obtencin de las puntuaciones en los indicadores de arwu. Primero debemos encontrar el tipo de proporcionalidad entre los resultados de las instituciones y la universidad con mejores prestaciones que se ha escogido para la confeccin del ranking. Tal como se expone en (Docampo, 2012b), para los cinco primeros indicadores (Alumni, Award, HiCi, N&S y PUB) dicha proporcionalidad no es directa, sino entre las races cuadradas de las puntuaciones base. As pues, hay que calcular primero la puntuacin de la mejor universidad. Puesto que en los cinco casos es la misma, Harvard University, llamemos a esa puntuacin en un indicador concreto H. Obtengamos luego X, la puntuacin en el mismo indicador de cualquier otra universidad. Su puntuacin final en dicho indicador (P) se obtendr de la ecuacin: P=100(X/H) (1)
Adems de la regla bsica, para poder obtener las puntuaciones es necesario tener en cuenta una serie de ayudas en la interpretacin de la ambigua metodologa del ranking arwu, que resumimos a continuacin siguiendo (Docampo, 2012b).

2.1 Indicadores Alumni y Award
Los indicadores relacionados con los premios Nobel y Medallas Field presentan diferencias en el clculo de sus puntuaciones que no se desprenden de manera obvia de la lectura de la metodologa de arwu. Resumimos las diferencias entre ambos indicadores:
En el clculo de las puntuaciones del indicador Award solamente intervienen, adems de las medallas Field, los premios Nobel en Ciencias (Fsica, Qumica, Medicina y Economa). En cambio el indicador Alumni tiene tambin en cuenta los premios Nobel de Literatura y de la Paz.
En el indicador Award cuenta el ao de la concesin del premio, en el Alumni el de graduacin por la universidad correspondiente. En los casos en los que un laureado ha obtenido diversas titulaciones de la misma institucin, es la ltima la que cuenta.
En Alumni todos los laureados obtienen 1 punto para las instituciones en las que han obtenido algn ttulo. En Award los Medalla Fields obtienen 3 puntos, en cambio los Nobel solamente reciben 3 puntos si no han compartido el premio. En Award las puntuaciones se reparten entre las instituciones a las que pertenecan los laureados en el momento de la concesin del premio.

2.2 Indicador HiCi
Es necesario obtener anualmente el dato del nmero de autores altamente citados en cada institucin a partir de la base de datos de Thompson Reuters. Dicha base de datos no ha modificado su lista desde que publicase la recopilacin HIGHLY CITED RESEARCH DIRECTORY 2000-2010 en la direccin web http://highlycited.com/directory/. Por tanto, nos atendremos a los datos de dicha lista, aun sabiendo que puede surgir modificacin a tiempo para su incorporacin en arwu 2012, lo que hara que los resultados de este estudio perdiesen precisin. Thomson Reuters no ha anunciado modificaciones en la lista en el prximo futuro.

2.3 Indicador N&S
En este indicador se asigna 1 punto a la institucin a la que pertenece el corresponding author de algn artculo en Science o Nature entre 2007 y 2011, medio punto a la del primer autor, cuarto de punto a la del siguiente y 0,1 puntos a las dems instituciones. Si un autor est en ms de una institucin, todas se llevan la puntuacin, y una institucin solamente punta una vez en cada artculo.

2.4 Indicador PUB
Las publicaciones en 2011 deben dividirse en tres grupos: las que solamente aparecen indexadas en el Science Citation Index-Expanded (SCIE), las que aparecen en este ndice y a la vez en el Social Sciences Citation Index (SSCI), y las que solamente aparecen en el SSCI. Para calcular la puntuacin se suman los tres grupos ponderados por los coeficientes (1, 1.5, 2), respectivamente.

2.5 Indicador PCP
En este indicador la puntuacin base no es, como podra parecer de la lectura directa de la metodologa en (Liu y Cheng, 2005) la suma ponderada de las puntuaciones de los primeros 5 indicadores, sino de los cuadrados de dichas puntuaciones. Luego debemos averiguar el nmero que utilizan los autores del ranking de Shanghai en el caso espaol para calcular el equivalente de PDI a tiempo completo, que concuerda con el nmero de profesores funcionarios en los cuerpos para cuyo acceso es necesario el ttulo de doctor. Una vez ponderados los resultados por el pdi equivalente, tanto para cada institucin, como para la de mejores prestaciones, Caltech, se utiliza el procedimiento establecido en la ecuacin 1.

3. Mtodos y Materiales
Las bsquedas de los nuevos Nobel en 2011 se llevaron a cabo el 15 de febrero de 2012 en www. Nobelprize.org. Posteriormente, entre los das 15 y 16 de febrero se localizaron las instituciones en las que los premiados se graduaron, por medio de bsquedas en la base de datos http://www.nndb.com, contrastadas con las fuentes originales citadas.
Como ya se indic anteriormente, Thompson Reuters no ha vuelto a modificadar el Highly Cited Research Directory 2000-2010, que habamos descargado el 25 de enero de 2012 de http://highlycited.com/directory.
Para el personal equivalente a tiempo completo hemos utilizado la Estadstica del PDI Curso 2009-2010 del Ministerio de Educacin, Cultura y Deporte. En el caso de la Universidad de Navarra se utiliz la estadstica para universidades privadas. Ambos ficheros se obtuvieron el 17 de febrero de 2012 en la web http://www.educacion.gob.es/
educacion/universidades/estadisticas-informes/estadsticas/personal-universitario.html.

Todas las bsquedas en las bases de datos bibliomtricas, con el fin de obtener las puntuaciones en los indicadores N&S y PUB se han llevado a cabo entre los das 22 y 23 de febrero de 2012, utilizando el interfaz web de la Web of Knowledge a travs de la FECYT, http://www.accesowok.fecyt.es. Las bsquedas se han restringido a las publicaciones del tipo Article o Proceedings: entre 2007 y 2011 para el indicador N&S, y en 2011 para el indicador PUB. Se ha utilizado el formulario de bsqueda avanzada por organizacin dentro de Web of Science. La Tabla 1 recoge las ayudas concretas para la bsqueda, en los casos en los que una bsqueda simple no es suficiente.

TABLA I: Pistas para la bsqueda en la web of science.
UniversidadORGANIZACIN (og )
Aut Barcelonaog=univ autonoma barcelona or (og=uab and ci=barcelona) or og=autonomous univ barcelona
Aut Madridog=univ autonoma madrid or og=autonomous univ madrid or og=u autonoma madrid or (og=uam and ci=madrid)
Barcelona og=univ barcelona not og=autonomous univ barcelona plus univ barcelona in og=univ barcelona and og=autonomous univ barcelona
Complutense og=univ complutense or og=u complutense or og=ucm
Pol Valenciaog=univ politecn valencia or (og=upv and ci=valencia)
Pompeu i Fabraog=univ pompeu* or og=pompeu* or (og=upf and ci=barcelona)
Santiago((og=univ santiago and cu=spain) not cu=chile ) or
(og=univ santiago de compostela and cu=chile)
A Coruaog=univ coruna or og=univ a coruna or og=univ la coruna
Carlos IIIog=univ carlos iii* or og=carlos iii univ or og=uc3m
Castilla la Manchaog=univ castilla la mancha or og=uclm
Crdobaog=univ cordoba or (og=uco and ci=cordoba)
Gironaog=girona univ or og=univ girona or (og=udg and ci=girona)
Lleida(og=udl and ci=lleida) or og=univ lleida or og=lleida univ
Illes Balearsog=univ illes bal* or og=univ balear* or og=univ islas bal* or (og=uib not og=univ bergen)
Jaume Iog=univ jaume* or og=jaume I univ or (og=uji not ci=kyoto)
La Lagunaog=univ la laguna or og=ull
Miguel Hernndezog=univ miguel h* or og=miguel h* univ or (og=umh and ci=elche)
Pas Vascoog= univ pais vasco or og=univ basque country or og=upv ehu or og=euskal herriko unibertsitatea
Las Palmasog=univ las palmas* or og=palmas* or og=ulpgc
Politcnica de Catalunyaog=univ politecn catalu* or og=tech univ catal* or og=politech univ catal* or (og=upc not (ci=louvain or ci=leuven or ci=kortenberg))
Politcnica de Madridog=univ politecn madrid or og=tech univ madrid or og=polytech univ madrid or og=politech univ madrid or (og=upm and ci=madrid)
Politcnica de Cartagenaog=univ politecn cartagena* or og=tech univ cartagena* or og=polytech univ cartagena or og=upct
Pablo de Olavideog=univ pablo olavide or og=pablo olavide univ or og=pablo de olavide univ or og=univ pablo de olavide
Rey Juan Carlosog=univ rey juan carlos* or og= rey juan carlos* or og=urjc
Rovira i Virgiliog= univ rovira virg* or og=rovira virg* or og=urv
Salamancaog=salamanca univ or og=univ salamanca or og=usal
UNEDog=uned* or og=univ nacl educ dis* or og=natl distance univ spain* or og=spanish open univ* or og=spanish univ distance*
Valladolidog= univ valladolid or og=valladolid* or (og=uva and ci=valladolid)

4. Resultados de Harvard University y Caltech
Antes de comenzar el trabajo de recogida de datos de las universidades espaolas, debemos estimar las puntuaciones de las dos instituciones de referencia. Hemos utilizado las bases de datos que ya poseamos para los indicadores Alumni y Award (actualizadas a 2012) y hemos mantenido los datos de autores altamente citados. No hemos introducido cambios en el nmero de profesores equivalentes de Caltech, mantenemos la cifra de 2011, 276. Adems, se ha recogido la informacin bibliomtrica pertinente para el ao 2012 con el fin de estimar las puntuaciones en los indicadores N&S y PUB.
Los resultados para Harvard en los primeros cinco indicadores son los siguientes (puntuaciones que se utilizarn como H en la frmula 1): Alumni (34.0), Award (37.10), HiCi (192), N&S (436.7) y PUB (13923.5).
En cuanto a Caltech, sus resultados arwu, ya ponderados por los de Harvard, son: Alumni (48.5), Award (69.2), HiCi (57.3), N&S (56.7) y PUB (46.3).

5. Resultados de las universidades espaolas
La Tabla 2 muestra los resultados bibliomtricos de las universidades espaolas correspondientes a la prxima edicin de arwu. Los cuatro primeros acrnimos representan el nmero de artculos en Science or Nature entre 2007 y 2011 (NA), y entre ellos, como corresponding autor (CA), como primer autor (PA) y como siguiente autor (SA). Los tres siguientes, el nmero de publicaciones en 2011 indexadas solamente en SCIE (oc), indexadas a la vez en SCIE y SSCI (cs), e indexadas solamente en SSCI (os). Finalmente, dado que ser necesario para el clculo del indicador PCP, FTE representa la suma de funcionarios de cada universidad en las categoras CU, TU y CEU.
En la Tabla 3 se muestran las puntuaciones en arwu de las universidades espaolas, basadas en los datos de la Tabla 2. La Tabla 3 replica los resultados del ao anterior en el indicador Hi
Subscribe to our newsletter
Sign up here to get the latest news, updates and special offers delivered directly to your inbox.
You can unsubscribe at any time

Leave A Reply

Your email address will not be published.