La bibliometría es una metaciencia que toma la ciencia como objeto de estudio. Se trata de tres elementos de la actividad científica: sus insumos, sus productos y sus impactos.
La bibliometría se puede definir como "la aplicación de métodos matemáticos y estadísticos a libros, artículos y otros medios de comunicación" (Beauvens, 1969). Una definición más contemporánea, asociando bibliometría, cienciometría de salida e infometría, sería en términos de “análisis cuantitativo de la actividad científica y las redes”. Esta disciplina, que se basa en el análisis estadístico de datos y redes, tiene un componente cognitivo, en interacción con campos que dan a las ciencias y comunidades científicas como objeto (economía del conocimiento, sociología de la ciencia, epistemología , historia de la ciencia, etc.) y con la ciencia de la información. Tiene un componente operativo, en relación con la evaluación, el posicionamiento de los actores y la gestión científica. En este último caso, los estudios bibliométricos permiten cuantificar la comunicación de un individuo o un grupo, no solo en términos de volumen, sino también de visibilidad, influencia, asociaciones, integración en redes.
Las corrientes sociológicas más contrastantes, desde el funcionalismo de RK Merton hasta las corrientes radicales de la sociología de los años 80 en su aplicación a los “actores” de la investigación (programa fuerte, estudios científicos , sociología de la traducción que se ha convertido en teoría actor-red, ANT), Estoy de acuerdo en una cosa, el papel central de la publicación en la vida científica. Es la hipótesis fundacional de la cienciometría reconocer en los rastros bibliométricos (publicaciones, citas) y redes asociadas un espejo de la actividad científica. Más allá de este fondo común, aparece una gran diversidad de prácticas de publicación y citación según las disciplinas o los tipos de investigación.
Los métodos bibliométricos pueden transponerse mutatis mutandis a cualquier salida codificada del sistema de docencia e investigación (tesis, contratos de investigación como proyectos europeos en programas marco). Para otras dimensiones de la actividad investigadora (suministro de bases de datos de observación, la denominada literatura gris, trabajo de expertos, etc.), el acceso a los datos o su bajo grado de codificación dificultan la tarea.
Las raíces de la bibliometría y cienciometría de principios del XX ° siglo en Europa y América del Norte. Hasta la década de 1960, apoyó a los bibliotecarios en la gestión de colecciones y la investigación documental. En la segunda parte del XX ° siglo vio el establecimiento de instituciones ( Institute for Scientific Information , consejos de investigación, etc.) promover el desarrollo de indicadores de ciencia y, por lo tanto, el desarrollo de la disciplina. Al mismo tiempo, el crecimiento exponencial del volumen de obras académicas favorece la catalogación y localización de obras.
La publicación de Little Science, Big Science , del físico e historiador de la ciencia Derek de Solla Price , contribuyó en gran medida a la cristalización de la disciplina bibliométrica en la década de 1960. Este trabajo describe el volumen, la velocidad de circulación y la interacción de la información científica, así como las propiedades estructurales, políticas y sociales de la ciencia.
Durante el mismo período, el químico y documentalista Eugene Garfield desarrolló la idea de utilizar las citas presentes en los artículos científicos, es decir, las referencias a otros artículos, para vincular los artículos. En 1955 publicó un artículo en la revista Science , donde propuso desarrollar un índice de citas científicas, como el que ya existía en el ámbito jurídico en Estados Unidos. Joshua Lederberg , un genetista ganador del Premio Nobel, es el promotor del proyecto y los Institutos Nacionales de Salud y la Fundación Nacional de Ciencias como patrocinadores. A finales de la década de 1950, se lanzó un prototipo en el campo de la genética, luego, en 1960, Garfield fundó un primer índice de citas a gran escala: el Science Citation Index . El índice lanzado en 1963 cubre solo las ciencias naturales y médicas. En 1973, se publicó el Social Science Citation Index , seguido por el Arts and Humanities Citation Index en 1975. A estos índices principales se agregará más adelante el Conference Proceedings Citation Index en 1990, el Book Citation Index en 2008, el Data Citation Index en 2012, además de varios índices regionales.
Mientras tanto, en 1978, se lanzó la revista Scientometrics - An International Journal for all Quantitative Aspects of the Science of Science, Communication in Science and Science Policy , del químico húngaro Tibor Braun.
En 2004, la creación del índice de citas Scopus por Elsevier puso fin al monopolio de Web of Science , una versión moderna del Science Citation Index , ahora comercializada por Clarivate Analytics .
Las primeras teorías bibliométricas descubren diferentes asimetrías en la producción académica. Se refieren a diferentes regularidades estadísticas que se han observado empíricamente entre 1926 y 1935: la ley de Lotka, la ley de Bradford y la ley de Zipf .
Un segundo conjunto de teorías bibliométricas explica las ventajas acumulativas en la producción académica: el efecto Matthew , el apego preferencial y el efecto Matilda .
Varios otros estudios han confirmado el papel de los beneficios acumulativos en la ciencia: los investigadores que están afiliados a instituciones de prestigio tienen más probabilidades de ser citados (incluso cuando se controlan otras variables sociodemográficas), se citan artículos que aparecen en las revistas más populares y de mayor reputación. más que los que aparecen en revistas con calificaciones más bajas (nuevamente controlando por otras variables), y los investigadores más citados (así como las publicaciones) tienen más probabilidades de ver que sus citas aumentan aún más, no lineales que los menos citados.
Las teorías de Bourdieu sobre el capital proporcionan un tercer conjunto de teorías bibliométricas. Como señalan Larivière y Sugimoto, “las teorías bourdieusianas son fundamentales para comprender el intercambio de bienes simbólicos en el mercado universitario, donde interactúan múltiples formas de capital”. Entre estas formas de capital:
Finalmente, la bibliometría toma prestadas ciertas teorías de la semiótica.
Desde el punto de vista bibliométrico, la contribución a la investigación la define y mide el autor. Las prácticas para otorgar la condición de autor (crédito, responsabilidad) varían según tres factores: disciplinas, especializaciones y países. En particular, las diferencias disciplinarias se expresan a través de las ciencias sociales y las artes y las humanidades (donde la escritura es la única contribución que conduce al estatus de autor), la física de alta energía (donde todos los miembros del equipo de investigación, los investigadores se mencionan como autores) y las disciplinas de laboratorio ( donde el orden de aparición en la lista de autores es un indicador de contribución y estatus).
La taxonomía CRediT distingue catorce formas diferentes de contribución: conceptualización, curación de datos, análisis formal, adquisición de fondos, investigación, metodología, administración de proyectos, recursos, software, supervisión, validación, visualización, redacción (borrador original) y redacción (revisión y edición). . Ha sido adoptado por varios editores (American Association of Petroleum Geologists, BMJ Open Science, British Psychological Society , Cell Press , Dartmouth Journal Services, De Gruyter Open, Duke University Press , eLife , Elsevier , Evidence Based Communications, F1000 Research , Geological Society of London , Health & Medical Publishing Group, International Center of Insect Physiology and Ecology, The Journal of Bone & Joint Surgery, KAMJE Press, Lippincott Williams & Wilkins, MA Healthcare, MIT Press , Oman Medical Specialty Board, Oxford University Press , Public Library of Science (Plos), SAE International , SLACK Incorporated, Springer , Springer Publishing Company, Wiley VCH y Wolters Kluwer ), una institución ( Universidad de Glasgow ), algunos integradores (Allen Press / Peer Track, Aries Systems / Editorial Manager, Coko Foundation / xPub y River Valley / ReView) y puntos de venta (Gates Open Research, HRB Open Research y Wellcome Open Research).
La existencia de prácticas poco éticas (autoría fantasma, autoría honoraria) refleja desigualdades en el establecimiento de criterios de autoría ( efecto Mateo , efecto Matilda ).
Estrechamente ligado a las prácticas de atribución del estatus de autor, el producto de la investigación se define y mide en términos de la cantidad de productos por unidad de investigación (individuos, grupos, establecimientos, etc.). Solo los artículos originales y artículos de revisión se consideran elementos citables de la Web of Science , lo que constituye un límite de los indicadores de producción.
Larivière y Sugimoto identifican tres métodos de conteo diferentes, que están fuertemente correlacionados a nivel macro (a pesar de las fuertes diferencias disciplinarias):
Estrechamente ligada a la producción, la colaboración en investigación se define y mide sobre la base de relaciones de coautores (co-firmas) en diferentes niveles de agregación. Existen dos grupos de indicadores de colaboración: los basados en la proporción de artículos asociados a más de una unidad, por un lado, y los basados en promedios o medianas, por otro. Este último grupo de indicadores permite tener en cuenta el tamaño de los equipos (media / mediana de autores para un conjunto de artículos) o el carácter internacional de los equipos de investigación (media / mediana de países por artículo).
Desde el punto de vista bibliométrico, no se hace distinción entre colaboración y co-afiliación.
Larivière y Sugimoto observan que las prácticas colaborativas están aumentando en todos los campos de la ciencia. Asocian este incremento menos a un incremento absoluto de la colaboración que a un cambio en las prácticas de reconocimiento del trabajo científico y la responsabilidad asociada.
La definición y medición de la interdisciplinariedad se basa en clasificaciones disciplinarias. Los indicadores se basan en prácticas colaborativas entre unidades disciplinarias (cada autor está asociado a una disciplina), por un lado, y referencias y citas (cada documento hace referencia a documentos publicados en otras disciplinas o está citado por documentos publicados en otras disciplinas), por otra parte.
La interdisciplinariedad sigue siendo un concepto difícil de medir y los datos son relativamente inexistentes, especialmente en las ciencias sociales y las humanidades.
El impacto de la investigación se define y mide a partir de las citas, aunque el hecho de que un artículo sea muy citado dice poco sobre su calidad (actualidad, utilidad para una amplia audiencia, etc.). Esta idea se basa en particular en la sociología estructural-funcionalista de Merton , que caracteriza a la ciencia desde el punto de vista de su universalismo, justicia y autorregulación. En este campo y en esta comunidad, los científicos "que han cumplido mejor su función" son recompensados ( sistema de recompensa ) al ser reconocidos y, por lo tanto, citados por sus pares.
Esta visión del papel clave de las citas también se encuentra, con una interpretación opuesta, en el sociólogo de la ciencia Bruno Latour , quien enfatiza las estrategias retóricas de la escritura científica y el papel central de las citas que sostienen y confirman el discurso:
“La presencia o ausencia de referencias, citas y notas a pie de página es un signo tan seguro de la seriedad de un texto que se puede transformar en parte un hecho en ficción o una ficción en realidad simplemente restando o agregando referencias. "
En estas dos visiones, la mertoniana y la latouriana, pero también en la visión comúnmente aceptada de la ciencia, ésta funciona en red, que pasa por las citas y referencias que permiten conectar los artículos entre ellas y, por tanto, los investigadores. , programas, instituciones.
Estas explicaciones justifican la observación del fundador del Science Citation Index , Eugene Garfield :
“Casi todos los artículos, notas, reseñas, correcciones y correspondencia publicados en revistas científicas contienen citas. Citan (generalmente por título, autor, fecha y lugar de publicación) documentos que respaldan, preceden, ilustran o desarrollan lo que el autor tiene que decir. "
El análisis de citas entre revistas también inspiró el algoritmo del motor de búsqueda de Google , PageRank (basado en los enlaces de hipertexto que conectan las páginas web), que ahora se utiliza para los rankings de impacto de las instituciones de investigación en Internet, como el Ranking Web of World Universities. .
En la actualidad, se están desarrollando otros indicadores de influencia en función del uso que se hace de los artículos (número de visualizaciones o descargas). Esta noción de uso (expresión de interés) es significativamente diferente de la de impacto o influencia que es el centro de atención en la actualidad. La noción de reconocimiento también está emergiendo como una alternativa.
Cualquier medida de citación presupone elecciones metodológicas:
Larivière y Sugimoto identifican tres limitaciones para medir el impacto de la investigación basada en citas:
Hay métricas alternativas a las citas, que se denominan " altmetrics ". Estas medidas pretenden cuantificar el impacto social de la investigación, aunque sugieren una fusión entre impacto y atención.
En la mayoría de las ciencias biomédicas y físicas, los investigadores comunican los resultados de su trabajo a través de artículos en revistas científicas y algunos los ven como "el objetivo esencial de su actividad". Por lo tanto, medir el número de artículos publicados suele ser el primer indicador de producción. Si el artículo es un medio de comunicación central en las ciencias duras, otras disciplinas favorecen otros modos de producción: comunicaciones de conferencias (actas) en informática, libros o capítulos de libros en varias disciplinas de las ciencias humanas y sociales. Finalmente, en tecnología y desarrollo, el marcador de invención que es la patente , a la vez título legal, herramienta estratégica y medio de información, presenta muchas analogías formales con el artículo científico , permitiendo, con cautela, la transposición de herramientas bibliométricas. A nivel meso y macro, el número de doctorados otorgados es también una medida interesante de la actividad de las instituciones.
Sin embargo, estos diferentes tipos de publicaciones ( productos ) son más o menos accesibles y fáciles de procesar. Si los artículos publicados en revistas científicas seleccionadas son referenciados sistemáticamente en las bases de datos Web of Science o Scopus , la referenciación de libros plantea más dificultades. Se está avanzando tanto para los libros como para los artículos de conferencias, en el contexto del proceso de digitalización de los fondos académicos y la competencia entre los proveedores de datos.
Asimismo, es necesario definir en la práctica lo que se enmarca en la producción científica, lo que siempre implica un elemento de arbitrariedad. A diferencia de las patentes, por ejemplo, no existe una definición formal de lo que es un artículo periódico o "científico". El análisis bibliométrico se enfrenta constantemente a la calibración de bases de datos, cuestiones de clasificación de revistas, la definición de perímetros de corpus satisfactorios si no son óptimos, en función de los objetivos (búsqueda de cobertura exhaustiva o comparación internacional que implique comparabilidad y selectividad, etc.).
El recuento de resultados para un tipo de producción dado y dentro de un alcance dado presupone reglas para artículos co-firmados por un lado, para artículos o revistas en asignación multidisciplinaria por otro lado (según la estructura de las bases de datos. ). Existe una amplia variedad de métodos de recuento, los más habituales son el recuento de presencia y el recuento fraccionario, que pueden dar lugar, en particular a la escala “micro”, a diferencias apreciables. No existe una "mejor solución", la elección depende de las propiedades buscadas y los puntos de vista adoptados. Se debe tener cuidado en la elección de los productores de indicadores que a veces presentan productos con sistemas de conteo insatisfactorios, en particular la selección de una sola institución en una línea de afiliación. También pueden entrar en juego otros elementos de selección, por ejemplo, la consideración de la revisión por pares (el hecho de que el artículo haya sido revisado y validado por un comité de lectura independiente) y la cuestión de las revistas depredadoras (listas para publicar artículos de mala calidad).
Los indicadores clásicos son medidas de volumen, de "cuotas de mercado" en un punto de referencia determinado (nacional, mundial, etc.). Para los actores institucionales o territoriales, la producción, una medida de poder bruto, debe complementarse con medidas relacionadas con el artículo (citas por artículo o impacto), o con medidas de “productividad”, que relacionen la producción con insumos, recursos humanos o económicos. Pero la productividad científica es extremadamente difícil de estimar, en particular debido a las dificultades metodológicas, en todas las escalas, para medir los insumos.
Para unidades con alta diversidad, por ejemplo, grandes instituciones de investigación o universidades, la distribución de la producción entre campos de actividad es un aspecto importante, que puede medirse mediante índices clásicos de especialización por tema o de concentración de actividad. Estas características del espectro de actividad a diversas escalas permiten análisis de comparación especialización-visibilidad, complementariedad entre actores, etc.
El factor de impacto (FI) es una medida del impacto medio de los artículos publicados en una revista: calcula el número total de citas recibidas, durante un año de referencia, por los artículos publicados en una determinada revista en los dos años. Informes anteriores, luego divide este resultado por el número de artículos publicados durante esos dos años. Este indicador es propiedad del Institute for Scientific Information , que lo ha calculado cada año durante varias décadas para más de 5.000 revistas científicas en la base de datos Science Citation Index . Inicialmente reservado sólo para reseñas de revistas, "llegó a medir el valor del investigador más que de la revista: cuanto mayor es el factor de impacto de la revista, más aumenta el capital académico del investigador que publica en ella".
Larivière y Sugimoto plantearon cuatro límites de la FI:
El factor de impacto, un hito histórico en la cienciometría, disfrutó de un monopolio relativo en el uso de mediciones científicas hasta principios de la década de 2000, antes de que se popularizara una proliferación de alternativas.
El CiteScoreDesarrollado en 2016 por Elsevier , el CiteScore también es un indicador de impacto para las revistas.
"Obtiene el resultado CiteScore de una revista para 2015, por ejemplo, sumando el número total de citas recibidas en 2015 por todos los artículos publicados en esa revista entre 2012-2014, y dividiendo ese número por el número de todos los artículos publicados. En la revisión durante el mismo período ”.
La puntuación de EigenfactorDesarrollada por el experto en ciencia de datos Jevin West y el biólogo Carl Bergstrom, la puntuación Eigenfactor se utiliza para medir la importancia de una revista. Lo hace dando más peso a una cita de una fuente central que a una cita de una fuente más periférica. Expresado en porcentaje, "cuanto mayor sea la puntuación de Eigenfactor, mayor será la importancia de la revista en la red". La ventana de citación es de cinco años.
La puntuación de Eigenfactor ahora se utiliza para clasificar a los autores, departamentos, universidades y países.
La Fuente de Impacto Normalizado por papel (SNIP)Desarrollado por el cienciómetro Henk Moed, el impacto normalizado de fuente por artículo (SNIP) es un indicador de citas de revistas que adopta la perspectiva del documento que cita (y no la del documento citado). La ventana de citación es de tres años. Se incluyen autocitas.
El rango de la revista SCImagoEl SCImago Journal Rank (SJR) mide los vínculos de proximidad entre revistas en función de sus relaciones de co-citas. El indicador fue desarrollado por Félix de Moya-Anegon y Vicente Guerrero-Bote.
Otros indicadores de impactoAlgunos indicadores clásicos son:
Estos indicadores tienen propiedades muy diferentes, por ejemplo su sensibilidad a las colas de la distribución o el tipo de normalización practicada. La diversidad de disciplinas o tipos de investigación hace necesario buscar, en la medida de lo posible, las condiciones para la comparabilidad entre los datos de citas de diferentes contextos. La cuestión de la estandarización / estandarización por campo o práctica de investigación es central. La estandarización de los impactos por campo es, por lo tanto, una preocupación que apareció a raíz de los primeros indicadores de citación, en la década de 1970, por ejemplo con Murugesan y Moravcsik. Ahora distinguimos tres tipos de enfoques para hacer que las mediciones sean más comparables entre campos de investigación:
El enfoque clásico consiste en normalizar una medida de citación ex post, por cardinal (relación a un valor central como la media del campo, estandarización) u ordinal ( percentiles definidos por campo). Existe una considerable literatura sobre el tema, ya sea en el nivel de revisión (factores de impacto estandarizados) o en el nivel de actor. En general, estas medidas dependen de nomenclaturas disciplinarias, por ejemplo, las "categorías temáticas" de la Web of Science o planes de clasificación. Las preocupaciones por la estandarización están presentes en los textos bibliométricos clásicos (Narin, 1976, Braun 1985, ver bibliografía; Schubert y Braun 1996), con muchas aplicaciones a nivel de revistas (uno de los primeros factores de impacto estandarizados: Sen 1992).
Ciertos tipos de "medidas de influencia" que renuevan el citado trabajo pionero de Pinski y Narin, por ejemplo el Eigen Factor de las revistas desarrolladas por Bergstrom, integran otro tipo de estandarización, del lado de las cotizaciones emitidas ( referenciamiento ) y no del revisiones cotizaciones recibidas. Esta estandarización se mezcla, en este caso, con las ponderaciones en cadena de las revistas emisoras según su propia visibilidad.
Analizando la dependencia del nivel de generalidad de los conjuntos tomados como referencia, otros autores han sugerido el interés de una ponderación por el lado de la cotización, sin introducir cadenas de influencia, lo que resultó en el desarrollo experimental de un factor de impacto ponderado, el “ factor de audiencia ”. Este indicador iguala en gran medida los niveles entre especialidades o disciplinas e incluye una corrección por la inmediatez de las citas. En este camino, Scopus implementó el SNIP (Source Normalized Impact per Paper) . Esta medida, al igual que el factor audiencia, es independiente del desglose disciplinario. El principio de estandarización del lado de la cita puede extenderse, como las medidas de influencia, a todas las técnicas de cita.
En 2005, Jorge Hirsch , físico, propuso el índice h como un indicador compuesto de productividad e impacto científico. Un investigador tendrá un índice h igual a N si ha publicado al menos N artículos citados al menos N veces. Esta definición da una pista débil a los investigadores que publican una gran cantidad de artículos pero que casi nunca se citan, así como a los investigadores que han publicado excepcionalmente un artículo muy citado. Por construcción, el índice h de un investigador nunca puede disminuir, incluso si su producción ha disminuido o se ha detenido.
Según Yves Gingras , el índice tiene poca utilidad a nivel individual, porque "de hecho está fuertemente correlacionado con el número total de artículos y, por lo tanto, es redundante". Sin embargo, señala que su uso cada vez más común (está integrado en bases de datos bibliométricas) es principalmente el trabajo de los propios investigadores.
Larivière y Sugimoto señalan tres inconvenientes de este indicador:
El índice tiene la ventaja, a diferencia de los impactos promedio, de ser insensible a los artículos poco citados en la producción de un autor. Otros índices de la familia (índice g, índice e) conservan esta característica del índice h al tiempo que introducen sensibilidad al puntaje de citas de los artículos más visibles. Un inconveniente de estas medidas es su delicada estandarización disciplinaria, tanto en la práctica como en el principio, dada la naturaleza algo numerológica del enfoque .
Los indicadores bibliométricos (unidades cuantificables) se construyen a partir de fuentes de datos diversificadas, divididas en dos categorías:
La bibliometría puede contar con la existencia de dos índices de citas principales, Web of Science y Scopus , junto con Google Scholar y fuentes de datos alternativas ( WorldCat , Plum Analytics, Altmetric).
El Instituto de Información Científica (ISI) establecido en 1960 por Eugene Garfield fue adquirido por Thomson Scientific & Healthcare en 1992 y se hizo conocido como Thomson ISI . Tras la fusión con Reuters en 2008, ISI pasó a formar parte de Thomson Reuters Corporation . Desde 2016 es propiedad de Clarivate Analytics .
ISI ha desarrollado su actividad en torno a siete bases de datos de publicaciones científicas y sus citas. Los tres primeros artículos enumeran y sus citas: Science Citation Index (SCI), Social Sciences Citation Index (SSCI) y Arts and Humanities Citation Index (A & HCI). En conjunto, más de 9,700 revistas están cubiertas en su totalidad, de las cuales el 70% son de ciencias naturales y otras tantas están cubiertas parcialmente. Las citas datan de 1900. Los criterios de selección de las revistas son bastante restrictivos y se basan en el número de citas recibidas. En virtud de sus criterios de selección, estas bases de datos tienen un fuerte sesgo de habla inglesa.
Las actas de la conferencia están cubiertas por dos bases de datos: Conference Proceedings Citation Index - Science (CPCI-S) y Conference Proceedings Citation Index - Social Sciences & Humanities (CPCI-SSH). Finalmente, dos bases de datos están dedicadas a la química: Index Chemicus (IC), Current Chemical Reactions (CCR-Expanded).
ISI ha desarrollado muchos productos destinados al uso de sus bases de datos:
La editorial Elsevier lanzó, en 2004, una base de datos que compite con la de ISI, bajo el nombre de Scopus . Esto rápidamente se puso al día y ahora hace referencia a 16.500 revistas científicas (incluidas más de mil de acceso abierto), 600 publicaciones industriales, 350 colecciones de libros, así como varios millones de actas de congresos. Las citas se remontan a 1996 para solo la mitad de los artículos a los que se hace referencia. En comparación con sus competidores, Scopus ofrece una mayor cobertura de Humanidades y Ciencias Sociales y revistas no inglesas.
Elsevier ha desarrollado dos productos destinados a la explotación de sus bases de datos:
Además, según Scopus, SCImago Journal Rank o eigenfactor.org son sitios web de acceso gratuito que le permiten clasificar periódicos o países.
Una subsidiaria del gigante Google , y basado en el mismo principio, Google Scholar fue lanzado en versión beta a finales de 2004 y hace referencia a artículos científicos. De acceso abierto, Google Scholar parece más completo que sus competidores, pero actualmente es imposible saber qué está incluido o no en esta base de datos. Se observaron muchos errores o duplicados.
Con Google Scholar, la herramienta bilbiométrica Publish or Perish se puede utilizar para calcular algunos indicadores bibliométricos por autor, revista o artículo. También hay una extensión del navegador Firefox que tiene funciones relativamente idénticas: Tenurometer .
Otras bases de datos, a menudo financiadas con dinero público y abiertas al acceso, se utilizan a menudo en campos especializados:
La bibliométrie gagne de l'importance sous l'effet de plusieurs facteurs : la disponibilité de base de données de plus en plus complètes, l'utilisation accrue des outils de management dans l'administration de la recherche, la mondialisation du « marché » de la enseñanza superior. También se está extendiendo bajo el efecto del acceso generalizado a los datos de citas, en particular a través de Google Scholar , y la disponibilidad de herramientas bibliométricas muy simples, como Publish or Perish, desarrolladas por Ann-Will Harzing.
Es utilizado por las organizaciones de financiación de la investigación como herramienta de evaluación y como ayuda para la toma de decisiones con respecto a las políticas de investigación.
Las universidades o los gobiernos utilizan la bibliometría para determinar sus fortalezas y debilidades en el campo de la investigación y así orientar sus acciones.
“Hay muchos vínculos entre la estadística y la política. Van desde la comprensión de los fenómenos sobre los que queremos intervenir (teóricas) hasta la evaluación de las acciones gubernamentales (prácticas), sin olvidar la promoción de los esfuerzos nacionales (simbólicos). "
Según uno o más de los indicadores enumerados anteriormente, los rankings universitarios son posiblemente la aplicación más visible de la bibliometría. Los dos rankings internacionales más famosos son:
La bibliometría es utilizada por los sociólogos de la ciencia para estudiar la actividad de los científicos, el surgimiento y empoderamiento de disciplinas, la importancia temporal de ciertos campos o los vínculos que las diferentes disciplinas tejen entre ellos.
En ocasiones, la bibliometría se utiliza para la evaluación individual de los investigadores. Este uso es muy controvertido (ver más abajo ) dada la imperfección de los indicadores y los desafíos de tal ejercicio. La Academia Francesa de Ciencias ha emitido una serie de recomendaciones a tal efecto:
“Recomendación n ° 1: El uso de indicadores bibliométricos para la evaluación individual solo tiene valor si se cumplen ciertas condiciones importantes: la evaluación debe referirse a artículos y no a revistas; Se debe validar la calidad de los datos, la estandarización, la importancia de las diferencias y la robustez de los indicadores; La evaluación bibliométrica solo debe comparar a personas de la misma comunidad disciplinaria entre sí, a lo largo de su curso; Los usuarios de bibliometría deben poder explicarse […]
Recomendación 2: La bibliometría no se puede reducir a números, sino que debe ir acompañada de un examen exhaustivo de los datos bibliométricos y bibliográficos y, si es posible, de los propios artículos.
Recomendación n ° 3: Los índices bibliométricos no pueden utilizarse de la misma forma en función del objeto de la evaluación: reclutamientos, promociones, contratos, distinciones, etc.
Recomendación n ° 4: Se debe tener en cuenta en la mayor medida posible el lugar y la contribución del autor en el artículo en cuestión.
Recomendación n ° 5: La evaluación bibliométrica debe ser objeto de investigación para mejorar su valor. Francia debe participar en esta reflexión. "
Algunas de las personas que desarrollan los indicadores descritos anteriormente señalan sus limitaciones. Por ejemplo, los autores del ranking de Shanghai reconocen la existencia de un sesgo a favor de los países de habla inglesa y las grandes instituciones, así como las dificultades para definir indicadores adecuados para clasificar a las universidades especializadas en ciencias sociales . El informe del Instituto Nacional de Investigación en Informática y Automatización (INRIA) sobre el tema considera que los criterios bibliométricos y cuantitativos no pueden reemplazar la revisión cualitativa por pares , y subraya una serie de efectos perversos de estos indicadores cuando se les da demasiada importancia:
“Si los indicadores pueden dar tendencias en un pequeño número de aspectos de la vida científica, se debe tener mucho cuidado en su uso debido a la posibilidad de malas interpretaciones, errores de medición (a menudo considerables) y sesgos a los que se ven afectados. Un uso abusivo de los indicadores se ve facilitado por el carácter cuantificado del resultado que introduce la posibilidad de establecer con urgencia todo tipo de estadísticas, sin preocuparse por analizar su calidad y contenido, y oscureciendo el examen de otros elementos de la vida científica como, por ejemplo, ejemplo, innovación y transferencia intelectual e industrial.
Los hallazgos y recomendaciones más importantes son:
Las recomendaciones anteriores son compartidas por muchos profesionales bibliométricos. Sin embargo, la falta de comparabilidad entre campos no debe exagerarse, dadas las posibilidades de estandarización, y en particular para aquellas disciplinas que comparten el mismo modo principal de producción (por ejemplo, el artículo). Las comparaciones son más delicadas en presencia de diferentes métodos de producción, y están naturalmente condicionadas por la accesibilidad de datos representativos sobre estos métodos de producción (problemático para una gran parte del SHS).
Los indicadores cuantitativos pueden verse afectados por sesgos culturales, en particular en la forma en que los investigadores de una cultura citan a los investigadores de la misma cultura (científicos chinos que citan a los chinos, etc.).
El mayor riesgo es, sin duda, la otra cara de la extrema adaptabilidad del mundo de la investigación, la presión para cumplir con un sistema de medición o recompensa rígido e inadecuado, cuya forma más ingenua es la financiación de publicaciones. Los desafíos y perspectivas se discuten ampliamente en la literatura, ya se trate de bibliometría- cienciometría o de indicadores.
Cada vez más utilizados para evaluar investigadores, en contradicción con el pensamiento del padre fundador Derek de Solla Price, quien insistió en la naturaleza estadística de estos enfoques, los indicadores cuantitativos enfrentan fuertes críticas debido a su falta de consistencia cuando se aplican a nivel individual. El hecho de que un mismo investigador pueda recibir diferentes medidas de impacto en función de los indicadores y bases de datos bibliográficas utilizadas plantea muchos problemas en cuanto a su uso y la definición de un estándar de calidad.
Contribuciones significativas no detectadasOtros críticos de la bibliometría señalan a veces una gran variabilidad en el número de publicaciones entre científicos de renombre. En general, científicos destacados como Albert Einstein o Louis de Broglie han publicado poco, a pesar de su considerable influencia en la ciencia. Esto demostraría la falta de fiabilidad de los indicadores bibliométricos. Desafortunadamente, estas críticas rara vez se basan en cifras verificables: con respecto a Einstein, “esto es lo que dice la red de conocimiento ISI: Cerca de 160 artículos, índice h = 49, número de citas cercano a 20.000”. Las buenas prácticas en cienciometría asumen el conocimiento de las propiedades de cada medición y no se basan en un solo indicador, por muy compuesto que sea.
Evidentemente, la situación es más complicada en las ciencias humanas y sociales. Por ejemplo, según el filósofo Olivier Boulnois , "de los cuatro volúmenes de Dits et Ecrits de Michel Foucault , quizás no haya cinco artículos publicados en revistas clasificadas A ...". Esta crítica muestra que la medición de la ciencia debe seguir lo más fielmente posible las prácticas de investigación y publicaciones científicas y evolucionar con ellas (los ejemplos que aquí se dan pertenecen efectivamente a un contexto científico diferente al actual).
Asimismo, hay artículos que reciben muy poca cita durante un período de más de 10 años y que se vuelven muy citados años después. Estos artículos, llamados “bellezas durmientes”, son a menudo contribuciones visionarias de ciertos científicos, que pasaron relativamente desapercibidos cuando se publicaron porque el campo científico no era lo suficientemente maduro para apreciar este trabajo. La existencia de estas "bellezas durmientes" cuestiona el uso de citas para la evaluación individual. Sin embargo, hay que poner en perspectiva su número y su impacto en los indicadores bibliométricos, ya que solo representan entre el 0,01 y el 0,1% de los artículos publicados.
Oposición a la revisión por paresUna de las críticas más paradójicas quizás proviene de Laurence Coutrot, quien recuerda los sucesivos procesos de filtrado necesarios antes de la publicación de un artículo, procesos de filtrado que pasan por revisión por pares (comités de revisión, etc.): “Una fracción variable de estos manuscritos se publican , uno de cada diez o uno de cada veinte, a veces menos. Finalmente, un artículo publicado puede, a través de una serie de procesos sociales de los que sabemos muy poco, conseguir ser citado. La cita es una medida razonable de la visibilidad de un resultado científico. Si bien se quisiera distinguir entre los investigadores que trabajan y los que "no trabajan" (asumiendo que esta expresión tiene un significado), el criterio de citación es una medida muy rústica. Bajo adornos de objetividad, este indicador de hecho reintroduce lo que pretendía eliminar; es decir, el juicio de los compañeros. "
En realidad, las buenas prácticas en bibliometría / cienciometría de ninguna manera desafían el juicio de los pares. Asume el papel de espejo de la bibliometría, que refleja la agregación de microdecisiones de juicio entre pares (la de citar es un acto importante), pero de ninguna manera pretende hacer de esta agregación un enfoque exclusivo. Por el contrario, el juicio de pares en el sentido convencional, en sus muchas formas, está influenciado por la información bibliométrica (comenzando con el factor de impacto…) especialmente en la era de las bases de datos bibliométricas / bibliográficas en línea. El juicio de los pares, naturalmente, no es inmune a los abusos, particularmente en situaciones de evaluación o pericia por parte de jurados o comisiones (sesgo de especialización, efectos de grupo, conflictos de intereses, etc.). Por lo tanto, existe una porosidad entre los dos mundos, cada uno presenta fortalezas y debilidades, y una complementariedad obvia.
Las múltiples facetas de la profesión investigadoraAdemás, la bibliometría solo puede pretender analizar una de las facetas de la profesión investigadora. Deja de lado la educación , la divulgación , los servicios a la ciudad, la promoción o incluso los servicios a la comunidad (participación en jurados, comités de lectura, etc.). Por tanto, muchos factores pueden explicar un número reducido de publicaciones. Por ejemplo, un investigador que trabaja mucho en el marco de contratos en relación con industriales puede tener dificultades para publicar tanto como le gustaría por razones de confidencialidad.
Efectos adversos de la evaluación bibliométrica individualLa bibliometría anima a los investigadores a publicar más, de acuerdo con el principio de publicar o perecer . El riesgo aquí es que los investigadores estén más preocupados por ampliar su lista de publicaciones (lo que determina su carrera: posibilidades de ascenso, pero también, en algunos casos, retribución o continuidad laboral) que por realizar trabajos científicamente interesantes.
Luego observamos varias desviaciones debido al deseo de aumentar el número de publicaciones, por ejemplo:
Como cualquier técnica de medición, la bibliometría queda sujeta a manipulación, tanto más fácilmente cuanto se conoce su funcionamiento.
El uso del “factor de impacto” de las revistas para evaluar la calidad de los artículos y los investigadores es muy cuestionable.
Si se supone que el factor de impacto mide la importancia de una revista para la comunidad científica, es incorrecto concluir que un artículo publicado en una revista con un factor de impacto alto es necesariamente de mejor calidad que un artículo en una revisión con un impacto menor. factor. Dada la distribución muy sesgada de las citas, el factor de impacto (que es un valor promedio) de una revista es un mal predictor del número de citas que recibirá un artículo publicado en esa revista.
Por otro lado, el factor de impacto, como cualquier indicador basado en citas, depende mucho de los hábitos de SEO. La dependencia del tamaño del campo no es mecánica, al menos para el valor medio del impacto. La inmediatez de las citas también juega un papel importante: la larga vida media de las citas en matemáticas coloca a las revistas de esta disciplina en una gran desventaja en comparación con otras donde las citas se hacen mucho más rápido. Las estandarizaciones adecuadas permiten compensar o reducir estos efectos. El factor de impacto en sí es típico de las revistas y no es accesible para otros medios. En informática, las actas de congresos adquieren una gran importancia. En el campo de las ciencias humanas y sociales, los artículos que enumeran obras son objeto de un mayor número de citas referenciadas que las obras mismas.
Además, la política editorial de determinadas revistas de renombre (como Science o Nature ) pone en juego criterios extracientíficos, como el aspecto “sensacionalista” de una publicación. El uso del número de citas favorece las publicaciones "en sintonía con los tiempos". En términos generales, una revista dedicada a temas originales o emergentes que no están "de moda" se ve en desventaja por la ventana de medición de dos años. Thomson Reuters ahora proporciona una medición en una ventana más larga.
Finalmente, muchas revistas han sido acusadas de inflar artificialmente su factor de impacto , aumentando el número de reseñas o alentando fuertemente a sus autores a citar otros artículos de la misma revista. Thomson Reuters, sin embargo, identifica los casos más flagrantes de manipulación y excluye a las revistas en cuestión de su lista.
Nótese que la aparición de otras medidas de concienciación de las revistas (medidas de influencia, factor de audiencia / SNIP), incluso cuando permanecen bastante correlacionadas con el factor de impacto y el factor de impacto estandarizado por campo, muestra diferencias suficientes para relativizar el dogma. La literatura especializada presenta análisis en profundidad de los factores de impacto. Sobre todo, ya no es posible, en un enfoque moderno de la bibliometría, limitarse a las mediciones de impacto en aplicaciones evaluativas.
El costo de acceso a las herramientas pagas es alto y varía de una institución a otra según la cantidad de usuarios o la cantidad de artículos referenciados. El INRIA (Instituto Nacional de Investigación en Computación y Automatización) gasta 7000 euros al año para tener acceso al Science Citation Index Expanded (hasta artículos desde 1991) y al Journal of Citation Reports . Por tanto, el informe INRIA concluye, sobre este tema, que “El acceso a fuentes de pago es, por tanto, relativamente caro, mientras que hemos visto que la tasa de cobertura imperfecta de estas herramientas debería llevar a una multiplicación de fuentes para establecer de forma razonable los indicadores solicitados y / o para controlar los sesgos metodológicos en los cálculos de los indicadores. Además, para el caso específico de INRIA, el estudio preliminar […] muestra que los resultados obtenidos a través de fuentes de pago son mucho más pobres que los obtenidos con herramientas gratuitas. En otro ámbito, sería a fortiori pernicioso que los indicadores se utilizaran para orientar la elección de las suscripciones en los centros de documentación . "
Los artículos científicos no son el principal canal de distribución en las Ciencias Humanas y Sociales (SHS) donde las monografías, por ejemplo, adquieren una importancia mucho mayor que en las ciencias naturales. Por tanto, los métodos bibliométricos actuales no se adaptan bien a estas disciplinas. Por tanto, el deseo de evaluar el desempeño de los actores en la investigación de FSS ha llevado a los organismos públicos a buscar alternativas a la bibliometría.
La Fundación Europea de la CienciaCreada en 1977, la European Science Foundation ( ESF ) es una asociación de 77 organizaciones científicas de 30 países europeos. Su objetivo es promover la investigación científica y mejorar la cooperación europea en este campo, emitir dictámenes sobre cuestiones científicas estratégicas, fomentar la movilidad de los investigadores, mejorar la puesta en común de recursos.
En este contexto, el FSE creó en 2007 un ranking de revistas del ámbito de las humanidades. Este ranking, denominado “Índice Europeo de Referencia para las Humanidades” ( ERIH ), lo establece un panel de expertos. Clasifica las revistas en tres categorías según su importancia percibida.
Ante la amenaza de 61 comités de publicación de revistas de ciencias humanas y sociales, la fundación decidió, en enero de 2009, retirar las letras (A, B y C) de su clasificación. Estos serán reemplazados por descripciones escritas.
En Francia, los indicadores bibliométricos ocupan un lugar importante en la Ley Orgánica de Leyes Financieras (LOLF)
La agencia nacional para la evaluación de la educación superior y la investigación (AERES) es una autoridad administrativa independiente francesa (AAI), responsable de la evaluación de la educación superior y la investigación pública, creada por la ley del programa de investigación de 2006.
Basado en parte en el modelo ERIH (European Reference Index for Humanities) desarrollado para las humanidades y en las listas establecidas por el CNRS en 2004, la AERES realizó su propia clasificación extendiéndola a las ciencias sociales. Produjo una lista inicial ordenada de revistas (A, B, C) de 6.305 revistas, que se publicó en julio de 2008 y recibió fuertes críticas (ver más abajo). La Agencia reaccionó produciendo listas disciplinarias desordenadas, aplicando un “perímetro de cientificidad” entre 2009 y 2011.
Revisión de las listas de revistas de AERES y ESFEn Francia, la clasificación bibliométrica de revistas elaborada por AERES ha suscitado críticas por parte de investigadores de diversas procedencias. Así, el medievalista Olivier Boulnois afirma que "se confunde la calidad de una reseña con su distribución, y la calidad de un artículo con la calidad de una reseña". La filósofa Barbara Cassin también es extremadamente crítica con el índice h y las clasificaciones de revistas.
El ranking AERES también favorece a las revistas generalistas (a las que se asigna el rango A) en detrimento de las revistas especializadas (rango B o incluso C), lo que lleva a una subestimación del valor de los artículos publicados en revistas especializadas, consideradas de menor importancia porque del lugar de su publicación.
En ciencia política , el Índice Europeo de Referencia de Humanidades utilizado por la Fundación Europea de la Ciencia no fue utilizado por los "expertos" encargados por la AERES de clasificar las revistas de ciencia política (que no estaban presentes en el ranking AERES de julio de 2008), "para el razón principal por la que muy pocas revistas francesas podrían clasificarse según estos últimos criterios [de visibilidad internacional] y por lo que sería imposible realizar una evaluación razonable de la producción científica efectiva de los politólogos franceses. "
Las diversas clasificaciones posibles utilizadas por la AERES son así criticadas por su falta de fundamentos sólidos.
Desde 2013, la acción tiene lugar NLP4NLP que es una aplicación de herramientas de gestión de la bibliometría TAL archivos de TAL desde los años sesenta hasta la actualidad por José Mariani, Gil Francopoulo y Patrick Paroubek. Esto implica, por ejemplo, determinar automáticamente quiénes son los inventores de los términos técnicos de la PNL actualmente en uso. Otro campo de estudio es determinar cuáles son los métodos de cortar y pegar (si los hay) que realizan los investigadores de TAL cuando escriben un artículo científico. Otro tema de trabajo es el análisis predictivo para determinar, a partir de perfiles estadísticos del uso de términos técnicos actualmente populares, qué términos estarán en uso en los próximos cuatro años.