Skip to content Skip to main navigation Skip to footer

Los juegos geopolíticos de la evaluación científica

María Alejandra Tejada Gómez

La evaluación de la investigación ha venido transformándose en los últimos años. Una de las principales tensiones es la corporatización hecha por las bases de datos (Web of Science –Wos- y Scopus) y los rankings mediados por el indicador del factor de impacto. Algunos han denominado este fenómeno la comodificación o corporatización de la producción del conocimiento, en el cual cualquier tipo de conocimiento o forma de difusión ha tenido que enmarcarse en las plantillas que principalmente nacen de las ciencias básicas (Tejada-Gómez, 2019).

Estas corporaciones son los grandes jugadores del sistema de la ciencia, pero no se puede desconocer la existencia de otros modos de producción que representan de manera disciplinar o contextual un área de conocimiento o región en particular.

La posición para el uso de estos instrumentos en la evaluación de la ciencia son divergentes. Por un lado, estas herramientas basadas en la ciencia de la información, la cienciometría y la bibliometría han permitido visualizar patrones de producción científica por disciplina, institución y país (Moed, 2017), lo que ha sido utilizado por organismos multilaterales, rankings y políticas científicas como instrumentos de evaluación relacionados con los estándares de calidad e internacionalización, basados en las ciencias de la información para la evaluación de la investigación (Gläser, 2018).

El lado oscuro está en la entrega de los resultados de la investigación científica a corporaciones con fines de lucro que indexan el conocimiento financiado por recursos públicos o por universidades e instituciones de investigación y luego lo venden de vuelta a las universidades: producción de conocimiento de doble imposición, perdiendo la propiedad intelectual del mismo.

La crítica a las ciencias de la información se ha dado desde diferentes enfoques en las ciencias sociales en Leckie, Given, & Buschman (2010) con argumentos de la falta de discursos metafóricos que tomen la violencia simbólica en la producción de conocimiento, Bordieu; Democracia del conocimiento, Habermas; Conocimiento del poder, Foucault; Resistencia, Michel Ceratau; creación de espacios para otros, Jacques Derrida; Información crítica, La modernidad de Heidegger; Documentación de asociaciones humanas y no humanas, Laboratorio de la vida, Latour; la ley del mercado, Callon.

Algunas respuestas a los movimientos de producción científica han sido dadas por China las medidas para la gestión de la regulación de los datos científicos titulada Data Soberanía (Jing & Yin, 2018), leyes y reglamentos aplicables que rigen la privacidad de los datos y los secretos de Estado, donde la prioridad son los acuerdos de confidencialidad de los datos pero al mismo tiempo la recolección de los datos para beneficio de las instituciones y del estado, los cuales son indizados y generan sus propias mediciones e indicadores de las producción del conocimiento para uso y beneficio del país. 

Otras respuestas han sido enfocadas en desarrollar nuevos modelos de prácticas y divulgación de la investigación como son los movimientos de acceso abierto de la información, los cuales tienen énfasis en las buenas prácticas de la evaluación de las investigación, así como la evaluación responsables de la investigación usando criterios cualitativos y cuantitativos, en contextos disciplinares y locales. Entre las más representativas se encuentran: Altmetrics Manifesto (2010) (J. Priem, 2010), DORA Declaration on Research Assesment (2012), Leiden Manifiesto (2015) a guide to improving research evaluation practices (Hicks, Wouters, Waltman, de Rijcke, & Rafols, 2015), Research Excellence Framework (REF) UK report “The Metric Tide‘  Responsible metrics (2015), Responsible metrics and evaluation for open science European Union (2017) (Wilsdon, 2017).

Donde la medida de impacto de la investigación ha tomado nuevos significados, más allá del Factor de Impacto, entre ellos se encuentra el impacto social, profesional, económico, tecnológico, político, organizativo, ambiental, salud, cultural, simbólico, educativo (Benoit & Doré , 2004). Los investigadores en Reino Unido deben presentar reportes con productos de divulgación que respondan al impacto social de sus investigaciones (con nuevas formas de divulgación que permitan responder a diferentes actores de interés denominado engagement stakeholders, responder a políticas públicas, ser citado por comunidades de profesionales, y otra clase de audiencias) (Rafols, 2018).

Las tecnologías han generado nuevas formas de producción de conocimiento es la época del big data – data science,  donde se trabajara en datos de investigación en tiempo real “Current Research Information system”. Otros modos de divulgación están atados a los preprints, los repositorios especializados (Robinson-García, Repido , & Torres-Salinas , 2018).

Contexto Latinoaméricano

Encontramos en las políticas nacionales Latinoamericanas para la medición de grupos, producción y revistas científicas donde se basan en productos TOP mediados por los cuartiles de las bases de datos como WoS y Scopus, los cuales son los mismos criterios tomados por los rankings. Donde el indicador se convierte en el fin no en el medio, priorizando cantidad numérica antes que calidad de contenido científico. El tema profundo es el detrimento patrimonial de la producción científica Latinoamericana la cual no está representada en estos sistemas corporativos, la discusión de fondo es el sistema de incentivos que definen las universidades en promoción de los investigadores.

El lado oscuro está en la entrega de los resultados de la investigación científica a corporaciones con fines de lucro que indexan el conocimiento financiado por recursos públicos o por universidades e instituciones de investigación y luego lo venden de vuelta a las universidades.

Urge a la región trabajar en indicadores de evaluación de la investigación que sean pertinentes acorde con modos y modelos de producción desarrollados en nuestros contextos (Alperin & Fishman , 2015). Estas corporaciones son los grandes jugadores del sistema de la ciencia, pero no se puede desconocer la existencia de otros modos de producción que representan de manera disciplinar o contextual un área de conocimiento o región en particular. Por ello, es recomendable abrir la puerta a la diversificación de la divulgación del conocimiento que responda de manera disciplinar y contextual. Por ejemplo, el desarrollo de manuales de buenas prácticas de divulgación y producción científica por área de conocimiento, que permita generar pertinencia.  

En algunos países se ha incluido en los modelos de medición y evaluación de la investigación otras base de datos como Scielo la cual genera mayor cobertura y representatividad para la región, pero aún sigue siendo excluyente. Se desconoce el arduo trabajo desarrollo por bases de datos como Redalyc, los repositorios por disciplinas o institucionales, las bibliotecas digitales o los análisis con google schoolar que dan mayor representatividad del conocimiento de la región (Romero-Torres, 2013).

En términos de evaluación de la investigación se recomienda seguir las mejores prácticas con métodos para la evaluación de la investigación de manera cuantitativa y cualitativa teniendo en cuenta las reflexiones hechas desde el manifiesto de Leiden (Hicks, Wouters, Waltman, de Rijcke, & Rafols, 2015), Altmetrics (J. Priem, 2010), San Francisco DORA Declaration on Research Assessment (2012), y métricas responsables UK (Wilsdon, 2017).

REFERENCIAS:

Benoit , G., & Doré , C. (2004). Measuring the Impacts of Science: Beyond the Economic Dimension. Canada: CSIIC Working Paper, CSIIC.

Gläser, J. (2018). Accounting for field-specific research practices in surveys. 23th International conference on Science and technology Indicadors (STI 2018) Science, technology and innovation indicators in transition. Leiden Netherlands: CTWS. Disponible en: https://openaccess.leidenuniv.nl/bitstream/handle/1887/65277/STI2018_paper_223.pdf?sequence=1

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 429 – 431.

Priem, D. T. (2010). Altmetrics: A manifesto. Recuperado de http://altmetrics.org/manifesto.

Jing, C., & Yin, A. (2018). Brief introduction to the new measures regulating scientific data in China. Shangai : Reed Smith Client Alerts .

Leckie, G. J., Given, L. M., & Buschman, J. (2010). Critical Theory for Library and Information Science: Exploring the Social from Across the Disciplines. San Barbara California: ABC CLIO LLC.

Moed, H. F. (2017). Applied Evaluative Informetrics. Springer International Publishing. Recuperado de https://arxiv.org/abs/1705.06110

Molas, J., & Salter, A. (2010). Measuring third stream activities. Science and Technology Policy Research –SPRU-.

Rafols, I. (2018, Septiembre 10). S&T indicators ‘in the wild’: contextualisation and participation for responsible metrics . Opgehaald van Blog CWTS. Recuperado de https://www.cwts.nl/blog?article=n-r2u254&title=st-indicators-in-the-wild-contextualisation-and-participation-for-responsible-metrics

Robinson-García, N., Repido , R., & Torres-Salinas , D. (2018, Mayo ). Perspectivas y retos de los profesionales de la evaluación científica. El profesional de la información, 461-466.

Romero-Torres, M. A.-M.-G. (2013). Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia. Revista Española de Documentación Científica, 36(1). Recuperado de http://redc.revistas.csic.es.

Tejada-Gómez, M. A. (2019). Tejada-Gómez, M. A. (2018). University research governance, responds to the tensions of Scientific Journal Policy Publindex in Colombia (SJPPC). Tesis en proceso. Enschede, Twente, Netherlands: Twente University.

Vinck, D. (2013). Las culturas y humanidades digitales como nuevo desafío para el desarrollo de la ciencia y la tecnología en América latina. Universitas Humanística, 76(76), 51-72. Recuperado de http://revistas.javeriana.edu.co/index.php/univhumanistic

Wilsdon, J. e. (2017). Next-generation metrics: Responsible metrics and evaluation for open science. Report of the European Commission Expert Group on Altmetrics. Brussels: European Commission.