Usos, limitaciones y prospectiva de la evaluacion por pares.
| Autor | Moreno Ceja, Faustino |
| Cargo | Ensayo |
Peer Review: Usages, Shortages and Prospectiva
-
Introduccion
Este documento tiene como proposito principal hacer un analisis critico de lo que significa actualmente la evaluacion por pares en la produccion y divulgacion del conocimiento cientifico, asi como de las perspectivas que se contemplan en el corto plazo para esta practica en el ambito academico y cientifico internacional. La vision aqui presentada surge desde las ciencias de la informacion.
El proceso de evaluacion de los articulos academicos enviados por sus autores para que sean considerados para su posible publicacion es llamado tambien arbitraje, evaluacion por pares, revision por expertos, o peer review en ingles. El proceso consiste regularmente en que dos o mas revisores, expertos en la materia, leen y analizan los articulos para determinar la validez de las ideas expresadas y de los resultados de las investigaciones, asi como el impacto potencial del documento en el mundo de la ciencia. A lo largo de este trabajo se estara utilizando preferentemente el termino "evaluacion por pares" (EP).
La evaluacion externa por profesionales expertos de la misma disciplina, tambien llamados pares, ha sido igualmente uno de los mecanismos mas utilizados en las ultimas decadas para fortalecer la calidad de la educacion, principalmente en el nivel superior. Se utiliza internacionalmente para evaluar proyectos, programas academicos e incluso instituciones completas. Se parte de considerar que una evaluacion realizada por colegas que tienen su adscripcion en instituciones diferentes a la evaluada produce resultados mas objetivos.
La evaluacion de documentos academicos por parte de pares, antes de su publicacion, se fundamenta en el mismo principio y es en este sentido en el que se estara hablando en el presente articulo; es decir, se hace referencia a la evaluacion de trabajos escritos presentados por sus autores para su posible publicacion en revistas academicas y cientificas, escritos que el editor de la revista turnara a dos o mas expertos para que expresen su opinion sobre la calidad del trabajo y la conveniencia de publicarlo.
Es oportuno analizar este tema, pues ante la necesidad de fortalecer los sistemas nacionales de investigacion y produccion de conocimiento cientifico, algunos paises latinoamericanos estan estableciendo o redefiniendo criterios e indicadores que puedan dejar constancia de calidad. Entre estos, la publicacion de articulos que hayan pasado por un proceso de evaluacion por pares es un indicador al que la comunidad academica y cientifica, asi como quienes administran estas tareas, han puesto una creciente atencion.
En lo que resta del documento, el lector encontrara un poco de informacion sobre los antecedentes de esta practica, una seccion destinada a explicar el alcance del concepto de evaluacion por pares y sus sinonimos, asi como la relacion de este proceso con la calidad; pero lo mas extenso del articulo se dedica a describir las limitaciones que los expertos observan, lo que ha llevado a diferentes autores a plantear algunas propuestas para mejorarla. El articulo termina con algunas conclusiones generales.
-
Breves antecedentes de la evaluacion por pares
Sancho (1990), citado por Moreno (2010), asegura que el sistema de revision por expertos surgio a comienzos del Siglo XX, cuando se presento la necesidad de regular las controversias y conflictos surgidos a raiz del crecimiento de las sociedades cientificas. Sin embargo, el antecedente de lo que ahora es la EP es ubicado por diversos autores, entre ellos Pessanha (1998), en la Inglaterra de mediados del Siglo XVIII, cuando la Royal Society of London anuncio formalmente la evaluacion previa de los textos publicados en su Philosophical Transactions Pero fue hasta despues de la Segunda Guerra Mundial que este proceso se generalizo, se comenzo a codificar y empezaron a fijarse normas por escrito sobre la forma de realizarlo (Tavares, 2011).
Hablamos entonces de una practica que tiene mas de 250 anos, pero que recientemente ha recibido una mayor atencion en muchos paises, en sus esfuerzos por fortalecer la calidad de la produccion de conocimiento cientifico de academicos e investigadores y su correspondiente divulgacion. Hay una presion constante por parte de las instancias administradoras y evaluadoras hacia los investigadores, en el sentido de que sus trabajos deben ser publicados en revistas arbitradas para ser considerados como de calidad. Este fenomeno tambien ha propiciado el surgimiento de nuevas publicaciones periodicas academicas que aspiran a dar espacio a la creciente produccion de articulos, pero que saben de antemano que solamente tendran posibilidades de exi to si ponen en operacion un solido proceso de revision por expertos.
-
La evaluacion por pares y la calidad
Existe una diversidad de autores que establecen una conexion entre el proceso de EP y la busqueda de la calidad: Scott-Lichter y el Comite de Politicas Editoriales del Council of Science Editors (CSE) son bastante contundentes cuando dicen que la EP es "el principal mecanismo a traves del cual se juzga la calidad de una investigacion" (Scott-Lichter & CSE, 2012). Grainger (2009) lo considera parte del habitat en el que los cientificos activos se desenvuelven y un instrumento con el que las comunidades tecnicas cuentan para asegurar la diseminacion continua de informacion confiable y de alta calidad, requerida para el avance de las diferentes areas de conocimiento. Cuevas y Mestanza (2002) consideran que constituye un sistema de control de calidad en la comunidad cientifica mundial, el cual aporta evidencias para otorgar validez y aceptacion. Laine y Mulrow (2003) lo conciben como un proceso esencial para controlar y filtrar la investigacion, un mecanismo constructivo para la mejora de la calidad y presentacion de la investigacion y a la vez una motivacion para que los autores produzcan mejores trabajos.
En el mismo tono, Cinan, citado por Ladron de Guevara, et al (2008), planteaba en 1968 que "el arbitro es la piedra angular de la que depende la ciencia". Los arbitros son los encargados de hacer la evaluacion de manuscritos y deben ser capaces de hacer sugerencias y recomendaciones sobre como mejorar los trabajos, ademas de alentar al autor para continuar con el proceso. Actualmente, segun CAMI (2008) la EP se ha convertido en una pieza intocable del sistema cientifico, pues constituye el paradigma de nuestro sistema de autorregulacion profesional.
Para Shatz (2004) uno de los principios que dan fundamento a la EP es considerar que la critica de un trabajo por parte de otros puede mejorarlo, con lo cual seria dificil estar en desacuerdo. Este mismo autor coincide con quienes consideran que la EP es un sistema de certificacion en dos sentidos, pues la aceptacion de un trabajo para ser publicado certifica a la vez la calidad de la obra, asi como el trabajo realizado por el academico.
Sin embargo, pese a la abundancia de opiniones favorables sobre la trascendencia del proceso de EP, y como se podra ver a lo largo de este documento, existen otros autores que puntualizan deficiencias y proponen cambios o mejoras.
Para empezar, han sido muchos los trabajos que han planteado la dificultad de alcanzar un consenso sobre lo que debe entenderse por calidad al hablar de un trabajo cientifico. Sancho (1990), citado por Moreno (2010), plantea que el concepto de "calidad" en un documento escrito es dificil de determinar, ya que solo pueden usarse indicadores basados en percepciones de expertos. Para Sancho, el concepto de calidad podria tener tres acepciones: primero, calidad cognitiva: "relacionada con la importancia del contenido especifico de las ideas cientificas"; este tipo de calidad es estimada sobre la base de consideraciones puramente acreditadas. Segundo, calidad metodologica, que se cumple cuando el autor utiliza esquemas conceptuales eficaces, ya comprobados. Tercero, calidad estetica, que alude a la armonia, limpieza, exactitud y originalidad implicitas en las propuestas cientificas.
Continuando con Sancho (1990), citado por Moreno (2010) los indicadores para medir la calidad estan basados en un enfoque mas bien cualitativo, determinado por las opiniones de los expertos, quienes juzgan con base en las siguientes percepciones:
* Contenido cientifico
* Observaciones realizadas por colegas a trabajos publicados
* Cuestionarios
* Cartas
* Entrevistas acerca de la investigacion llevada a cabo, asi como tambien de los investigadores que la realizan
Desde una posicion encontrada, Van Raan (1996) define la calidad academica como una medida del tamano de la...
Para continuar leyendo
Solicita tu pruebaCOPYRIGHT GALE, Cengage Learning. All rights reserved.
