Declaração: Práticas de publicação e índices e o papel da revisão por pares na avaliação de pesquisas

O Comitê para Liberdade e Responsabilidade na Conduta Científica (CFRS) do ICSU está preocupado com o fato de que algumas das políticas e práticas atualmente adotadas por instituições científicas e editores de periódicos podem estar inadvertidamente minando a integridade da literatura científica. Isso é agravado pelo uso acrítico de métricas de publicação, em substituição à revisão por pares independente, na avaliação do desempenho científico. Ao apontar essas preocupações para as organizações membros do ICSU, espera-se que elas tomem medidas para garantir a qualidade do registro científico e promovam uma abordagem cautelosa e crítica ao uso de métricas de publicação na avaliação de pesquisas.

Questões de preocupação:

• Ao fazer nomeações para carreiras e conceder bolsas, o registo de publicações dos candidatos e, em particular, o número e o suposto impacto das publicações, é frequentemente o critério principal. Isso inadvertidamente cria incentivos para publicações duplicadas, publicações divididas, publicações de pouco valor e autoria honorária.
• Os fatores de impacto do periódico fornecem uma indicação do número médio de citações esperado para um artigo em um periódico específico, mas esses números são facilmente mal interpretados. Por exemplo, eles podem ser influenciados pela proporção de revisões para artigos primários. As citações para qualquer artigo individual podem ser muito maiores ou menores do que o esperado do fator de impacto.
• Embora o número de citações possa dar uma indicação da qualidade de uma publicação, não é necessariamente assim. Artigos verdadeiramente novos e muito importantes podem atrair pouca atenção por vários anos após sua publicação. Um artigo incorreto pode gerar várias citações de artigos que o refutem, e o número de citações pode ser inflado pela autocitação. O número de citações também tende a ser maior para revisões do que para artigos primários.
• O valor atribuído aos registros de publicação e citação pode pressionar os cientistas a publicar muito cedo ou exagerar e interpretar excessivamente os resultados. Também pode, em situações extremas, promover má conduta científica, em que os resultados são fabricados, falsificados ou plagiados.
• Como resultado da pressão para publicar, um número crescente de manuscritos é submetido a várias revistas antes de serem aceitos. Isso aumenta a carga sobre os revisores, o que acaba diminuindo a eficácia do processo de revisão. Submissões e revisões múltiplas do mesmo trabalho podem atrasar a comunicação de resultados importantes e pode-se argumentar que a multiplicação do número de revisões raramente impede a eventual publicação de trabalhos de baixa qualidade.
• Meios alternativos de publicação em arquivos eletrônicos não revisados ​​ou revisados ​​por especialistas, em home pages individuais ou institucionais ou blogs, estão se tornando cada vez mais populares. Embora esses meios de comunicação abram novas possibilidades e aumentem a acessibilidade geral às publicações, eles também aumentam a disponibilidade de informações menos significativas ou possivelmente enganosas.

O CFRS está preocupado com o fato de que as políticas e práticas atuais podem estar tendo sérios efeitos na qualidade do trabalho científico em geral e aumentando a carga sobre os revisores dos periódicos. Qualquer aumento desnecessário no volume de publicações científicas ameaça um processo de revisão adequado, que é essencial para manter os padrões de precisão e integridade.

Além de seu papel na publicação científica, o Comitê considera a revisão rigorosa e imparcial por pares como o mecanismo mais importante para julgar a qualidade do trabalho científico e dos projetos científicos. Estabelecer e manter bons processos de revisão por pares é em si um desafio e é reconhecido que pode haver benefícios no uso de medidas e métricas quantitativas como complementos a este processo. No entanto, a aparente simplicidade e atração de tais índices numéricos não devem ocultar seu potencial de manipulação e má interpretação e, portanto, devem ser usados ​​com considerável cautela.

Como as normas para o número de publicações, convenções de autoria e citações diferem de campo para campo, julgamentos e políticas são freqüentemente feitos por pares com experiência na mesma área. O CFRS insta as organizações membros do ICSU a estimularem a discussão de critérios de avaliação científica, indicadores de carreira e registros de publicações, com o objetivo de promover um sistema que possa melhor servir a ciência em geral. Em vez de aprender a sobreviver em uma cultura de "publicar ou perecer", os jovens cientistas devem ser encorajados e apoiados a produzir comunicações científicas de alta qualidade que façam uma contribuição real para o progresso científico.

Questões a serem consideradas, em relação ao uso de métricas na avaliação do desempenho da pesquisa, incluem:

• No julgamento de pedidos de bolsas e cargos, qual é o equilíbrio ideal entre a revisão direta por pares, incluindo a leitura de artigos relevantes, e o uso de medidas quantitativas com base em registros de publicação?
• Ao avaliar os registros e o desempenho da publicação, que ponderação deve ser aplicada ao número da publicação, fatores h, fator de impacto do periódico, número da citação, publicação primária versus revisão?
• Observando que as convenções variam consideravelmente de um campo para outro, quanto crédito deve ser dado à primeira autoria, última autoria, autoria intermediária ou autoria correspondente? Em alguns campos, a prevalência de 'autoria fantasma' também é uma questão de considerável preocupação *.
• Que crédito deve ser dado às pré-impressões e outras publicações eletrônicas, sejam elas revisadas por pares ou não? Os índices de impacto, como cliques, downloads ou links, devem ser levados em consideração?
• O número de publicações que contam para doações ou nomeações deve ser limitado? Por exemplo, devem ser consideradas apenas as três melhores publicações por ano? Os cientistas deveriam ser penalizados pela autoria em mais de, digamos, 20 publicações por ano? [Tais limites podem parecer contra-intuitivos, mas ajudariam a promover uma cultura em que todos os autores contribuíram genuinamente para as publicações em que seus nomes aparecem.]
• Que peso deve ser dado a outras medidas quantitativas da produção de pesquisa, como pedidos de patentes, patentes concedidas ou patentes licenciadas?
  O Comitê está ciente de que a discussão de muitas dessas questões já está em andamento em alguns países e em algumas áreas da ciência, mas sugere que o debate seja alargado a toda a comunidade científica internacional. Ao compartilhar opções e estratégias, espera-se que a comunidade científica global possa se beneficiar das experiências de organizações individuais.

* Ver, por exemplo, Ross et al, JAMA 299, 1800-1812 (2008).

Termo aditivo

Enquanto esta declaração estava sendo desenvolvida, a International Mathematical Union divulgou o relatório Citation Statistics, que é uma análise crítica detalhada do uso de dados de citações para avaliação científica. A principal conclusão deste relatório é: embora ter um único número para julgar a qualidade seja realmente simples, pode levar a uma compreensão superficial de algo tão complicado como a pesquisa. Os números não são inerentemente superiores a julgamentos sólidos.

Relatório de estatísticas de citação

Sobre esta declaração

Esta declaração é de responsabilidade do Comitê de Liberdade e Responsabilidade na Conduta da Ciência (CFRS), que é um comitê de políticas do Conselho Internacional para a Ciência (ICSU). Não reflete necessariamente as opiniões de organizações membros individuais do ICSU.

Baixe o extrato