A avaliação do impacto é tema de grande actualidade, sobretudo com a recente afirmação de alguns projectos open access ligados a repositórios ou a revistas (arXiv, PLOS). Os lugares de trânsito da comunidade científica estenderam-se a outros meios, vão muito mais além que as publicações do circuito tradicional.
As recentes práticas no ambiente digital, possibilitadas pelos novos serviços e plataformas, pulverizaram e multiplicaram as manifestações da actividade da comunidade académica. Avaliar a produção de um grupo de investigação pelo factor de impacto (ISI Impact Factor) é manifestamente insuficiente.
O projecto MESUR, financiado pela Fundação Andrew W. Mellon, pretende criar um modelo de avaliação mais amplo e imediato dessa actividade e produção.
No seu sítio web encontra-se informação sobre o projecto:
- Duração: Outubro de 2006 – Outubro de 2008
- Coordenador: Herbert Van de Sompel (Laboratório de Los Alamos)
- Investigador principal: Johan Bollen
- Financiamento: Andrew Mellon W. Foundation
- Resultados: Modelo formal de avaliação, Linhas de orientação/ recomendações
MESUR diferencia-se das metodologias habituais quanto à abrangência e à avaliação em tempo real. Considera os critérios convencionais – citações, contagem dos clics (visualizações…), mas também tudo o que ocorre nas redes sociais e nos motores de pesquisa.
|
Parâmetros |
Avaliação tradicional |
Modelo MESUR |
| Actualização da informação | Existe um intervalo de tempo entre a publicação e a avaliação do impacto (2 anos em média) | Informação da avaliação está mais próxima do momento em que é conhecida, porque o uso é registado de imediato após a publicação/ depósito, encortando tempo de reacção |
| Universo de elementos avaliados | Publicações formais (revistas, sobretudo) | Analisa todo o tipo de comunicação científica: formal ou informal (redes sociais, motores de pesquisa), ou seja, está mais próximo dos workflows dos actores |
| Objectos de avaliação | Avalia autores, artigos, instituições | Avalia autores, leitores, profissionais |
| Instrumentos de avaliação | web logs | web logs, estatísticas de uso |
| Dimensão avaliativa | monodimensional | multidimensional e cruzada |
Os maiores desafios para a equipa que trabalha esta proposta está em recolher uma massa de dados representativa, em validar esses dados e enriquecê-los semanticamente com relações (triples).
Em Outubro, serão conhecidos as conclusões desta proposta que irá certamente modificar a forma de avaliar no futuro. O mapa de avaliação da comunicação científica será mais fiel e actual. Disso não têm dúvidas os promotores, aliás sustentados pelos resultados alcançados até agora. Existem instituições, cuja avaliação interna se aproxima do modelo global, outras em que existe uma marcada diferença. Também, regra geral, não é coincidente a análise do factor de impacto com a de uso.
A combinação de indicadores e o cruzamento de fontes de dados, correctamente controlados e validados, são sem dúvida um bom contributo na direcção de uma avaliação mais global e fidedigna.
Agulha no palheiro 