MESUR, a avaliação multidimensional

A avaliação do impacto é tema de grande actualidade, sobretudo com a recente afirmação de alguns projectos open access ligados a repositórios ou a revistas (arXiv, PLOS). Os lugares de trânsito da comunidade científica estenderam-se a outros meios, vão muito mais além que as publicações do circuito tradicional.

As recentes práticas no ambiente digital, possibilitadas pelos novos serviços e plataformas, pulverizaram e multiplicaram as manifestações da actividade da comunidade académica. Avaliar a produção de um grupo de investigação pelo factor de impacto (ISI Impact Factor) é manifestamente insuficiente.

O projecto MESUR, financiado pela Fundação Andrew W. Mellon, pretende criar um modelo de avaliação mais amplo e imediato dessa actividade e produção.

No seu sítio web encontra-se informação sobre o projecto:

  • Duração: Outubro de 2006 – Outubro de 2008
  • Coordenador: Herbert Van de Sompel (Laboratório de Los Alamos)
  • Investigador principal: Johan Bollen
  • Financiamento: Andrew Mellon W. Foundation
  • Resultados: Modelo formal de avaliação, Linhas de orientação/ recomendações

MESUR diferencia-se das metodologias habituais quanto à abrangência e à avaliação em tempo real. Considera os critérios convencionais – citações, contagem dos clics (visualizações…), mas também tudo o que ocorre nas redes sociais e nos motores de pesquisa.

Parâmetros

Avaliação tradicional

Modelo MESUR

Actualização da informação Existe um intervalo de tempo entre a publicação e a avaliação do impacto (2 anos em média) Informação da avaliação está mais próxima do momento em que é conhecida, porque o uso é registado de imediato após a publicação/ depósito, encortando tempo de reacção
Universo de elementos avaliados Publicações formais (revistas, sobretudo) Analisa todo o tipo de comunicação científica: formal ou informal (redes sociais, motores de pesquisa), ou seja, está mais próximo dos workflows dos actores
Objectos de avaliação Avalia autores, artigos, instituições Avalia autores, leitores, profissionais
Instrumentos de avaliação web logs web logs, estatísticas de uso
Dimensão avaliativa monodimensional multidimensional e cruzada

Os maiores desafios para a equipa que trabalha esta proposta está em recolher uma massa de dados representativa, em validar esses dados e enriquecê-los semanticamente com relações (triples).

Projecto Mesur

Em Outubro, serão conhecidos as conclusões desta proposta que irá certamente modificar a forma de avaliar no futuro. O mapa de avaliação da comunicação científica será mais fiel e actual. Disso não têm dúvidas os promotores, aliás sustentados pelos resultados alcançados até agora. Existem instituições, cuja avaliação interna se aproxima do modelo global, outras em que existe uma marcada diferença. Também, regra geral, não é coincidente a análise do factor de impacto com a de uso.

A combinação de indicadores e o cruzamento de fontes de dados, correctamente controlados e validados, são sem dúvida um bom contributo na direcção de uma avaliação mais global e fidedigna.

Deixe uma Resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão / Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão / Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão / Alterar )

Google+ photo

Está a comentar usando a sua conta Google+ Terminar Sessão / Alterar )

Connecting to %s