Pululam que nem cogumelos! (e adenda)

Não chegava Luís Valadares Tavares. Agora é outro Luís, de seu nome Sousa Lobo.
Noticiava o Público de hoje (25/07/2005) que um “estudo” coordenado por este, em que participa, entre outros, Tiago Santos Pereira do CES, ordena as universidades portuguesas em função da sua produtividade no plano da produção científica. Tão simples é o “estudo” que ficamos sem saber por que razão é necessária uma equipa de investigadores para completar um exercício ao alcance de um pequeno grupo de alunos do ensino secundário: apurar o número de referências a artigos de autores portugueses na base de dados de artigos de revistas do ISI (Institute for Scientific Information) e dividi-lo pelo número de docentes da respectiva universidade. E, a seguir, ordenar as universidades por ordem decrescente do rácio obtido, ou, para usar uma linguagem de analfabeto cosmopolita agora tão na moda, um RANKING.
Resultado de tão laborioso procedimento: como se usa um indicador que mede, no essencial, a publicação de artigos em inglês nas áreas das ciências naturais, das engenharias e da saúde, conclui-se que a universidade do país com menos produção científica é aquela que em vez de cursos de ciências naturais, das engenharias e da saúde tem, sobretudo, cursos de ciências sociais e de gestão (o ISCTE)! Se não tivesse consequências seria uma anedota.
Mas tem consequências, pois assim se constroem imagens positivas e negativas das diferentes universidades, independentemente da sua real qualidade. Que no caso do ISCTE é demonstrada, por exemplo, pelos resultados das avaliações dos seus cursos e centros de investigação — estas últimas realizadas por equipas internacionais constituídas pela FCT, distantes portanto dos interesses paroquiais presentes na concorrência inter-universidades.
Com estudos destes semana sim semana não, o Canhoto não terá IgNóbeis em número suficiente para atribuir até ao final do ano.


ADENDA

[PJ said…] O exemplo do ISCTE é expressamente referido na notícia do Público pelo principal autor do artigo como exemplo das limitações do estudo. Por outro lado, é também referido que o "impact factor" dos jornais não foi tomado em linha de conta. Não me parece que este estudo pertença ao mesmo nível do estudo do Prof. Luís Tavares. Trata-se de um indicador, grosseiro é certo, da produção científica das universidades portuguesas com impacto internacional. Estudos posteriores poderão tomar em linha de conta outros factores que possibilitem uma análise mais detalhada e fiável. Este indicador não pode ser de forma alguma comparado com a classificação atribuída aos centros de investigação. São avaliações completamente diferentes.

De acordo, o trabalho de Sousa Lobo não está ao mesmo (baixo) nível do de Valadares Tavares. Por isso não foi nomeado para os IgNóbeis do Canhoto. Mas não é, também, minimamente aceitável. Nem sério (ou responsável).
Em primeiro lugar, não é aceitável porque o indicador construído não é um indicador grosseiro da produção científica das universidades mas apenas um indicador, aliás grosseiro também, da produção científica em algumas disciplinas. Não serve, exactamente por isso, para “comparar o trabalho das instituições como um todo”, argumento de defesa utilizado por Sousa Lobo no Público de hoje (23/07/2005). Repito, se o indicador o que não permite comparar é exactamente o todo, porque o utilizar para… comparar o todo? Ou estou burro de todo ou o argumento é completamente desprovido de sentido. O problema não é pois o da necessidade de estudos complementares posteriores mas o da necessidade de começar por outro lado, com outra informação. E a avaliação dos centros de investigação pela FCT será sempre um melhor começo.
Em segundo lugar, o trabalho não é sério. E não o é porque, sabendo-se quais os efeitos de enviesamento do uso do indicador, construir uma lista ordenada de universidades com base nos seus valores induziria, sempre, uma representação errada do sistema universitário nacional, com consequências nas escolhas dos alunos e nas políticas públicas. Se isto não foi percebido pelo coordenador do estudo, há apenas uma alternativa à acusação de falta de seriedade do estudo: a de total irresponsabilidade. O que para um ex-reitor, não está mal.