| |
A
avaliação do trabalho científico através de indicadores quantitativos
é um tema que vem ganhando cada vez mais espaço em estudos acadêmicos
e não é por acaso. Essa avaliação, ou melhor, os diversos tipos de avaliações
de trabalhos científicos, são um dos critérios utilizados por governos
e órgãos multinacionais, como a Unesco ou a Organização Mundial da Saúde,
para decidir como direcionar seus recursos destinados à pesquisa e ao
desenvolvimento. Trata-se de um instrumento com o qual está-se decidindo
quem vai ganhar dinheiro para pesquisar ou quem será tido como improdutivo
e que, por isso, vai ter que se contentar com menos ou nenhum recurso.
Para os mais diversos donos e gestores de recursos, faz cada vez mais
sentido utilizar avaliações da produção científica, pois a disponibilidade
de recursos para ciência é limitada e compete com os demais setores de
investimento público. Além disso, o procedimento de deixar a decisão de
como alocar recursos para ciência exclusivamente com os próprios praticantes
dessa atividade é algo questionável e que deixa muito a desejar.
Portanto,
são as avaliações quantitativas dos trabalhos científicos utilizadas internacionalmente
que apontam para este ou aquele cientista, esta ou aquela área do conhecimento,
este ou aquele país, como mais férteis ou mais produtivos. E é aqui onde
reside um problema grave para o qual os avaliadores da ciência nos mais
diversos níveis e a comunidade acadêmica em geral deveriam atentar. Convém
aqui também um grave alerta aos jornalistas, especialmente os especializados
na cobertura de temas científicos, que muitas vezes repercutem a divulgação
dessas avaliações com manchetes seguidas de comentários do tipo "o
cientista brasileiro que mais publicou, ou que é mais citado, é fulano
de tal", ou ainda mais grave, "a ciência brasileira com maior
número de citações em trabalhos científicos é esta ou aquela". O
grande problema em generalizações do tipo, tão ao gosto da mídia, é que
elas podem embutir graves erros, motivados por alguns vícios de origem
dos índices usados para essas avaliações.
Falemos
do índice que serve de base para quase todas avaliações da produção científica,
o Science Citation Index (SCI), compilado desde 1963 pela empresa americana
Institute for Scientific Information (ISI), que mantém a maior base de
dados bibliográfica, hoje disponível também via internet. O SCI coleta
citações a autores feitas em artigos publicados nas revistas que tem indexadas
(há apenas três brasileiras num total de 3.762 revistas. Na lista adicional
intitulada "SCI Expanded" há quinze revistas brasileiras para
5.891 indexadas) e elabora, com estas citações, um lista dos que mais
apareceram, gerando os conceitos e métodos para medir a literatura científica.
O índice lista publicações (artigos e periódicos), citações e autores
(cientistas individuais, projetos, departamentos, institutos, países),
agregados das maneiras mais diversas (por escolas de pensamento, por grupos
teóricos, por especialidades, "redes", aglomerados etc), a fim
de representar estrutural e graficamente os domínios e níveis da atividade
de pesquisa na ciência. Esse tipo de avaliação também foi impulsionado
pelos vastos avanços tecnológicos que permitiram uma base de dados computadorizada
onde uma informação pode ser facilmente encontrada, como quantas vezes
tal cientista foi citado ou qual disciplina tem maior número de citações.
Aparentemente simples e direto, e por isso adotado sem cerimônias por
quase todos os que se dispõem a avaliar produção científica, o SCI enquanto
base de dados, de fato, apresenta uma série de problemas, tanto do ponto
de vista conceitual como metodológico.
A
premissa básica dos estudos de citações como medida do desempenho científico
é que uma publicação deve ter certa qualidade básica para gerar impacto
(isto é, o número de citações que um artigo recebe num dado período).
Essa premissa, no entanto é bastante discutível por uma série de problemas,
tais como:
• Há
uma reconhecida tendência dos cientistas de se auto-citar (fazer "propaganda"
do seu próprio trabalho) e de citar seus amigos, já que conhece bem seus
trabalhos anteriores e os de seus amigos.
• O
sistema de comunicação científica internacional é bastante imperfeito
e o acesso a trabalhos varia consideravelmente, o que torna questionável
a atitude de mensurar algo apenas pelas citações.
• Há
uma barreira linguística que muitas vezes separa os cientistas de determindas
publicações indexadas no SCI, de onde são colhidas as citações.
• Trabalhos
de pesquisa fundamental são muito mais citados do que os experimentais,
o que não significa que são mais importantes.
• Práticas
de publicação variam entre as áreas do conhecimento. Não se pode, por
exemplo, dizer que a física é mais produtiva que a matemática com base
nos trabalhos publicados de uma e outra. São ciências diferentes, com
culturas diferentes no que se refere à divulgação em revistas científicas.
• Trabalhos
são citados sem terem sido lidos e analisados cuidadosamente.
• Citações
são muitas vezes feitas de segunda mão, isto é, levantadas de um
outro artigo, sem terem sido lidas e sem dar crédito ao trabalho que primeiramente
as apontou.
• Citações
são muitas vezes colocadas depois que o trabalho de pesquisa está pronto,
quase como uma "decoração" para se seguir o "ritual"
acadêmico.
Vícios de
origem
Há
também alguns vícios de origem nas avaliações da ciência por meio de índices
como o SCI. Elas se baseiam muitas vezes em premissas que não são verdadeiras.
Uma delas é a de que o objetivo da ciência é unicamente, ou principalmente,
a produção de novos conhecimentos científicos, como os que são divulgados
em periódicos. Isso ignora outros objetivos da pesquisa científica tais
como a contribuição para solução de problemas nacionais, regionais, locais;
a contribuição para o desenvolvimento tecnológico; a formação e treinamento
de novos pesquisadores e de pessoal qualificado para as profissões; o
aumento do prestígio nacional e internacional de um país (o que, nas sociedades
modernas, tem uma conotação de poder); garantia da autonomia de um país
num determinado setor e a influência sobre a visão de mundo da sociedade
em geral. Esse aspectos todos não são considerados pelos indicadores de
"output" usados convencionalmente, tais como as citações em
periódicos.
Outra
premissa equivocada na utilização de índices como o SCI é que o produto
da ciência e sua qualidade refletem-se integralmente nos instrumentos
escritos formais de comunicação científica, particularmente nos periódicos
científicos, ou seja, os cientistas são recompensados pelas contribuições
originais que fazem ao avanço do conhecimento científico por meio da estima
e reconhecimento que recebem de seus pares que lêem seus artigos publicados.
Ocorre,
entretanto, que vários autores consideram que a publicação formal é apenas
um dos tipos de comunicação em ciência -- menos significativo e radicalmente
diferente dos meios informais -- e portanto, acreditam que faz pouco sentido
derivar medidas quantitativas a partir da literatura científica. Eles
argumentam que o conhecimento tácito -- por exemplo, a aprendizagem de
técnicas de laboratório durante o treinamento e os processos de "negociação"
entre colegas -- é parte constitutiva da ciência e que, por definição,
não pode ser descrita na literatura científica. Ignorar esses meios de
comunicação informal, como os indicadores quantitativos convencionais
fazem, é mais do que simplesmente escolher uma técnica analítica; significa
a perpetuação de um relato por demais racional dos processos científicos,
que sistematicamente obscurece suas características fundamentais. E, "oferecendo
uma visão geral objetiva da ciência 'como ela é', tais métodos implicam
um enfoque impropriamente positivista e realista", nas palavras de
D. Edge (1).
Além
do conhecimento tácito, outros tipos de conhecimento gerados pela pesquisa
podem não chegar até a literatura científica publicada por uma série de
motivos que podem ser chamados de sociais: falta de motivação em função
do sistema de recompensa vigente; dificuldade de acesso aos periódicos
científicos; cláusula de confidencialidade imposta pela institutição em
que trabalha etc. Mesmo ignorando essas objeções, para transformar uma
contagem de publicações em uma medida do conhecimento gerado, tem que
se admitir que todo artigo contém a mesma contribuição ao conhecimento
-- apesar dessa premissa ser muito pouco plausível.
Na
verdade chega a haver um certo consenso no sentido de que número de publicações
não reflete qualidade em ciência, e por isso é que se lança mão da contagem
de citações recebidas por um determinado trabalho como medida de sua qualidade.
Essa equivalência de número de citações com qualidade de um artigo citado
é provavelmente o aspecto mais controverso e debatido em toda a literatura
sobre indicadores científicos. Por mais de vinte anos, alguns sociólogos
têm alertado para o fato de que dados de citação não deveriam ser usados
em pesquisa até que eles fossem melhor entendidos. Um bem conhecido "aviso
prévio" veio de Kaplan (2) que sentia que "é fácil demais fazer
inferências injustificadas a partir de análise de citações", seguido
por Mulkay (3), que afirmava que "o uso dos padrões de citações […]
claramente envolve uma teoria de citação que está longe de ser satisfatoriamente
elaborada". Além desses autores, vários outros têm enfatizado que
a análise de citações requer, urgentemente, fundamentos epistemológicos
mais seguros e que qualquer relação entre citação e comportamento dos
cientistas só pode ser estabelecida por decreto do analista. Apesar disso,
dados de citação têm se tornado cada vez mais usados, ao ponto de que
as observações de Kaplan no seu artigo inovador de 1965 serem tão relevantes
hoje quanto eram naquela época.
Outra
limitação frequentemente apontada dos indicadores científicos de "output"
é que eles não levam em consideração as diferenças significativas na organização,
no sistema de comunicação e no comportamento dos cientistas das diferentes
áreas do conhecimento, de diferentes países, e de naturezas diferentes
de pesquisa -- básica e aplicada. O fato de que a quase totalidade dos
estudos empíricos que tentaram estabelecer as relações entre citações
e reconhecimento terem sido conduzidos nos EUA e principalmente na área
de física no contexto acadêmico, torna a extensão dos indicadores para
as outras áreas, países e contextos, passível de questionamento. Principalmente
quando já se dispõem de informações substantivas pelo menos sobre as diferenças
que existem entre áreas do conhecimento, e mesmo entre subáreas dentro
da mesma área.
Controvérsias
estendem-se também ao aspecto técnico da compilação de informações para
construção dos indicadores, isto é, `a metodologia usada na formação da
base de dados. Um problema técnico bastante sério com os indicadores de
"output", em particular, mas que se aplica aos indicadores científicos
em geral, é a falta de um referencial contra o qual se possam comparar
as medidas obtidas. Conforme enfatiza Morison (4), "ninguém tem qualquer
idéia real sobre qual proporção da população científica deveria estar
fazendo radioastronomia, quantos artigos deveriam ser publicados a cada
ano, ou deveriam ser citados por quantos europeus". Dessa maneira,
o que se acaba fazendo é comparar um país com outro, ou o presente com
o passado. Esse critério, no entanto, não nos dá nenhuma garantia de estarmos
caminhando no sentido desejado.
Prioridade
ao Primeiro Mundo
Junte-se
a isso as tendenciosidades do SCI em favor de países cientificamente centrais
e de língua inglesa que são amplamente conhecidas e reconhecidas pelos
próprios autores que as usam em seus estudos de avaliação de pesquisa,
caso de Frame (5) e Blickenstaff & Moravcsik (6).
O
número de citações quando usado particularmente para avaliar pesquisa
em países periféricos tem pouca aplicabilidade. Embora considerando que
citação indica impacto, é óbvio que não pode existir impacto sem visibilidade.
Assim, para certas áreas específicas de pesquisa nas quais as contribuições
à pesquisa internacional é um objetivo legítimo e reconhecido, as citações
podem ser indicadores parciais úteis da visibilidade internacional dos
pesquisadores. Não se deve esperar mais que isso ou que o número de citações
sirva como instrumento de monitoração para comparar unidades de pesquisa
trabalhando no mesmo campo (departamentos, institutos) dentro de um país
ou entre países diferentes.
Quando
as fitas contendo as informações do SCI foram descobertas como instrumentos
para se estudar a distribuição da ciência no mundo é evidente que a América
Latina não ia escapar ilesa de ter o esforço científico de seus países
comparado entre si e com o dos outros países do mundo. Começou-se então
a verificar que o critério está cheio de falhas quando se realiza esse
tipo de comparação. Alguns estudos empíricos tornaram esse fato ainda
mais evidente. Primeiramente, Roche & Freites (7) demonstraram que
a contribuição científica da Venezuela era, conforme dados coletados localmente,
pelo menos duas vezes maior que aquela estimada pelo SCI. Além disso,
Cagnin (8) trabalhou com outra base de dados de literatura científica
internacional, o Chemical Abstracts (CA), para avaliar o progresso científico
brasileiro na área de química de 1972 a 1982 e, comparando os números
do CA com os do SCI, constatou que esse último subestimava consideravelmente
a contribuição brasileira na área. Finalmente, num debate levado a cabo
nas páginas da revista Scientometrics entre Velho (9) e Moravcsik
(10) ficou claro que os dados de publicação e citação obtidos dentro de
um determinado país periférico não podem ser comparados com aqueles obtidos
para o mesmo país a partir do SCI e, talvez mais importante, que o quadro
da ciência que se desenha com o uso de cada uma dessas bases de dados
é significativamente diferente.
Pressupostos
simplistas para a América Latina
Ainda
que estudos usando o SCI continuem a ser conduzidos, desenvolveu-se um
tal descrédito com relação a indicadores científicos derivados dessa base
de dados para se analisar a ciência na América Latina, que poucos analistas
hoje se aventuram nessa direção. Os responsáveis pela publicação do SCI
estão conscientes desse fato, tanto que em 1985 abriram as portas do quartel-general
do Institute for Scientific Information, na Filadélfia, para abrigar uma
reunião financiada pela Fundação Rockfeller e pela National Science Foundation
(EUA), que objetivou especificamente discutir a questão: "A ciência
feita nos países de Terceiro Mundo está adequadamente representada nos
indicadores bibliométricos internacionais de produtividade científica?".
O relatório final dessa reunião menciona que "os participantes estimaram
que apenas metade da produção do Terceiro Mundo que atinge os padrões
internacionais de excelência está incluída no SCI", como cita Moravcsik
(10). Em outras palavras, isso significa que os participantes consideram
que basta multiplicar por dois a contribuição dos países periféricos hoje
detectada pelo SCI e se obterá a produção científica "real"
de qualidade internacional originada desses países. Na verdade, fica claro
que não existe evidência que justitique essa conclusão; ela é baseada
apenas em dois pressupostos, ambos bastante simplistas e, certamente equivocados:
- Que a cobertura incompleta
da produção científica do Terceiro Mundo pelo SCI afeta todos os países
periféricos e todas a áreas do conhecimento da mesma maneira. Sabe-se
que isso não é verdade; o próprio Frame (11) admite, por exemplo que
a produção científica brasileira é mais subestimada que a dos outros
países latinoamericanos porque está escrita em português. Ao mesmo tempo,
Rabkin (12) apurou que a produção científica das ex-colônias britânicas
na Africa, porque publicada em inglês, tem mais visibilidade internacional
que a de outros países africanos. Além disso, a contribuição científica
dos países periféricos é muito maior em certas áreas de pesquisa e especialidades
do que em outras. Por exemplo, cerca de metade de toda a produção científica
em solos tropicais se origina do Terceiro Mundo, como informam Chatelin
& Arvanitis (13).
- Que a literatura científica
produzida pelos países periféricos em suas próprias línguas nativas
e não indexada pelo SCI é, geralmente, de baixa qualidade ou sem interesse
para a ciência internacional. Ou seja, aquilo que é publicado localmente,
e não vai aos periódicos mais conhecidos, não atenderia aos padrões
internacionais de "excelência". Esse modelo que faz uma correspondência
direta entre visibilidade internacional e qualidade e relevância de
pesquisa deve ser enfaticamente questionado. Estudos recentes têm evidenciado
que as decisões que os cientistas de países periféricos tomam em relação
a qual periódico publicar seu trabalho científico é influenciada por
uma série de fatores de ordem social e individual, que não podem ser
ditos como mantendo qualquer relação com a "qualidade" da
pesquisa. Isso fica bem claro por estudos como o de Velho (14) sobre
a comunidade científica da área agrícola no Brasil; ou o de Eisemon
& Davis (15), que cobriu as áreas de física, biologia, bioquímica,
computação e engenharia elétrica na Coréia do Sul, Formosa, Singapura
e Malásia. A contribuição principal desses estudos é que eles procuram,
junto aos cientistas, explicações para os comportamentos encontrados.
Entre os motivos identificados por eles para que cientistas prefiram
publicar seus trabalhos em periódicos locais estão: dificuldade de escrever
em inglês; falta de recursos para pagar as despesas de publicação exigidas
por vários periódicos internacionais; sentimento nacionalista de reforçar
os periódicos de seus proprios países e incentivar colegas a escrever
na própria língua; atingir uma audiência que não lê periódicos estrangeiros;
dificuldade de acesso aos periódicos internacionais quando nunca se
estudou no exterior e o caráter nacional ou regional de alguns tópicos
de pesquisa focalizados pelos pesquisadores de países periféricos. Tais
motivos apontam para longe da tradicional interpretação de que aquilo
que é publicado na literatura científica local dos países periféricos
(ou melhor, aquilo que não é "mainstream") é porque tem baixa
qualidade, como os trabalhos baseados no SCI querem nos fazer acreditar.
Pelo contrário, eles deixam claro que a escolha do canal de publicação
pelos pesquisadores é feita com base em uma infinidade de critérios
e que esse processo todo tem que ser bem estudado e compreendido antes
que se façam julgamentos sobre a contribuição do Terceiro Mundo ao conhecimento
científico.
Em
vista desses fatos, fica claro que os dados do SCI dizem muito pouco sobre
o tipo e a qualidade de ciência que se faz nos países periféricos e, consequentemente,
de pouco servem como ferramenta para auxiliar a tomada de decisões em
política de C&T. Mesmo que o mantenedor do SCI, o Institute for Scientific
Information, siga recomendações que já lhe foram feitas no sentido de
ampliar sua cobertura dos periódicos de "qualidade internacional"
do Terceiro Mundo, ainda assim o SCI vai continuar refletindo uma parte
apenas do esforço científico desses países, definida através de
critérios que nem sempre são os que interessam a esses países.
É
necessário ter claro que os objetivos da pesquisa científica, ou o peso
a ser dado a cada dimensão desses objetivos, variam de país para país,
variam com o tempo dentro de um mesmo país, variam de instituição para
instituição, e mesmo de indivíduo para indivíduo. Esse é um dos grandes
problemas da avaliação, pois os cientistas, os planejadores e financiadores
de pesquisa (públicos ou privados) e o público em geral têm frequentemete
expectativas contraditórias com relação aos objetivos e consequentemente
com relação aos produtos das pesquisas, assim como com relação aos padrões
de excelência pelos quais elas deveriam ser avaliadas.
Além
disso, os diversos objetivos da pesquisa não estão necessáriamente correlacionados,
muito pelo contrário. Isso significa que o fato do sistema científico
de um país, uma institutição ou grupo de pesquisa ter um desempenho excelente
com relação a um determinado objetivo não é garantia alguma de que ele
terá desempenho semelhante com relação aos outros objetivos. Na verdade,
é um erro comum eleger uma única dimensão de eficiência como principal
e então usá-la como único padrão para fins de avaliação. Os planejadores
e financiadores frequentemente demandarão objetivos e resultados que sejam
relevantes do ponto de vista econômico ou social e possivelmente considerarão
a questão da excelência técnica ou acadêmica como irrelevante ou menos
importante. Os pesquisadores, por sua vez, argumentarão que a produção
de novos conhecimentos é pré-condição para qualquer trabalho científico
ou tecnológico. As autoridades universitárias podem insistir na avaliação
de grupos de pesquisa em termos de sua contribuição ao ensino. O erro
oposto também é comum e consiste em se aceitar sem critérios ou análises
os objetivos de pesquisa auto-definidos pelos grupos de pesquisa ou instituições
como único critério para sua avaliação.
Por
tudo isso, é extremamente importante que as avaliações de produção científica
levem em consideração que os índices podem abrigar, como já foi dito,
inúmeros vícios de origem. A reprodução dessas quantificações em reportagens,
como se tem feito no Brasil, pode "comprar" essas informações
e equivocadamente repassar ao leitor uma visão do meio científico primeiro-mundista,
parcial e totalmente disforme.
1)
EDGE, D. (1979), "Quantitative Measures of Communication in
Science: a Critical Review", History of Science, vol.17, pp.102-134.
2)
KAPLAN, N. (1965), "The Norms of Citation Behavior: Prolegomena
to the Footnote", American Documentation, vol.16, nº3, pp.179-184.
3)
MULKAY, M.J. (1969), "Some Aspects of Growth in the Natural
Sciences", Social Research, vol.36, nº1, pp.22-52.
4)
MORISON, R. S. (1982), "Needs, Leads and Indicators",
in M. C. La Follette (ed), Quality in Science. Cambridge, Mass.:
the MIT Press, pp.33-47.
5)
FRAME, J. D.; F. NARIN & M. P. CARPENTER (1977), "The Distribution
of World Science", Social Studies of Science, vol.7, pp.501-516.
6)
BLICKENSTAFF, J. & M.J. MORAVCSIK (1982), "Scientific "output"
in the Third World", Scientometrics, vol.4, pp.135-169.
7)
ROCHE, M. & Y. FREITES (1982), "Produccion y Flujo de Informacion
Cientifica en un Pais Periferico Americano (Venezuela)", Interciencia,
vol.7, nº5, pp.279-290.
8)
CAGNIN, M. A. H. (1985), "Patterns of Research in Chemistry
in Brazil", Interciencia, vol.10, nº2, pp.64-77.
9)
VELHO, L. (1986), "The 'Meaning' of Citation in the Context
of a Scientifically Peripheral Country", Scientometrics, vol.9,
nº 1-2, pp.71-89.
VELHO,
L. (1987a), "The Author and the Beholder: How Paradigm Commitments
Can Influence the Interpretation of Research Results", Scientometrics,
vol.11, nº1-2, pp.59-70.
10)
MORAVCSIK, M. J. (1987), "In the Beholder's Eye: a Possible
Reinterpretation of Velho's Results on Brazilian Agricultural Research",
Scientometrics, vol.11, nº1-2, pp.53-57.
11)
FRAME, J. D. (1977), "Mainstream Research in Latin America
and the Caribbean", Interciencia, vol.2, pp.143-147.
12)
RABKIN Y. M.; T. O. EISEMON; J.J. LAFITTE-HOUSSAT & E.M. RATHGEBER
(1979), "Citation Visibility of Africa's Science", Social
Studies of Science, vol.9, pp.499-506.
13)
CHATELIN, Y. & R. ARVANITIS (1988), "Research on Soils
and Agriculture of LDCs: the Balance Between International and Regional
Trends, Social Studies of Science, no prelo.
14)
VELHO, L. (1985), "Science on the Periphery: a Study of the
Agricultural Scientific Community in Brazilian Universities",
tese de Doutorado apresentada `a Universidade de Sussex, Inglaterra.
15)
EISEMON, T. O. & C. H. DAVIS (1988), "Publication Strategies
of Scientists in Four Peripheral Asian Scientific Communities: Some
Issues in the Measurement and Interpretation of Non Mainstream Science",
Centre for Cognitive and Ethnographic Studies, McGill University,
Canada (mimeo, a ser publicado como capítulo de livro)
|
|
Quem
somos
