[Boletim-sbq] Boletim Eletronico No. 704

____________________________________________

Assine e divulgue Química Nova na Escola e o Journal of the Brazilian
Chemical Society (www.sbq.org.br/publicacoes/indexpub.htm) a revista de
Química mais importante e com o maior índice de impacto da América Latina.
Visite a nova página eletrônica do JBCS na home-page da SBQ
(http://jbcs.sbq.org.br).

EDIÇÃO ESPECIAL:
****************************************************************
1. Sobre o indice h, artigo do Prof. Luiz Carlos Dias
****************************************************************

O BOLETIM ELETRONICO da SBQ divulgou na Edição No. 703, notícia número 6,
nota relacionada ao cálculo do chamado índice “h”, que segundo o Prof.
Osvaldo Serra, Coordenador do CA-QU do CNPq, começa a ser utilizado por
vários comitês no julgamento de processos. Nesta mensagem, o Prof. Serra
enviou o link para um texto tutorial, muito didático, preparado pelo Prof.
Alfredo Simas, também do CA-QU do CNPq. O tutorial pode ser encontrado no
link a seguir:
http://www.ffclrp.usp.br/divulgacao/seac/ComoCalcularIndiceH.doc.

Em conversas com alguns colegas, estes se mostraram preocupados com
relação a esta mensagem, questionando se o índice “h” passaria a ser um
fator determinante a ser usado pelos Comitês de avaliação. Como nesta
mensagem o Prof. Serra faz menção apenas ao índice “h”, como detalhado no
tutorial do Prof. Simas, considerei pertinente a dúvida e entrei em
contato com os professores Serra e Simas, que prontamente esclareceram os
seguintes pontos:

Segundo ambos, o índice “h” será apenas mais um ítem a ser considerado,
dentro de um conjunto de índices e juntamente com os pareceres ad hoc,
pelo CA de química com o objetivo de fazer uma avaliação transparente. Os
critérios do CA de química encontram-se divulgados no endereço
http://www.cnpq.br/cas/ca-qu.htm. Nos índices utilizados pelo CA-QU
encontram-se o índice “h”, o índice de orientações, a soma dos impactos
dos últimos anos, o total de citações do pesquisador, além de outros
parâmetros.

O Prof. Simas deixou claro também que existe ainda o índice “hi” (veja:
http://arxiv.org/ftp/physics/papers/0509/0509048.pdf) proposto por
pesquisadores brasileiros para comparar a produção em áreas do
conhecimento diferentes e que tenta resolver o problema das co-autorias
(artigos com número elevado de co-autores).[1] Ele ainda deixa claro que o
pesquisador não deve se preocupar com os índices, mas sim realizar uma
pesquisa de qualidade, relevante, sempre formando recursos humanos do mais
alto nível, que será reconhecido por seus pares independente de qualquer
índice.

Esclarecidas estas dúvidas, particularmente, tenho algumas colocações a
fazer com relação ao índice “h”. Este índice foi proposto em 2005 pelo
físico americano Jorge Hirsch, da Universidade da California, em San Diego
e é por definição, igual ao número de trabalhos que tem pelo menos
“h”citações.[2] O texto pode ser acessado no link:
http://arxiv.org/PS_cache/physics/pdf/0508/0508025.pdf. Este índice
contempla apenas as publicações mais relevantes ou mais citadas de cada
pesquisador.[3]

Há vários parâmetros quantitativos para se avaliar a produção científica
de um pesquisador, entre eles o número de artigos publicados, o fator de
impacto das revistas e o número de citações destes artigos.[4-8] O emprego
do índice “h” vem suscitar discussão trazendo novos elementos sobre qual a
forma mais justa de se avaliar a produção científica de um pesquisador.
Este debate sem dúvida é de fundamental importância para a comunidade
científica, acostumada a avaliação por pares.

Após leitura atenta do tutorial, creio que a utilização do chamado índice
“h” pelos respectivos comitês das agências de fomento merece uma reflexão
por parte da comunidade acadêmica! Creio que a concepção por trás do
índice “h” é bem interessante e desejável, sem dúvida: ter vários artigos
publicados, todos com alto número de citações. A princípio, quanto mais
publicações com elevado número de citações, maior o impacto de sua
produção, maior será seu índice “h” e, portanto, melhor será sua avaliação
como pesquisador. Segundo o Prof. Simas, o índice “h” é um dos melhores
índices para uso por órgãos de fomento, pois consegue uma boa e bastante
robusta combinação de relevância com produtividade, além de que a
visualização do índice “h” do ponto de vista geométrico – permite observar
que o índice “h” é o lado do maior quadrado que pode ser inscrito na curva
ordenada de citações do pesquisador.

No entanto, é preciso certo cuidado em seu cálculo e aplicação. Este
índice pode até ser mais um fator a ser considerado pelas agências de
fomento, mas na minha opinião ainda é muito susceptível a distorções, se
considerado individualmente.  O índice “h”, como colocado neste tutorial
não leva em consideração fatores como: número total de publicações do
autor; número total de citações do autor; englobando todas as suas
publicações e principalmente as mais citadas, mesmo que sejam muitas
citações concentradas em poucos artigos; fator de impacto das revistas em
que os artigos foram publicados; número de autores por trabalho;
auto-citações; erros em citações de sobrenomes, iniciais de nomes, erros
no ano da publicação, erros nos volumes e nos números de páginas; e não
considera patentes! Sem dúvida, utilizar apenas o índice “h” como
parâmetro para avaliar a produção científica, o impacto das pesquisas, a
qualidade dos trabalhos e o talento de um pesquisador seria temeroso.

Vejam abaixo uma simulação apenas hipotética, (mas possível, provável e
que poderá ser muito comum) sobre o cálculo do índice “h” para dois
pesquisadores, A e B. Considero nesta simulação, A e B com 11 publicações,
ou pelo menos com as 11 publicações mais citadas (obviamente ambos podem
ter mais publicações, mas todas seriam menos citadas que as 11 aqui
mostradas). As publicações, de 1 a 11, estão listadas em ordem decrescente
de citações. O pesquisador A apresenta um total de 534 citações nestas 11
publicações, com seus primeiros artigos sendo menos citados em comparação
com o pesquisador B, que apresenta um total de 1475 citações (poderia até
ser bem maior), com seus primeiros trabalhos com grande número de
citações. Nesta situação ambos apresentam o mesmo índice h = 10. Curioso?
Sim, creio que um pouco injusto também! Não considerar o número total de
citações de um pesquisador é uma distorção a ser corrigida no cálculo
deste índice!

Pesquisador A
1. 100 citações
2. 80 citações
3. 75 citações
4. 65 citações
5. 55 citações
6. 45 citações
7. 40 citações
8. 30 citações
9. 20 citações
10. 15 citações
11. 9 citações

Total de citações Pesquisador A: 534
Fator de impacto médio das revistas: 1,5
Indice “h”: 10

Pesquisador B
1. 300 citações
2. 250 citações
3. 200 citações
4. 180 citações
5. 150 citações
6. 120 citações
7. 100 citações
8. 80 citações
9. 55 citações
10. 30 citações
11. 10 citações

Total de citações Pesquisador B: 1475
Fator de impacto médio das revistas: 4,0
Indice “h”: 10

Outra limitação é não considerar o fator de impacto das revistas no
cálculo do índice “h”, por mais que haja críticas com relação a isto.[4,8]
O pesquisador A pode ter publicado todos os seus trabalhos em revistas com
índice de impacto médio = 1,5. O pesquisador B pode ter publicado todos os
seus trabalhos em revistas com índice de impacto médio = 4,0. Mesmo
publicando em revistas com maior índice de impacto e tendo muito mais
citações, o fator “h” do pesquisador B será o mesmo que o do pesquisador
A! Não se pode, portanto, desconsiderar o número total de citações do
pesquisador nem o fator de impacto das revistas! Alguns colegas podem
considerar este exemplo irreal e talvez um pouco fora da realidade, mas o
que quero é chamar a atenção para evitar distorções.

Outro ponto que considero importante é o número de autores por trabalho.
Creio que o mais correto seria realmente fazer uma divisão do índice “h”
pelo número de co-autores envolvidos nas publicações. Segundo o Prof.
Simas, isto tende a ser considerado pelos comitês. Pesquisadores
publicando seus trabalhos com menor número de autores teriam índice “h”
maior. Certamente que grupos que trabalham em colaboração com outros,
publicam seus trabalhos com um número maior de autores ou co-autores. Não
tenho aqui a intenção de dizer que a prática de desenvolver trabalhos em
colaboração não deve ser incentivada, pelo contrário, claro que deve, mas
algum critério deve ser adotado para evitar distorções. A questão de
multi-autoria é complexa e devemos nos perguntar: qual a real participação
de cada co-autor neste trabalho?

Um outro problema detectado e muito comum no Web of Science é que artigos
citados com erros no nome do autor, sejam no sobrenome, sejam nas iniciais
do nome, erros no ano da publicação, erros no volume ou nos números de
páginas, não aparecem na listagem para o cálculo do índice “h”. Na
listagem do Web of Science para o cálculo do índice “h” aparecem apenas os
trabalhos citados corretamente, abrindo no link azul correspondente ao
título do artigo, as informações sobre quem cita, onde cita, número de
citações, etc. Há muitos erros em citações e o índice “h” não considera
isto, infelizmente.

Um outro problema, não muito fácil de ser sanado está relacionado a
questão de homônimos. Alguns nomes, sobrenomes são muito comuns, o que faz
com que seja necessário um filtro praticamente manual para evitar
considerar a um autor, trabalhos que não sejam dele.

Ainda tem a questão de auto-citações. Nada contra as auto-citações, elas
devem existir, óbvio. Mas e se os trabalhos de um determinado autor tem
muito mais auto-citações do que citações de outros pesquisadores? Isto
fica escondido, camuflado no cálculo do índice “h” e também considero uma
distorção a ser corrigida. Talvez o ISI (Web of Science) filtre esta
informação no futuro. O impacto deve refletir principalmente como o nosso
trabalho é visto, lido e citado por nossos colegas, por nossos pares! Sem
querer criar muita polêmica, vamos supor que 3 pesquisadores, A, B e C
trabalhem em conjunto e escrevam cada um 10 trabalhos para publicação. Se
o pesquisador A em cada um de seus 10 trabalhos colocar os pesquisadores B
e C como co-autores e B e C fizerem o mesmo, o resultado final é que cada
um publica 30 artigos. Nestes 30 artigos, muitas auto-citações são feitas,
o que contribui para aumentar o índice “h” de A, B e C. Este fato provoca
uma distorção grave e a prática que acabo de comentar pode ocorrer. Não é
uma situação hipotética fora de nossa realidade. Alguns de nossos colegas
chamam isto de uma espécie de consórcio e infelizmente, parece uma prática
longe de ser incomum. Nenhum índice é imune a isso e sem dúvida, qualquer
contribuição a respeito será bem vinda para o processo decisório de apoio
e fomento às pesquisas.

Seria mais justo se o índice “h” fosse multiplicado pelo fator de impacto
médio das publicações de cada pesquisador. O resultado seria um índice H
maiúsculo ou outra notação relacionada. Aparentemente,  alguns Comitês
Assessores tem proposta de dividir o número total de citações pelo índice
“h”. Deve haver também um fator chamado H1, relacionado ao número de
autores por artigo e, sem dúvida, a questão de número de auto-citações
superior a citações de outros deve ser rediscutida para evitar
manipulações.

Pretendo com esta mensagem solicitar atenção aos pontos aqui levantados
para que os comitês possam utilizar parâmetros que sejam realmente justos
e confiáveis, sem prejuízo da qualidade nas avaliações. Parâmetros como o
fator de impacto das revistas, número total de citações e número de
autores por trabalho devem ser levados em consideração juntamente com o
índice “h”. O índice “h” por si só não diz muito, principalmente para
autores que tem mais auto-citações ou citações de “colegas” que realizam
trabalhos em conjunto.

Referências:
1. Pablo D. Batista, Mônica G. Campiteli, Osame Kinouchi, and Alexandre S.
Martinez (2005) Is it possible to compare researchers with different
scientific interests? http://arxiv.org/ftp/physics/papers/0509/0509048.pdf
(October 2005).
2. Hirsch J.E. 2005. An index to quantify an individual’s scientific
research output. Proceedings of the National Academy of Sciences USA 102:
16569-16572.
3. Nobel e o índice h, artigo de Marcelo Leite: JC e-mail 2876, de 17 de
Outubro de 2005.
4. Amin M, Mabe M. 2000. Impact factors: use and abuse. Perspectives in
publishing No. 1. Elsevier Science (http://www.elsevier.com/)
5. Ball P. 2005. Index aims for ranking scientists. Nature 436: 900.
6. Hecht F, Hecht BK, Sandberg AA. 1998. The journal “impact factor”: a
misnamed, misleading, misused measure. Cancer Genetics and Cytogenetics
104: 77-81.
7. Mulligan A. 2004. Is peer review in crisis?. Perspectives in publishing
No. 2. Elsevier Science (http://www.elsevier.com/).
8. Seglen PO. 1997. Why the impact factor of journals should not be use
for evaluating research. British Medical Journal 314:497-507.

Nota do Editor: Prof. Luiz Carlos Dias, do IQ-UNICAMP, foi Secretário
Geral da SBQ (2000-2004) e Editor do Boletim Eletrônico SBQ (2000-2006).
Atualmente é membro do Conselho Consultivo da SBQ e Editor do Journal of
the Brazilian Chemical Society.

Contribuições devem ser enviadas
para o Editor do Boletim Eletrônico
da SBQ: npelopes em sbq.org.br
Até nossa próxima edição!!!

Prof. Norberto Peporine Lopes
Editor do Boletim Eletrônico
Sociedade Brasileira de Química - SBQ
e-mail: npelopes em sbq.org.br