Embrapa, os números antes do carro!


Reprodução

Ilustração: Luppa SilvaComecei a escrever artigos de opinião ou divulgação científica já faz um tempo e volta e meia pergunto-me o que afinal é uma coluna? O tamanho em uma versão digital pode ser variável e como não recebo em pecúnia por eles, o número de caracteres varia com o entusiasmo ou a complexidade do tema. Às vezes se parecem com crônicas, quando baseadas em prospecções e rememorações pessoais. Podem ser artigos de opinião ou até artigos “semi-científicos”. Nesses dois casos são necessários dados, para dar suporte às opiniões, que precisam estar de acordo com a postura analítica apresentada, e suas fontes, o que vale também para a posição assumida. Caso contrário o texto aventura-se no terreno do proselitismo e perde-se a chance de dar ao leitor a oportunidade de aprender alguma coisa. Com isso não quero pretender que, mesmo tentando observar esses preceitos nos meus textos, os meus leitores ganhem muito com a leitura do que escrevo.

A insistência nos dados provavelmente vem da minha formação de origem e na prática profissional de pesquisa que se seguiu: um modelo teórico busca entender a natureza e não o contrário, ou seja, primeiro os bois (dados), depois o carro dos modelos de interpretação. Na prática de coleta de informações sobre publicações científicas e suas citações, já me defrontei com mitos, que se apresentam como verdades incontestáveis (lembrando que isso não existe em ciência), mas que soçobram aos dados (o que é o dia a dia na ciência). Nesse percurso, ciências agrárias e suas instituições de pesquisa (como a Embrapa) vez ou outra chamam a minha atenção [I] e assim tropecei recentemente em um artigo (buscando referências sobre interação universidade-empresa) que listava as 50 maiores empresas geradoras de conhecimento na forma de publicações científicas [II]. Liderada pela IBM, o quarto lugar da lista é ocupado pela Embrapa. O começo desta sigla enquadra a organização como empresa, mas em outros rankings é encaixada no setor de instituições governamentais. De qualquer forma, a Embrapa publicou mais artigos entre 2003-2011 (período analisado no artigo mencionado) do que as empresas como Intel Corporation, Samsung Electronics, Siemens AG, GlaxoSmithKline, Novartis, Phillips Research e outros conglomerados que ocupam o nosso imaginário como sendo de intensa atividade de pesquisa.

O trabalho que apresenta essa lista recolheu os seus dados diretamente da base Scopus e do Scimago Insitutions Ranking (SIR) [III], este construído a partir daquela. Embora auspiciosos, os números para a Embrapa já podem estar desatualizados, por isso recorremos ao mesmo SIR para as necessárias atualizações. A versão de 2018 do mapa de instituições [IV] de pesquisa agrega 5.561 nomes em todo o mundo, classificadas em: instituições governamentais (“Government”), saúde (“Health”, hospitais com centros de pesquisa), ensino superior (“Higher education”, ou seja, universidades), empresas privadas (“private”) e “outros” (ONGs, por exemplo, de qualquer forma são apenas 62 das 5561). O Brasil está representado por 144 instituições nesse mapa: 115 universidades, 18 órgãos governamentais e 11 da área de saúde. Para comparar essas organizações o SIR constrói um ranking que classifica de acordo com um indicador composto por índices de desempenho em pesquisa, inovação e impacto social [V]. A versão 2018 é liderada pela Chinese Academy of Science, que desbancou do topo o francês Centre National de la Recherche Scientifique, ambas classificadas como “government”. Harvard aparece em terceiro lugar, a primeira “higher education” da lista. A primeira “private” aparece no quarto lugar geral e é a Facebook, Inc., que no ano anterior ocupava a 228ª posição. Um salto grande demais para deixar passar sem registro aqui. Mudanças metodológicas de um ano para outro no cálculo do indicador composto? Mudança na informação ou disponibilização dos dados pela empresa?

Deixando de lado esse comportamento anômalo, volto ao objeto de interesse aqui, a Embrapa, selecionando a fatia que cabe às 144 instituições brasileiras. A liderança nesse recorte é da USP (82ª no geral), seguida pela Unicamp (371ª). A Embrapa aparece em 11º lugar, a primeira da categoria “government”, à frente do IMPA, INPE, IME, CBPF, entre outras. No ranking geral é a 585ª (de 5.561) e a 249ª dos 1271 da lista geral para órgãos governamentais. Para quem está acostumado a rankings de universidades é importante ressaltar que o SIR, que é voltado somente para pesquisa e a classificação, é composto de 13 indicadores separados, destacados na ilustração. Quais são os mais importantes para a missão de uma empresa ou universidade? Como os fatores e indicadores se correlacionam? Além disso, coloca no mesmo ranking instituições isoladas junto com grandes sociedades nacionais de pesquisa. Portanto, obtidos alguns dados, ainda não garantimos uma boa parelha de bois para puxar o carro de uma boa interpretação ou teoria.

Reprodução

Uma informação, porém, ainda pode ser destacada no SIR, lembrando que ele foca em pesquisa. Se existem flutuações ano a ano, principalmente para as instituições nas primeiras posições, as instituições brasileiras apresentam um comportamento sistemático. A grande maioria apresenta uma melhora contínua no posicionamento entre 2009 e 2016 e a partir de 2017 uma piora significativa. Alguém teria uma hipótese? Problemas de gestão ou crise de financiamento? Ou talvez haja outras, mas aí chegamos ao limite da disponibilidade dos dados, pois o SIR não abre as informações sobre cada um dos 13 fatores individuais e nem, portanto, sua evolução temporal.

Pensando apenas no recorte da produção científica, podemos ainda verificar dados em outra fonte, a Web of Science (WoS) [VI], também já comentada nessas colunas. Com o endereço “Embrapa” aparecem 21.862 documentos indexados nessa base desde 1974. A evolução temporal pode ser apreciada na ilustração que acompanha este texto. De no máximo poucas dezenas de artigos por ano até 1990, observa-se um notável crescimento a partir da última década do século passado. O grande salto em torno de 2007 se deve à inclusão de periódicos brasileiros até então não indexados na WoS, dando visibilidade internacional a parte significativa da produção científica nacional. Explicado o salto, nota-se ainda que a taxa de crescimento da produção científica da Embrapa nos últimos anos é a mais alta de sua história. E o impacto disso?

Reprodução

Como já comentado nesse espaço, um indicador disponível para o impacto é o número médio de citações por artigo. A WoS fornece com um clique apenas (para quem quiser experimentar por conta própria) dados como esse para um conjunto de até 10 mil documentos. Assim, tomando um recorte de 2009-2013 (6.692 documentos) obtemos uma média de 11,27 citações por artigo, que está na média das instituições brasileiras. Para fazer o teste comparo com a USP, mas dado o volume de publicações desta universidade, o recorte é mais estreito: artigos de 2009. Para o endereço USP coletam-se 9.615 artigos (somando todas as áreas do conhecimento) com uma média de 15,95 citações e, para a Embrapa, desponta na tela do computador o número de 1.149 artigos. Média de citações de 14,86 por artigo. A Embrapa é uma instituição de pesquisa altamente colaborativa, inclusive (o que é importante) com parceiros internacionais. O principal desses é o United States Department of Agriculture e esses artigos em conjunto (no período 2009-2013) têm uma média de citações por artigo de 42,42.  O efeito da internacionalização é surpreendente nesse caso. Existem, no entanto, desafios e compromissos locais, mas para esses não fui atrás de indicadores, mesmo porque já me aproximo perigosamente de 10 mil caracteres.

Os dados apresentados aqui podem ser facilmente verificados com um pouco de experiência e, possivelmente, agregados a outros. Percebem-se potenciais inconsistências nas fontes, o ranking descrito aqui precisa ser comparado com cautela com outros, mas um quadro geral pode ser sugerido. O “pa” na sigla da Embrapa, que significa “pesquisa agropecuária”, apresenta-se robusta, tanto no cenário nacional, quanto internacional, continua crescendo e seu impacto aumentando.

Essa é uma interpretação possível, os dados estão aí e o leitor é livre para encontrar outras, pois apenas para o Sherlock Holmes da epígrafe é possível a peremptoriedade.

 


 

[I] https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/o-eucalipto-e-seus-impactos

[II] How to interpret the position of private sector institutions in bibliometric rankings of research institutions, Félix de Moya-Anegón, Carmen López-Illescas e Henk F. Moed, Scientometrics, vol. 98, 283-298 (2014).

[III] https://www.scimagoir.com/index.php

[IV] https://www.scimagoir.com/index.php?display=map

[V] https://www.scimagoir.com/rankings.php

[VI] https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/ciencia-e-mais-do-que-soma-de-seus-indicadores