Saúde, educação, ciência, tecnologia e inovação (CT&I) são alguns dos setores nos quais os governos investem continuamente por meio de políticas específicas e programas estratégicos, visando a garantir melhores condições de vida para as populações, além de desenvolvimento econômico para os países. No entanto, o retorno desses investimentos nem sempre é visível, e ainda mais raro é o conhecimento sobre a efetividade dos programas e políticas adotados.

O conceito de avaliação começa a se expandir no mundo, devido não apenas ao substantivo aumento de investimentos nesses setores, mas também graças à capacidade que hoje já se encontra para construir metodologias que permitam fazer um balanço sobre o efeito das ações na sociedade e na economia.

Alguns países despontam na área de avaliação, entre os quais o Japão, que dispõe de um escritório voltado exclusivamente para o desenvolvimento de metodologias e métricas que permitam responder sobre o resultado das iniciativas implementadas. A França é outro país que vem desenvolvendo, por meio do Bureau d`Economié Theorique et Appliquée (Beta), da Universidade de Estrasburgo, estudos sobre metodologias a serem aplicadas na avaliação de impacto de políticas.

No Brasil, embora o tema tenha suscitado interesse mais recentemente, inclusive por serem recentes os investimentos mais substantivos, como no caso da inovação, já é possível fazer um balanço sobre algumas experiências. O interesse sobre o tema, aliado à necessidade de ampliar o debate a respeito de metodologias e desafios já colocados à avaliação de programas e políticas públicas, levou o Grupo de Estudos sobre Organização da Pesquisa e da Inovação (Geopi), do Departamento de Política Científica e Tecnológica (DPCT), do Instituto de Geociências da Unicamp (IG), a promover o Simpósio Internacional Fronteiras da Avaliação, a ser realizado nos próximos dias 18 e 19 de novembro, em Campinas.

O evento conta com patrocínio do Banco Nacional de Desenvolvimento Econômico e Social (BNDES), do Faepex da Unicamp, da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), da Fundação Itaú-Social, do Instituto Nacional de Metrologia, Normalização e Qualidade Industrial (Inmetro) e da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes).

“O interesse despertado pelo evento nos surpreendeu, pois as inscrições foram abertas em 6 de outubro e esgotaram-se em menos de 10 dias”, afirma a coordenadora-executiva do simpósio, Ana Maria Carneiro, pesquisadora do Núcleo de Estudos de Políticas Públicas (Nepp) da Unicamp. “Devido a esta grande demanda, providenciamos a transmissão ao vivo do evento pela internet, aproveitando que a Unicamp dispõe deste serviço. Desta forma, quem não puder comparecer presencialmente, ainda poderá acompanhar as discussões por meio do site www.ige.unicamp.br/fronteiras”.

Para abordar algumas das questões cruciais sobre as fronteiras do processo de avaliação, o Jornal da Unicamp entrevistou três dos palestrantes do evento: Fernanda De Negri, economista e hoje diretora adjunta de Estudos de Políticas Setoriais e de Inovação, Regulação e Infraestutura do Instituto de Pesquisas Aplicadas (Diset/Ipea); Laurent Bach, pesquisador do Beta; e Sergio Luiz Monteiro Salles-Filho, professor do Departamento de Política Científica e Tecnológica (DPCT), fundador do Geopi e atual Diretor da Faculdade de Ciências Aplicadas (FCA), da Unicamp, no campus de Limeira.

Os três entrevistados abordaram os principais pontos sobre o tema, ressaltando, devido à maior atuação no campo da CT&I, que avaliar os programas e políticas é ponto fundamental para mantê-los, com ou sem ajustes, e também para implementar novas propostas que possam levar ao cumprimento dos objetivos principais das políticas públicas.

Jornal da Unicamp – O tema da avaliação encontra-se em expansão no cenário internacional, tanto sob perspectiva teórica como prática. No Brasil, embora as experiências tenham tido início na década de 1980, já aponta como uma relevante área do conhecimento. Qual a importância da avaliação de programas sociais e de CT&I num país como o Brasil, já considerado uma potência econômica, além de líder regional?

Fernanda De Negri - A avaliação de programas e políticas públicas é fundamental para que possamos avaliar até que ponto essas políticas estão atingindo os objetivos desejados. Outro objetivo é podermos comparar diferentes instrumentos e políticas com objetivos similares e, a partir daí, escolher ou fortalecer aqueles que são mais eficazes no alcance desses objetivos.

É muito comum, em todos os países, que existam instrumentos diferentes com objetivos similares. No caso de políticas de apoio à inovação, por exemplo, todas possuem, como objetivo fundamental, a ampliação dos esforços inovativos e da taxa de inovação na economia. Com esse objetivo, são utilizados diversos instrumentos, tais como subvenção, crédito, incentivos fiscais, além de instrumentos regulatórios. Saber quais são mais eficazes para determinados públicos, quais deles apresentam os menores custo e melhores resultados no curto prazo, e possuem um horizonte temporal mais longo para surtir efeito, contribui para o ajuste fino no mix ideal de instrumentos a serem utilizados.

É preciso levar em conta, também, que a eficácia das políticas pode variar de acordo com o público alvo e que determinado instrumento pode ser extremamente efetivo para grandes empresas e absolutamente ineficaz em pequenas empresas, por exemplo.

O processo de avaliação pode contribuir de forma significativa para a formulação de novos instrumentos e políticas públicas mais eficazes e mais eficientes.

Laurent Bach – Certamente, não é mais surpreendente a ideia de que o processo de avaliação é crucial para uma “saudável” tomada de decisão em qualquer país, porque um bom sistema de avaliação é condição obrigatória para permitir tanto a eficácia econômica como a transparência das decisões públicas que são solicitadas pela democracia. Mas, isso pode ser até mais relevante para um país como o Brasil, principalmente agora que ele parece estar numa situação ideal, talvez num ponto de virada. Encontra-se em uma situação relativamente boa economicamente, possui muitos recursos – naturais e humanos –, mas ainda encontra enormes desafios sociais e ambientais que podem, de certo modo, ser resolvidos, pelo menos parcialmente, com soluções que venham de ciência, tecnologia e inovação. Há soluções possíveis para os problemas existentes, com a avaliação contribuindo para o ajuste entre elas, isto é, uma alocação de recursos relevantes para o benefício de todos. 

O crescente poder econômico e a liderança regional colocam o Brasil em uma posição para aprender o máximo com experiências estrangeiras, sem simplesmente copiar supostas boas práticas, mas também desenvolver o seu próprio caminho e sua tradição de avaliação, que é algo que tem funcionado há alguns anos. Em seguida, o país pode fornecer sua própria experiência a outros países.

Sergio Salles-Filho – A avaliação de impactos é a forma de se conhecer os efeitos que um programa ou um projeto teve na sociedade. No Brasil, sequer fazemos avaliação de resultados de fomento. Arrisco dizer que dos mais de 4 bilhões de reais que estamos colocando em P&D hoje no Brasil, nada é avaliado em seus efeitos sobre a sociedade. Os programas sociais, por sua vez, têm mais estrada percorrida. Há diretrizes claras do governo para que os impactos sejam mensurados, mas na área de CT&I, muito pouco é feito. Como resultado, não sabemos o que estamos criando e muito menos temos como reorientar os investimentos com bases mais confiáveis de informação.

JU – Em que pese o curto tempo de avaliação de programas no Brasil, é possível fazer um balanço das ações? As avaliações já realizadas no país colaboraram para o aperfeiçoamento de programas e políticas?

Fernanda De Negri – No caso específico das políticas de apoio à inovação, é preciso considerar que o arcabouço legal de apoio à inovação no Brasil é relativamente recente. Com algumas exceções, como a Lei de Informática, que é um instrumento mais antigo, a maior parte das políticas públicas de apoio à inovação no Brasil foram criadas nos últimos 5 ou 6 anos. Mesmo o FNDCT [Fundo Nacional de Desenvolvimento em Ciência e Tecnologia], que já existe desde o início dos anos 90, só teve um crescimento orçamentário expressivo e uma diversificação do seu público alvo nos últimos anos. A Lei de Inovação e a Lei do Bem – que estabeleceu incentivos fiscais para empresas que invistam em P&D –, por exemplo, foram criadas em 2004 e 2005, respectivamente.

Da mesma forma, ainda são escassas as iniciativas de avaliação dessas políticas, em particular das políticas no seu conjunto. Apesar disso, essas iniciativas são relevantes para a reformulação das políticas existentes. Já foram realizados estudos para avaliação da Lei de Informática, além de algumas análises sobre o FNDCT. O próprio Ipea acaba de concluir a primeira fase de um amplo projeto de avaliação dos impactos do FNDCT na economia brasileira, a pedido do próprio Ministério da Ciência e Tecnologia (MCT).

Esse fato evidencia o crescente interesse dos próprios órgãos governamentais em saber quais os resultados efetivos dos programas e políticas que vêm sendo implementados. Esse é o primeiro passo para que os resultados dessas avaliações sejam, de fato, levadas em conta na formulação das políticas públicas.

Laurent Bach – É difícil, para mim, responder esta questão, mas em geral a avaliação sempre ajuda a aperfeiçoar programas e políticas. Entretanto, o impacto nem sempre é direto nem diretamente observável. Muitas vezes passa por interações complexas entre as partes interessadas, interações que se deslocam de um lugar para outro, difundindo a aprendizagem etc.

Sergio Salles-Filho - Sim, por mais esparsas e intermitentes que sejam as avaliações de impacto em CT&I – elas vêm desde o início dos anos 1980, quando o CNPq deu início a práticas de mensuração dos investimentos. A Fundação de Amparo à Pesquisa do Estado de São Paulo [Fapesp] é um bom exemplo, pois tem uma coordenação de avaliação e está medindo impactos de seus programas desde 2006 com o objetivo de planejar novas ações e de prestar contas à sociedade.

JU – Em que medida a avaliação de programas e políticas pode contribuir para a consolidação do processo de inovação no país?

Fernanda De Negri - Se levarmos em conta que a inovação envolve riscos e custos muito elevados, e que os benefícios sociais gerados pelas inovações são muito superiores aos seus custos, o apoio público às atividades é fundamental para que a economia realize investimentos adequados. Na ausência dessas políticas, os elevados riscos e custos associados ao processo de inovação inviabilizariam boa parte dos investimentos realizados nas economias desenvolvidas, e no Brasil também.

Se o país deseja reduzir o gap tecnológico que o separa dos países desenvolvidos, é fundamental aprofundar ainda mais as políticas públicas de apoio à CT&I, tanto na produção de ciência básica quanto no incentivo à inovação empresarial. Dada a relevância das políticas públicas para o processo de inovação, a avaliação dessas políticas e a mensuração dos seus efeitos têm, sim, um papel fundamental na consolidação desse processo.

No último dia 29 foram divulgados, pelo IBGE, os indicadores da mais recente Pesquisa de Inovação Tecnológica (Pintec) brasileira. Os resultados mostraram um aumento de 50% nos investimentos empresariais em P&D entre 2005 e 2008, fazendo com que o esforço interno de P&D das empresas industriais em relação ao faturamento passasse de 0,57% para 0,62%.

Paralelamente a isso, aumentou de 19% para 22% o percentual de empresas inovadoras que declarou ter recebido algum tipo de apoio público para inovar. Saber o quanto do aumento na taxa de inovação se deveu à consolidação dos instrumentos de apoio à inovação no Brasil ou quanto esteve relacionado ao processo de crescimento da economia por si é fundamental para que o país possa calibrar esses instrumentos e fazer com que eles se tornem cada vez mais efetivos.

Laurent Bach – De maneira geral, os programas abordam uma questão específica no âmbito da política, procurando atingir setores específicos, agentes ou mecanismos. É difícil verificar o impacto de cada um deles na inovação como um todo, a menos que haja uma avaliação global da política de CT&I. No topo disso, a inovação depende também de muitos outros fatores. O primeiro de todos está relacionado com as condições econômicas. Mas estou certo de que há muitos exemplos em que o desempenho da inovação tem sido afetado positivamente pelas políticas de CT&I, dos programas de exploração de petróleo à indústria aeroespacial, incluindo a agricultura – como os programas do IAC relacionados à produção de cítricos e cana-de-açúcar que o Geopi já avaliou – ou meio ambiente. 

Sergio Salles-Filho - Quando você faz um cálculo que mostra que para cada real investido em um programa foram criados 5, 10, ou 15 reais, o argumento é muito forte. Um exemplo é a análise de custo/benefício do Programa Pipe [Pesquisa Inovativa em Pequenas Empresas] da Fapesp, conduzida pelo Geopi, que mostrou um retorno, em termos de faturamento das empresas, de 6 reais para cada real investido pela Fapesp e pela contrapartida das empresas.

Algumas organizações fazem isto sistematicamente e conseguem mais recursos porque em geral o investimento vale a pena. É um círculo virtuoso que precisa de impulso com bons argumentos. Este é um ótimo argumento.

Quando valoramos um investimento pelos intangíveis que ele cria e contabilizamos as possibilidades de materialização desses intangíveis na forma de bens e serviços, fica claro que inovação é fonte de criação de valor.

JU – Quais são os principais desafios do processo de avaliação do impacto dos programas e políticas? São questões mais conceituais ou práticas?

Fernanda De Negri - Do ponto de vista conceitual, é preciso, sempre que possível, mesclar boas análises sobre o desenho e a implementação do programa com avaliações dos seus impactos efetivos. A constatação de que uma determinada política não teve o impacto esperado é tanto mais relevante quanto mais se consiga avaliar as razões pelas quais os resultados não foram alcançados. Nesse sentido, é preciso complementar a análise de impacto (quantitativa) com uma boa avaliação sobre como a política foi desenhada e implementada.

Outra questão conceitual importante, relacionada com as análises de impacto, diz respeito a como mensurar os impactos das políticas, especificamente que indicadores utilizar para essa avaliação. Cada política tem seus objetivos específicos e a mensuração dos resultados deve ser adequada a eles.

Nas políticas de apoio à inovação, por exemplo, é comum medir o resultado das políticas por meio do seu impacto nos investimentos em P&D das empresas apoiadas. Um aumento nesses investimentos indicaria um efeito de adicionalidade da política, ao passo que uma redução sugeriria um efeito crowding out – o investimento público deslocando o investimento privado em inovação.

Da mesma forma, avaliar o impacto da política sobre o desempenho das empresas ou indivíduos apoiados – participantes do programa – pode não ser suficiente para dizer se a política foi eficaz nos seus objetivos agregados. É possível que uma política de financiamento destinada a ampliar os investimentos na economia tenha tido impactos significativos sobre o investimento das empresas apoiadas sem que isso tenha se refletido em uma ampliação no investimento agregado da economia, por diversas razões.

Além disso, é muito difícil dizer se o impacto e/ou resultado da política captado pelas metodologias quantitativas não foi influenciado por outras variáveis econômicas não levadas em conta pelo avaliador.

Em síntese, apesar de todos os avanços metodológicos recentes, inclusive os que buscam avaliar o impacto das políticas, econometricamente, por meio da medição do chamado “efeito do tratamento”, ainda assim isolar os efeitos da política ou programa continua sendo um desafio importante para o avaliador. Embora não forneçam todas as respostas, essas metodologias podem contribuir significativamente para a avaliação das políticas.

Do ponto de vista prático, talvez os principais desafios estejam relacionados com o convencimento dos órgãos responsáveis pelas políticas de que um processo de avaliação é necessário e benéfico para o ajuste dos instrumentos utilizados. Outro desafio diz respeito ao acesso às informações sobre as políticas. No caso brasileiro muitas vezes o próprio órgão responsável pelo programa ou política não possui essas informações devidamente sistematizadas.

Laurent Bach – Eu diria que são tanto teóricos como empíricos, mas não só. Eles são também institucionais, no sentido da integração da avaliação no dia a dia, bem como em rotinas de comportamento estratégico e de decisão política. Mas isso depende da área. Em alguns casos, a teoria está lá, a experiência empírica é desenvolvida, mas falta a avaliação ser institucionalizada, incluídas nas rotinas das organizações. Em particular, isto significa que o aprendizado político tem que ser desenvolvido, em uma estreita relação entre a avaliação da política e a decisão política.

Nessa perspectiva, coisas simples podem ser feitas, como não tentar reinventar tudo o tempo todo, manter um bom equilíbrio entre a avaliação simples e amplamente aceita, elaborando regularmente estudos mais específicos de fronteira da pesquisa e mantendo contato com estatísticas sistemáticas para análises de médio e de longo prazo; todos esses são os tijolos para a criação de um sistema de avaliação e as bases do aprendizado na forma de fazer política.

Em outras áreas, nas quais a teoria é desenvolvida ou emergente, a questão-chave é desenvolver a prática lado a lado com o desenvolvimento teórico. Penso que uma grande parte da fundamentação teórica da avaliação de CT&I vem da melhoria da compreensão do processo de pesquisa e inovação, ocorrida nos últimos 30 anos. Mas ainda há muito a ser “explorado” pelos avaliadores.

Para ser mais específico, há ainda alguns novos caminhos a serem abertos com base nesta aliança de aperfeiçoamento teórico e prático, por exemplo, no que diz respeito à avaliação das capacidades, da manutenção e ativação de opções científicas; do “cluster” dimensão – interações locais, levando aos distritos industriais, regiões de aprendizagem ou cidades criativas; o envolvimento de múltiplos intervenientes no processo de avaliação, o que chamamos na Europa de contexto “multi-multi”, como multi-níveis e multi-atores e, portanto, na política etc.

Sergio Salles-Filho - Diria que temos dois desafios mais importantes: aprimorar métodos para que sejam mais abrangentes com o leque de dimensões que deve ser avaliado – econômico, social, ambiental, político etc. – e criar rotinas nas organizações que tornem a avaliação de impactos uma prática que é parte inseparável de qualquer programa. Um programa, ou um projeto de CT&I, devem ter recursos previstos para isto desde a sua origem. Hoje quase ninguém faz isso. O resultado é que sempre medimos o quanto entra, nunca o quanto sai.

Continua na página 8