Impacto multidimensional da pesquisa: desenvolvimento e teste de um modelo para avaliação

Impacto multidimensional de la investigación: desarrollo y experimento de un modelo de evaluación

Resumo

Nas últimas décadas, as mudanças na ciência foram caracterizadas pela internacionalização e pela busca do impacto. Este artigo apresenta o processo de avaliação de impacto de 23 projetos de pesquisa do Programa Capes prInt, voltado para a internacionalização da ciência brasileira. O objetivo deste trabalho foi desenvolver um modelo de avaliação de impacto, aplicando-o experimentalmente. O desenvolvimento fundamentou-se nos textos científicos sobre modos de produção de conhecimento científico e avaliação de impacto. A avaliação revelou que, mesmo diante da pandemia da COVID-19, os projetos avançaram em suas metas de internacionalização. Os resultados indicaram a predominância de impactos relacionados à ciência e à educação, com um número significativo de projetos também indicando impactos sobre políticas públicas e práticas organizacionais. O artigo contribui para o conhecimento sobre modos de produção de conhecimento e sobre avaliação de impacto da pesquisa. Além disso, pode ser útil a diretores de instituições de pesquisa, gestores de pesquisa e pesquisadores interessados na questão da mensuração do impacto da pesquisa nas organizações e na sociedade.

Palavras-chave:
Impacto social da pesquisa; Relevância da pesquisa; Modos de produção de conhecimento; Avaliação de impacto da pesquisa; Internacionalização da pesquisa

Resumen

En las últimas décadas, los cambios en la ciencia se han caracterizado por la internacionalización y la búsqueda de impacto. El presente artículo presenta el proceso de evaluación de impacto de 23 proyectos de investigación del Programa Capes prInt destinados a la internacionalización de la ciencia brasileña. El objetivo de este trabajo fue desarrollar un modelo de evaluación de impacto aplicándolo experimentalmente. El desarrollo se basó en textos científicos sobre los modos de producción de conocimiento científico y evaluación de impacto. La evaluación reveló que, a pesar de la interferencia de la pandemia de COVID-19, los proyectos han avanzado en sus objetivos de internacionalización. En cuanto a los impactos, predominaron los relacionados con la ciencia y la educación, con un número significativo de proyectos que también indicaron impactos en las políticas públicas y las prácticas organizativas. El artículo contribuye a la comprensión de los modos de producción de conocimiento y a la medición del impacto de la investigación. Además, puede ser útil para directores de instituciones de investigación, gestores de investigación e investigadores interesados en medir el impacto de la investigación en las organizaciones y la sociedad.

Palabras clave:
Impacto social de la investigación; Relevancia de la investigación; Modo de producción de conocimiento; Evaluación del impacto de la investigación; Internacionalización de la investigación

Abstract

In recent decades, changes in science have been characterized by internationalization and the quest for impact. This article introduces the impact assessment process of 23 research projects of the Capes prInt Program aimed at internationalizing Brazilian science. This work developed an impact assessment model, applying it experimentally. The development was based on scientific texts on modes of production of scientific knowledge and impact assessment. The assessment revealed that, despite the COVID-19 pandemic, the projects have advanced in their internationalization goals. As for the impacts, those related to science and education predominated, with a significant number of projects also indicating impacts on public policies and organizational practices. The article adds to understanding modes of knowledge production and research impact measurement. Furthermore, it can be useful to directors of research institutions, research managers, and researchers interested in measuring the research impact on organizations and society.

Keywords:
Social impact of the research; Research relevance; Knowledge production mode; Research impact assessment; Internationalization of research

INTRODUÇÃO

Desde a década de 1990, um processo de mudança está em curso. Há uma busca por um alinhamento mais assertivo da pesquisa realizada no âmbito das universidades com as demandas sociais. No campo da Administração, a questão do impacto da pesquisa além da dimensão acadêmica tem sido objeto de editoriais de revistas internacionais, tais como Journal of International Business Studies (Bello & Kostova, 2012), Academy of Management Journal (George, 2016) e Journal of Management Studies (Wickert, 2021). No Brasil, a mesma questão tem sido objeto de diversos artigos de posicionamento no Cadernos EBAPE.BR (Costa, Machado, & Câmara, 2022), na Revista de Administração de Empresas (Lazzarini, 2017), na Revista de Administração Contemporânea (Mendes-da-Silva, 2019), na RAUSP Management Journal (Sandes-Guimarães & Hourneaux Junior, 2020) e em Organizações & Sociedade (Ventura & Davel, 2021). Os desafios trazidos pelas mudanças climáticas e pela pandemia da COVID-19, somados a questões sociais tradicionais, tais como desigualdade, violência urbana, saúde e educação, tornaram mais urgentes as mudanças.

Este artigo está inserido nesse contexto. O texto retrata o processo de avaliação de impacto de 23 projetos realizados na Fundação Getulio Vargas (FGV) no âmbito do Programa Capes prInt. Embora o programa tivesse como objetivo primário a internacionalização, os projetos analisados também contavam com objetivos relacionados à geração de impacto social e de benefícios para a sociedade. Além disso, a própria instituição manifesta interesse em aperfeiçoar o alinhamento de suas atividades de pesquisa com as demandas sociais.

A produção deste texto fundamentou-se no corpo teórico sobre modos de produção de conhecimento científico, que experimentou forte evolução a partir dos anos 1990 (e.g., Eisenhardt, Graebner, & Sonenstein, 2016; Etzkowitz & Leydesdorff, 1995; Etzkowitz, Webster, Gebhardt, & Terra, 2000; George, Howard-Grenville, Aparna, & Tihanyi, 2016; Gibbons et al., 1994) e, recentemente, apresentou desenvolvimentos sobre avaliação de impacto (e.g., Aguinis, Shapiro, Antonacopoulou, & Cummings, 2014; Reale et al., 2018; Wickert, Bartunek, & Daft, 2021).

O objetivo neste trabalho foi elaborar e aplicar um modelo de avaliação de impacto, aplicando-o experimentalmente em 23 projetos. Para atendê-lo, foi desenvolvido um método específico, o qual foi aplicado inicialmente a um caso piloto e, posteriormente, com adaptações, aos 23 projetos. As informações foram coletadas por meio de entrevistas realizadas com os líderes de projeto em 2021.

Este estudo ambiciona trazer contribuições para o conhecimento sobre modos alternativos de produção de conhecimento e para o conhecimento sobre a avaliação de impacto da pesquisa. Em termos práticos, espera-se que o método desenvolvido possa ser aplicado a outros grupos de projetos de pesquisa aplicada. Além da introdução, o artigo conta com seis seções: teoria, métodos, resultados, lições aprendidas, discussão e conclusão.

TEORIA

Esta seção apresenta, de forma sintética e direcionada, os dois corpos teóricos que sustentam o trabalho de avaliação de impacto realizado, incluindo, primeiro, os modos de produção de conhecimento e, segundo, a avaliação do impacto da pesquisa.

Na seção sobre os modos de produção de conhecimento, tomou-se como fonte o estudo de Wood, Souza, e Caldas (2022), baseado na abordagem bibliométrica da análise de rede de citações, o qual forneceu contribuições significativas ao tema. Nessa subseção, é ressaltado o trabalho de Gibbons et al. (1994), o qual acumulava, em dezembro de 2022, cerca de 22 mil citações no Google Scholar. De fato, sua caracterização dos modos 1 e 2 de produção de conhecimento é considerado um verdadeiro “ovo de colombo” e mantém sua relevância e aplicabilidade, mesmo após décadas de debates e críticas.

A seção sobre avaliação do impacto da pesquisa foi construída com recurso à pesquisa específica nas bases Ebsco, Web of Science e Google Scholar, focando os desenvolvimentos mais recentes sobre o tema. Nessa seção, destaca-se o trabalho de Wickert et al. (2021), o qual apresenta um modelo que tem sido citado em diferentes fóruns acadêmicos internacionais. Tal modelo emerge de várias contribuições anteriores, representando simultaneamente a síntese do “estado da arte” e um sistema com alto potencial para aplicação prática.

Procurou-se, assim, constituir uma base teórica para o desenvolvimento e proposição de um modelo de avaliação de projetos de pesquisa. Tal modelo resulta da combinação de desenvolvimentos anteriores, acrescida de um modo específico de operacionalização, e será apresentado em seções posteriores.

Modos de produção de conhecimento

Na década de 1990, ganhou relevo o questionamento sobre o modo tradicional de produção do conhecimento, o qual é focado na publicação de artigos científicos e, por sua vez, circunscrito à própria ciência. Em 1993, Funtowicz e Ravetz apresentaram o conceito de ciência pós-normal, cuja proposta era de que os acadêmicos envolvessem todos os que são afetados pelo problema de pesquisa em busca de soluções. Isso se daria em uma comunidade mais abrangente do que aquela composta somente pelos pares tradicionais.

Gibbons et al. (1994) identificaram a emergência de um novo modo de produção de conhecimento, denominado modo 2, em contraponto ao modo tradicional, denominado modo 1, o qual pouco conecta a produção do conhecimento com suas aplicações, uma vez que se restringe a uma comunidade acadêmica específica e seu controle é realizado por pares do próprio círculo disciplinar. Já o modo 2 valoriza a produção do conhecimento em conjunto com os praticantes, considerando, desde o início, as aplicações; seu caráter é multidisciplinar e a qualidade da pesquisa está associada ao impacto do trabalho não apenas entre os pares acadêmicos, visto que deve abranger muito além destes.

Ainda na década de 1990 e na década seguinte, surgiram os modelos hélice tripla - universidade, empresa e governo (Etzkowitz & Leydesdorff, 1995) -; ciência pós-acadêmica (Ziman, 1996); e universidade empreendedora (Etzkowitz et al., 2000). Tais modelos procuraram promover a aproximação entre rigor e relevância, propondo à academia o incremento da interação com atores externos.

Na área de Administração, Baldridge, Floyd, e Markóczy (2004) verificaram que, em uma amostra de 120 artigos publicados em periódicos de alto impacto, os mais citados foram aqueles considerados mais relevantes para a prática por um painel de gestores de organizações. Isso significa que a produção de conhecimento no modo tradicional tem grande potencial de impacto fora da academia, mas muitas vezes acaba não atingindo os atores interessados na pesquisa, por conexão e disseminação ineficientes. Diante disso, muitos autores passaram a enfatizar o diálogo com os praticantes (Amabile et al., 2001; Anderson, 2007; Eisenhardt et al., 2016; George, 2016; George et al., 2016; Hodgkinson, 2006; Kreiling & Paunov, 2021; Rynes, 2007).

Avaliação do impacto da pesquisa

A avaliação do impacto da pesquisa constitui matéria complexa. Entretanto, considerando a finalidade deste artigo, esta seção apresentará uma perspectiva sintética sobre o tema, sustentada em quatro componentes: a razão para mudanças na avaliação do impacto da pesquisa; as características do modelo tradicional de avaliação; o “experimento” do Reino Unido com os ciclos do Research Excellence Framework (REF) e a tendência de modelos multidimensionais de avaliação.

Por que avaliar o impacto da pesquisa? Pioneiros da ciência moderna, como Friedrich von Humbolt e Vannevar Bush, acreditavam que cientistas deveriam trabalhar com liberdade para escolher o que e como pesquisar. Eles partiam do pressuposto de que a autonomia seria suficiente para que a academia contribuísse em prol do bem comum com o seu trabalho (Wood & Caldas, 2020).

No entanto, a ideia da livre escolha que marcou o modo tradicional de fazer ciência enfrentou limites a partir do final do século XX. Em primeiro lugar, não havia recursos para todas as frentes de pesquisa, desse modo, seria preciso fazer escolhas. Assim, os governos começaram a direcionar os financiamentos para pesquisas que, supostamente, pudessem beneficiar a sociedade. Em segundo lugar, os problemas da sociedade tornaram-se mais complexos e passaram a exigir maiores conexões entre diferentes atores para encontrar soluções. Mais recentemente, os objetivos de desenvolvimento sustentável (ODS) da Organização das Nações Unidas (ONU) trouxeram consigo o conceito de “grandes desafios”, a requisitar dos pesquisadores a capacidade de lidar com problemas de natureza complexa e não linear (George et al., 2016), geralmente de forma transdisciplinar e com participantes de fora da academia.

Essa mudança exigiu transformações na forma de avaliar a pesquisa científica. No início, a ideia de total autonomia significava que os acadêmicos não seriam avaliados. Posteriormente, com a racionalização de recursos, surgiram os primeiros modelos de controle focados nas publicações científicas e nas patentes e, também, as métricas, como os indicadores de citações, de publicação e os fatores de impacto. Além desses, passaram a ser utilizados, também, os altmetrics, tais como os indicadores de downloads de artigos.

Com o tempo, ficou claro que essas métricas avaliavam apenas o impacto da pesquisa entre os próprios acadêmicos, não levavam em conta públicos mais amplos. O Reino Unido foi um dos pioneiros em criar um sistema de avaliação mais abrangente, com a implementação dos ciclos avaliativos do REF em 2008. O modelo britânico passou a focar o impacto além da academia, com uma avaliação baseada em uma metodologia qualitativa de estudos de caso demonstrando os efeitos nos beneficiários da pesquisa. Apesar de críticas ao modelo, estudos vêm apontando que o fato de os acadêmicos prepararem casos para serem submetidos ao REF já propicia uma melhor compreensão e engajamento em relação ao impacto, além de encorajar a colaboração interdisciplinar e as relações com os usuários da pesquisa (Manville et al., 2015).

Fortaleceu-se então a ideia de que modelos avaliativos de pesquisa devem contemplar diferentes grupos de interesse e diferentes tipos de impacto, com o uso de indicadores qualitativos e quantitativos. Uma pesquisa comissionada pela Academy of Management e realizada com seus membros revelou que, apesar de os pares ainda serem vistos como a audiência mais importante dos trabalhos de pesquisa, a maioria dos participantes considerava importante o impacto nas práticas tanto púbica quanto privada, bem como a necessidade de dialogar com gestores e membros do governo (Haley, Page, Pitsis, Rivas, & Yu, 2017).

Conceitualmente, modelos de avaliação de impacto podem envolver diferentes grupos de interesse (Aguinis et al., 2014). Assim, os tipos de impacto podem ser diversos: organizacional; econômico; ambiental; social; acadêmico; educacional; do campo de políticas públicas, saúde e inovação; acadêmico e educacional (Reale et al., 2018; Wickert et al., 2021).

Os modelos de avaliação podem também variar, visto que são considerados: primeiro, diferentes perspectivas (avaliar o processo todo de geração de impacto ou apenas os resultados); segundo, diferentes caminhos (da disseminação das contribuições à cocriação, ou mesmo ao protagonismo na mudança social) (Muhonen, Benneworth, & Olmos-Penuela, 2020); terceiro, distintas ferramentas (Reale et al., 2018); e quarto, diferentes indicadores (qualitativos e quantitativos).

Em uma revisão de literatura sobre a forma de avaliação de impacto da pesquisa, Reed et al. (2021) citam uma tipologia de sistemas e recomendam que as instituições criem um plano e um modelo de impacto baseado em seus objetivos (feedback formativo ou avaliação sumativa) e em seu contexto (tipos de impacto que interessam, recursos disponíveis etc.).

Esses novos modelos de avaliação são mais complexos em sua concepção e operacionalização em comparação com os tradicionais. Além disso, é difícil isolar o que de fato é resultado de pesquisa e o que são fatores externos que podem afetar os resultados.

No Brasil, a própria Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), fundação vinculada ao Ministério da Educação, responsável pelos cursos de pós-graduação no país, adotou em seu ciclo de avaliação de 2021 um modelo multidimensional que abrange, além de formação, pesquisa e internacionalização, as dimensões transferência de conhecimento, inovação, inserção regional e impacto na sociedade (Ministério da Educação e Cultura [MEC], 2019).

Considerando tal contexto e seus desafios, apresenta-se a seguir o percurso trilhado para o desenvolvimento do modelo de avaliação de impacto. Conforme mencionado anteriormente, tal modelo (ou ferramenta) resulta da combinação de desenvolvimentos anteriores, acrescida de um modo específico de operacionalização.

MÉTODOS

Esta seção apresenta a abordagem metodológica utilizada no presente artigo. Inicialmente é feita uma descrição do Programa Capes prInt e do Programa Capes prInt FGV, relacionando-os com os objetivos deste trabalho. Em seguida, são apresentados os métodos de coleta e análise de dados.

Os projetos do âmbito da FGV foram analisados em razão dos seguintes motivos: primeiro, interesse e abertura da organização pertencente à instituição quanto à realização da análise, em busca de aumentar o potencial de impacto de suas atividades de pesquisa; segundo, o fato de o programa ter sido realizado em parceria com o Reino Unido, cuja política de pesquisa é orientada para o impacto prático; terceiro, a diversidade em termos de áreas e temas entre os projetos; quarto, a relevância dos temas tratados nos projetos para a sociedade; e quinto, potencial elevado de geração de aprendizados.

Objeto

O Programa Capes prInt, ou Programa Institucional de Internacionalização (Print), é uma iniciativa da Capes. Segundo a instituição (MEC, 2019), o objetivo do programa é fomentar a internacionalização das instituições contempladas. Envolve, principalmente, a construção de redes internacionais de pesquisa e mobilidade de pesquisadores.

Cabe observar que o foco principal do Programa Capes prInt é a internacionalização. No entanto, apesar do incentivo ao impacto acadêmico, o programa abrangeu projetos que abordavam temas relevantes para a sociedade, com potencial de impactos em diferentes áreas. Barbosa et al. (2022), por exemplo, mostram como o programa ajudou a Unesp a reestruturar seus projetos acadêmicos de internacionalização em linha com a Agenda 2030 da ONU. Da mesma forma, o programa realizado na FGV buscou avançar na internacionalização e gerar benefícios para a sociedade.

O Projeto Capes prInt FGV compreendeu 23 projetos realizados no âmbito de sete escolas da instituição e envolveu cerca de 200 pesquisadores. O orçamento total foi de, aproximadamente, 15 milhões de reais. Os projetos abrangiam, entre outros temas, avaliação de políticas públicas; aperfeiçoamento da regulação econômica; aperfeiçoamento da gestão na educação, saúde e meio ambiente, fomento ao empreendedorismo, gestão urbana, inovação em gestão e digitalização. O período total de execução desse projeto foi de cinco anos.

Coleta e análise de dados

O trabalho de avaliação foi executado entre março e dezembro de 2021, período em que alguns projetos não se encontravam plenamente concluídos. O potencial de impacto de grande parte deles ainda não havia sido realizado de forma satisfatória. Tal condição foi vista positivamente pelos pesquisadores, isto é, como oportunidade de aprendizado adicional.

A avaliação foi realizada em seis etapas, por três avaliadores:

1. Entrevistas individuais com os responsáveis pelos projetos, conduzidas por um avaliador;

2. Utilização de um roteiro padrão, por meio do qual os diversos itens foram pontuados de acordo com as respostas, utilizando um “gabarito” com parametrização das respostas e exemplos ilustrativos;

3. Gravação das entrevistas e posterior audição por mais dois avaliadores, que também pontuaram diversos itens, utilizando os mesmos recursos de avaliação;

4. “Triangulação” das entrevistas com documentos e discussão de eventuais divergências na avaliação, convergindo para resultados únicos e gerando um dashboard para cada projeto;

5. Envio dos dashboards aos responsáveis pelos projetos, para validação dos resultados;

6. Com base nos dashboards, é atribuída uma classificação a cada projeto de acordo com o momento presente, além de projeção para três anos. Com isso, foram criados dois “portfólios de projetos”, um para o momento atual e o outro para três anos.

A avaliação compreendeu três blocos de informações. O primeiro bloco diz respeito a informações gerais de identificação do projeto, complementadas por indicações do impacto - conforme percebido por cada entrevistado - e pelas metas “intermediárias” (ou internas) de cada projeto, em que foram contempladas as atividades de internacionalização.

O segundo bloco consiste no modo de produção do conhecimento (Gibbons et al., 1994). O objetivo era mensurar a proximidade da condução do projeto com a abordagem mais tradicional - orientado para a academia, disciplinar e para a publicação em periódicos de topo - ou, de forma inversa, a aproximação com os modos alternativos - multidisciplinar ou transdisciplinar e orientados para a prática.

O uso do modelo (modo 1 e modo 2) de Gibbons et al. (1994) justifica-se por sua relevância e reconhecimento. O modelo tem destaque nos artigos sobre o tema da produção de conhecimento, tendo originado amplo debate no início dos anos 2000 e na década seguinte (veja Hodgkinson, Herriot, & Anderson, 2001; Hodgkinson & Starkey, 2011; Pettigrew, 2001; Starkey & Madan, 2001; Willmott, 2012). Parte relevante da crítica focou a suposta natureza dicotômica do modelo, levando à defesa, com base nesse argumento, da possibilidade de um modo híbrido, ou modo 1,5 (Huff, 2000). De fato, como se explicitará adiante, os achados do presente estudo alinham-se com essa proposta, o que não parece limitar a utilidade do modelo original de Gibbons et al. (1994).

O terceiro bloco está associado diretamente ao impacto em cinco dimensões: científica, prática, social, de políticas públicas e educacional (Wickert et al., 2021). Além de identificar o tipo, ou os tipos, de impacto gerados, com esse bloco também se buscava identificar o grau de realização, a abrangência e a intensidade dos diversos tipos de impacto.

O uso do modelo de dimensões de Wickert et al. (2021) justifica-se por seu crescente reconhecimento entre acadêmicos, por sua simplicidade e pela adequação dessas dimensões ao objeto de estudo, o qual constitui-se de projetos de ciência social aplicada. Além disso, ele parece representar o ápice de um processo de desenvolvimento teórico no tema, com foco na multidimensionalidade do impacto. De fato, na pesquisa bibliográfica realizada, foram encontrados textos que tratam da multidimensionalidade do impacto da pesquisa (Razmgir, Panahi, Ghalichi, Mousavi, & Sedghi, 2021; Reale et al., 2018; Reed et al., 2021). Pode-se afirmar que, vistos em conjunto, esses textos sustentam o modelo de Wickert et al. (2021), uma vez que apresentam lógica similar, diferindo nas dimensões indicadas. Em síntese, o modelo de Wickert et al. (2021) apresenta vantagens pelas dimensões que utiliza e por conter elementos que facilitam sua operacionalização no contexto do presente estudo. Obviamente, estudos realizados em contexto diferente poderão rever ou adicionar dimensões de impacto.

Para as questões dos dois últimos blocos foram criados “gabaritos” com parâmetros e exemplos de respostas. O entrevistador fazia uma pergunta aberta e, de acordo com a resposta do entrevistado, localizava a característica do projeto em um dos níveis ou classificações pré-definidos do “gabarito”. Tais partes dessas entrevistas foram preparadas com base em um método desenvolvido por Bloom e Van Reenen (2006).

Para avaliação do impacto dos projetos, foi utilizado um modelo multidimensional (reproduzido na Figura 1) adaptado de Wickert et al. (2021). No caso do impacto científico, considera-se a publicação de um artigo científico em periódico bem qualificado e/ou com alto número de citações. O impacto organizacional leva em conta mudanças em procedimentos, processos e práticas, os quais geram benefícios para as organizações. O impacto social diz respeito a mudanças em procedimentos, processos e práticas que geram benefícios para a sociedade. O impacto em políticas públicas se relaciona a mudanças em políticas públicas que tratam de temas sociais relevantes (ou sua criação). O impacto educacional geralmente está associado à produção de material didático ou de conteúdos que apoiam e inovam processos de ensino e aprendizagem.

Figura 1
Dimensões de impacto da pesquisa

A principal adaptação em relação ao modelo original refere-se à troca de denominação, qual seja: de impacto prático para impacto organizacional. O modelo original utiliza o termo impacto prático para se referir ao impacto sobre as organizações. A troca foi feita visando maior clareza do termo, uma vez que “impacto prático” poderia também ser entendido como relacionado a outras dimensões, como a social. Além disso, o termo scholarly foi traduzido para científico; social (mais abrangente e de uso comum) foi adotado em lugar de societal (que poderia ser associado às relações sociais, embora também se refira à sociedade de forma geral). O Quadro 1 apresenta uma síntese do “gabarito”, mostrando, a título de exemplo, duas evidências utilizadas para cada tipo de impacto.

Quadro 1
Evidências de impacto: exemplos

Cabe observar que um projeto de pesquisa pode gerar impactos simultâneos em várias dessas dimensões. Como apoio ao modelo, de forma a facilitar a tarefa dos avaliadores, foi criado um quadro com exemplos para cada dimensão de impacto e exemplos de evidências também para cada dimensão, adaptado do modelo REF (2020).

Conforme indicado no início da presente seção, para cada projeto foi criado um dashboard com uma síntese das informações. Os dashboards foram enviados ao líder do projeto, para aprovação, com a introdução de pequenas alterações após o retorno de alguns líderes de projetos. O objetivo foi prover uma visão concisa das caraterísticas e impacto dos projetos. Na Figura 2, tem-se a ilustração de um dashboard não preenchido.

Figura 2
Dashboard

Além do dashboard, foi também criado um portfólio de projetos, visando prover uma visão geral de todos eles. Para facilitar a visualização e a análise, foi escolhido o tradicional formato de matriz 2x2, no qual o eixo Y foi destinado ao impacto potencial versus real e o eixo X foi destinado ao impacto acadêmico versus prático. O impacto acadêmico compreendeu duas dimensões: científica e educacional. O impacto prático compreendeu três dimensões: prática, social e em políticas públicas.

RESULTADOS

Atendimento das metas de internacionalização

Uma análise das atividades de internacionalização indica que as metas específicas foram parcialmente comprometidas, pois a mobilidade de pesquisadores foi fortemente impactada pela pandemia de COVID-19. Missões, bolsas, workshops, visitas de professores, participações em congressos não puderam, em grande parte, ser realizados por causa do novo coronavírus. Segundo a percepção dos 23 entrevistados, 14 projetos tiveram grau baixo de atendimento de metas; 7 projetos tiveram grau médio; e apenas 2 projetos tiveram grau alto. No entanto, grande parte dos projetos de pesquisa conseguiu fortalecer o intercâmbio internacional por meios virtuais de interação. Portanto pode-se concluir que, mesmo diante de um contexto excepcional, houve progressos significativos na internacionalização, o que permitiu estabelecer bases para o aprofundamento dos processos cooperativos.

Modo de produção do conhecimento

A compilação das respostas às questões do bloco relacionado ao modo de produção de conhecimento possibilitou criar uma síntese geral dos 23 projetos, conforme apresentado no Quadro 2.

Quadro 2
Modo de produção do conhecimento

A maioria dos projetos teve foco científico, foi realizada unicamente por acadêmicos e se inseria em disciplina única. Um relevante número de projetos utilizou conhecimentos de outras disciplinas. Na disseminação, houve utilização de periódicos científicos, veículos orientados para praticantes e comunicação direta a praticantes.

Esse resultado reflete a prática de modelos híbridos de produção de conhecimento, que combinam elementos do modo 1 e do modo 2. Aproxima-se, portanto, da proposta de Huff (2000), visto que os projetos tomam, frequentemente, como ponto de partida temas relevantes para a prática; a pesquisa é desenvolvida no âmbito da academia, com pouca participação de praticantes; há contribuições constantes de outras disciplinas; e divulgação dos resultados em múltiplos canais, tanto na academia quanto externamente. Ou seja, a condução dos projetos se distanciou em algumas práticas do modo 1, sem adotar plenamente práticas do modo 2.

Impactos dos projetos

A compilação das respostas às questões do bloco relacionado ao impacto possibilitou criar uma síntese geral dos 23 projetos. Os quadros 3a, 3b e 3c apresentam esta síntese.

Quadro 3A
Grau de realização do impacto

Quadro 3B
Grau de amplitude do impacto

Quadro 3C
Grau de contribuição do impacto

Com base na análise do quadro, alguns resultados podem ser destacados por tipo de impacto:

Científico: a maioria dos projetos gerou publicações ou possui textos em processo de avaliação em periódicos internacionais de topo;

• Educacional: a maioria dos projetos resultou em materiais didáticos, disciplinas, cursos e novas linhas de pós-graduação, porém, o impacto ainda se restringe às escolas da FGV;

• Em políticas públicas: vários projetos (especialmente em Economia) influenciaram debates nacionais e também nas mudanças relativas à política monetária e fiscal do país. Apesar dessa influência, a maioria deles ainda não gerou impacto, o que pode vir a ocorrer no futuro;

• Organizacional: foi observado em poucos projetos, fato que pode ter sido potencializado por maior proximidade com “praticantes”;

• Social: muitos projetos apresentam tal potencial, mas sua efetivação dependerá de ações complementares de disseminação e mobilização de tomadores de decisão.

Os resultados revelam significativos impactos acadêmicos (científicos e educacionais) e relativamente poucos impactos práticos (em políticas públicas, organizacionais e sociais). O achado é coerente com menções encontradas na teoria sobre a questão da temporalidade: pesquisas que almejam ou têm potencial para gerar mudanças “no mundo real” podem ter um tempo de maturação longo, dependendo da ação de múltiplos agentes (Bornmann, Haunschild, & Adams, 2019; Lauronen, 2020). Vale lembrar que, no momento da avaliação, a maior parte do projeto havia sido encerrada há poucos meses.

Exemplos de impacto

As entrevistas permitiram também identificar diversos casos notáveis de impacto, compreendendo impactos sobre políticas públicas, práticas organizacionais, debates públicos e práticas educacionais. O Quadro 4 traz alguns exemplos notáveis.

Quadro 4
Exemplos de impacto prático

Os resultados revelam que esses projetos tiveram significativo impacto prático, principalmente se considerarmos, como observado anteriormente, que este tipo de impacto costuma apresentar longo tempo de maturação. Há de se considerar, no entanto, o peso institucional da FGV, bem como sua influência no debate de políticas públicas, notadamente na área da Economia. Tal condição, obviamente, favorece a geração de impactos práticos. Considerando o histórico da instituição, tal condição pode ser difícil de reproduzir.

No entanto, outras instituições, especialmente as universidades públicas estaduais e federais, também têm poder (real ou potencial) de influência em suas comunidades, sejam regiões ou estados. Outras, com escopo mais específico de atuação, como Fiocruz, Cebrap, Ipea, Embrapa e Embrapii, contam também com reputação e meios para alavancar (ainda mais) a influência de suas pesquisas e gerar impactos sobre a prática.

Portfólio de projetos

Conforme indicado anteriormente, a preparação do portfólio de projetos visou prover uma visão geral das 23 iniciativas abrangidas pelo projeto Capes prInt FGV. A Figura 3a mostra a distribuição dos projetos (representados por números) durante a análise realizada no segundo semestre de 2021. A Figura 3b traz uma projeção feita pelos líderes de projeto para os próximos três anos.

Figura 3A
Portfólio de projetos: 2021

Figura 3B
Portfolio de projetos: projeção 2024

A Figura 3a indica uma forte concentração de projetos na célula de impacto acadêmico real, apontando a predominância da orientação acadêmica e o atendimento do impacto acadêmico (especificamente, publicações); e, também, um número significativo de projetos com potencial para impacto prático.

A comparação entre as duas figuras revela uma perspectiva otimista dos líderes de projeto quanto à geração de impactos práticos. Apenas três projetos ficaram restritos ao impacto acadêmico. Na visão dos líderes, os demais vinte projetos terão, em um prazo de três anos, gerado algum tipo de impacto prático.

Essa visão deve ser celebrada. Entretanto, deve-se considerar que a passagem de impacto potencial para impacto real exigirá, ainda, dos líderes e suas equipes um esforço adicional de comunicação e influência de agentes externos. De fato, essa parece ser uma questão chave para a geração do impacto, de modo que será abordada na seção seguinte.

LIÇÕES APRENDIDAS

Esta seção trata de quatro temas que emergiram da análise dos resultados da avaliação de impacto dos 23 projetos. A primeira refere-se ao timing da avaliação. A segunda e a terceira referem-se a questões relacionadas ao modo de produção de conhecimento. A última refere-se às diferenças entre campos de conhecimento.

A avaliação ocorreu antes do ápice de impacto em vários projetos

Projetos de pesquisa podem ter ciclos longos, desde a concepção até a publicação de artigos científicos e constatações de impacto, seja ele acadêmico ou prático. A maioria dos projetos avaliados neste estudo havia se encerrado no momento da análise ou estava próximo do encerramento, porém, ainda em fase preliminar de disseminação.

Tal condição limita o impacto e sua avaliação, sem, no entanto, impedi-los. Isso ocorre por duas razões: primeiro, porque alguns dos projetos analisados tiveram ciclos mais curtos; segundo, porque determinados impactos podem ocorrer ao longo da realização do projeto, até mesmo em fases iniciais.

Cabe observar que características das dimensões podem condicionar tempos distintos para realização do impacto. Por exemplo, enquanto o impacto educacional pode ocorrer rapidamente por meio da criação de cursos e disciplinas, o impacto social normalmente demora a ocorrer. Modelos de avaliação focados nos resultados em um determinado período, como no caso em questão, não conseguem captar toda a trajetória de impacto. Uma solução para esse problema seria combinar a avaliação de resultados com a avaliação do processo de produção de impacto (Reale et al., 2018).

O modo tradicional de produção de conhecimento é predominante

A análise do conjunto dos projetos revelou que o modo tradicional de produção de conhecimento é predominante. Dentre os projetos analisados, 16 tiveram enfoque científico, enquanto apenas 5 apresentaram foco aplicável e 2, foco aplicado. Ao mesmo tempo que 21 projetos foram desenvolvidos unicamente por acadêmicos, apenas 2 tiveram a participação de acadêmicos apoiados por praticantes. Não houve nenhum projeto realizado em regime de cocriação do conhecimento. Vinte projetos foram desenvolvidos dentro de uma disciplina ou de uma disciplina com subsídios de outras, enquanto apenas 3 apresentaram caráter multidisciplinar ou transdisciplinar.

É possível notar sinais de mudança em relação à disseminação do conhecimento. Embora todos os projetos foquem periódicos científicos, como esperado, em virtude do caráter do projeto Capes prInt, parte deles foca também mídias e periódicos para praticantes (10 projetos) e comunicação direta aos praticantes (8 projetos).

Como alguns estudos já mostraram (e.g., Haley et al., 2017), apesar de haver um despertar, entre os acadêmicos, para a importância de outros públicos, seus pares e métricas tradicionais de avaliação ainda são priorizados. Em grande parte, isso ocorre porque as próprias instituições para as quais trabalham - e muitas vezes também as entidades governamentais que financiam a pesquisa - estimulam mais o esforço de publicar em periódicos de alto impacto do que as dimensões do impacto prático.

A disseminação e a influência sobre a prática ainda são esparsas

Apesar dos números mencionados no parágrafo anterior, de forma geral a disseminação e a influência ainda são modestas. As entrevistas revelaram que um número significativo de pesquisadores ainda não percebe sua atividade como “empreendimento”, uma vez que o atendimento dos objetivos societais depende da realização de atividades complementares à pesquisa. Como padrão, tem-se ainda um isolamento acadêmico, com pouco tempo destinado a atividades de conexão com agentes externos.

Baldridge et al. (2004) demonstraram que as pesquisas realizadas por meio da abordagem tradicional podem trazer contribuições para a prática, porém falta alcançá-la. No Brasil, Lazzarini (2017) e Mendes-da-Silva (2019) chamaram a atenção para a necessidade de abertura de mais canais de comunicação entre o público acadêmico e o das organizações, ecoando, assim, as propostas de seus colegas estrangeiros.

Naturalmente, uma mudança em direção a uma maior conexão com a prática não é trivial. Depende da aquisição de novas competências - de comunicação, negociação e influência, entre outras - e da alocação de tempo (recurso sempre escasso) em tarefas que, para muitos pesquisadores, não constituem seu núcleo central de atividades.

É importante, nesse caso, criar uma cultura de impacto. No Reino Unido, após mais de uma década de implementação do REF, isso já vem ocorrendo (Manville et al., 2015). No entanto, persistem dificuldades básicas, como entender o que de fato é impacto. Pesquisa de Samuel e Derrick (2015) com avaliadores do REF mostrou haver diferentes percepções de impacto. Na avaliação conduzida no presente estudo, os entrevistados também demonstraram entendimentos muito distintos a esse respeito. Para muitos, impacto seriam missões e bolsas de intercâmbio internacional, fatores que o modelo de avaliação considera como metas intermediárias que podem levar a impacto.

Os campos de conhecimento se diferenciam em termos de conexão com a prática

A realização das entrevistas fez notar diferenças nos processos de geração de conhecimento e comunicação entre campos de conhecimento. Tal condição pode ser relacionada a diversos fatores, mais presentes em determinados campos do que em outros, tais como: a presença de uma “massa crítica” de doutores atuando em organizações, facilitando o contato com acadêmicos; a existência de uma cultura de valorização da ciência entre praticantes; e a existência de associações, eventos e publicações que conectam acadêmicos e praticantes.

Os campos de conhecimento que apresentam essas características podem explorá-las em seu benefício, utilizando tais canais para, primeiro, facilitar trabalhos colaborativos, também envolvendo a cocriação de conhecimento; e, segundo, comunicar de forma mais fluida seus achados, potencializando assim seu impacto.

DISCUSSÃO

Esta seção apresenta as contribuições para a teoria e para a prática. Espera-se que este trabalho tenha contribuído para a construção de modelos que atendam às demandas de instituições de pesquisa, financiadores e reguladores.

Contribuições para a teoria

Este texto dialoga com a literatura sobre modos alternativos de produção de conhecimento (e.g., Eisenhardt et al., 2016; Etzkowitz & Leydesdorff, 1995; Etzkowitz et al., 2000; George et al., 2016; Gibbons et al., 1994). Mais especificamente, contribui com um caso real, que ilustra uma condição híbrida, a qual poderia ser descrita metaforicamente como de bricolagem e na qual características do modo tradicional e de novos modos se combinam. Assim, mostra, na prática, o que teóricos como Huff (2000) esboçaram conceitualmente.

Este texto também dialoga com a literatura sobre avaliação de impacto da pesquisa, ao apresentar um método desenvolvido para um fim e um ambiente determinado e sua aplicação. Apesar de sua especificidade, o caso agrega conhecimento, especialmente ao corpo teórico que trata de abordagens multidimensionais para avaliação de impacto (e.g., Razmgir et al., 2021; Reale et al., 2018; Reed et al., 2021). Avaliar o impacto da pesquisa constitui um grande desafio, em virtude de, dadas as características da atividade, ele ocorrer em um sistema separado do sistema acadêmico e de o processo ter longa maturação e sofrer a influência de múltiplos agentes.

Este estudo demonstra a utilização de um modelo de avaliação de impacto que pode ser aplicado de forma padronizada para diferentes áreas de conhecimento em ciências sociais. O sistema apresenta, ainda, custo-efetividade e permite considerar os tempos de maturação de acordo com diferentes dimensões de impacto.

Além disso, este estudo contribui para elucidar a suposta contradição entre rigor e relevância ou, especificamente neste caso, possíveis conflitos entre o objetivo de internacionalização e os objetivos relacionados a impactos práticos e benefícios para a sociedade e as organizações.

Tais objetivos - internacionalização e geração de impacto - podem eventualmente ser vistos como contraditórios. O primeiro leva supostamente à priorização de um tipo de impacto, o científico, e à busca de publicações em periódicos internacionais de topo. O segundo leva supostamente à priorização de temas ligados a questões de organizações, economia, cultura, políticas públicas, tecnologia e outras dimensões societais. Poder-se-ia afirmar que o primeiro objetivo foca o rigor; o segundo, a relevância.

De fato, esta suposta dicotomia tem sido discutida exaustivamente (para uma revisão histórica, veja Wood et al., 2022). Embora o debate não tenha convergido para uma conclusão definitiva, tendeu há algum tempo para uma perspectiva integradora (Pettigrew, 2001, 2011; Starkey & Madan, 2001). Isso se explica, primeiro, pelo fato de a relevância e o rigor caracterizarem alta qualidade, constituindo sua busca desafios a serem perseguido pelos pesquisadores. Durante muito tempo, pesquisadores defenderam que o rigor científico e a relevância prática constituem diferentes paradigmas ou sistemas de produção de conhecimento (Astley & Zammuto, 1992; Kieser & Leiner, 2009; Rynes, Bartunek, & Daft, 2001). Conforme observado por Wood, Holz, e Souza (2022), esta perspectiva levou à identificação e análise de mecanismos que conectam os dois sistemas (e.g., Rolfsen, Johnsen, & Knutstad, 2007; Tenkasi & Hay, 2004). Segundo, porque, conforme indicam os modelos mais recentes de avaliação de impacto (e.g., Wickert et al., 2021), as pesquisas frequentemente atingem diferentes tipos de impacto, por exemplo: científico e organizacional, ou educacional e social. Pode-se arguir, portanto, que se trata de decisão do pesquisador ou times de pesquisa, consideradas naturalmente as restrições institucionais e ambientais, bem como os desafios inerentes à tarefa.

Contribuições para a prática

Várias lições foram aprendidas com a análise dos resultados dos 23 projetos, as quais serão destacadas e comentadas a seguir. Algumas delas referem-se à instituição realizadora dos projetos, a FGV; enquanto outras se referem ao órgão financiador, a Capes. Em seu conjunto, essas lições representam uma contribuição potencial para agências de fomento à pesquisa, gestores de pesquisa e pesquisadores.

I Disseminar e fomentar modos alternativos de geração de conhecimento, focados na resolução de desafios reais, caracterizados pela multidisciplinaridade ou transdisciplinaridade, pela cocriação de conhecimento com praticantes e disseminados para praticantes

O estudo de avaliação de impacto constatou a predominância do modo tradicional de geração de conhecimento, isto é, com temas que “nascem” no âmbito da academia, são desenvolvidos dentro de disciplinas especificas e encerram seu ciclo com a publicação de um artigo em revista científica voltada para pesquisadores.

A utilização de modos alternativos de geração de conhecimento poderia orientar a pesquisa a temas de maior relevância prática e social e potencializar o impacto nas organizações, nas políticas públicas e na sociedade.

II Fomentar os impactos práticos - organizacionais, sociais e em políticas públicas - em paralelo com os impactos acadêmicos - científicos e educacionais

As entrevistas revelaram que o principal alvo dos pesquisadores está na ciência, isto é, sua principal motivação é gerar artigos que possam ser publicados em periódicos internacionais de topo. Complementarmente, os pesquisadores focam o desenvolvimento de conteúdos didáticos, cursos e programas. Obviamente estes objetivos são nobres. Além disso, são relativamente mais fáceis de atingir, pois se alinham com as próprias atividades dos agentes: a pesquisa e o ensino.

Entretanto, a necessidade de tornar a ciência mais responsiva às demandas da sociedade leva a outra classe de impactos. Orientar os esforços para a geração de impactos organizacionais, sociais e em políticas públicas torna-se prioridade. Isso significa valorizar essa classe de impactos, orientar os pesquisadores a persegui-los e criar as condições institucionais para apoiá-los.

III Fomentar atividades pós-projeto que potencializem o impacto prático: disseminação, mobilização de atores sociais etc.

Este estudo constatou que um número significativo de projetos encontra-se em fase de “projeto aplicável”, isto é, trataram de tema relevante e geraram conhecimentos e produtos com potencial para alterar práticas organizacionais, práticas sociais ou políticas públicas. O que separa o impacto potencial do impacto realizado é um esforço adicional, por exemplo, de disseminação e mobilização de atores sociais.

Deve-se considerar que estas não são “atividades naturais” para pesquisadores. Para muitos destes, realizá-las significa sair de sua zona de conforto, o que exige competências de comunicação e negociação que podem ser desafiadoras.

IV Fomentar práticas e cultura de avaliação multidimensional do impacto de projetos de pesquisa, com base em evidências e em intervalos de tempo predeterminados

A cultura acadêmica, isto é, os valores básicos, crenças e práticas que caracterizam o ambiente universitário pressupõem tradicionalmente uma perspectiva monotônica sobre o impacto. Essa cultura, por todos os seus meios, condiciona os pesquisadores a perseguir o impacto na ciência. Isso ocorre por meio de pesquisas inovadoras, rigorosas e que contribuam para avançar a fronteira do conhecimento.

A realização de pesquisas com impacto prático, voltadas para a solução de problemas reais e urgentes, demanda a incorporação de outras dimensões relacionadas ao impacto - o educacional e os que se dão nas práticas organizacionais, sociais e nas políticas públicas. Além disso, é preciso introduzir sistemas que meçam tais impactos. Há muitas décadas, o impacto científico tem sido medido, apresentando uma tradição de formas de mensuração e indicadores. É necessário criar o equivalente para as outras dimensões de impacto. Obviamente, sua característica levará à adoção de indicadores qualitativos e à aceitação de certo grau de subjetividade na mensuração.

Cabe observar que criação de indicadores e sua operacionalização não é tarefa trivial. Relatório publicado por instituição que trata do tema, a Association to Advance Collegiate Schools of Business (AACSB), revela dezenas de indicadores (AACSB, 2012). De fato, o impacto da pesquisa é um construto multidimensional. Além disso, ele pode ocorrer ao longo do tempo, sendo resultado de múltiplas interações com diferentes agentes. A medição, também, pode absorver tempo e recursos consideráveis. No entanto, conforme argumenta Smith, (2001), medir o impacto social da pesquisa é difícil, porém necessário. O REF (2020), do Reino Unido, demanda às universidades casos que demonstrem impacto prático. Sua avaliação é considerada uma das mais abrangentes do mundo, o que lhe confere uma ampla e reconhecida experiência. O presente estudo fundamentou-se nessa abordagem, porém, adicionando uma parametrização das respostas. O procedimento demostrou ser viável e aplicável a diferentes campos. Resta a futuros estudos enfrentar o desafio de desdobrar as avaliações e indicadores.

V Reconhecer as diferenças entre campos do conhecimento, potencializando as características que lhes são específicas e constituem vantagens para a geração de impacto

Conforme observado na seção de discussão, a avaliação dos projetos levou à observação de diferenças nos processos de geração e comunicação entre campos de conhecimento. Mais especificamente, verificou-se, por exemplo, uma maior aproximação entre acadêmicos e praticantes no campo da economia comparativamente ao campo da administração. Tal condição facilita, para os economistas, a “conexão com a prática”, ou seja, permite que acadêmicos transmitam com maior facilidade suas ideias e teorias ao mundo exterior à academia.

Tal condição pode ser utilizada a favor dos economistas, em processos associados à pesquisa aplicada, potencializando e agilizando o impacto prático. Além disso, administradores, advogados e outros pesquisadores podem se inspirar em tais contexto e práticas e buscar replicá-las em seus campos. Convém observar que não se trata de emular condições institucionais, o que talvez seja inviável, porém, de procurar adaptar criativamente determinadas práticas.

VI Fomentar o uso da Teoria da Mudança em editais, induzindo os proponentes a relacionar atividades, produtos, resultados, impactos

Este estudo constatou uma relação frágil e nebulosa entre os diferentes outputs gerados por um projeto de pesquisa. Sugere-se a adoção da Teoria da Mudança, para uma melhor estruturação das propostas de projetos, bem como para facilitar sua análise. Conforme conceituação de Vogel (2012), a Teoria da Mudança é um processo que descreve uma sequência de eventos que leva aos resultados almejados, considerando determinados contexto e pressupostos. Recomendamos especificamente o modelo utilizado pela Universidade de Warwick, que sintetiza essa sequência em uma figura que se baseia em atividades que geram produtos, os quais, por sua vez, geram resultados que levam a impactos mais amplos (veja Warwick Institute for Global Sustainable Development, 2021). Acredita-se que a incorporação dessa abordagem permita que líderes de projeto transmitam com maior clareza o que ambicionam realizar, em termos de impacto, fornecendo aos avaliadores uma ideia mais bem informada sobre o potencial e o alcance do impacto do projeto.

CONCLUSÃO

Síntese

Este estudo estabeleceu um método e procurou caracterizar o modo de geração de conhecimento e os impactos de 23 projetos de pesquisa realizados no âmbito do programa Capes prInt. Constatou-se que os projetos, em conjunto, progrediram em seus objetivos de internacionalização. Constatou-se também que muitos projetos já geraram impacto acadêmico e a maioria tem potencial para somar o impacto prático ao impacto acadêmico. O texto apresentou um quadro sobre o modo de produção de conhecimento utilizado e uma análise estruturada dos impactos atingidos, incluindo exemplos.

Limites e futuras pesquisas

Este artigo baseou-se em um caso único, de uma instituição específica. Seus autores creem que a riqueza do caso gerou aprendizados interessantes e valiosos. No entanto, trata-se de caso único, a demandar que novos estudos lhe deem sequência.

Visando adicionar conhecimento baseado em características específicas de outros campos de pesquisa, poderiam ser realizados estudos em outras instituições, possivelmente envolvidas com projetos mais fortemente caracterizados como hard science.

Com o intuito de acompanhar o impacto de projetos de pesquisa ao longo do tempo, poderiam ser conduzidos estudos longitudinais.

Possivelmente em estudos de caso aprofundados, seriam investigados os fatores de sucesso para geração de impacto prático, ou seja, quais atividades e competências deveriam ser incorporadas pelos pesquisadores visando maximizar o potencial de seus projetos e gerar mudanças e benefícios para as organizações, políticas públicas e a sociedade em geral.

Futuros estudos poderiam incluir, além da percepção dos líderes de projetos, as percepções de grupos de interesse, e/ou “clientes” relacionados aos projetos.

Comentário final

Existem crescentes expectativas e demandas da sociedade para que acadêmicos participem da busca de solução de problemas complexos. Programas como o Capes prInt são realizados com recursos públicos, que devem ser revertidos em benefícios das organizações e da sociedade.

Nesse caso, a colaboração entre acadêmicos e praticantes é essencial. Entretanto, estes dois grupos pertencem a sistemas separados e distintos. Eles são movidos por diferentes interesses, têm ritmos diferentes de trabalho e, frequentemente, apresentam visões distintas quanto a que, a quem e como os recursos de pesquisa devem ser direcionados. Solucionar esse conflito não é tarefa trivial. Os autores deste artigo desejam que os aprendizados aqui partilhados estimulem colegas a aprofundar o conhecimento sobre novos modos de produção de conhecimento e, principalmente, a incorporar mecanismos de conexão com a prática às suas próprias pesquisas.

AGRADECIMENTOS

Os autores agradecem à Rede de Pesquisa, da FGV, pelo apoio financeiro dado a Adriana Wilner e aos assistentes de pesquisa, Amanda Gross e Vanessa dos Santos, para condução do trabalho de campo. Os autores também agradecem aos comentários de Livio Amaral, sobre uma versão inicial deste texto, e aos avaliadores e revisores de Cadernos EBAPE.BR, pelo trabalho detalhado e construtivo realizado.

REFERÊNCIAS

• Aguinis, H., Shapiro, D. L., Antonacopoulou, E. P., & Cummings, T. G. (2014). Scholarly impact: a pluralist conceptualization. Academy of Management Learning and Education, 13(4), 623-639. Recuperado dehttp://dx.doi.org/10.5465/amle.2014.0121
  » https://doi.org/10.5465/amle.2014.0121
• Amabile, T. M., Patterson, C., Mueller, J., Wojcik, T., Odomirok, P., Marsh, M … Kramer, S.. (2001). Academic-practitioner collaboration in management research: a case of cross-profession collaboration. Academy of Management Journal, 44(2), 418-431. Recuperado dehttp://doi.org/10.5465/3069464
  » https://doi.org/10.5465/3069464
• Anderson, N. (2007). The practitioner-researcher divide revisited: strategic-level bridges and the roles of IWO psychologists. Journal of Occupational and Organizational Psychology, 80(2), 175-183. Recuperado dehttp://doi.org/10.1348/096317907X187237
  » https://doi.org/10.1348/096317907X187237
• Astley W. G., & Zammuto, R. F. (1992). Organization science, managers, and language games. Organization Science, 3(4), 443-460. Recuperado dehttps://doi.org/10.1287/orsc.3.4.443
  » https://doi.org/10.1287/orsc.3.4.443
• Baldridge, D. C., Floyd, S. W., & Markóczy, L. (2004). Are managers from Mars and academicians from Venus? Toward an understanding of the relationship between academic quality and practical relevance. Strategic Management Journal, 25(11), 1063-1074. Recuperado dehttp://doi.org/10.1002/smj.406
  » https://doi.org/10.1002/smj.406
• Barbosa, J. C., Ferreira, M. F., Paiva, C. C., Patrício, K. P., Silva, D. H. S., & Portela, J. C. (2022). A experiência da UNESP com a Agenda 2030: a governança universitária como indutora de ações e articulações para o enfrentamento dos desafios locais e globais. Revista Latinoamericana de Ciencias de la Comunicación, 21(41), 132-146. Recuperado de http://revista.pubalaic.org/index.php/alaic/article/view/945
  » http://revista.pubalaic.org/index.php/alaic/article/view/945
• Bello, D. C., & Kostova, T. (2012). From the Editors: Conducting high impact international business research: The role of theory. Journal of International Business Studies, 43(6), 537-543. Recuperado dehttps://10.1057/jibs.2012.14
  » https://doi.org/10.1057/jibs.2012.14
• Bloom, N., & Van Reenen, J. (2006). Measuring and explaining management practices across firms and countries (Discussion Paper n. 716). London, UK: London School of Economics and Political Science.
• Bornmann, L., Haunschild, R., & Adams, J. (2019). Do altmetrics assess societal impact in a comparable way to case studies? An empirical test of the convergent validity of altmetrics based on 8 International Journal of Qualitative Methods data from the UK Research Excellence Framework (REF). Journal of Informetrics, 13(1), 325-340. Recuperado dehttps://doi.org/10.1016/j.joi.2019.01.008
  » https://doi.org/10.1016/j.joi.2019.01.008
• Costa, F. J., Machado, M. A. V., & Câmara, S. F. (2022). Por uma orientação ao impacto societal da pós-graduação em administração no Brasil. Cadernos EBAPE.BR, 20(6), 823-835. Recuperado dehttps://doi.org/10.1590/1679-395120210222
  » https://doi.org/10.1590/1679-395120210222
• Eisenhardt, K., Graebner, M. E., & Sonenstein, S. (2016). From the editors: grand challenges and inductive methods: rigor without rigor mortis. Academy of Management Journal, 59(4), 1113-1123. Recuperado dehttps://doi.org/10.5465/amj.2016.4004
  » https://doi.org/10.5465/amj.2016.4004
• Etzkowitz, H., & Leydesdorff, L. (1995). The triple helix university-industry-government relations: a laboratory for knowledge based economic development. EASST Review, 14(1), 14-19. Recuperado de https://ssrn.com/abstract=2480085
  » https://ssrn.com/abstract=2480085
• Etzkowitz, H., Webster, A., Gebhardt, C., & Terra, B. R. (2000). The future of the university and the university of the future: evolution of ivory tower to entrepreneurial paradigm. Research Policy, 29(2), 313-330. Recuperado dehttps://doi.org/10.1016/S0048-7333(99)00069-4
  » https://doi.org/10.1016/S0048-7333(99)00069-4
• Funtowicz, S. O., & Ravetz, J. R. (1993). Science for the post-normal age. Futures, 25(7), 739-755. Recuperado dehttps://doi.org/10.1016/0016-3287(93)90022-L
  » https://doi.org/10.1016/0016-3287(93)90022-L
• George, G. (2016). From the editor: management research in AMJ: celebrating impact while striving for more. Academy of Management Journal, 59(6), 1880-1895. Recuperado dehttps://doi.org/10.5465/amj.2016.4006
  » https://doi.org/10.5465/amj.2016.4006
• George, G., Howard-Grenville, J., Aparna, J., & Tihanyi, L. (2016). Understanding and tackling societal grand challenges through management research. Academy of Management Journal, 59(6), 1869-1877. Recuperado dehttps://doi.org/10.5465/amj.2016.4007
  » https://doi.org/10.5465/amj.2016.4007
• Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P., & Trow, M. (1994). The new production of knowledge: the dynamics of science and research in contemporary societies. London, UK: Sage Publishing House.
• Haley, U. C. V., Page, M.C., Pitsis, T.S., Rivas, J. L., & Yu. K. F. (2017). Measuring and achieving scholarly impact: a report from the Academy of Mangement’s Practice Theme Committee Recuperado dehttps://doi.org/10.13140/RG.2.2.11747.86561
  » https://doi.org/10.13140/RG.2.2.11747.86561
• Hodgkinson, G. P. (2006). The role of JOOP (and other scientific journals) in bridging the practitioner-researcher divide in industrial, work and organizational (IWO) psychology. Journal of Occupational and Organizational Psychology, 79(2), 173-178. Recuperado dehttps://doi.org/10.1348/096317906X104013.
  » https://doi.org/10.1348/096317906X104013
• Hodgkinson, G. P., Herriot, P., & Anderson, N. (2001). Re-aligning the stakeholders in management research: lessons from industrial, work and organizational psychology. British journal of Management, 12(s1), S41-S48. Recuperado dehttps://doi.org/10.1111/1467-8551.12.s1.5
  » https://doi.org/10.1111/1467-8551.12.s1.5
• Hodgkinson, G. P., & Starkey, K. (2011). Not simply returning to the same answer over and over again: reframing relevance. British Journal of Management, 22(3), 355-369. Recuperado dehttps://doi.org/10.1111/j.1467-8551.2011.00757.x
  » https://doi.org/10.1111/j.1467-8551.2011.00757.x
• Huff, A. (2000). 1999 presidential address: changes in organizational knowledge production. Academy of Management Review, 25(2), 288-293. Recuperado dehttps://doi.org/10.5465/amr.2000.3312916
  » https://doi.org/10.5465/amr.2000.3312916
• Kieser A., & Leiner L. (2009). Why the rigor-relevance gap in management research is unbridgeable. Journal of Management Studies, 46(3), 516-533. Recuperado dehttps://doiorg/101111/j1467-6486200900831x
  » https://doi.org/101111/j1467-6486200900831x
• Kreiling, L., & Paunov, C. (2021). Knowledge co-creation in the 21^st century: a cross-country experience-based policy report (OECD Science, Technology and Industry Policy Papers, n. 115). Paris, France: OECD Publishing. Recuperado de https://www.oecd.org/innovation/knowledge-co-creation-in-the-21st-century-c067606f-en.htm
  » https://www.oecd.org/innovation/knowledge-co-creation-in-the-21st-century-c067606f-en.htm
• Lauronen, J. P. (2020). The dilemmas and uncertainties in assessing the societal impact of research. Science and Public Policy, 47(2), 207-218. Recuperado dehttps://doi.org/10.1093/scipol/scz059
  » https://doi.org/10.1093/scipol/scz059
• Lazzarini, S. (2017). Pesquisa em Administração: em busca de impacto social e outros impactos. Revista de Administração de Empresas, 57(6), 620-625. Recuperado dehttps://doi.org/10.1590/S0034-759020170608
  » https://doi.org/10.1590/S0034-759020170608
• Manville, C., Jones, M. M., Henham, M. L., Castle-Clarke, S., Frearson, M., Gunashekar, S … Grant, J.. (2015). Preparing impact submissions for REF 2014: an evaluation approach and evidence Santa Monica, CA: Rand Europe. Recuperado de https://www.rand.org/pubs/research_reports/RR726.html
  » https://www.rand.org/pubs/research_reports/RR726.html
• Mendes-da-Silva, W. (2019). Convergência, comunicação, e impacto da pesquisa em negócios. Revista de Administração Contemporânea, 23(1), 1-7. Recuperado dehttps://doi.org/10.1590/1982-7849rac2019180346
  » https://doi.org/10.1590/1982-7849rac2019180346
• Ministério da Educação e Cultura. (2019, outubro 24). Novo modelo de avaliação medirá impacto social e inserção regional das pesquisas Recuperado de http://portal.mec.gov.br/setec-programas-e-acoes/acordo-gratuidade/225-noticias/sistemas-1375504326/81611-novo-modelo-de-avaliacao-medira-impacto-social-e-insercao-regional-das-pesquisas
  » http://portal.mec.gov.br/setec-programas-e-acoes/acordo-gratuidade/225-noticias/sistemas-1375504326/81611-novo-modelo-de-avaliacao-medira-impacto-social-e-insercao-regional-das-pesquisas
• Muhonen, R., Benneworth, P., & Olmos-Penuela, J. (2020). From productive interactions to impact pathways: understanding the key dimensions in developing SSH research societal impact. Research Evaluation, 29(1), 34-47. Recuperado dehttps://doi.org/10.1093/reseval/rvz003
  » https://doi.org/10.1093/reseval/rvz003
• Pettigrew, A. (2001). Management research after modernism. British Journal of Management, 12(s1), s61-s70. Recuperado dehttps://doi.org/10.1111/1467-8551.12.s1.8
  » https://doi.org/10.1111/1467-8551.12.s1.8
• Pettigrew, A. (2011). Scholarship with impact. British Journal of Management, 22(3), 347-354l. Recuperado dehttps://doi.org/10.1111/j.1467-8551.2011.00769.x
  » https://doi.org/10.1111/j.1467-8551.2011.00769.x
• Razmgir, M., Panahi, S., Ghalichi, L., Mousavi, S. A. J., & Sedghi, S. (2021). Exploring research impact models: a systematic scoping review. Research Evaluation, 30(4), 443-457. Recuperado dehttps://doi.org/10.1093/reseval/rvab009
  » https://doi.org/10.1093/reseval/rvab009
• Reale, E., Avramov, D., Canhial, K., Donovan, C., Flecha, R., Holm … Van Horik, R. (2018). A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research. Research Evaluation, 27(4), 298-308. Recuperado dehttps://doi.org/10.1093/reseval/rvx025
  » https://doi.org/10.1093/reseval/rvx025
• Reed, M. S., Ferre, M., Martin-Ortega, J., Blanche, R., Lawford-Rolfe, R., Dallimer, M … Holden, J.. (2021). Evaluating impact from research: A methodological framework. Research Policy, 50(4), 104147. Recuperado dehttps://doi.org/10.1016/j.respol.2020.104147
  » https://doi.org/10.1016/j.respol.2020.104147
• Research Excellence Framework. (2020, outubro). Index of revisions to the ‘panel criteria and working methods’ (2019/02) Recuperado de https://www.ref.ac.uk/media/1450/ref-2019_02-panel-criteria-and-working-methods.pdf
  » https://www.ref.ac.uk/media/1450/ref-2019_02-panel-criteria-and-working-methods.pdf
• Rolfsen, M., Johnsen, A., & Knutstad, G. (2007). Action engagement: improving researchers’ involvement in action research projects. Systemic Practice and Action Research, 20(1), 53-63. Recuperado dehttps://doi.org/10.1007/s11213-006-9049-x
  » https://doi.org/10.1007/s11213-006-9049-x
• Rynes, S. L. (2007). Let’s create a tipping point: what academics and practitioners can do, alone and together. Academy of Management Journal, 50(5), 987-1008. Recuperado dehttps://doi.org/10.5465/AMJ.2007.27156169
  » https://doi.org/10.5465/AMJ.2007.27156169
• Rynes, S. L., Bartunek, J. M., & Daft, R. L. (2001). Across the great divide: knowledge creation and transfer between practitioners and academics. Academy of management Journal, 44(2), 340-355. Recuperado dehttps://doi.org/10.5465/3069460
  » https://doi.org/10.5465/3069460
• Samuel, G. N., & Derrick, G. E. (2015). Societal impact evaluation: exploring evaluator perceptions of the characterization of impact under the REF2014. Research Evaluation, 24(3), 229-241. Recuperado dehttps://doi.org/10.1093/reseval/rvv007
  » https://doi.org/10.1093/reseval/rvv007
• Sandes-Guimarães, L. V. D., & Hourneaux, F. Jr. (2020). Research impact - what is it, after all? RAUSP Management Journal, 55(3), 283-287. Recuperado dehttps://doi.org/10.1108/RAUSP-07-2020-202
  » https://doi.org/10.1108/RAUSP-07-2020-202
• Smith, R. (2001). Measuring the social impact of research: difficult but necessary. BMJ, 323(7312), 528. Recuperado dehttps://doi.org/10.1136/bmj.323.7312.528
  » https://doi.org/10.1136/bmj.323.7312.528
• Starkey, K. & Madan, P. (2001), Bridging the relevance gap: aligning stakeholders in the future of management research. British Journal of Management, 12(1), s3-s26. Recuperado dehttps://doi.org/10.1111/1467-8551.12.s1.2
  » https://doi.org/10.1111/1467-8551.12.s1.2
• Tenkasi R. V., & Hay, G. W. (2004). Actionable knowledge and scholar-practitioners: a process model of theory-practice linkages. Systemic Practice and Action Research, 17(3), 177-206. Recuperado dehttps://doi.org/10.1023/B:SPAA.0000031697.76777.ac
  » https://doi.org/10.1023/B:SPAA.0000031697.76777.ac
• The Association to Advance Collegiate Schools of Business. (2012). Impact of research: a guide for business schools Tampa, FL: AACSB International. Recuperado de https://www.aacsb.edu/insights/reports/impact-of-research-a-guide-for-business-schools
  » https://www.aacsb.edu/insights/reports/impact-of-research-a-guide-for-business-schools
• Ventura, A. C., Davel, E. P. B. (2021). Impacto socioambiental da pesquisa. Organizações & Sociedade, 28(99), 710-721. Recuperado dehttps://doi.org/10.1590/1984-92302021v28n9900PT
  » https://doi.org/10.1590/1984-92302021v28n9900PT
• Vogel, I. (2012). Review of the use of ‘theory of change’ in international development London, UK: Department for International Development. Recuperado de https://gsdrc.org/document-library/review-of-the-use-of-theory-of-change-in-international-development/
  » https://gsdrc.org/document-library/review-of-the-use-of-theory-of-change-in-international-development/
• Warwick Institute for Global Sustainable Development. (2021). URBE Latam theory of change at project proposal stage (UKRI GCRF) London, UK: Warwick University. Recuperado de https://warwick.ac.uk/fac/arts/schoolforcross-facultystudies/igsd/resources/hp-contents/urbe_latam_theory_of_change_-_proposal_stage.pdf
  » https://warwick.ac.uk/fac/arts/schoolforcross-facultystudies/igsd/resources/hp-contents/urbe_latam_theory_of_change_-_proposal_stage.pdf
• Wickert, C., Post, C., Doh, J. P., Prescott, J. E., & Prencipe, A. (2021). Management research that makes a difference: broadening the meaning of impact. Journal of Management Studies, 58(2), 297-320. Recuperado dehttps://doi.org/10.1111/joms.12666
  » https://doi.org/10.1111/joms.12666
• Willmott, H. (2012). Reframing relevance as “social usefulness”: a comment on Hodgkinson and Starkey’s “Not simply returning to the same answer over and over again”. British Journal of Management, 23(4), 598-604. Recuperado dehttps://doi.org/10.1111/j.1467-8551.2012.00839.x
  » https://doi.org/10.1111/j.1467-8551.2012.00839.x
• Wood, T. Jr., & Caldas, M. P. (2020). Posfácio: o desafio da transformação na UNESP. In S. R. Valentini, & S. R. Nobre (Orgs.), Universidade em transformação: lições das crises(pp. 445-453). São Paulo, SP: Editora UNESP.
• Wood, T. Jr., Holz, E. B., & Souza, R. (2022). When rigor meets relevance: the development of hybrid actionable knowledge production systems. Systemic Practice and Management Research, 36, 1-29. Recuperado dehttps://doi.org/10.1007/s11213-022-09596-x
  » https://doi.org/10.1007/s11213-022-09596-x
• Wood, T. Jr., Souza, R., & Caldas, M. O. (2022), The relevance of management research debate: a historical view - 1876-2018. Journal of Management History, 28(3), 409-427. Recuperado de https://doi.org/10.1007/s11213-022-09596-x
  » https://doi.org/10.1007/s11213-022-09596-x
• Ziman, J. (1996). ‘Postacademic science’: constructing knowledge with networks and norms. Science Studies, 9(1), 67-80. Recuperado de https://doi.org/10.23987/sts.550954
  » https://doi.org/10.23987/sts.550954

Datas de Publicação

• Publicação nesta coleção
  17 Nov 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  09 Nov 2022
• Aceito
  03 Fev 2023