INDICADORES DA TERCEIRA MISSÃO UNIVERSITÁRIA: PERSPECTIVAS PARA MENSURAR AS CONTRIBUIÇÕES DAS UNIVERSIDADES PARA A SOCIEDADE

INDICADORES DE LA TERCERA MISIÓN UNIVERSITARIA: PERSPECTIVAS PARA MEDIR LAS CONTRIBUCIONES DE LAS UNIVERSIDADES A LA SOCIEDAD

RESUMO

A relação universidade-sociedade, chamada terceira missão universitária, está em constante mudança, na tentativa de acompanhar as demandas sociais, econômicas e culturais. Mensurar as atividades da universidade e compartilhar com a sociedade é atender aos princípios da governança, como transparência, prestação de contas e responsabilidade. Este artigo objetiva identificar possíveis indicadores da terceira missão universitária e os principais conceitos e construtos relacionados ao tema. Embora similares, a pesquisa diferencia os conceitos “terceira missão” (conceito europeu) e “extensão” (conceito latino-americano), em função do portfólio de seus indicadores e do alcance dos termos. Desenvolveu-se uma revisão sistemática de literatura (RSL) e da análise bibliométrica, por meio do método Systematic Search Flow (SSF). Conclui-se que mensurar as atividades da terceira missão universitária e seus impactos sociais, apesar de todos os esforços acadêmicos e governamentais, não é uma tarefa fácil. A dificuldade está nas múltiplas atividades e interpretações do que é a terceira missão. Porém, como resultado da pesquisa, serão apresentados os principais indicadores que abarcam o tema.

Palavras-chave:
terceira missão; universidades; indicadores; KPI

RESUMEN:

La relación universidad-sociedad, denominada la tercera misión universitaria, está en constante cambio en un intento de mantenerse al día con las demandas sociales, económicas y culturales. Medir las actividades de la universidad y compartirlas con la sociedad es cumplir con los principios de gobierno, como la transparencia, la rendición de cuentas y la responsabilidad. Este artículo tiene como objetivo identificar posibles indicadores de la tercera misión universitaria y los principales conceptos y constructos relacionados con el tema. Aunque similar, la investigación diferencia los conceptos 'tercera misión' (concepto europeo) y 'extensión' (concepto latinoamericano) según el portafolio de sus indicadores y el alcance de los términos. Se realizó una revisión sistemática de la literatura (RSL) y un análisis bibliomé-trico utilizando el método Systematic Search Flow (SSF). Se concluye que medir las actividades de la tercera misión universitaria y sus impactos sociales, a pesar de todos los esfuerzos académicos y gubernamentales, no es tarea fácil. La dificultad radica en las múltiples actividades e interpretaciones de lo que es la tercera misión, sin embargo, como resultado de la investigación se presentarán los principales indicadores que abarcan el tema.

Palabras clave:
tercera misión; universidades; indicadores; KPI

ABSTRACT:

The university-society relationship, called the third university mission, is constantly changing in an attempt to keep up with social, economic and cultural demands. Measuring the university's activities and sharing it with society is to meet the principles of governance, such as transparency, accountability and responsibility. This article aims to identify possible indicators of the third university mission and the main concepts and constructs related to the theme. Although similar, the research differentiates the concepts 'third mission' (European concept) and 'extension' (Latin American concept) according to the portfolio of their indicators and the scope of the terms. A systematic literature review (RSL) and bibliometric analysis were carried out using the Systematic Search Flow (SSF) method. It is concluded that measuring the activities of the third university mission and its social impacts, despite all academic and governmental efforts, is not an easy task. The difficulty lies in the multiple activities and interpretations of what the third mission is, however, as a result of the research the main indicators that cover the theme will be presented.

Keywords:
third mission; university; indicators; KPI

INTRODUÇÃO

Historicamente, desde sua formação como instituição social, a universidade vem sendo impulsionada pelas necessidades sociais. As missões universitárias vêm evoluindo e acompanhando as demandas da sociedade. A primeira missão universitária, o ensino, tem registro nos séculos XII, na Europa, e tardiamente no Brasil, na primeira metade do século XX, com influência dos modelos alemão e francês (PAULA, 2009). A segunda missão, a pesquisa, surgiu no início do século XIX, na Alemanha (1810), com uma proposta mais ampla que envolvia questões políticas, econômicas e culturais (GIMENEZ; BONACELLI, 2016). No Brasil, um marco que demonstra a promoção da ciência, por meio da pesquisa, é o decreto que criou a Universidade de São Paulo (USP), em 1934 (SÃO PAULO, 1934).

Na sequência, surge a terceira missão universitária, datada da segunda metade do século XIX. O uso da expressão “extensão universitária” surgiu na Universidade de Oxford durante as discussões sobre a necessidade da realização de reformas, por volta dos anos 1850, em um contexto pós-Revolução Industrial (GIMENEZ; BONACELLI, 2016). No Brasil, a expressão consta em registros como a Lei da Reforma Universitária, Lei N.º 5.540/1968 (BRASIL, 1968), que estabeleceu a indissociação entre ensino, pesquisa e extensão.

Das três missões universitárias, a última é a menos desenvolvida quanto às metodologias e ferramentas para a avaliação e gestão das suas atividades (MAXIMIANO JUNIOR, 2019). Dada a sua natureza, que surge para coexistir com as demais missões e fazer a ponte entre universidade e sociedade, as suas definições e ações são amplas e regionalizadas. O portfólio da terceira missão está relacionado ao perfil e missão de cada universidade, considerando que há diferentes tipos de universidades: com foco no ensino, com foco na pesquisa e com foco no desenvolvimento regional e empreendedorismo; e ainda, públicas e privadas. Assim, é possível compreender a diversidade de concepções e atividades. Acrescenta-se, ainda, a distinção entre países em relação a quais tipos de atividades devem ser incluídas no conteúdo da 3M. De acordo com Secundo et al. (2017), na Alemanha, o foco está na transferência de tecnologia de universidades para empresas, enquanto a América Latina inclui um conceito mais amplo de extensão da universidade para atender às necessidades da comunidade.

Importante destacar que os conceitos terceira missão e extensão possuem amplitudes diferentes e que, embora sejam similares para definir o relacionamento da universidade com a sociedade, não são iguais. Em termos de abrangência geográfica, o primeiro é utilizado na Europa, América do Norte e Ásia; o segundo, exclusivamente na América Latina. O primeiro possui uma abordagem prioritariamente econômica (universidade como motor da economia e progresso socioeconômico); o segundo, prioritariamente social (difusão cultural e serviços sociais). A extensão universitária possui uma abordagem de engajamento social (MAXIMIANO JUNIOR, 2019), com predominância de atividades de divulgação cultural e serviços sociais direcionados a grupos desfavorecidos (DETMER LATORRE et al., 2014).

Para fins de abordagem e dimensão do que se pretende mensurar, utilizar-se-á o termo terceira missão (3M), pois compreende-se que a escolha melhor atende o propósito de buscar indicadores que possam mensurar, em sua amplitude, o relacionamento universidade-sociedade. A definição que representa essa abordagem é descrita por Molas-Gallart e Castro-Martínez (2007, p. 321): “[...] Nós usamos o termo ‘terceira missão’ para se referir a todas as atividades em questão com a geração, uso, aplicação e exploração do conhecimento e outras capacidades das universidades fora dos ambientes acadêmicos”. De acordo com o Fórum de Pró-Reitores de Extensão das Instituições Públicas de Educação Superior Brasileiras, “A Extensão Universitária, sob o princípio constitucional da indissociabilidade entre ensino, pesquisa e extensão, é um processo interdisciplinar, educativo, cultural, científico e político que promove a interação transformadora entre a universidade e outros setores da sociedade” (FÓRUM DE PRÓ-REITORES DE EXTENSÃO DAS UNIVERSIDADES PÚBLICAS BRASILEIRAS, 2012, p. 42).

Em termos conceituais, terceira missão e extensão representam, dentre as missões da universidade, aquelas que fazem o intercâmbio com os outros setores sociais, dialogam e promovem a troca de saberes, superando o discurso da hegemonia acadêmica (torre de marfim) e substituindo-o pela ideia de aliança com os demais setores da sociedade. No entanto, a principal diferença está no portfólio dos indicadores.

Ao analisar os indicadores da 3M, constata-se que há um esforço para incluir todas as atividades relacionadas à interação universidade-sociedade, incluindo o ensino (prioritariamente com indicadores da educação continuada), a pesquisa (prioritariamente com indicadores de transferência de tecnologia e inovação) e o compromisso social. Ao analisar os indicadores da extensão das universidades brasileiras, constata-se que estes deixam de representar alguns resultados da relação universidade-sociedade quando se referem às atividades de ensino e de pesquisa. Isso porque os indicadores são apresentados nos Planos de Desenvolvimento Institucional (PDI) sob outro formato ou dimensões, e analisados separadamente: indicadores de ensino, indicadores de pesquisa e indicadores de extensão, entre outros.

Ainda que não exista um consenso sobre as atividades da terceira missão das universidades (MOLAS-GALLART; CASTRO-MARTÍNEZ, 2007; SECUNDO et al., 2017), este artigo pretende apresentar as principais definições sobre a terceira missão universitária e os indicadores mais utilizados para mensurar o possível impacto social das universidades. A pesquisa é realizada por meio de revisão sistemática de literatura (RSL) e da análise bibliométrica, mediante o método Systematic Search Flow (SSF, fluxo de pesquisa sistemática, em português), com a finalidade de mostrar um extrato do assunto objeto do estudo. Nas próximas seções, são apresentados o referencial teórico, metodologia e análise e discussão dos resultados.

REFERENCIAL TEÓRICO

Instituições que recebem recursos públicos estão sendo confrontadas pela sociedade que exige transparência e responsabilidade (DE LA TORRE, AGASISTI; PEREZ-ESPARRELLS, 2017). As universidades estão em um processo de transformação constante, desencadeado pela necessidade de ser mais competitiva e atender às demandas emergentes da sociedade. A avaliação é uma atividade que conjectura a qualidade do serviço, a melhoria do processo, o aperfeiçoamento da gestão e a prestação de contas à sociedade. Estrategicamente, pode ser usada para subsidiar a gestão e governança em busca de políticas que atendam às necessidades sociais (SCHMITZ; ARGOLLO; TENÓRIO, 2009).

As práticas de avaliação são instrumentos relevantes para a governança institucional. No caso das Instituições de Ensino Superior (IES), a avaliação pode ir além da pesquisa e ensino (que historicamente possuem indicadores bem consolidados) para atender as partes interessadas da sociedade civil, incluindo serviços comunitários, parcerias e transferência de tecnologia, com os indicadores da 3M (VARGIU, 2014).

De acordo com Frondizi et al. (2019), a Comissão Europeia e a Organização para a Cooperação e Desenvolvimento Econômico (OCDE), em 2012, apontaram os desafios sem precedentes do ensino superior na definição de seu objetivo, papel, organização e abrangência na sociedade e na economia. Nesse contexto, a gestão e medição de desempenho representam ferramentas com as quais universidades poderiam obter a aceitação das partes interessadas (os stakeholders) (FRONDIZI et al., 2019).

Para medir os impactos sociais, é necessário o desenvolvimento de indicadores apropriados para avaliá-los (VARGIU, 2014). Os indicadores da terceira missão universitária podem servir como instrumento para apoiar a gestão da terceira atividade missionária e para orientar ações políticas e de pesquisas sobre sua natureza e impacto. O desenvolvimento de indicadores tornou-se componente-chave para implementação de políticas (MOLAS-GALLART; CASTRO-MARTÍNEZ, 2007).

No final de 2001, o Reino Unido financiou uma pesquisa para desenvolver um sistema de indicadores da terceira missão universitária a fim de criar critérios para a distribuição de fundos para as universidades britânicas e fomentar o terceiro fluxo (terceira missão) de atividades. A pesquisa realizada pelo Grupo Russel, em 2002, apontou a necessidade de uma abrangente definição de 3M e afirmou que seria necessário um sistema mais complexo de indicadores, para além do que estava previsto (MOLAS-GALLART; CASTRO-MARTÍNEZ, 2007).

Outros estudos recentes mostram que governos da Europa, especialmente da Itália e da Espanha, com objetivo de destinar recursos financeiros com base no desempenho alcançado pelas universidades públicas, focam no capital intelectual (CI) como representação do maior ativo das universidades. Por isso, geri-lo e medi-lo é uma questão fundamental e pode ser também um instrumento de avaliação no âmbito da terceira missão (FRONDIZI et al., 2019).

O capital intelectual (CI) é o principal “produto”¹ das IES. Para Kalemis (2014), o CI é uma métrica de desempenho que possibilita tornar tangível o que era intangível e difícil de mensurar. Para Secundo et al. (2017), o desenvolvimento do CI representa a missão principal das IES, por isso, é necessário gerar métricas de desempenho para mensurá-los.

METODOLOGIA

Com o objetivo de identificar os indicadores da terceira missão universitária, assim como os principais conceitos e construtos relacionados ao tema, utiliza-se o método Systematic Search Flow. Conforme Ferenhof e Fernandes (2016), o método é composto de quatro fases. A primeira fase compõe a estratégia de busca, consulta em base de dados, organização das bibliotecas, padronização da seleção dos artigos e, por fim, composição do portfólio do artigo. O protocolo seguido para contemplar cada uma das etapas está descrito no quadro 1.

Quadro 1
Protocolo de pesquisa.

Em relação à estratégia de busca, cabe o esclarecimento quanto ao uso dos termos em inglês "Third mission" AND Universit* AND "indicator*" OR KPI, utilizados seguindo as orientações do método, que resultou num portfólio prioritariamente europeu. Realizamos a consulta na mesma base de dados (Portal de Periódicos Capes) com as palavras na língua portuguesa (“Terceira Missão” e Universidad* e Indicador*), no entanto, a busca não apresentou resultados com aderência ao tema. Para a proposta desta pesquisa, não caberia aplicar a busca com o termo similar extensão, pois como foi explicado na introdução, não buscamos indicadores de extensão, mas sim de terceira missão.

Seguindo a metodologia, a fase 2 é a consolidação dos dados. Nessa fase, ocorreu a exportação do arquivo do software de indexação bibliográfica para uma planilha eletrônica. Utilizamos a planilha para gerenciar as informações e foi criado um conjunto de pastas, a primeira foi chamada de Matriz de Síntese, que foi composta por todos os 18 artigos analisados na íntegra. Outras pastas foram criadas para facilitar a análise e divididas por tópicos considerados importantes para o estudo: quantitativo de publicações por ano; palavras-chaves; países das publicações, base de dados e indicadores. Por fim, a fase 3 do procedimento metodológico Systematic Search Flow (SSF), síntese e elaboração de relatórios, será apresentada na sequência, em análise e discussão dos resultados. A fase 4 do método SSF é a escrita deste artigo.

ANÁLISE E DISCUSSÃO DOS RESULTADOS

Conforme destacado na introdução, são dois os objetivos deste estudo: o primeiro é compreender as definições da terceira missão universitária apresentadas pelos autores que compõem o portfólio de estudo; o segundo é identificar dimensões e indicadores da 3M mais utilizados pelos pesquisadores. A tabela 1 apresenta os países de origem do primeiro autor dos artigos do portfólio e o número de publicações por ano. A concentração ocorre na Europa, continente que é berço das pesquisas sobre o tema, e as publicações são mais expressivas a partir de 2014.

Tabela 1
Países de origem do primeiro autor do artigo e ano de publicação.

País	Frequência	Ano de publicação
Itália	8	2013, 2014 (2), 2017, 2018 (2), 2019 (2)
Espanha	4	2007, 2010, 2012, 2017
Romênia	1	2017
Grécia	1	2014
França	1	2017
Austrália	1	2015
Hungria	1	2015
Portugal	1	2019

• Fonte: Dados primários da pesquisa.

É visível um grande interesse na Europa em definir um conjunto de dimensões, atividades e indicadores da 3M capazes de atender às diferentes universidades e às partes interessadas (governo, indústria e sociedade em geral). Iniciativas governamentais europeias visam incentivar a pesquisa sobre o impacto das universidades na sociedade por meio da terceira missão, apostando na capacidade de assegurar uma gestão universitária eficaz e garantir recursos financeiros por meio de parcerias. O Relatório Russel Group, resultado da pesquisa Measuring Third Stream Activities, do Russel Group of Universities, publicada no Reino Unido, em 2002, foi utilizado para avaliação de decisões de financiamento no âmbito das atividades de terceira tissão (SOEIRO, 2012). Surgem, a partir daí, mais investimentos em pesquisas relacionadas à 3M, principalmente na Europa.

Outra pesquisa importante é o projeto E3M Project - European Indicators and Ranking Methodology for University Third Mission (2009-2012). O projeto surgiu com o objetivo de gerar um instrumento abrangente para identificar, medir e comparar as atividades da 3M das IES e foi cofinanciado pela Comissão Europeia no âmbito do seu Programa de Aprendizagem ao Longo da Vida (MAXIMIANO JUNIOR, 2019). A pesquisa resultou na criação de indicadores sobre as atividades da terceira missão, com uma nova abordagem do conceito e novas metodologias de classificação (E3M PROJECT, 2021). A proposta é bastante difundida na atualidade e abrange três dimensões: Educação Continuada (EC), Transferência de Tecnologia e Inovação (TTI) e Engajamento Social (ES).

Na tabela 2, são apresentadas as palavras-chaves usadas com maior frequência pelos autores do portfólio. Em destaque, os termos terceira missão (8), universidades (7), capital intelectual (6), medição de desempenho (6), indicadores (4), ensino superior (3), avaliação (3), eficiência das universidades (2), universidade-indústria (2) e universidade empreendedora (2). Na tabela, foram mantidos os termos na língua original dos textos (inglês), assim como na figura na sequência, a nuvem de palavras.

Tabela 2
Frequência das palavras-chaves dos artigos que compõem o portfólio (selecionada frequência ≥ 2).

Palavras-Chaves	Frequência
Third Mission	8
Universities/University	7
Intellectual capital	6
Performance measurement	6
Indicators	4
Higher education	3
Evaluation	3
Universities’ efficiency	2
University-industry	2
Entrepreneurial university	2
International ranking	2

• Fonte: Dados primários da pesquisa.

Figura 1
Nuvem de palavras utilizando as palavras-chaves dos artigos que compõem o portfólio.

Na nuvem, é possível identificar as palavras-chaves que apresentaram maior frequência e relevância para o contexto da pesquisa. O tamanho da fonte das palavras é relativamente proporcional à frequência das mesmas. A ocorrência dos termos terceira missão, universidade, medição de desempenho e indicadores não surpreendem, visto que foi a estratégia de busca da pesquisa. No entanto, estão correlacionados os termos capital intelectual, avaliação e eficiência das universidades, fundamentando a proposta de avaliar o desempenho das universidades pela perspectiva do capital intelectual e por meio dos indicadores da terceira missão.

Definições 3M

A seguir, são apresentadas, no quadro 2 2, as principais definições e menções relacionadas ao tema terceira missão universitária encontradas nos artigos que compõem o estudo.

Quadro 2
Framework Teórico das Definições 3M do Portfólio.

Quadro 2
continuação

As definições e contextos relacionados ao tema apresentadas pelos 18 autores que compõem o portfólio têm em comum a perspectiva de que a 3M é a missão, dentre as três missões históricas da universidade. Segundo os autores, ela é responsável por ultrapassar os limites ou os muros da universidade e por formar parcerias, compartilhar resultados e coproduzir com os atores externos (governo, empresas, organizações não governamentais e a sociedade em geral) por meio de transferência de tecnologias, educação continuada e o compromisso social.

Conceitos destaque

Entende-se ser fundamental destacar alguns conceitos intrínsecos que estão diretamente relacionados ao tema terceira missão para a compreensão total da abordagem proposta. São eles: sociedade do conhecimento, inovação, empreendedorismo, capital intelectual, hélice tríplice, impacto social e comunicação. Esses conceitos serão discutidos nas seções seguintes.

Sociedade do conhecimento

Em relação às universidades, a literatura sobre a sociedade do conhecimento vem mudando o foco analítico da transferência de tecnologia para o conceito mais amplo de troca de conhecimento (MOLAS-GALLART; CASTRO-MARTÍNEZ, 2007). Segundo Vargiu (2014), o Artigo Branco do Governo do Reino Unido, sobre ciência e inovação atribui um papel central às universidades atuando como “dínamos de crescimento” na economia do conhecimento: “[...] não apenas criadores de conhecimento, formadores de mentes e transmissores de cultura, mas [...] também grandes agentes de crescimento econômico” (VARGIU, 2014, p. 563).

Inovação

Inovação inclui novos serviços, produtos e tecnologias e até mesmo as atualizações das tecnologias existentes. Um dos mecanismos modernos para a exploração do capital intelectual das universidades é a criação de empresas start-up e spin-off, pelas quais a tecnologia e a inovação podem chegar ao mercado (HADĂR; PURCĂREA, 2017). Desenvolver sistemas de indicadores para avaliar o desempenho das colaborações (universidade-indústria), permitir às empresas inovar e medir periodicamente os resultados dessas colaborações, a fim de garantir eficiência e efetividade nos resultados de inovação, não são tarefas fáceis. Inovação é, por sua própria natureza, um conceito complexo e multidimensional (PIVA; ROSSI-LAMASTRA, 2013).

Universidade empreendedora

As IES devem ter um papel ativo no contexto social e econômico da sociedade, e, para isso, uma cultura mais ampla da missão educacional é necessária, ao invés de uma perspectiva restrita de preparar os alunos para o mundo do trabalho. Diante das limitações de recursos, o empreendedorismo e outras formas de engajamento social serão necessários para captar recursos de diferentes fontes (SOEIRO, 2012). A terceira missão está intimamente ligada às atividades empresariais das universidades e promove o impacto socialmente significativo por intermédio da produção universitária (como pesquisa, artigos, patentes) (KOTOSZ et al., 2015). Uma universidade empreendedora apoia a criação de atitudes empreendedoras sendo motor da economia e está cada vez mais envolvida com o setor industrial como provedora de capital humano e fomentadora de incubadoras, de novas empresas e difusão de uma cultura empreendedora (SECUNDO et al., 2017). São reconhecidas as limitações dos setores públicos e privados para produzir respostas que permitem soluções para os desafios sociais, e o empreendedorismo foi reconhecido como um potencial mecanismo que ajuda nas respostas. Em relação ao empreendedorismo social, houve uma solicitação da Comissão Europeia, no seu Plano de Ação Empreendedorismo 2020, para que as universidades fomentem e contribuam com ações nesse âmbito. No entanto, para Cinar (2019), não houve manifestações significativas, ou quase nenhuma contribuição.

Capital intelectual (CI)

Conforme Kalemis (2014), a riqueza real do capital intelectual não reside apenas na soma dos elementos que o constituem, mas nas conexões entre eles. Considerando o contexto universitário, capital humano é o conhecimento que reside nos indivíduos, o que inclui professores, pesquisadores, alunos e pessoal administrativo. O capital estrutural (ou organizacional) compreende os princípios de governança, procedimentos, sistemas, cultura universitária, bancos de dados, publicações, propriedade intelectual, entre outros. O capital relacional (ou social) compõe os diversos tipos de relacionamento da universidade com seus stakeholders, análogo ao que se conhece como terceira missão (KALEMIS, 2014). A prestação de contas por meio da mensuração do CI vem sendo utilizada em diversos países. Secundo e Elia (2014) apresentam alguns relatórios utilizados por organizações com foco do CI universitário: 1) Comissão Eropeia, em 2006, propôs o documento RICARDIS - Reporting Intellectual Capital para Aumentar a Pesquisa, Desenvolvimento e Inovação; 2) o Intellectual Capital Report 1999-2004, da Austrian Research Centros, tornou-se a base obrigatória para relatórios de capital intelectual em universidades austríacas; 3) o Observatório de Universidades Europeias, em 2006, no âmbito da Rede de Excelência PRIME, propôs o Relatório do Capital Intelectual para universidades (SECUNDO; ELIA, 2014). No Brasil, um estudo apresentado em 2017, cujo objetivo foi analisar a evidenciação da informação sobre capital intelectual nos relatórios de gestão das universidades públicas federais no país, demonstrou que o material apresentado não é suficiente como forma de prestação de contas para as instituições públicas brasileiras e sugere que nos relatórios foram encontradas evidências, contudo, voltadas aos órgãos de controle (SILVA, 2017). Compreende-se que relatar, mensurar e gerir os ativos intangíveis das IES (que no contexto universitário é sinônimo de CI) é uma tendência internacional, mas nacionalmente ainda pouco explorada.

Hélice tríplice

O modelo da hélice tríplice (tese da tríplice hélice de Etzkowitz e Leydesdorff, 1995) analisa as relações universidade-empresa-governo. À luz desse modelo, em uma sociedade baseada no conhecimento, as universidades podem promover a inovação e o desenvolvimento econômico mediante suas missões. Para isso, é necessária uma relação híbrida entre universidades-indústrias- governos, gerando novos arranjos institucionais e sociais que propiciem a produção, transferência e aplicação de conhecimento (FRONDIZI et al., 2019).

Impacto social

As novas características das universidades demonstram a dificuldade de identificar estruturas adequadas para avaliar seu desempenho e impacto social, particularmente em relação aos ativos intangíveis gerados, porém a estratégia de medir o impacto por meio do CI em nível social e regional não está isento de riscos (KALEMIS, 2014). Por isso, quaisquer que sejam os modos de engajamento público, sua promoção e visibilidade, bem como a necessidade de avaliar seu real impacto social, exigem o desenvolvimento de indicadores apropriados para avaliá-los (VARGIU, 2014). É complexo e difícil de medir o impacto, na medida em que, para isso, seria necessário analisar relatórios das partes externas para identificar o quanto as suas necessidades foram atendidas (DE RASSENFOSSE; WILLIAMS, 2015). Nesse sentido, entende-se a necessidade da avaliação do impacto social por parte da sociedade e não unicamente pela perspectiva da universidade.

Comunicação

Um dos principais meios de divulgação das atividades e desempenhos universitários ocorre via rankings acadêmicos, que posicionam as IES em competições nacionais e internacionais, mas que geralmente avaliam as formas mais tradicionais: pesquisa e ensino (VARGIU, 2014). Embora o uso dessas classificações tenha gerado muitas controvérsias, os rankings são referência para a qualidade do ensino superior e são considerados sistemas de avaliação externa (URDARI; FARCAS; TIRON-TUDOR, 2017).

Uma das preocupações é que os rankings internacionais podem desviar as atividades de pesquisa e engajamentos regionais e nacionais para as áreas que são apenas de interesse internacional (DE RASSENFOSSE; WILLIAMS, 2015). Até o momento, nenhum ranking prestou muita atenção às interconexões socioeconômicas, apesar do interesse mundial nas atividades da terceira missão (URDARI; FARCAS; TIRON-TUDOR, 2017). Dentre os rankings mais conceituados - Academic Ranking of World Universities (ARWU) (SHANGHAI RANKING, 2022), World University Rankings (QS) (QS WORLD UNIVERSITY RANKINGS, 2023) e Times Higher Education (THE) (TIMES HIGHER EDUCATION, 2022) -, apenas o THE considera uma única dimensão relacionada à 3M (transferência de conhecimento para indústria, mas com o peso de 2,5% do total), sendo que os demais não mensuram as atividades da 3M.

O ranking mais expressivo, que prioriza as atividades da terceira missão, é o U-Multirank (UMR) (U-MULTIRANK, 2022), que faz uma classificação multidimensional (FRONDIZI et al., 2019). O U-Multirank possibilita ao usuário comparar as universidades de acordo com o seu interesse: por área de estudo, país e desempenho. Traz as classificações tradicionais (ensino e pesquisa) e dimensões que abordam a 3M como transferência de conhecimento, engajamento regional e orientação internacional.

Indicadores 3M

Medir o desempenho da terceira missão torna-se mais desafiador do que as outras missões tradicionais, uma vez que não há consenso sobre as atividades da terceira missão das universidades (SECUNDO et al., 2017). Somada à falta de consenso em relação às atividades, está a difícil tarefa de mensurar o intangível, o capital intelectual das universidades. Destacam-se os objetivos que motivaram o uso das métricas, por meio da perspectiva do capital intelectual, para mensurar as principais atividades e impactos da terceira missão universitária, e que estão relacionados aos três objetivos ou dimensões do projeto E3M (2012):

• Desenvolver a competência empresarial em capital humano para a inovação e desenvolvimento;

• Transferência de tecnologia e inovação ligada ao conceito de capacidade de ação e realização do desenvolvimento;

• Engajamento social e desenvolvimento regional que promova a troca de conhecimento e habilidades empreendedoras para criar valor social. (SECUNDO et al., 2018, p. 161).

Analisando os indicadores propostos nos artigos do portfólio, conclui-se que a proposta apresentada na pesquisa An Intellectual Capital Framework to Measure Universities Third Mission Activities, do Projeto “Garantia da Qualidade no Ensino Superior por meio da Habilitação e Auditoria”, desenvolvida por Secundo et al. (2017), representa os principais objetivos/dimensões, processos e indicadores relacionados à 3M, e, por isso, serve de fundamento para a proposta final desta pesquisa. Adotaremos o modelo de definição do CI proposto pela referida autora, que se divide em capital humano (CH), capital organizacional (CO) e capital social (CS). Os conceitos são descritos para compreensão da distribuição dos indicadores:

• Capital humano - refere-se ao valor intangível que reside nas competências das pessoas; isso inclui a expertise, o conhecimento e as experiências de pesquisadores, professores, equipe técnica, alunos e equipe administrativa;

• Capital organizacional (ou estrutural) - compreende os recursos intangíveis que se encontram na própria organização: inclui, entre outros, os bancos de dados, a propriedade intelectual, os projetos de pesquisa, a infraestrutura de pesquisa, os processos e rotinas de pesquisa e ensino, a cultura universitária e os processos de governança;

• Capital social (ou relacional) - refere-se aos recursos e capacidades intangíveis capazes de gerar valor vinculados às relações internas e externas da universidade. Isto inclui as suas relações com parceiros públicos e privados, redes e alianças, prestígio acadêmico, a sua marca, parcerias com o setor empresarial e governos regionais, as suas ligações com organizações sem fins lucrativos e a sociedade civil em geral, colaborações com organizações nacionais e internacionais. (SECUNDO et al., 2017, p. 231).

A seguir, propõe-se, no quadro 3 (disponível no Anexo A), o framework dos indicadores (KPI - Key Performance Indicators) que melhor identificam e medem a 3M, seguindo a perspectiva de Secundo et al. (2017) quanto aos objetivos, processos e capital intelectual e somando indicadores referenciados por outros autores do portfólio. Porém, para adaptar à realidade brasileira, além dos indicadores identificados na revisão bibliográfica (que prioritariamente atendem um perfil de universidades europeias e empreendedoras), foram incluídos indicadores usados nas IES brasileiras, principalmente aqueles exclusivos da nossa realidade social e econômica (como número de bolsas, cotas de ações afirmativas, empresas juniores, prestações de serviços e atendimentos na área da saúde à comunidade), pois não aparecem nas indicações do portfólio. Para incluí-los, usou-se como referência os indicadores da Universidade Federal de Santa Catarina (UNIVERSIDADE FEDERAL DE SANTA CATARINA, 2020). A proposta pretende mensurar os indicadores utilizando a referência “tempo”. Considerando que o tempo de vida dos indicadores está vinculado ao Plano de Desenvolvimento Institucional (PDI) das IES e, com a perspectiva de utilizá-los em pesquisas futuras nas universidades públicas federais brasileiras em que se tem 78% dos PDIs elaborados para o período de cinco anos, propõe-se que os indicadores sejam mensurados anualmente, num período de cinco anos.

Os indicadores apresentados no quadro 3 são um ponto de partida para o desenvolvimento de uma abrangente estrutura para medir e avaliar a terceira missão universitária e, principalmente, tornar visível e mensurável as diversas atividades realizadas por meio das conexões e alianças universidade-sociedade, podendo ser usado como instrumento para medir o impacto social das universidades. O quadro 3 propõe mensurar os três objetivos da 3M (transferência de tecnologia e inovação, educação continuada e compromisso social) por meio de indicadores na perspectiva do capital intelectual das IES. Assim, a pesquisa sugere 18 indicadores para o capital humano, 19 para o capital organizacional e 15 para o capital social.

Para Kalemis (2014), as IES devem demonstrar gestão dos seus recursos e responsabilidade mediante objetivos claramente definidos e viáveis. A gestão e a mensuração do capital intelectual (CI) contribuem para fazer o melhor uso dos recursos disponíveis, além de atender os princípios de governança e transparência. É importante destacar que os indicadores são considerados como aproximações e representações da realidade e, portanto, fornecem uma visão parcial que deve ser complementada com outros tipos de análises (RAMOS-VIELBA; FERNÁNDEZ-ESQUINAS; ESPINOSA-DE-LOS-MONTEROS, 2010). Para Soeiro (2012), tudo o que é possível é selecionar atividades relativamente confiáveis e indicadores robustos como substitutos dos impactos. Compreende-se que não há uma definição geral e muito menos um quadro fechado de indicadores para mensurar a 3M. A proposta é apresentar um extrato dos estudos atuais, contribuindo para a gestão universitária.

CONSIDERAÇÕES FINAIS

Medir as atividades da terceira missão universitária e seus impactos sociais, apesar de todos os esforços acadêmicos e governamentais, não é uma tarefa fácil. A dificuldade está nas múltiplas atividades e interpretações, na falta de registros acadêmicos quando não envolve recurso financeiro e nas diversas missões universitárias, cada qual com seus objetivos estratégicos e regionalizados.

Embora difícil, não é possível se eximir dessa atribuição, não é mais possível, para universidades, recuar no tempo em que o ensino por si próprio e a pesquisa pura eram as bases da instituição (torre de marfim). A sociedade do conhecimento está baseada não somente na transferência, mas na troca do conhecimento, na cocriação de projetos, na relação híbrida entre as IES, indústria, governo e sociedade, ou seja, está também baseada na terceira missão.

É necessário atentar-se para que a terceira missão das universidades não priorize apenas as atividades que gerem resultados econômicos (licenças, patentes, spin-offs, contratos de pesquisa e empresas em incubadoras). A atenção deve ser voltada, inclusive, para as ciências sociais e humanas para entender como as suas atividades podem gerar impacto social, sendo esta abordagem pouco explorada até o momento. Entende-se ser possível conciliar o compromisso e reponsabilidade social das universidades contribuindo para suprir as demandas sociais e econômicas, por meio de transferência de tecnologia, inovação e educação empreendedora, inclusive.

A comunicação é um dos principais instrumentos para o desenvolvimento das IES. A divulgação das atividades e resultados aproxima a IES da sociedade. O diálogo deve ser na mão dupla, as contribuições e trocas de experiências, conhecimento e resultados de pesquisas devem ser compartilhados com o grande público. A boa comunicação facilita a política interna e auxilia na captação de recursos e investimentos para que a IES continue contribuindo, em todas as áreas do conhecimento, com o desenvolvimento social e econômico em que está inserida.

Frondizi et al. (2019) relembra o legado de Clark Kerr para a Univerdade da California (UC), em 1963, quando introduziu o conceito de multiversidade, que representava uma universidade complexa de muitos propósitos e funções diferentes, cuja ideia era garantir autonomia econômica, não só recebendo recursos públicos, mas também via contratos de pesquisas com usuários externos, surgindo então uma terceira missão com capacidade de se conectar com ambiente externo e produzir respostas à sociedade, num intercâmbio mútuo e contínuo. Nesse intercâmbio, encontra-se a viabilidade de captar recursos para que as missões universitárias não sejam afetadas por conta das limitações financeiras que vem progredindo a cada ano.

O estudo apresentou a proposta de um conjunto de indicadores que possibilitam fornecer certo grau de medição e avaliação da relação universidade-sociedade, com base no referencial teórico da pesquisa. Também buscou contribuir com a perspectiva de medir, inclusive, o capital intelectual (os ativos intangíveis), contribuindo com a prestação de contas e legitimidade junto à sociedade. A identificação e coleta desses indicadores poderá servir como base para avaliar a excelência das universidades, como também servir para uma avaliação comparativa entre as instituições. O cenário é bastante amplo e ainda imaginário, propício para novas pesquisas, mas é fundamental a transparência da gestão das universidades públicas. Mais pesquisas devem ser dedicadas a compreender o papel da universidade e sua contribuição ao desenvolvimento social.

REFERÊNCIAS

• AGASISTI, Tommaso; BARRA, Cristian; ZOTTI, Roberto. Research, knowledge transfer, and innovation: The effect of Italian universities’ efficiency on local economic development 2006-2012. Journal of Regional Science, v. 59, n. 5, p. 819-849, 2019. <https://doi.org/10.1111/jors.12427 >
  » https://doi.org/10.1111/jors.12427
• BRASIL. Lei N.º 5.540, de 28 de novembro de 1961 Fixa normas de organização e funcionamento do ensino superior e sua articulação com a escola média, e dá outras providências. Brasília, DF: Presidência da República, 1968. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l5540.htm >. Acesso em: 15 fev. 2021.
  » http://www.planalto.gov.br/ccivil_03/leis/l5540.htm
• CARRIÓN, Andrés et al A new methodology for measuring third mission activities of universities. In: Proceedings of 6thInternational Technology, Education And Development Conference Inted 2012, p. 1218-1223, 2012. Disponível em: <Disponível em: https://www.researchgate.net/publication/293632889_A_NEW_METHODOLOGY_FOR_MEASURING_THIRD_MISSION_ACTIVITIES_OF_UNIVERSITIES >. Acesso em: 20 jan. 2021.
  » https://www.researchgate.net/publication/293632889_A_NEW_METHODOLOGY_FOR_MEASURING_THIRD_MISSION_ACTIVITIES_OF_UNIVERSITIES
• CINAR, Ridvan. Delving into social entrepreneurship in universities: is it legitimate yet?.Regional Studies, Regional Science, v. 6, n. 1, p. 217-232, 2019. <https://doi.org/10.1080/21681376.2019.1583602>
  » https://doi.org/10.1080/21681376.2019.1583602
• DE LA TORRE, Eva M.; AGASISTI, Tommaso; PEREZ-ESPARRELLS, Carmen. The relevance of knowledge transfer for universities’ efficiency scores: an empirical approximation on the Spanish public higher education system.Research Evaluation, v. 26, n. 3, p. 211-229, 2017. <https://doi.org/10.1093/reseval/rvx022>
  » https://doi.org/10.1093/reseval/rvx022
• DE RASSENFOSSE, Gaétan; WILLIAMS, Ross. Rules of engagement: measuring connectivity in national systems of higher education.Higher Education, v. 70, n. 6, p. 941-956, 2015. Disponível em: <https://link.springer.com/article/10.1007/s10734-015-9881-y>. Acesso em: 20 jan. 2021.
  » https://doi.org/10.1007/s10734-015-9881-y
• DETMER LATORRE, Andrea et alLa Tercera Misión (3M) de las Universidades: Buenas Prácticas en América Latina Xalapa (Jalapa), Mexico: Cruz López Cecilia, 2014.
• DI BERARDINO, Daniela; CORSI, Christian. A quality evaluation approach to disclosing third mission activities and intellectual capital in Italian universities.Journal of Intellectual Capital, v. 19, n. 1, p. 178-201, 2018. <https://doi.org/10.1108/JIC-02-2017-0042>
  » https://doi.org/10.1108/JIC-02-2017-0042
• E3M PROJECT. European Indicators and Ranking Methodology for University Third Mission 2021. Disponível em:<http://www.e3mproject.eu/e3mproject.eu/>. Acesso em: 26 fev. 2021.
• ETZKOWITZ, Henry; LEYDESDORFF, Loet. The Triple Helix-University-industry-government relations: A laboratory for knowledge based economic development.EASST review, v. 14, n. 1, p. 14-19, 1995. Disponível em:<Disponível em:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2480085 >. Acesso em: 11 out. 2020.
  » https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2480085
• FERENHOF, Helio Aisenberg; FERNANDES, Roberto Fabiano. Desmistificando a revisão de literatura como base para redação científica: método SSF. Revista ACB, v. 21, n. 3, p. 550-563, 2016. Disponível em:<Disponível em:https://www.researchgate.net/profile/Helio-Ferenhof/publication/325070845_DESMISTIFICANDO_A_REVISAO_DE_LITERATURA_COMO_BASE_PARA_REDACAO_CIENTIFICA_METODO_SSF/links/5af4caad4585157136ca3889/DESMISTIFICANDO-A-REVISAO-DE-LITERATURA-COMO-BASE-PARA-REDACAO-CIENTIFICA-METODO-SSF.pdf >. Acesso em: 03 mar. 2021.
  » https://www.researchgate.net/profile/Helio-Ferenhof/publication/325070845_DESMISTIFICANDO_A_REVISAO_DE_LITERATURA_COMO_BASE_PARA_REDACAO_CIENTIFICA_METODO_SSF/links/5af4caad4585157136ca3889/DESMISTIFICANDO-A-REVISAO-DE-LITERATURA-COMO-BASE-PARA-REDACAO-CIENTIFICA-METODO-SSF.pdf
• FÓRUM DE PRÓ-REITORES DE EXTENSÃO DAS UNIVERSIDADES PÚBLICAS BRASILEIRAS (FORPROEX). Política Nacional de Extensão Universitária Manaus, AM: FORPROEX, 2012. Disponível em:<Disponível em:https://www.ufmg.br/proex/renex/images/documentos/2012-07-13-Politica-Nacional-de-Extensao.pdf >. Acesso em 05 nov. 2022.
  » https://www.ufmg.br/proex/renex/images/documentos/2012-07-13-Politica-Nacional-de-Extensao.pdf
• FRONDIZI, Rocco et al The evaluation of universities third mission and intellectual capital: theoretical analysis and application to Italy.Sustainability, v. 11, n. 12, p. 3455, 2019. <https://doi.org/10.3390/su11123455>.
  » https://doi.org/10.3390/su11123455
• GIMENEZ, Ana Maria Nunes; BONACELLI, Maria Beatriz Machado. As multifaces da relação universidade-sociedade: dimensões da terceira missão.XI Jornadas Latinoamericanas de estudos Sociais da Ciência e Tecnologia Curitiba, 2016. Disponível em:<Disponível em:https://www.researchgate.net/profile/Ana-Nunes-Gimenez/publication/309398662_As_multifaces_da_relacao_universidade-sociedade_dimensoes_da_terceira_missao/links/580e648d08ae51b863966e92/As-multifaces-da-relacao-universidade-sociedade-dimensoes-da-terceira-missao.pdf >. Acesso em: 03 mar. 2021.
  » https://www.researchgate.net/profile/Ana-Nunes-Gimenez/publication/309398662_As_multifaces_da_relacao_universidade-sociedade_dimensoes_da_terceira_missao/links/580e648d08ae51b863966e92/As-multifaces-da-relacao-universidade-sociedade-dimensoes-da-terceira-missao.pdf
• HADĂR, Alexandra; PURCĂREA, Anca Alexandra. A new set of performance indicators for improving the capitalization process of Intellectual Property. Proceedings of the International Conference on Business Excellence, 2017. p. 994-1008. <https://doi.org/10.1515/picbe-2017-0104>
  » https://doi.org/10.1515/picbe-2017-0104
• HART, Angie; NORTHMORE, Simon; GERHARDT, Chloe. Briefing paper: auditing, benchmarking and evaluating public engagement. Bristol, UK: National Co-ordinating Centre for Public Engagement Research Synthesis n° 1, 2009. Disponível em:<Disponível em:http://talloiresnetwork.tufts.edu/wp-content/uploads/AuditingBenchmarkingandEvaluatingPublicEngagement.pdf >. Acesso em: 05 nov. 2022
  » http://talloiresnetwork.tufts.edu/wp-content/uploads/AuditingBenchmarkingandEvaluatingPublicEngagement.pdf
• KALEMIS, Konstantinos. Scope and Aims of Intellectual Capital Management and Reporting. Int Organization Center Acad Research, Istanbul, 2014. p. 294-303. Disponível em:<http://www.ocerints.org/intcess14_epublication/papers/467.pdf>. Acesso em: 02 fev. 2021
• KOTOSZ, Balázs et al How to measure the local economic impact of universities? Methodological overview.Regional Statistics, v. 5, n. 2, p. 3-19, 2015. Disponível em:<Disponível em:https://www.ceeol.com/search/article-detail?id=330195 >. Acesso em: 20 fev. 2021.
  » https://www.ceeol.com/search/article-detail?id=330195
• MAXIMIANO JUNIOR, Manoel. Um Modelo de Indicadores para Avaliação e Gestão de Desempenho da Terceira Missão nas Universidades Públicas Brasileiras Tese (Doutorado em Engenharia). Porto: Universidade do Porto, 2019. Disponível em:<Disponível em:https://repositorio-aberto.up.pt/bitstream/10216/119971/2/335866.pdf >. Acesso em: 07 jun. 2021.
  » https://repositorio-aberto.up.pt/bitstream/10216/119971/2/335866.pdf
• MOLAS-GALLART, Jordi et al Measuring third stream activities. Final report to the Russell Group of Universities. Science and Technology Policy Research (SPRU), University of Sussex. Brighton (UK), 2002. Disponível em: <Disponível em: https://www.researchgate.net/publication/246796517_Measuring_Third_Stream_Activities >. Acesso em: 21 nov. 2022.
  » https://www.researchgate.net/publication/246796517_Measuring_Third_Stream_Activities
• MOLAS-GALLART, Jordi; CASTRO-MARTÍNEZ, Elena. Ambiguity and conflict in the development of “Third Mission” indicators.Research Evaluation, v. 16, n. 4, p. 321-330, 2007. <https://doi.org/10.3152/095820207X263592>
  » https://doi.org/10.3152/095820207X263592
• PAULA, Maria de Fátima de. A formação universitária no Brasil: concepções e influências.Avaliação: Revista da Avaliação da Educação Superior (Campinas ), v. 14, p. 71-84, 2009. <https://doi.org/10.1590/S1414-40772009000100005>
  » https://doi.org/10.1590/S1414-40772009000100005
• PAUSITS, Attila et al Conceptual Framework for Third Mission Indicator Definition Bruxelas: Comissão Europeia, 2011. <https://doi.org/10.13140/RG.2.1.4755.2888>
  » https://doi.org/10.13140/RG.2.1.4755.2888
• PIVA, Evila; ROSSI-LAMASTRA, Cristina. Systems of indicators to evaluate the performance of university-industry alliances: a review of the literature and directions for future research.Measuring Business Excellence, 17, n. 3, p. 40-54, 2013. <https://doi.org/10.1108/MBE-01-2013-0004>
  » https://doi.org/10.1108/MBE-01-2013-0004
• QS WORLD UNIVERSITY RANKINGS. QS World University Rankings 2023: Top global universities. 2023. Disponível em: <Disponível em: https://www.topuniversities.com/university-rankings/world-university-rankings/2023 >. Acesso em 15 fev. 2023.
  » https://www.topuniversities.com/university-rankings/world-university-rankings/2023
• RAMOS-VIELBA, Irene; FERNÁNDEZ-ESQUINAS, Manuel; ESPINOSA-DE-LOS-MONTEROS, Elena. Measuring university-industry collaboration in a regional innovation system.Scientometrics, v. 84, n. 3, p. 649-667, 2010. <https://doi.org/10.1007/s11192-009-0113-z>
  » https://doi.org/10.1007/s11192-009-0113-z
• SÃO PAULO. Decreto N.º 6.283, de 25 de janeiro de 1934 Crea a Universidade de São Paulo e dá outras providências. São Paulo, SP: Secretaria de Estado da Educação e da Saúde Pública. Disponível em:<Disponível em:http://www.leginf.usp.br/?historica=decreto-n-o-6-283-de-25-de-janeiro-de-1934 >. Acesso em: 15 fev. 2021.
  » http://www.leginf.usp.br/?historica=decreto-n-o-6-283-de-25-de-janeiro-de-1934
• SCHMITZ, Heike; ARGOLLO, Rivailda Silveira Nunes de; TENÓRIO, Robinson Moreira. Governança e gestão num sistema de avaliação da educação superior.Avaliação e sociedade: a negociação como caminho. Salvador: EDUFBA, p. 21-43, 2009. Disponível em:<Disponível em:https://repositorio.ufba.br/ri/bitstream/ufba/112/4/Avaliacao%20e%20Sociedade.pdf >. Acesso em: 02 mai. 2021.
  » https://repositorio.ufba.br/ri/bitstream/ufba/112/4/Avaliacao%20e%20Sociedade.pdf
• SECUNDO, Giustina et al An Intellectual Capital framework to measure universities third mission activities. Technological Forecasting and Social Change, v. 123, p. 229-239, 2017. <https://doi.org/10.1016/j.techfore.2016.12.013>
  » https://doi.org/10.1016/j.techfore.2016.12.013
• SECUNDO, Giustina et al Intellectual capital management in the fourth stage of IC research: A critical case study in university settings. Journal of Intellectual Capital, 2018. <https://doi.org/10.1108/JIC-11-2016-0113>.
  » https://doi.org/10.1108/JIC-11-2016-0113
• SECUNDO, Giustina; ELIA, Gianluca. A performance measurement system for academic entrepreneurship: a case study.Measuring Business Excellence, 18, n. 3, p. 23-37, 2014. <https://doi.org/10.1108/MBE-11-2013-0061>
  » https://doi.org/10.1108/MBE-11-2013-0061
• SHANGHAI RANKING. Academic Ranking of World Universities 2022. Disponível em:<Disponível em:https://www.shanghairanking.com/rankings/arwu/2022 >. Acesso em15 fev. 2023.
  » https://www.shanghairanking.com/rankings/arwu/2022
• SILVA, Telma Maria Chaves Ferreira da. Capital intelectual: uma análise de conteúdo nos relatórios de gestão das universidades públicas federais do sudeste brasileiro. Tese (Doutorado em Contabilidade). Universidade de Aveiro, 2017. Disponível em:<Disponível em:https://ria.ua.pt/handle/10773/21967 >. Acesso em: 06 mai. 2021.
  » https://ria.ua.pt/handle/10773/21967
• SOEIRO, Alfredo et al Green Paper. Fostering and Measuring Third Mission in Higher Education Institutions Bruxelas: Comissão Europeia , 2012. <https://doi.org/10.13140/RG.2.2.25015.11687>.
  » https://doi.org/10.13140/RG.2.2.25015.11687
• TIMES HIGHER EDUCATION. World University Rankings 2022 2022. Disponível em:<Disponível em:https://www.timeshighereducation.com/w%C3%B6rld-univ%C3%A9r%C8%99ity-r%C3%A0nkings/2022 >. Acesso em 15 fev. 2023.
  » https://www.timeshighereducation.com/w%C3%B6rld-univ%C3%A9r%C8%99ity-r%C3%A0nkings/2022
• U-MULTIRANK. U-Multirank: Universities compared. Your way. 2023. Disponível em:<Disponível em:https://www.umultirank.org/ >. Acesso em 15 fev. 2023.
  » https://www.umultirank.org/
• UNIVERSIDADE FEDERAL DE SANTA CATARINA. Plano de Desenvolvimento Institucional 2020 a 2024 [recurso eletrônico]. Florianópolis: UFSC, 2020. Disponível em:<Disponível em:https://pdi.paginas.ufsc.br/files/2020/08/PDI-2020-2024-pagina-dupla.pdf >. Acesso em 06 mai. 2021.
  » https://pdi.paginas.ufsc.br/files/2020/08/PDI-2020-2024-pagina-dupla.pdf
• URDARI, Claudia; FARCAS, Teodora Viorica; TIRON-TUDOR, Adriana. Assessing the legitimacy of HEIs’ contributions to society: the perspective of international rankings. Sustainability Accounting, Management and Policy Journal, 8, n. 2, p. 191-215, 2017. <https://doi.org/10.1108/SAMPJ-12-2015-0108>
  » https://doi.org/10.1108/SAMPJ-12-2015-0108
• VARGIU, Andrea. Indicators for the evaluation of public engagement of higher education institutions. Journal of the Knowledge Economy, v. 5, n. 3, p. 562-584, 2014. Disponível em:<https://link.springer.com/article/10.1007/s13132-014-0194-7>. Acesso em: 02 fev. 2021.
  » https://doi.org/10.1007/s13132-014-0194-7

• 1
  A definição da palavra produto no contexto do artigo é no sentido de resultado ou efeito de uma ação humana e como resultado de uma criação.

APÊNDICE A

Quadro 3
Proposta de indicadores 3M para IES brasileiras.

Quadro 3
Continuação

Quadro 3
Continuação

Quadro 3
Continuação

Datas de Publicação

• Publicação nesta coleção
  31 Jul 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  06 Out 2021
• Aceito
  28 Fev 2023

• Este documento possui uma versão em preprint
  https://preprints.scielo.org/index.php/scielo/preprint/view/1174/version/1253