Avaliação de redes de instituições de pesquisa científica e tecnológica baseada em um sistema de gestão padronizado

Resumo:

A intervenção em um fenômeno como um Sistema Nacional de Inovação (SNI) é algo complexo, principalmente em economias em desenvolvimento. Estudos constatam a ausência de instrumentos e ações práticas que permitam atuar no aprimoramento contínuo desses sistemas. No Brasil, alvo do estudo, há um caso de ação pioneira desenvolvida pela Empresa Brasileira de Pesquisa e Inovação Industrial (EMBRAPII), que publicou recentemente um padrão de sistema de gestão baseado em processos de negócio que serve de orientação para apoiar a gestão das instituições de pesquisa científica e tecnológica (ICT) parceiras da instituição. O artigo apresenta uma proposta de modelo de avaliação como mecanismo para a melhoria de uma rede de ICTs que utiliza o padrão de sistema de gestão, visando avanços na gestão da inovação e impactos positivos no SNI. O modelo está estruturado com base na integração de três conceitos principais: sistema de medição de desempenho, processos de avaliação, auditorias internas e externas. As limitações e hipóteses sobre a utilização de um modelo como esse são discutidas. As principais conclusões são que não há modelos similares na literatura e que a aplicação desse modelo pode ser um instrumento importante para países em desenvolvimento que precisam dinamizar sua rede de inovação.

Palavras-chave:
Sistemas Nacionais de Inovação; Instituições de pesquisa; Inovação; Avaliação de redes de inovação; Auditoria interna; Auditoria externa

Abstract:

The interference in a phenomenon as a National Innovation System (NIS) is complex, especially in developing economies. Some studies discuss the absence of tools and practical actions that allow a continuous improvement of these systems. In Brazil, there is a case of pioneering action developed by EMBRAPII, an agency for Industrial Research and Innovation. EMBRAPII has recently published a standard of management system based on business processes. That tool aims to provide guidance to support the management of R&D Institutes, partners of EMBRAPII. This paper proposes a model of evaluation as a mechanism to improve a network of R&D Institutes using that standard management system. The model is structured based on the integration of three key concepts: performance measurement system, evaluation processes, internal and external audits. The constraints and assumptions about the use of a model such as this are discussed. The main conclusion is that there are no similar models in literature and application of this model can be an important tool for developing countries that need to boost their innovation network.

Keywords:
National Innovation Systems; R&D institutes; Innovation; Evaluation of innovation networks; Internal audit; External audit

1 Introdução

Governos de todo o mundo consideram os sistemas nacionais de inovação (SNI) fundamentais para aumentar o potencial inovador dos países. Lundvall et al. (2002) constataram há mais de uma década o aumento do interesse pela perspectiva de sistemas nacionais de inovação e redes na América Latina, Ásia e África.

As instituições de pesquisa científica e tecnológica (ICT) representam importante papel no cenário de inovação de um país e sua evolução depende de uma série de competências técnicas e organizacionais. O Manual de Oslo (OCDE, 2005) destaca que são, também, as instituições de ciência e tecnologia que sustentam a inovação comercial, fornecendo conhecimento científico. Elas atuam, geralmente, na fase pré-competitiva do processo de inovação, fazem a intermediação do desenvolvimento de novos conhecimentos e tecnologias para a aplicação no desenvolvimento de novos produtos e tecnologias (no mercado).

Corroborando Lundvall et al. (2002) e o Manual de Oslo (OCDE, 2005), entende-se que uma forma de melhorar o sistema nacional de inovação em um país passa diretamente pela melhoria operacional e ampliação das capacidades na prestação de serviços por parte das ICT. Os SNI, nesses casos, precisam aprimorar-se em capacidades como: 1) planejar estratégias tecnológicas; 2) planejar negócios compatíveis e que sustentem suas ações; 3) gerenciar seu portfólio de ideias (demandas) e seus projetos; 4) estabelecer processos de negócio que possibilitem a melhoria da operação; e 5) desenvolver suas competências constantemente.

Para Viotti (2002), há diferenças significativas no SNI entre países desenvolvidos e em desenvolvimento. Liu et al. (2014) realizaram uma pesquisa comparativa que enquadrou o SNI brasileiro dentro de um grupo de países emergentes que se caracterizam pela significativa produção de conhecimento e deficiências na obtenção de benefícios comerciais.

Arbix et al. (2005) demonstraram que a cooperação com ICT é um elemento importante para o avanço do SNI brasileiro. Em um estudo sobre empresas exportadores e inovadoras, com dados das principais bases nacionais (PINTEC, SECEX e RAIS), identificou-se que há, dentre as firmas brasileiras exportadoras que realizaram inovações tecnológicas, uma maior concentração de empresas com participação em arranjos cooperativos e investimentos do governo, inclusive com a participação de ICT. Assad & Souza (2009), em estudo de caso específico, confirmam a importância da participação das ICT na inovação na área médica.

Outra característica específica do SNI brasileiro é que esse potencial poderia ser ainda mais explorado se considerarmos os dados que demonstram desafios diversos enfrentados pelas ICT quando apoiam o sistema produtivo. Há questões estruturais, como o arcabouço legal referente ao pagamento de serviços prestados e ao envolvimento de fundações (Jannuzzi et al., 2008), falta de definição clara do papel do pesquisador (Assad & Souza, 2009) e problemas de propriedade intelectual (Kamimura & Cornetta, 2011) que desestimulam os investimentos e as parcerias. E há também questões gerenciais, como a necessidade de uma atuação mais profissional e de melhoria das boas práticas laboratoriais e dos modelos de gestão, como discutido por Assad & Souza (2009) na área médica e Oliveira & Telles (2011) em setores industriais diversos.

O desafio então é como difundir modelos de gestão e introduzir boas práticas, inclusive técnicas para a prospecção, planejamento e desenvolvimento de tecnologias e produtos, nas redes de ICT. Segundo argumentos de Chandler (1962), Penrose (2006), Rutman (1977), Bin (2008) e Chiesa et al. (1996), a avaliação dessas redes de inovação tem um papel fundamental.

Uma oportunidade para investigar o assunto é um caso recente, a Empresa Brasileira de Inovação Industrial (EMBRAPII). O plano de PD&I estabelecido pelo governo federal incluiu, dentre as iniciativas, a criação da EMBRAPII como instituição cujo objetivo seria atuar especificamente sobre a questão da ampliação da ação das ICT. A EMBRAPII foi criada para credenciar e gerir uma rede de instituições de pesquisa científica e tecnológica (ICT) capazes de prospectar e desenvolver tecnologias inovadoras em parceria com o setor produtivo. Baseada no diferencial de outras redes similares, como o Instituto Fraunhofer, na Alemanha, e a Rede Carnot, na França, a EMBRAPII desenvolveu um sistema de gestão específico para as necessidades de sua rede, denominado Excelência Operacional EMBRAPII (EOE), com o objetivo, segundo o padrão de orientar os processos de negócio da rede e ser uma referência para estabelecer uma linguagem comum entre os atores e apoiar o sistema EMBRAPII nos processos de qualificação e acompanhamento das ICT credenciadas. O Sistema EOE está disponível no site da EMBRAPII.

Este artigo propõe um modelo de avaliação de redes de ICT baseado no padrão de excelência operacional EOE. A proposta foi elaborada para adequar-se especialmente ao caso do SNI brasileiro, representado neste estudo pelas instituições da rede de inovação da EMBRAPII. A principal contribuição, desenvolvida por meio de uma pesquisa-ação, vem a ser a apresentação do modelo e de discussões sobre seus componentes e aspectos que impactam a evolução e o desenvolvimento de instrumentos práticos voltados para o aprimoramento da rede de inovação da EMBRAPII.

Este documento está organizado em seis seções. A revisão bibliográfica é apresentada na seção a seguir. A seção 3 contextualiza o caso estudado (e o problema de pesquisa). Descreve-se o modelo proposto e sua análise na seção 4, incluindo-se comentários sobre o delineamento da pesquisa, por meio dos conhecimentos adquiridos na literatura. A seção 5 apresenta as considerações finais e as conclusões da equipe de pesquisa.

2 Revisão bibliográfica

2.1 Avaliação de redes de inovação

Os atores de um sistema nacional de inovação (SNI) e seus modelos de atuação e de relacionamento são bastante distintos entre os países e regiões. A OCDE (2009) cita que alguns princípios devem ser aplicados pelos atores que atuam com inovação: buscar e combinar conhecimentos de maneira global, integrar-se a redes colaborativas e formar parcerias, atender as necessidades em países em desenvolvimento (OCDE, 2009).

A intervenção em um fenômeno como um sistema nacional de inovação, porém, é algo complexo, principalmente em economias em desenvolvimento, entre os quais o Brasil se enquadra. De acordo com Andreassi et al. (2006), os sistemas de inovação e as redes de inovação são imaturos nos países em desenvolvimento. Segundo Viotti (2002), há diferenças significativas entre os processos de mudança técnica desses países em comparação com os de países desenvolvidos. Além disso, Lundvall et al (2002) apontam uma ausência de conceitos, instrumentos e ações práticas que permitam atuar no aprimoramento contínuo dos SNI. Levén et al. (2014) também destacam que é fundamental que exista um mecanismo, comum aos envolvidos na rede, que possa estabelecer, estimular e desdobrar os processos em uma rede de inovação. Este artigo foi focado na questão da ausência de instrumentos e ações práticas que permitam atuar no aprimoramento contínuo dos SNI.

Nobelius (2004) aponta que uma das principais dificuldades para a gestão da inovação é justamente a transformação de trabalhos de pesquisa em produtos comerciais, a conversão da invenção em inovação. Algumas dessas dificuldades advêm de problemas de comunicação interna e externa às instituições, das barreiras culturais existentes, da utilização de processos inapropriados e métodos que não necessariamente são estruturados por tecnologias superiores e maduras. Tais dificuldades demandam uma gestão eficaz do processo de inovação (Nobelius, 2004; Schulz et al., 2000).

No caso do Brasil, recentemente, Liu et al. (2014), ao estudarem a perspectiva de eficiência nos sistemas de inovação, alocaram o país dentro de um grupo de países emergentes que se caracteriza por uma forte ênfase no processo de produção de conhecimento, juntamente com Índia, México, Tailândia e Malásia. Os autores destacam a capacidade em gerenciar os gastos com P&D desse grupo, para manter um nível razoável de produtividade na indústria e em serviços. Segundos os autores, apesar de fortes na produção de conhecimento, esses países não demonstram a mesma força na aplicação e obtenção de benefícios comerciais. Oliveira & Telles (2011), baseados em experiência prévia, ressaltam que é necessário que as instituições sejam reconhecidas por suas competências técnicas na área de gestão de projetos e que sejam altamente eficientes na sua administração. Os aspectos apresentados, juntamente com a oportunidade de estudo da EMBRAPII, levaram a equipe de pesquisa a considerar o Brasil como país-alvo do estudo.

Chandler (1962) e Penrose (2006) caracterizam a atividade administrativa como o conjunto de decisões relacionadas à coordenação, avaliação e planejamento do trabalho da firma e à alocação de seus recursos. Nesse contexto, a avaliação é, antes de tudo, um processo que aplica procedimentos científicos para acumular evidências confiáveis e válidas sobre como e em que medida determinadas atividades produzem determinados efeitos ou resultados (Rutman, 1977). Entre os benefícios de uma avaliação está a identificação de prioridades e o provimento de condições estruturais para embasar a condução de atividades pelos atores que compõem um sistema de inovação (Bin, 2008).

Lengrand (2006) discute quatro tipos de avaliação orientados a programas de inovação: 1) avaliação ex-ante: conduzida antes da implementação; 2) avaliação intermediária: revisão do progresso ou resultados em algum ponto do seu desenvolvimento; 3) avaliação em tempo real: acompanhamento em detalhes, através da operação; 4) avaliação ex-post: examina resultados depois de terem sido desenvolvidos. Essa tipologia foi considerada posteriormente para elaboração do modelo de avaliação para a rede de inovação da EMBRAPII.

Estudos brasileiros sobre avaliação de C&T têm sido desenvolvidos de uma forma mais ampla. Como em Salles-Filho et al. (2010), que apresentam um estudo sobre avaliação de impacto em programas de inovação. Bin et al. (2003) e Paulino et al. (2007) estudam avaliação de programas tecnológicos para impactos ambientais. Furtado et al. (2002) exploram indicadores de C&T para avaliação de programas de cooperação universidade-indústria. Eles discutem a avaliação de redes de uma forma ampla mas não apresentam instrumentos que orientem como melhorar cada elemento da organização como, por exemplo, as normas de operação e de processos de negócio das redes de inovação. O problema, portanto, seria o de como estabelecer e difundir um modelo de avaliação operacional que oriente as ICT em países em desenvolvimento a garantir que suas atividades estejam de acordo com os objetivos comuns da rede de inovação a qual pertencem. Tal modelo deveria possibilitar um acompanhamento em detalhes, através da operação das ICT.

A síntese sobre princípios de avaliação de C&T apresentada por Zackiewicz (2005) auxiliou o trabalho na formulação de um modelo de avaliação para as instituições de pesquisa. No Quadro 1 estão as considerações da autora sobre os apontamentos selecionados da literatura.

Quadro 1
Princípios de avaliação de C&T considerados pela autora.

Zackiewicz (2005)	Considerações da autora
Avaliar é interpretar um atributo por meio de um critério	Esta proposta considera o uso da norma EOE como principal critério para as ICT executarem uma avaliação de seus processos de negócio e de sua operação como um todo. O padrão EOE está apresentado na seção 3.
Decidir é executar uma ação a partir de uma avaliação	Esta proposta considera três elementos de avaliação para apoiar a tomada de decisão nas instituições: sistema de medição de desempenho, avaliação interna e externa. Eles são apresentados e discutidos nas subseções 4.1 a 4.3.
Todos os métodos de avaliação são construções sociais	Esta proposta considera que há a necessidade da construção de grupos ou times que possam aprender, realizar as avaliações e ajudar a desenvolver o padrão EOE. Esse aspecto está apresentado e discutido na seção 4.4.

Conforme citado anteriormente, há um desafio para os gestores de instituições de pesquisa. Trata-se de encontrar meios de disseminação e utilização de normas, como o padrão EOE, para aprimorar a rede de ICT que eles assessoram ou estão interessados em desenvolver, combinando os diferentes instrumentos de avaliação de redes para esse propósito.

Desse modo, faz-se necessário conhecer os modelos de avaliação mais comuns, os quais são apresentados nas subseções a seguir.

2.2 Sistemas de medição de desempenho

O desenvolvimento de sistemas de medição de desempenho continua sendo um tema de crescente preocupação tanto para a academia quanto para a indústria (Nudurupati et al., 2011, p. 280; Valmohammadi & Servati, 2011, p. 494; Neely et al. 2005, p. 1.228). Na academia, a medição de desempenho é amplamente discutida com a proposição de novos modelos de SMD e seus métodos de desenvolvimento. No entanto, muitos autores utilizam diferentes termos para os mesmos conceitos. O conceito de medição de desempenho, por exemplo, apresenta diferentes definições para Neely et al. (2005, p. 1.229), Bourne et al. (2002), Atkinson (2000), Bititci et al. (2000) e Kaplan & Norton (1997).

Desse modo, é importante que alguns conceitos sejam apresentados para melhor entendimento do tema. As definições adotadas no presente trabalho estão de acordo com Neely et al. (2005, p. 1.229):

• Medição de desempenho: pode ser definida como o processo de quantificar a eficiência e eficácia de uma ação.

• Indicador de desempenho (Originalmente, Neely et al. (2005, p. 1.229) utilizam o termo medida de desempenho, no entanto optou-se por adotar indicador de desempenho, expressão mais comum nos trabalhos da área): pode ser definido como uma métrica usada para quantificar a eficiência e/ou a eficácia de uma ação.

• Sistema de medição de desempenho (SMD): pode ser definido como conjunto de indicadores de desempenho usados para quantificar tanto a eficiência como a eficácia das ações.

De acordo com Gerolamo (2003, p. 59), dentre os modelos de SMD propostos entre as décadas de 1980 e 1990, os mais pesquisados e citados foram: Performance Pyramid de Cross & Lynch, (1989), Balanced Scorecard (BSC) de Kaplan & Norton (1997) e Performance Prism de Neely et al. (2002).

No caso específico de avaliação de desempenho para arranjos produtivos que atuam em rede de cooperação podem ser citados: Cardoza Galdamez (2007), que estudaram clusters de pequenas e médias empresas, e Hansen & Oliveira (2009), que desenvolveram um modelo para avaliação sistêmica do desempenho competitivo de arranjos produtivos. Destaca-se também o estudo de Lenz (2007) sobre modelo de redes horizontais de cooperação. Segundo Lenz (2007), os modelos Prisma de Desempenho e Balanced Scorecard podem servir de base para adaptação da medição de desempenho de empresas individuais para redes horizontais de cooperação.

A lógica dessa escolha está ligada ao fato de o modelo Prisma ter um foco na obtenção de satisfação dos stakeholders, sendo considerado mais próximo da realidade das redes, nas quais os agentes (participantes da rede, governo, fornecedores, clientes) possuem papel relevante na sua atuação, formando um painel de relações sociais abrangente e complexo. Entretanto, o Prisma não propõe uma forma de desdobramento de perspectivas que contemple uma realidade de fácil utilização, tal como o Balanced Scorecard. Devido a essas características, o desdobramento em objetivos, indicadores, metas e iniciativas do modelo proposto por Lenz (2007) seguiu as recomendações de Kaplan & Norton (1997).

Assim, a perspectiva de satisfação dos stakeholders do modelo de Neely et al. (2002) e a forma de desdobramento dos objetivos de Kaplan & Norton (1997) foram escolhidos para compor o modelo proposto por Lenz (2007) e orientaram o desenho desta proposta.

2.3 Auditorias em redes de inovação

A medição do desempenho é útil, mas é apenas parte da solução, segundo Chiesa et al. (1996). Para os autores é necessário entender como ele surge e, para melhorar continuamente, indica-se examinar não só a capacidade de inovação de uma instituição mas os processos com os quais se desenvolvem e exploram essas inovações.

Chiesa et al. (1996) afirmam que a auditoria de desempenho ajuda a identificar necessidades e problemas, mas não explica por que existem lacunas no desempenho presente e não fornece um plano de ação para eliminar essas lacunas. Conforme a NBR 19011: 2002 (ABNT, 2002): Auditoria é um processo sistemático, documentado e independente para obter evidências e avaliá-las objetivamente para determinar a extensão na qual os seus critérios de processos são atendidos e segundo o autor, atende a essas necessidades.

Autores como Hammer (2007) desenvolveram frameworks específicos de auditoria de processos para ajudar executivos a planejar transformações de empresas, trilhar o seu progresso e identificar obstáculos. Chiesa et al. (1996) apresentam um quadro para a auditoria de gestão da inovação técnica. O modelo aborda os processos de gestão e os mecanismos organizacionais por meio dos quais a inovação é realizada e fornece a base para uma auditoria detalhada das práticas de inovação existentes.

Yam et al. (2004) documentaram auditorias realizadas em 213 empresas chinesas de Pequim, que auxiliaram na avaliação das capacidades de inovação tecnológica e de seu impacto no desempenho competitivo das empresas. Boly et al. (2014) utilizaram uma metodologia de avaliação de processos inovativos em 39 pequenas e médias empresas da França para recomendar ações de melhoria.

Para se fazer a avaliação de um programa, segundo a ABNT 17021-2007 (ABNT, 2007), três condições são pré-requisitos e precisam ser testadas previamente quando à sua existência: 1) um programa delimitado claramente; 2) objetivos e efeitos claramente especificados; 3) um esquema racional de causalidades ligando programa a objetivos e efeitos. Este trabalho considera o contexto da EMBRAPII e seu sistema de gestão padrão – Sistema EOE –, seus objetivos e metas estratégicas, apresentados nas seções 3 e 4, a seguir.

A ABNT 17021-2007 (ABNT, 2007) descreve conceitos de certificação de sistemas de gestão, uteis para este trabalho, e que segundo a norma podem oferecer a demonstração independente de que o sistema de gestão da organização: 1) está conforme os requisitos especificados; 2) é capaz de alcançar com coerência política e objetivos declarados; 3) está implementado com eficácia. Segundo a norma, a avaliação de conformidade, tal como a certificação de um sistema de gestão, oferece valor à organização, seus clientes e partes interessadas.

3 A EMBRAPII e o contexto de aplicação da proposta

3.1 Apresentação da EMBRAPII

A Empresa Brasileira de Pesquisa e Inovação Industrial (EMBRAPII) – é resultado de um programa de PD&I estabelecido pelo governo federal em 2013. Ela busca atender as lacunas dos programas de PD&I e consolidar-se como um agenciador de inovação de alta eficiência. Tem como objetivo credenciar e gerir uma rede de instituições de pesquisa científica e tecnológica capazes de prospectar e desenvolver tecnologias inovadoras. O programa é similar aos existentes em nações como Alemanha, por meio dos institutos Fraunhofer, na França, pelos institutos Carnot, e na Inglaterra, pelos institutos Catapult.

Um dos desafios da EMBRAPII era o problema, identificado por Liu et al. (2014) e Oliveira & Telles (2011), relacionado com a baixa experiência das instituições de pesquisa no SNI brasileiro referente à transferência de tecnologia. Como apresentado na seção 2, o Brasil é caracterizado por alta produção de papers mas pequena inserção e impacto dessa produção na evolução comercial e industrial. Portanto, além de formar a rede, como nos casos franceses e alemão, tem-se a dimensão que no programa brasileiro é fundamental incorporar a questão do desenvolvimento das instituições pertencentes à rede de forma a impactar no SNI como um todo.

Conforme citado por Oliveira & Telles (2011), experiências de cooperação entre universidade-empresa, a partir de 2008, pelo Instituto de Pesquisas Tecnológicas (IPT), concentraram esforços para identificação de temas relevantes para inovação, para o incentivo à formação de um escritório de projetos e para o planejamento de novas tecnologias. Nessa época, no entanto, ainda em fase piloto, a EMBRAPII deparou-se com a falta de um modelo consolidado capaz de fornecer base conceitual para orientar a condução das atividades operacionais de suas unidades, lacuna demonstrada na seção 2. Tal deficiência, levou a EMBRAPII, juntamente com um grupo de pesquisadores, a desenvolver um sistema de gestão da inovação específico para suas unidades credenciadas, as ICT. O sistema foi denominado Sistema de Excelência Operacional EMBRAPII (EOE), apresentado a seguir.

3.2 Visão geral do sistema EOE

Entende-se que o ciclo de introdução de uma inovação capaz de trazer vantagens competitivas inicia-se com a identificação das necessidades e oportunidades e é, em geral, concretizado na empresa parceira do sistema EMBRAPII, que desenvolve projetos com as instituições de pesquisa credenciadas.

A EMBRAPII desenvolveu um padrão de operação para tornar a instituição de pesquisa um parceiro estratégico e que atue onde há maior carência no sistema de inovação nacional: a fase intermediária. Essa fase está entre o desenvolvimento das primeiras provas de conceito e o desenvolvimento de produtos e processos, no contexto de empresas capazes de colocar o produto final com a tecnologia embarcada à venda. A EMBRAPII realiza, portanto, uma ampla gama de tipos de projetos, sempre em parceria com empresas, de forma a facilitar a introdução de novas tecnologias em produtos, processos ou modelos de negócio.

Baseada em conhecimentos prévios e segundo estudos de autores das áreas de Gestão da Inovação, da Tecnologia e de Produto (Clark & Wheelwright, 1993; Clausing, 1993; Cooper, 2006; Creveling et al., 2003; Schulz et al., 2000; Sheasley, 2000), a EMBRAPII buscou endereçar no padrão EOE ações para o aprimoramento das ICT, fornecendo-lhes capacidade para: 1) planejar estratégias tecnológicas; 2) planejar negócios compatíveis e que sustentem suas ações; 3) gerenciar seu portfólio de ideias (demandas) e seus projetos; 4) estabelecer processos de negócio que possibilitem a melhoria da operação; e 5) desenvolver suas competências constantemente.

O sistema EOE é um padrão de referência que serve como instrumento a partir do qual a EMBRAPII compartilha e estimula a melhoria das práticas entre todas as unidades, de forma a obter uma gestão eficiente. O objetivo do uso dessa norma é orientar os processos de negócio da rede e estabelecer uma linguagem comum entre os atores para apoiar o sistema EMBRAPII nos processos de qualificação e acompanhamento das ICT credenciadas.

Ele é formado por três modelos: um modelo de atores, um modelo de processos de negócio e um conjunto de indicadores de desempenho (KPI).

• Atores da EOE. É um modelo que descreve papéis, ou um conjunto de responsabilidades, claramente identificadas na estrutura organizacional de cada unidade EMBRAPII.

• Processos de negócio da EOE. É um modelo que descreve um conjunto de processos, ou de práticas, que produzem resultados verificáveis (entregas) e de valor para os clientes da unidade EMBRAPII. Foram selecionados e desenvolvidos quatro processos principais: 1) Desenvolvimento de Oportunidades de Negócio; 2) Gestão de PD&I; 3) Comunicação; 4) Gestão Financeira e Administrativa.

• KPI (key performance indicators). São os indicadores de desempenho utilizados para demonstrar quão bem os objetivos da unidade EMBRAPII estão sendo alcançados.

A Figura 1 representa a visão geral da interação entre a EMBRAPII e suas unidades por meio dos componentes do sistema EOE (Para mais informações, acessar o site da EMBRAPII).

Figura 1
Visão geral do sistema EOE.

Este trabalho considera que qualquer organização agenciadora de instituições de pesquisa, como é o caso da EMBRAPII, pode desenvolver um sistema de gestão padrão para sua rede de inovação, como a EMBRAPII desenvolveu seu sistema EOE. No entanto, é importante que tais organizações se preocupem com a utilização desses padrões e com sua aplicação, disseminando e utilizando instrumentos que garantam sua implementação.

Na seção 4, a seguir, apresenta-se a proposta de um modelo de avaliação de redes de ICT que utilizam sistemas de gestão preestabelecidos.

4 Construindo um modelo de avaliação de redes de ICT

O trabalho foi organizado em ciclos de pesquisa-ação. No primeiro ciclo formou-se uma equipe de pesquisa constituída por uma mestranda e dois pesquisadores da Universidade de São Paulo, especialistas em Gestão da Inovação e Desenvolvimento de Produtos. Os pesquisadores têm vasta experiência como usuários de programas de fomento do SNI brasileiro, bem como de desenvolvimento de projetos cooperativos entre universidades e empresas.

O primeiro passo, após a formação da equipe, foi a análise da literatura e de conhecimentos prévios da equipe de pesquisa, os quais possibilitaram propor um conjunto de requisitos e propósitos gerais do modelo: 1) assegurar a evolução da organização agenciadora e suas instituições credenciadas; 2) servir para guiar a melhoria continua da administração das instituições e seus processos de negócio; 3) servir como uma linguagem comum, para o uso de sistemas de gestão padronizados, entre os atores de uma rede de inovação constituída por instituições de pesquisa.

Paralelo a esse esforço, empreendeu-se uma revisão bibliográfica mais detalhada, por meio da busca de artigos propondo avaliação de redes de inovação, sistemas de medição de desempenho e auditorias em redes de inovação, conforme apresentado na seção 2. Nesse contexto destacou-se a necessidade de se dispor de instrumentos para contribuir para o desenvolvimento tecnológico e para a construção de um ambiente de negócios favorável à inovação no Brasil.

No segundo ciclo, o sistema EOE foi estudado e identificado como instrumento de orientação de uma rede de ICT brasileira e definido como um bom exemplo para o desenvolvimento deste estudo. Afinal, conforme apresentado na seção 3, ele teria as características necessárias para servir de base para um processo de avaliação. A análise do resultado da seleção dos conceitos e ferramentas mais apropriadas para composição do modelo de avaliação foi realizada entre os pares da equipe de pesquisa, que buscaram reunir os aspectos mais relevantes necessários à formulação da proposta.

Empregando os conhecimentos adquiridos ao longo do estudo, no terceiro ciclo da pesquisa foram selecionados e desenvolvidos quatro componentes principais para a composição do modelo de avaliação.

O resumo das atividades referentes à construção do modelo de avaliação está representado no Quadro 2.

Quadro 2
Atividades referentes à construção do modelo de avaliação.

Ciclo 1	Formação da equipe de pesquisa
	Análise da literatura e de conhecimentos prévios da equipe
	Identificação da necessidade
	Proposta de requisitos e propósitos gerais do modelo
Ciclo 2	Estudo do EOE – base para o processo de avaliação
	Análise de conceitos e ferramentas para o modelo de avaliação
Ciclo 3	Desenvolvimento do modelo de avaliação

Os componentes do modelo de avaliação estão apresentados a seguir e detalhados nas subseções 4.1 a 4.4.

1. 1

   Sistema de Medição de Desempenho (SMD). Indica-se um conjunto de indicadores de desempenho iniciais usados para quantificar tanto a eficiência como a eficácia das ações realizadas em cada instituição de pesquisa e no sistema como um todo.

2. 2

   Processo de Avaliação Interno. Foi pensado para ser um processo de melhoria estabelecido pela instituição de pesquisa, conforme suas necessidades e experiência, e da forma a garantir a busca contínua pela identificação de problemas e sua melhoria na rotina de suas atividades.

3. 3

   Processo de Avaliação Externo. Foi desenvolvido como um conjunto de ações de acompanhamento dos resultados de cada ICT e de sua evolução, executado pela organização agenciadora, ou organização independente à sua ordem. Foram propostos três objetivos: 1) avaliar a aderência dos processos da instituição aos padrões propostos em sistemas de gestão, como o sistema EOE; 2) avaliar a eficiência no estabelecimento e cumprimento das metas de aplicação dos recursos; 3) avaliar a eficácia das ações e seu impacto na sociedade.

4. 4

   Grupo Técnico de Melhoria do Sistema de Gestão. Um grupo técnico pensado para discutir e implementar melhorias no sistema de gestão como um todo, com base na experiência adquirida pelas instituições, de forma a subsidiar a organização agenciadora na melhoria contínua do seu sistema de gestão.

A Figura 2 apresenta uma visão geral do modelo de avaliação proposto. Propõe-se que os primeiros três componentes sejam pilares independentes do modelo de avaliação, com características distintas. O componente 4 é visto como transversal aos demais que, alinhado com Bin (2008), contribui para a identificação de prioridades e o provimento de condições estruturais para embasar a condução de ações a serem realizadas pelos atores que compõem o sistema de inovação.

Figura 2
Visão geral do modelo de avaliação de redes de ICT. Fonte: Elaborado pelos autores.

4.1 Sistema de medição de desempenho

A adoção de um sistema de medição de desempenho foi pensada para ser um instrumento que possibilite uma avaliação contínua do desempenho das instituições de pesquisa em relação ao atendimento das metas da organização que os gerencia. Propõe-se que seu funcionamento consista na atualização e avaliação periódica de indicadores de desempenho dos processos de negócio, preestabelecidos por normas de sistema de gestão, para o que se pode utilizar, por exemplo, o sistema EOE citado na seção 3.

Na seção 2 propõe-se que o objetivo de um instrumento como este, de forma alinhada aos propósitos defendidos por Neely et al. (2002), garanta o monitoramento contínuo, a fim de que a organização agenciadora possa agir e dar o apoio necessário caso haja dificuldade ou demora das instituições credenciadas na execução das ações. Ele também auxiliará na transparência do sistema, demonstrando para a sociedade um resumo dos projetos e o avanço em cada instituição frente o investimento realizado.

Propõe-se que a verificação seja feita por meio do acompanhamento das informações que geram os indicadores, o que permitirá a análise do ambiente e dos resultados das operações das instituições credenciadas. Conforme citado na seção 2 e nas orientações de Kaplan & Norton (1997), os indicadores devem estar alinhados com as metas estratégicas das organizações agenciadoras que atuam na promoção da inovação no país. Como no caso brasileiro da EMBRAPII, os indicadores estão alinhados às metas em seu contrato de gestão com o governo federal (Para mais informações, acessar o site da EMBRAPII, 2014)).

4.2 Processo de avaliação interno

Entre os requisitos para adequação a sistemas de gestão, como é o caso do sistema EOE, estão os processos de negócios. É importante que as instituições de pesquisa comprovem a existência de processos estruturados para a melhoria contínua de seus processos de negócio, no caso estudado, conforme os processos do sistema EOE citados na seção 3.

Os métodos e técnicas para gerar melhorias ficam a critério das instituições. Mas há um conjunto de ações para utilização de normas de sistemas de gestão, conforme orienta-se:

• Apresentação de documentação explicativa sobre o sistema interno da instituição e sobre como ele se relaciona com os processos das normas vigentes;

• Documentação das mudanças realizadas no sistema de gestão;

• Estabelecimento de uma estrutura organizacional interna específica (comitê, grupo, equipe ou departamento) responsável pelo programa de melhoria;

• Incorporação de ações de capacitação em técnicas de melhoria contínua e nas ferramentas e práticas dos padrões preestabelecidos.

Sugere-se que as ações de capacitação específicas sobre tais padrões, incluindo processos, indicadores e sistemas de informação utilizados pela instituição de pesquisa sejam desenvolvidos em conjunto com a organização agenciadora, considerando os seguintes aspectos: objetivos, público alvo, metas, grade de cursos e eventos, calendário para implementação e responsáveis por treinamentos.

4.2.1 Sistema de melhoria contínua

É importante que as instituições de pesquisa considerem um sistema de gestão capaz de garantir a busca contínua da identificação de problemas e geração de melhorias. Para tal, orienta-se o desenvolvimento de um plano para implementação desse sistema. Sugere-se que o sistema de melhoria contínua, para ser considerado como tal, considere quatro aspectos:

• Filosofia. Estabelecimento de um modelo de melhoria e de missão, visão e princípios para a melhoria contínua na organização.

• Processos. Determinação de um padrão de processos para projetos de melhoria, como os tradicionais DMAIC, PDCA ou outro em uso na organização, com ferramentas e ações.

• Pessoas. Desenvolvimento de ações que garantam a capacitação dos colaboradores para incorporar o pensamento sobre a filosofia de gestão, tendo efeito direto na cultura da organização.

• Soluções de problemas. Preparação da organização para a detecção, priorização e solução de problemas nos processos.

As definições do sistema de melhoria, processo de otimização e melhoria contínua de processos podem ser acessadas em normas como ISO/NBR 9001:2005 (ABNT, 2005) e no arcabouço CMMI-DEV, v 1.2 (SEI, 2006). Estabelecer um sistema de melhoria contínua interna deve ser mandatório para todas as instituições de pesquisa que compõem uma rede de inovação. A escolha da metodologia em si e tipos de padrões utilizados pode ficar a cargo da instituição. Exemplos de modelos de melhoria que podem ser utilizados como referência:

• Modelo de maturidade. Modelo que contêm os elementos essenciais de processos, descritos sob um caminho de melhoria evolutiva, desde processos imaturos até processos maduros, disciplinados, com qualidade e eficácia melhoradas (SEI, 2006).

• Seis-sigma e equipes seis-sigma. Uma abordagem disciplinada para melhoria da qualidade que se concentra em métodos de avaliação e mensuração estatísticos.

• Kaizen. Melhoria contínua (incremental) com foco nas atividades que não agregam valor, ou seja, eliminação de desperdícios. Conta com a ideia de Eventos Kaizen, que são eventos com curto período e compromissos de rápidos resultados.

• MASP (Método de Avaliação e Solução de Problemas). É um processo dinâmico na busca de soluções para uma determinada situação. Tem como objetivo aumentar a probabilidade de resolver satisfatoriamente uma situação na qual um problema tenha surgido. Utiliza diversos conceitos para fundamentar sua prática, sendo o PDCA (Plan, Do, Check, Act) o mais conhecido.

• Boas Práticas de Laboratório (BPL). É um sistema da qualidade relativo ao processo organizacional e às condições sob as quais estudos não clínicos referentes a saúde e meio ambiente são planejados, realizados, monitorados, registrados, arquivados e relatados.

4.2.2 Estrutura organizacional para melhoria contínua

Para garantir a implementação do sistema de melhoria interna, bem como atender os requisitos de normas e padrões preestabelecidos, sugere-se que as instituições de pesquisa apresentem uma estrutura organizacional formada por profissionais capacitados, com certificações e treinamentos específicos na metodologia adotada. A definição específica fica a cargo de cada instituição.

O requisito mínimo seria a existência de uma estrutura composta de áreas, grupos e/ou indivíduos que tenham como função responsabilidades claramente definidas quanto à melhoria contínua, estabelecendo-se (Para uma explicação mais detalhada, ver ISO/NBR 9001:2005 (ABNT, 2005), CMMI-DEV, V 1.2 (SEI, 2006) e Meier & Liker (2007)):

• Equipes de melhoria. Equipe responsável pela concepção e execução das atividades de melhoria de processo em uma organização, de acordo com o plano de ação de processo.

• Programa de melhoria. Um conjunto de projetos relacionados e infraestrutura de apoio, incluindo objetivos, métodos, atividades, planos e medidas de sucesso.

• Departamento de qualidade. Setor específico da organização que detém equipe e conhecimentos específicos para gerir o sistema de melhorias

• Comitê gestor do processo ou de melhoria continua. Grupo de pessoas responsáveis pela avaliação, aprovação ou rejeição de mudanças propostas e por assegurar a implementação das mudanças aprovadas.

A estrutura pode ser simplificada ou mais sofisticada, conforme a necessidade da instituição de pesquisa.

4.2.3 Programas de avaliação de desempenho individual

A gestão do desempenho no trabalho caracteriza-se como subsistema de gestão de pessoas, que nas instituições de pesquisa são detentoras dos conhecimentos e competências aplicados nos processos de negócio e projetos de inovação. Dessa forma, a avaliação de desempenho individual está intimamente relacionada com o desempenho operacional da organização agenciadora e da rede de inovação como um todo, seus processos e indicadores, contribuindo para consecução de suas metas.

As instituições de pesquisa podem ter um sistema de avaliação de desempenho individual, simplificado de acordo com sua realidade. É fundamental que se estabeleça um consenso sobre os propósitos de seu desenvolvimento dentro da ICT, pois esses sistemas podem ter finalidades distintas. Entre elas, destacam-se o planejamento do trabalho, a obtenção de insumos para treinamento e desenvolvimento de pessoal, a identificação do potencial da equipe, a identificação das competências, o feedback quanto aos resultados e o reconhecimento por meio de premiações.

O processo de avaliação de desempenho envolve atividades de planejamento, acompanhamento e avaliação do trabalho, tendo em geral o objetivo principal de aprimorar o desempenho das pessoas, além de melhorar a qualidade do trabalho e a qualidade de vida dentro da instituição.

Alguns métodos de avaliação de desempenho são citados a seguir para fins de exemplificação.

• Avaliação participativa por objetivos (APPO). O método APPO, de acordo com seus autores, é democrático, participativo, envolvente e motivador. É constituído de seis fases: formulação de objetivos consensuais; comprometimento pessoal quanto ao alcance desses objetivos; negociação sobre alocação de recursos e meios para se alcançar os objetivos; desempenho, monitoramento dos resultados e comparação com objetivos formulados; retroação intensiva; e avaliação conjunta e contínua.

• Avaliação 360º, ou 180º. Avaliação de desempenho feita de modo circular, ou semicircular por todos os elementos que mantêm alguma interação com o avaliado. O método se baseia na ampla participação de todos os integrantes da equipe, as informações sobre o desempenho do avaliado são coletadas de todas as pessoas ao seu redor.

A instituição de pesquisa pode escolher esses ou outros métodos para avaliação de seu pessoal. Estabelecer um programa de avaliação de desempenho individual não deve ser mandatório, mas é recomendado devido aos benefícios que pode gerar. Em especial para a evolução das competências da instituição.

4.3 Processo de avaliação externo

Sugere-se que toda instituição de pesquisa que atue em redes de inovação e segundo normas preestabelecidas de sistemas de gestão participe de ações de avaliação externa, realizadas por meio de três mecanismos: sistema de informação, auditoria técnica e processo de certificação.

4.3.1 Sistema de informação

A organização agenciadora, como no caso da EMBRAPII, poderá utilizar um sistema de informação para gerenciamento do fluxo de informações, atualização de indicadores de desempenho do sistema de gestão e para a realização de benchmarking competitivo entre suas instituições credenciadas. Recomenda-se que o atendimento a esse requisito ocorra sem necessidade de substituições ou quaisquer mudanças em sistemas de informação já existentes nas instituições. Para que esse sistema funcione é fundamental a realização dos seguintes processos: 1) implementar fluxos de informação; 2) manter um repositório de dados.

4.3.2 Auditoria técnica

Auditoria específica no sistema de gestão padrão, ou parte dele, definida e realizada ad-hoc pela organização agenciadora, ou organização terceira homologada, conforme necessidades específicas. A auditoria pode se dar por meio de visitas técnicas e/ou análise de documentação especialmente solicitada.

As visitas visam ter caráter exploratório, com objetivo de obter informações mais detalhadas sobre os sistemas de gestão das instituições, determinados projetos, avaliar problemas, pontos de melhoria e planos de ação. Compete às instituições de pesquisa a manutenção atualizada dos registros relacionados com os processos previstos na norma padrão para o caso de acompanhamentos como esse, seguindo as diretrizes da seção 4.2.1 Sistema de melhoria contínua.

Essas auditorias foram pensadas para ser executadas por especialistas da norma padrão, como é o caso do sistema EOE, e também podem ser realizadas por profissionais especialistas nas tecnologias relacionadas aos projetos, dependendo do escopo de avaliação da auditoria em questão.

4.3.3 Auditoria de certificação do sistema de gestão

Essa rotina foi pensada como um mecanismo para acompanhamento mais próximo, no caso de detecções de inconsistências, problemas ou oportunidades para aprimoramento nas instituições de pesquisa certificadas. Elas poderão certificar seus sistemas de gestão para garantir a conformidade com os padrões da organização agenciadora. Essa certificação seria um meio de garantir que a instituição implementou as ações necessárias para a gestão dos aspectos pertinentes às suas atividades.

A certificação oferecerá a demonstração independente de que o sistema de gestão da instituição de pesquisa: a) está conforme requisitos especificados; b) é capaz de alcançar com coerência seus objetivos; e c) está implementado com eficácia, oferecendo valor à própria organização agenciadora, seus clientes e partes interessadas, conforme referenciado pela literatura e apresentado na seção 2.

Um processo de avaliação para conceder e manter a certificação a instituições de pesquisa pode ocorrer por meio de auditoria de terceira parte, a ser contratada pela organização agenciadora. Essa poderá recorrer a instituições externas, pela confiança em princípios de auditorias dessa natureza, e acredita que dessa forma estará garantindo:

• Integridade. Envolvimento de profissionais que atuem com imparcialidade, honestidade e diligência.

• Confidencialidade. Discrição no uso e proteção das informações recebidas.

• Independência. Avaliação e feedbacks de auditores independentes, que estejam livres de tendências e conflitos de interesse.

• Abordagem baseada em evidência. Meio racional para alcançar conclusões confiáveis e verificáveis.

• Apresentação justa. Reporte com veracidade e exatidão.

• Responsabilidade. Considera-se o fato de avaliar evidências objetivas suficientes, nas quais se possa basear uma decisão de certificação.

Recomenda-se que exista uma documentação específica demonstrando o escopo da certificação e garantindo que todas as pessoas, processos e áreas que realizam projetos com as instituições de pesquisa estejam envolvidos.

4.4 Grupo técnico de Melhoria do Sistema de Gestão

Conforme citado na seção 2, a avaliação de instituições de pesquisa é uma construção social. Nesse sentido, a formação de grupos técnicos de melhoria foi pensada para garantir o aprendizado e evolução do padrão utilizado pelos distintos atores que fazem parte da rede de inovação.

Na proposta, considera-se fundamental que cada instituição indique um ou mais membros para participar do grupo técnico de melhoria do sistema de gestão. No exemplo estudado, seria para o sistema EOE. Trata-se de um conselho consultivo cuja missão é aconselhar a organização agenciadora nas questões relativas ao padrão que ela própria estabeleceu. O caráter desse conselho é consultivo e seu escopo é técnico. Indica-se que ele se manifeste sobre aspectos técnicos do padrão como indicadores, princípios, processos, práticas recomendadas e demais conteúdos do padrão.

O objetivo é transferir a experiência adquirida pelas instituições com o sistema de gestão, de forma a subsidiar a organização agenciadora na melhoria contínua do padrão. A existência do grupo pode auxiliar a que as mudanças estejam em harmonia com aquelas previstas para o sistema de melhoria interna das instituições.

5 Considerações finais

Este trabalho propôs a ideia de um modelo de avaliação de redes de instituições de pesquisa científica e tecnológica, baseado em uma combinação de processos de avaliação interna e externa, alinhados a uma norma de sistema de gestão. O modelo visa auxiliar na melhoria do desenvolvimento do sistema nacional de inovação. Sua idealização surgiu a partir de experiência prévia e na revisão bibliográfica considerou-se uma lacuna relacionada à existência de instrumentos e ações práticas voltados para a melhoria do SNI e a importância da avaliação de redes de inovação e seus benefícios como fatores fundamentais para construção da proposta. Princípios de avaliação extraídos da literatura foram utilizados na base para justificar o uso da norma EOE como principal critério de avaliação e para o desenvolvimento de seus principais elementos.

O conhecimento das abordagens de avaliação de C&T, sistemas de medição de desempenho e auditorias em rede de inovação foram fundamentais para o desenvolvimento da pesquisa. Conforme citado na seção 2, considerou-se: 1) o uso de normas de sistema de gestão como principal critério para que as ICT executem uma avaliação de seus processos de negócio e de sua operação como um todo; 2) o uso de três elementos de avaliação para apoiar a tomada de decisão nas instituições, tais como: sistemas de medição de desempenho e processos de avaliação internos e externos; 3) a necessidade da construção de grupos ou times que possam aprender, realizar as avaliações e ajudar a desenvolver o padrão de sistemas de gestão adotados pelas redes, como o exemplo do sistema EOE, utilizado pela EMBRAPII.

A utilização do modelo, assim como a padronização de processos orientada por sistemas de gestão, como o EOE, necessita de apoio institucional na ICT para que os recursos necessários sejam destinados a tal empreendimento, o que pode ser considerado uma limitação para seu sucesso. A continuidade desse trabalho possibilitará novos ajustes, até que se torne o mais aderente possível aos seus propósitos. A equipe de pesquisadores pretende dar continuidade ao acompanhamento dessas experiências e espera que este artigo possa incentivar outros grupos de pesquisa a investigar o tema, acompanhando este caso ou replicando-o em outras nações.

O modelo pode ser utilizado em aplicações semelhantes, como em redes de laboratórios de universidades, parques tecnológicos ou mesmo ICT isoladamente. Caso o seu mérito seja comprovado, pode-se gerar ainda a criação de uma certificação nacional e em seguida internacional, do tipo terceira parte. Além dos benefícios citados para a evolução das ICT, ofereceria um mecanismo interessante para orientar empresas na construção de parcerias para desenvolvimento tecnológico, provendo-lhes uma avaliação da preparação em termos da qualidade de serviços dessas instituições.

Dada a inexistência de modelos similares, o artigo apresenta essa nova perspectiva, que pode inaugurar uma nova linha de pesquisa em gestão tecnológica: a avaliação e auditorias para gestão da inovação. O modelo merece esforço futuro de pesquisa no sentido de que se possa complementá-lo, com a possibilidade de se criar uma plataforma de gestão das instituições de pesquisa, contribuindo dessa forma para o ajuste das estratégias das redes de inovação.

• Suporte financeiro: CNPq e EMBRAPII.

Referências

• Andreassi, T., Campanário, M., Stal, E., & Sbragia, R. (2006). Inovação. Como vencer este desafio empresarial São Paulo: Clio.
• Arbix, G., Salerno, M., & De Negri, J. (2005). O impacto da internacionalização com foco na inovação tecnológica sobre as exportações das firmas brasileiras. Dados, 48(2), 395-442. http://dx.doi.org/10.1590/S0011-52582005000200006
  » http://dx.doi.org/10.1590/S0011-52582005000200006
• Assad, A., & Souza, R. (2009). Challenger of Innovation in the area of health: learning in the ongoing debate. Cadernos de História da Ciência, 5(2), 9-19.
• Associação Brasileira de Normas Técnicas – ABNT. (2002). NBR/ISO: 19011: Diretrizes para auditoria de sistemas de gestão da qualidade e/ou ambiental Rio de Janeiro: ABNT.
• Associação Brasileira de Normas Técnicas – ABNT. (2005). NBR ISO 9000: Sistema de Gestão da Qualidade - Fundamentos e Vocabulário Rio de Janeiro: ABNT.
• Associação Brasileira de Normas Técnicas – ABNT. (2007). NBR/ISO: 17021: Avaliação de conformidade. Requisitos para organismos que fornecem auditorias e certificação de sistemas de gestão Rio de Janeiro: ABNT.
• Atkinson, G. (2000). Measuring corporate sustainability. Journal of Environmental Planning and Management, 43(2), 235-252. http://dx.doi.org/10.1080/09640560010694
  » http://dx.doi.org/10.1080/09640560010694
• Bin, A. (2008). Planejamento e gestão da pesquisa e da inovação: conceitos e instrumentos (Tese de doutorado). Instituto de Geociências, Universidade Estadual de Campinas, Campinas.
• Bin, A., Salles-Filho, S. L. M., Paulino, S. R., & Rodrigues, G. S. (2003). Impactos ambientais na agricultura: um método de avaliação de programas tecnológicos. Revista Ciências Administrativas, 9(1), 76-83.
• Bititci, U. S., Turner, T., & Begemann, C. (2000). Dynamics of performance measurement systems. International Journal of Operations & Production Management, 20(6), 692-704. http://dx.doi.org/10.1108/01443570010321676
  » http://dx.doi.org/10.1108/01443570010321676
• Boly, V., Morel, L., Assielou, N. D. G., & Camargo, M. (2014). Evaluating innovative processes in french firms: methodological proposition for firm innovation capacity evaluation. Research Policy, 43(3), 608-622. http://dx.doi.org/10.1016/j.respol.2013.09.005
  » http://dx.doi.org/10.1016/j.respol.2013.09.005
• Bourne, M., Neely, A., Platts, K., & Mills, J. (2002). The success and failure of performance measurement initiatives. International Journal of Operations & Production Management, 22(11), 1288-1310. http://dx.doi.org/10.1108/01443570210450329
  » http://dx.doi.org/10.1108/01443570210450329
• Cardoza Galdamez, E. V. (2007). Proposta de um sistema de medição de desempenho para clusters industriais de pequenas e médias empresas (Tese de doutorado). Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos. http://dx.doi.org/10.11606/T.18.2007.tde-05032008-124613
  » http://dx.doi.org/10.11606/T.18.2007.tde-05032008-124613
• Chandler, A. D. (1962). Strategy and structure: chapters in the history of the American enterprise Cambridge: The MIT Press.
• Chiesa, V., Coughlan, P., & Voss, C. A. (1996). Development of a technical innovation audit. Journal of Product Innovation Management, 13(2), 105-136. http://dx.doi.org/10.1016/0737-6782(95)00109-3
  » http://dx.doi.org/10.1016/0737-6782(95)00109-3
• Clark, K. B., & Wheelwright, S. C. (1993). Managing new product and process development: text and cases New York: The Free Press.
• Clausing, D. (1993). Total quality development: a step-by-step guide to world-class concurrent engineering New York: American Society of Mechanical Engineers.
• Cooper, R. G. (2006). Managing technology development projects. Research Technology Management, 49(6), 23-31.
• Creveling, J.L., Slutsky, D., & Antis, C., Jr. (2003). Design for six sigma: in technology & product development New Jersey: Prentice Hall.
• Cross, K., & Lynch, R. (1989). Accounting for competitive performance. Journal of Cost Management for the Manufacturing Industry, 3(1), 20-28.
• Empresa Brasileira de Pesquisa e Inovação Industrial – EMBRAPII. (2014). Sistema de Excelência Operacional EMBRAPII (EOE) Brasília: EMBRAPII. Recuperado em 10 de novembro de 2014, de www.embrapii.org.br
• Furtado, A. T., Terra, B., Passos, C. A. S., & Plonsky, G. A. (2002). Indicadores de C&T para avaliar os Programas de Cooperação entre Universidade e Indústria: Uma Análise do PADCT III. In: Anais do XVII Simpósio de Gestão da Inovação Tecnológica (15 p., CD-ROM). São Paulo: NPGT-USP.
• Gerolamo, M. C. (2003). Proposta de sistematização para o processo de gestão de melhoria e mudanças no desempenho (Dissertação de mestrado). Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos.
• Hammer, M. (2007). The process audit Canada: Harvard Business Review.
• Hansen, P. B., & Oliveira, L. R. (2009). Proposta de modelo para avaliação sistêmica do desempenho competitivo de arranjos produtivos: o caso do arranjo coureiro-calçadista do Vale dos Sinos. Produto e Produção, 10(3), 61-75.
• Jannuzzi, A., Oliveira, T., & Teixeira, C. (2008). Análise da interação de uma Instituição Científica e Tecnológica (ICT) com o setor produtivo: o caso do Instituto Nacional de Tecnologia (INT) Rio de Janeiro: INT. Recuperado em 5 de novembro de 2013, de http://biblio.int.gov.br/phl82/INT_DOCELE/Analise%20da%20Intera%C3%A7%C3%A3o.pdf
  » http://biblio.int.gov.br/phl82/INT_DOCELE/Analise%20da%20Intera%C3%A7%C3%A3o.pdf
• Kamimura, Q. P., & Cornetta, V. K. (2011). Inovação e propriedade intelectual no setor farmacêutico: desafios governamentais e efeitos na saúde pública. In Anais do XXXI Encontro Nacional de Engenharia de Produção (pp. 1-9). Rio de Janeiro: ABEPRO. Recuperado em 5 de novembro de 2014, de http://www.abepro.org.br/biblioteca/enegep2011_TN_STO_135_855_18348.pdf
  » http://www.abepro.org.br/biblioteca/enegep2011_TN_STO_135_855_18348.pdf
• Kaplan, R. S., & Norton, D. P. (1997). A estratégia em ação: balanced scorecard (26 ed.). Rio de Janeiro: Campus.
• Lengrand, L. (2006). Smart innovation: a practical guide to evaluating Innovation Programs Brussels-Luxembourg: ECSC-EC-EAEC. 199 p.
• Lenz, G. S. (2007). Medição de desempenho: uma proposta de sistema de avaliação de performance para redes horizontais de cooperação (Dissertação de mestrado). Faculdade de Administração, Contabilidade e Economia, Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre.
• Levén, P., Holmström, J., & Mathiassen, L. (2014). Managing research and innovation networks: evidence from a government sponsored cross-industry program. Research Policy 43(1), 156-168. http://dx.doi.org/10.1016/j.respol.2013.08.004
  » http://dx.doi.org/10.1016/j.respol.2013.08.004
• Liu, J. S., Lu, W. H., & Ho, M. H. C. (2014). National characteristics: innovation systems from the process efficiency perspective. R & D Management, 45(4), 317-338. http://dx.doi.org/10.1111/radm.12067
  » http://dx.doi.org/10.1111/radm.12067
• Lundvall, B.-A., Johnson, B., Andersen, E. S., & Dalum, B. (2002). National systems of production, innovation and competence building. Research Policy, 31(2), 213-231. http://dx.doi.org/10.1016/S0048-7333(01)00137-8
  » http://dx.doi.org/10.1016/S0048-7333(01)00137-8
• Meier, D., & Liker, J. (2007). O modelo Toyota: manual de aplicação Porto Alegre: Bookman.
• Neely, A., Adams, C., & Kennerley, M. (2002). The performance prism: The scorecard for measuring and managing business success London: Prentice Hall.
• Neely, A., Gregory, M., & Platts, K. (2005). Performance measurement system design: A literature review and research agenda. International Journal of Operations & Production Management, 25, 1228-1263.
• Nobelius, D. (2004). Linking product development to applied research: transfer experiences from automotive company. Technovation, 24(04), 321-334. http://dx.doi.org/10.1016/S0166-4972(02)00073-1
  » http://dx.doi.org/10.1016/S0166-4972(02)00073-1
• Nudurupati, S. S., Bititci, U. S., Kumar, V., & Chan, F. T. S. (2011). State of the art literature review on performance measurement. Journal Computers and Industrial Engineering, 60(2), 279-290.
• Oliveira, J. F. G., & Telles, L. O. (2011). O papel dos institutos públicos de pesquisa na aceleração do processo de inovação empresarial no Brasil. Revista USP, 89, 204-217.
• Organização para a Cooperação e Desenvolvimento Econômico – OCDE. (2005). Manual de Oslo: proposta de diretrizes para coleta e interpretação de dados sobre inovação tecnológica (3 ed.). Brasília: OCDE, FINEP.
• Organização para a Cooperação e Desenvolvimento Econômico – OCDE. (2009). New nature of innovation Copenhagen: OCDE. Recuperado em 6 de fevereiro de 2014, de http://www.oecd.org
  » http://www.oecd.org
• Paulino, S. R., Salles-Filho, S., & Bin, A. (2007). Avaliação de programas tecnológicos: impactos ambientais da inovação na agricultura. In R. Casas, C. Fuentes & A. O. Vera-Cruz (Org.), Acumulación de capacidade tecnológicas, aprendizaje y cooperación en la esfera global y local (Vol. 1, pp. 3-26). Ciudad de México: Universidad Autónoma de Metropolitana.
• Penrose, E. (2006). A teoria do crescimento da firma ( T. Szmrecsányi, Trad.). Campinas: Editora da Unicamp.
• Rutman, L. (Ed.). (1977). Planning an evaluation study. In L. Rutman. Evaluation research methods: a basic guide (pp. 13-38). Beverly Hills: Sage Publications.
• Salles-Filho, S., Avila, F. D., Sepulveda, J., & Colugnati, F. A. B. (2010). Multidimensional assessment of technology and innovation programs: the impact evaluation of INCAGRO-Peru. Research Evaluation, 19, 1, 361-372. http://dx.doi.org/10.3152/095820210X12904313498360
  » http://dx.doi.org/10.3152/095820210X12904313498360
• Schulz, A. P., Clausing, D. P., Fricke, E., & Negele, H. (2000). Development and integration of winning technologies as key to competitive advantage. Systems Engineering, 3(4), 180-211. http://dx.doi.org/10.1002/1520-6858(2000)3:4<180::AID-SYS2>3.0.CO;2-H
  » http://dx.doi.org/10.1002/1520-6858(2000)3:4<180::AID-SYS2>3.0.CO;2-H
• Sheasley, W. D. (2000). Taking an options approach to new technology development. Research Technology Management, 43(6), 37-43.
• Software Engineering Institute – SEI. (2006). Improving process for better products. CMMI-DEV, V1.2 Pittsburg: SEI.
• Valmohammadi, C., & Servati, A. (2011). Performance measurement system implementation using Balanced Scorecard and statistical methods. International Journal of Productivity and Performance Management, 60(5), 493-511. http://dx.doi.org/10.1108/17410401111140400
  » http://dx.doi.org/10.1108/17410401111140400
• Viotti, E. B. (2002). National learning systems - a new approach on technological change in late industrializing economies and evidences from the cases of Brazil and South Korea. Technological Forecasting and Social Change, 69(7), 653-680. http://dx.doi.org/10.1016/S0040-1625(01)00167-6
  » http://dx.doi.org/10.1016/S0040-1625(01)00167-6
• Yam, R., Guan, J. C., Pun, K. F., & Tang, E. P. Y. (2004). An audit of technological innovation capabilities in chinese firms: some empirical findings in Beijing, China. Research Policy, 33(8), 1123-1140. http://dx.doi.org/10.1016/j.respol.2004.05.004
  » http://dx.doi.org/10.1016/j.respol.2004.05.004
• Zackiewicz, M. (2005). Trajetórias e desafios da avaliação em ciência, tecnologia e inovação (Tese de doutorado). Instituto de Geociências, Universidade Estadual de Campinas, Campinas.

Datas de Publicação

• Publicação nesta coleção
  28 Set 2017
• Data do Fascículo
  Jul-Sep 2017

Histórico

• Recebido
  30 Jun 2015
• Aceito
  09 Dez 2015