Processo para evidenciação do estado da arte aplicado ao tema gestão de produção científica

The process of evidencing the state of the art in scientific production management

Resumos

A tecnologia e o atual volume eletrônico de publicações tornaram mais complexa a avaliação das publicações científicas. Nesse contexto, a cientometria auxilia a comunidade científica na avaliação de conteúdo, por meio de diversos indicadores relacionados à performance acadêmica, com o propósito de trazer progresso a diversos campos de pesquisa. O presente trabalho enquadra-se como pesquisa qualitativa e quantitativa, de caráter exploratório-descritivo e de natureza teórico-ilustrativa. O objetivo da pesquisa é identificar os artigos disponíveis na literatura internacional que abordam o desempenho de métricas para avaliação de produções científicas, bem como realizar uma análise bibliométrica desses artigos. Foi utilizado o Knowledge Development Process-Constructivist como instrumento de intervenção. Como resultado, 15 artigos foram identificados para compor um Portfólio Bibliográfico com reconhecimento científico e alinhado ao tema segundo as delimitações postas pelos pesquisadores. O Portfólio Bibliográfico foi submetido a análise bibliométrica, evidenciando que o Scientometrics obteve o maior destaque como periódico; que o artigo An index to quantify an individual's scientific research output foi o mais reconhecido pelo número de citações; que o pesquisador Van Raan, APJ foi considerado o autor de destaque; e que os termos bibliometrics, citation e research assessment apareceram como as palavras-chave mais recorrentes para o tema.

Análise bibliométrica; Avaliação de desempenho; Pesquisa científica; Produção científica; ProKnow-C

Technology and the current volume of electronic publications have made the assessment of scientific publications more complex. In this context, Scientometrics helps the scientific community assess content through various indicators related to academic performance in order to help different research fields excel. The present study is a qualitative, quantitative, exploratory, descriptive research, adopting an illustrative theoretical approach. The objective of the research was to identify articles in the international literature that address performance metrics to assess scientific production. To conduct the bibliometric analysis of the articles, we used the Knowledge Development Process-Constructivist as an instrument of intervention. As a result, 15 scientifically recognized articles, in agreement with the theme according to the specifications established by the researchers, were selected to compose the Portfolio Library. The Portfolio Library was submitted to bibliometric analysis and the following was found: 'Scientometrics' was the most frequent periodical; 'an index to quantify an individual's scientific research output' was the most cited article; 'Van Raan, APJ' was the most outstanding author; and the terms 'Bibliometrics', 'Citation' and 'Research Assessment' were the most frequent keywords for this subject.

Bibliometric Analysis; Performance measurement; Scientific research; Scientific production; ProKnow-C

Introdução

Recentemente, a avaliação de produções científicas tem recebido atenção especial frente às diversas online que disponibilizam, em escala mundial, publicações científicas. A quantidade de pesquisas e pesquisadores que se encontram nessas bases acarretou um volume de informações sem precedentes na história da ciência. Por outro lado, a qualidade dessas informações também deve ser tida como relevante e necessária de ser medida, avaliada e disponibilizada da melhor forma possível (Calazans, 2008).

O contexto motivou a criação de uma área da ciência da informação, a cientometria, que estuda as melhores formas para trazer ao leitor informações sobre as variáveis enumeráveis de destaque nas publicações (Kobashi & Santos, 2006). Essa temática estimulou os presentes pesquisadores, por meio de um processo estruturado, a selecionar um portfólio bibliográfico de artigos com reconhecimento científico e alinhados ao tema da avaliação da produção científica e, a partir daí, realizar uma bibliometria para evidenciar os periódicos, autores, artigos e palavras-chave mais presentes acerca do tema.

A partir desse contexto, foi construída a pergunta da presente pesquisa: como evidenciar publicações com reconhecimento científico e alinhadas a um tema e, a partir destes, realizar a evidenciação de seus principais parâmetros por meio de um processo estruturado?

Para responder à pergunta foi proposto o objetivo geral da presente pesquisa: identificar artigos disponíveis na literatura internacional que abordam a avaliação de produções científicas visando sua gestão e, para esses artigos, realizar uma análise bibliométrica.

Para tanto, foram definidos os seguintes objetivos específicos:

(a) valendo-se de um processo estruturado, selecionar um conjunto de artigos com reconhecimento científico e alinhados ao tema, para as delimitações postas pelos pesquisadores;

(b) evidenciar os principais periódicos, artigos, autores e palavras-chave do portfólio bibliográfico.

Como instrumento de intervenção, foi utilizado o método Knowledge Development Process - Constructivist (ProKnow-C), conforme os trabalhos de Tasca et al. (2010), Lacerda et al. (2012), Rosa et al. (2012), Ensslin et al. (2013) e Waiczyk e Ensslin (2013).

Procedimentos metodológicos

Os procedimentos metodológicos utilizados para delinear e executar a pesquisa, dividindo-se em duas subseções: enquadramento metodológico e instrumento de intervenção (Ensslin et al., 2012).

Os procedimentos considerados foram adaptados do estudo de Lacerda et al. (2012), a saber: (i) objetivo da pesquisa quanto à natureza do objeto (exploratória e descritiva) e quanto à natureza dos artigos (teórico-ilustrativa); (ii) lógica da pesquisa: indutiva;

(iii) processo da pesquisa quanto à coleta de dados: dados primários e secundários; e quanto à abordagem do problema: qualitativa e quantitativa; (iv) resultado da pesquisa: aplicada; (v) procedimentos técnicos: pesquisa bibliográfica e pesquisa-ação; e (vi) instrumento a ser utilizado na pesquisa: ProKnow-C.

O instrumento de intervenção utilizado foi o processo denominado Knowledge Development Process - Construtivist (ProKnow-C) proposto por Tasca et al. (2010), Lacerda et al. (2012), Rosa et al. (2012), Ensslin et al. (2013) e Waiczyk e Ensslin (2013). Sob a ótica construtivista, o instrumento apresenta um processo estruturado para construir, no pesquisador, o conhecimento necessário para iniciar a pesquisa acerca do tema que deseja investigar.

Este é, dentre os métodos disponíveis para as análises bibliométricas e sistêmicas, aquele que permite ao pesquisador interagir com o processo de busca à medida que esta evolui. Assim, é o método recomendado para contextos em que o pesquisador não tem pleno domínio do tema cujo portfólio bibliográfico deseja selecionar e analisar.

O ProKnow-C foi concebido, desenvolvido, testado e amplamente aplicado (Tasca et al., 2010; Afonso et al., 2011; Azevedo et al., 2011; Lacerda et al., 2011; Bruna Junior et al., 2012; Rosa et al., 2012; Ensslin et al., 2013; Waiczyk & Ensslin, 2013), primordialmente, pelo Laboratório de Metodologias Multicritério em Apoio à Decisão (LabMCDA) do Departamento de Engenharia de Produção e Sistemas da Universidade Federal de Santa Catarina.

Em termos macro, o ProKnow-C é formado por quatro etapas: (i) seleção do portfólio bibliográfico; (ii) análise bibliométrica; (iii) análise sistêmica; e (iv) recomendações para a pergunta da pesquisa e objetivo geral da pesquisa.

O instrumento foi selecionado para ser utilizado neste trabalho por apresentar fundamentação científica, por dispor de uma forma estruturada de trabalhar o problema, por ser passível de replicação, e por permitir contínua interação entre a definição do tema e os seus resultados. A Figura 1 ilustra a etapa de seleção de artigos para o portfólio bibliográfico (Afonso et al., 2011; Lacerda et al., 2011; Chaves et al., 2012; Chaves et al., 2013; Ensslin et al., 2013).

Figura 1.
Macroetapas do ProKnow-C aplicadas no artigo. Fonte: Ensslin et al. (2013, p.334).

A utilização de um processo sequencial e interativo pelo ProKnow-Cpermite verificar e replicar todas as etapas da pesquisa ao mesmo tempo que oportuniza aos pesquisadores interagir com ela e adicionar e/ou remover conceitos.

O processo de seleção de artigos do portfólio bibliográfico pode ser sintetizado em duas fases (Chaves et al., 2013; Ensslin et al., 2013):

1) primeira fase diz respeito à seleção do Banco de Artigos Bruto (BAB), que engloba: (a) definir PC (palavras-chave); (b) definir BD (bancos de dados); (c) buscar artigos nos BD com as PC (palavras-chave); (d) testar aderência das PC.

Em caso positivo de aderência, tem-se o banco de artigos bruto final, com um montante de 20 mil a 10 mil artigos. Porém, se verificada a não aderência das PC, inicia-se, novamente a etapa "a". Com o banco de artigos bruto definido, pode-se avançar para a segunda etapa.

2) referente à filtragem do Banco de Artigos Bruto (BAB), em cinco passos: (a) filtro do BAB quanto à redundância (1); (b) filtro do (1) quanto ao alinhamento do título (2); (c) filtro do (2) quanto ao reconhecimento científico ou reconhecimento potencial (3); (d) filtro do (3) quanto ao alinhamento dos resumos (4); (e) filtro do (4) quanto ao alinhamento do artigo integral.

Assim, está formado o Portfólio Bibliográfico (PB) do assunto de pesquisa, contendo de dez a vinte artigos.

O entendimento do pesquisador sobre o tema é continuamente questionado, permitindo-lhe refletir e agregar novas informações, assim como redirecionar a pesquisa para novos entendimentos. Esta última consideração é a explicação para o termo "construtivista" em seu nome.

O ProKnow-C incentiva o pesquisador a navegar no assunto e expandir seu entendimento à medida que evolui no processo de identificar e analisar o que já foi publicado.

Resultados e Discussão

Para alcançar o objetivo geral proposto nesta pesquisa de selecionar um conjunto de artigos na literatura internacional, alinhados ao tema e com reconhecimento científico, e evidenciar as características dessas publicações que possam contribuir para o tema da avaliação da produção científica de pesquisadores quando analisados sob a ótica de sua performance, os procedimentos foram divididos em duas etapas que serão detalhadas nas subseções "seleção do portfólio bibliográfico" e "análise bibliométrica", conforme proposto pelo ProKnow-C.

Seleção do portfólio bibliográfico

A seleção do Portfólio Bibliográfico foi realizada com o propósito de (a) evidenciar um portfólio bibliográfico com reconhecimento científico e alinhado ao tema da avaliação da produção científica, quando analisado sob a ótica de seu desempenho, segundo a percepção dos pesquisadores; e (b) realizar a análise bibliométrica do portfólio bibliográfico, para os parâmetros "periódicos", "artigos", "autores" e "palavras-chave".

A seleção foi realizada segundo o ProKnow-C, que divide o processo em quatro fases: Fase 1: Seleção do banco de artigos bruto; Fase

2: Filtro quanto a redundância, título e reconhecimento científico; Fase 3: Filtro do banco bruto de artigos não repetidos e com títulos alinhados; e Fase 4: Filtro quanto ao alinhamento integral do artigo (Tasca et al., 2010; Bortoluzzi et al., 2011; Lacerda et al., 2011; Rosa et al., 2012; Chaves et al., 2013; Ensslin et al., 2013). As buscas foram realizadas entre os dias 4 e 10 de abril de 2013, como atualização e complementação ao trabalho de Waiczyk e Ensslin (2013). A seguir, serão detalhadas as fases do ProKnow-C.

Fase 1: Na primeira fase, consistente em estabelecer os elementos de busca de artigos, o ProKnow-C recomenda que o pesquisador defina os eixos, dimensões ou áreas de conhecimento que são necessários para dar entendimento ao tema. Para cada um desses eixos, é necessário que o pesquisador selecione um número restrito de palavras-chave. E, por fim, que estabeleça uma combinação com pelo menos uma palavra-chave de cada eixo, a qual passa a ser uma das palavras-chave para busca nas bases.

Para a primeira fase (seleção do banco de artigos bruto), foram definidos dois eixos de pesquisa: Avaliação de Desempenho e produção científica. Para cada eixo, foram definidas cinco palavras-chave. No eixo avaliação de desempenho, os termos performance measurement, performance evaluation, performance appraisal, performance assessment e performance management. Já para o eixo Produção Científica foram definidas as palavras-chave scientific production, scientific research, scientometric, scientist epublication. Cada Palavra-Chave foi combinada com as Palavras-Chave do eixo oposto, o que resultou em 25 combinações.

Ao utilizar as combinações, assegurou-se que as preocupações dos dois eixos se fizessem presentes, buscando dar maior representatividade ao tema em sua amplitude. As combinações foram utilizadas para pesquisar em seis bases de dados selecionadas no portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), a saber: Web of Science, Scopus, Ebsco, Springer, Wiley e ProQuest. A busca resultou em 2 514 artigos publicados em periódicos internacionais, entre janeiro de 2000 e março de 2013.

Fase 2: Na fase 2 (filtro quanto a redundância, título e reconhecimento científico), foram importados para o gerenciador bibliográfico Endnote X5 os artigos encontrados na busca. Foram encontrados 388 artigos duplicados no Portfólio Bruto e excluídos.

Fase 3: Na terceira fase, os artigos do banco bruto de artigos não repetidos e com títulos alinhados foram analisados quando ao alinhamento do título e reconhecimento científico (número de citações encontrado no GoogleAcadêmico <https://scholar.google.

com.br/>). Foi realizada a leitura dos títulos dos 2 126 artigos para identificar aqueles que, segundo o entendimento dos pesquisadores, estivessem alinhados ao tema, sendo encontrados 62 artigos.

Para este portfólio de 62 artigos com palavras--chave e títulos alinhados, buscou-se no Google Acadêmico o número de citações. Foi construída uma planilha dos artigos e o número de citações. Estas foram ordenadas e distribuídas de forma cumulativa. Observou-se que, das 62 publicações, as 30 com maior número de citações representaram 95% do total de citações. Nessa amostra, os artigos com menor número de citação obtiveram menos de 10 menções.

A seguir, os 30 artigos mais citados passaram para a nova etapa do processo proposto pelo ProKnow-C, correspondente à leitura dos resumos. Foram selecionados 14 artigos com resumos alinhados.

O ProKnow-C propõe uma reanálise dos artigos que não alcançaram os padrões de representatividade quanto ao número de citações estabelecido pelo pesquisador. Eles podem ser trabalhos qualificados, mas ou não tiveram tempo para serem citados, ou eram de autoria de um pesquisador qualificado pertencente ao Portfólio selecionado na etapa anterior.

Dentre os 32 artigos com menor número de citação, quando selecionados aqueles com data de publicação inferior a dois anos, 15 foram analisados quanto ao alinhamento do resumo, observando-se que apenas dois possuíam resumo alinhado com o tema. Esses, mesmo não tendo o número de citações requerido para ser considerado com reconhecimento, foram selecionados por serem alinhados e não terem tido tempo para evidenciar seu reconhecimento. O novo Portfólio - agora com alinhamento das palavras-chave, não redundantes e com alinhamento do título e resumo -, está constituído por 16 artigos.

Fase 4: A quarta e última fase de filtragem propõe testar o alinhamento dos artigos a partir de sua leitura integral. Assim, o conjunto de 16 artigos (os 14 mais citados e com resumo alinhado, e os 2 da reanálise) foi submetido à leitura integral. Desses, 12 artigos foram considerados alinhados ao tema.

Esses 12 artigos, agora, fazem parte do Portfólio Bibliográfico para o tema. O ProKnow-C, porém, propõe mais um teste final que corresponde ao teste de representatividade. Seu propósito é assegurar que nenhum artigo relevante tenha ficado fora por algum problema de interpretação dos pesquisadores. É feita, então, uma verificação nas referências dos 12 artigos que compõem o PB.

Foram analisadas as referências dos artigos quanto ao período da publicação, selecionando-se aquelas publicadas no período de janeiro de 2000 a março de 2013. Foram encontradas 145 referências, analisadas quanto a alinhamento do título, resumo e artigo completo. Por fim, foram selecionadas três referências e incorporadas aos doze artigos do PB, uma vez que estavam integralmente alinhadas ao tema desta pesquisa.

O portfólio bibliográfico, agora com quinze (15) artigos, atende às delimitações postas pelos pesquisadores e passa a ser a matéria prima para a etapa seguinte, a "Análise Bibliométrica". Os quinze (15) artigos estão apresentados no Quadro 1, em ordem cronológica:

Quadro 1.
Portfólio bibliográfico.

Análise bibliométrica

A análise bibliométrica sobre o portfólio bibliográfico tem como objetivo evidenciar, para a amostra considerada, os parâmetros selecionados como mais relevantes pelo autor - periódicos, artigos, autores e palavras--chave - para o tema produção científica, quando analisada sob a ótica de seu desempenho.

Nesta etapa, para realizar a bibliometria, o ProKnow-C utiliza como fonte de dados os artigos do PB, as referências dos artigos do PB e a combinação de ambos.

Para efeito desta publicação, as demais análises propostas pelo ProKnow-C não serão contempladas. Para a análise bibliométrica, quatro aspectos foram considerados: (a) Periódicos de destaque; (b) Artigos de destaque; (c) Autores de destaque; e (d) Palavras-chave de destaque (Tasca et al., 2010; Bortoluzzi et al., 2011; Lacerda et al., 2011; Rosa et al., 2012; Chaves et al., 2013).

No primeiro aspecto, "Periódicos de Destaque", foram analisados e evidenciados os periódicos mais presentes, tanto no PB quanto em suas referências. Da esquerda para a direita, foram ordenados os periódicos pelo número de vezes em que apareceram no PB e em suas referências. Assim, o periódico Scientometrics foi o de maior destaque, tanto no PB como nas referências. Ele contribui com 44 artigos nas referências e 5 artigos no PB. Apresenta um fator de impacto, segundo o Journal Citation Reports (JCR), de 1,966, e Scimago Journal & Country Rank (SJR) de 1,384, com um total de 4 457 citações. Segue-se o Journal of the American Society for Information Science and Technology, destacando-se nas referências com 1 481 citações, JCR de 2,981, e SJR de 1,517. Além desses, destacaram-se nas referências bi-bliográficas os periódicos Research Evaluation, Journal of Informetrics, Research Policy e Tourism Management.

O segundo parâmetro, "Artigos de Destaque", foi analisado quanto ao número de citações no Google Acadêmico e quanto ao número de vezes que o artigo constava nas referências bibliográficas do PB. Conforme pode ser observado na Figura 2, o artigo An index to quantify an individual's scientific research output, de Hirsch (2005), ganhou destaque na comunidade científica, recebendo 3 065 citações segundo o Google Acadêmico, principalmente pelo fato de propor um indicador de fácil utilização (h-index). Apresenta também destaque nas referências, estando presente em 5 artigos das referências do PB.

Figura 2.
Artigos do Portfólio Bibliográfico com maior número de citações no Google Acadêmico em 1/5/2013. Fonte: Elaborada pelos autores (2013).

Como destaque nas referências há que se mencionar o artigo Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups de Van Raan (2006), no qual demonstra a correlação entre o h-index, os indicadores bibliométricos e a avaliação por pares de especialistas, com 366 citações, 3 das quais nas referências do PB.

O terceiro aspecto, "Autores de Destaque", está apresentado na Figura 3. A análise foi realizada pelo número de vezes que o pesquisador aparece, como autor, no PB e nas referências.

Figura 3.
Autores de destaque no Portfólio Bibliográfico (PB) e em suas referências. Fonte: Elaborada pelos autores (2013).

Foram identificados e analisados 33 autores nos 15 artigos do PB. O autor de destaque, no PB e nas referências, é van Raan, com dois artigos no portfólio bibliográfico e oito artigos nas referências do PB, sendo uma autocitação. Os demais pesquisadores contribuem como autor ou coautor, com um artigo cada um para o PB. O autor Bornmann destaca-se com 8 trabalhos listados nas referências, dos quais 6 são autocitações. Na sequência, aparece o pesquisador van Leeuwen, com 5 artigos nas referências do PB, sendo 3 autocitações. Seguem-se os pesquisadores Bordons e Costas, cada qual com 5 artigos nas referências do PB, sendo todos autocitações.

O último parâmetro analisado na bibliometria foram as "Palavras-chave". Conforme apresentado na Figura 4, as palavras-chave mais presentes no PB foram bibliometrics, citation e research assessment, que aparecem duas vezes no conjunto exposto de 32 palavras-chave, enquanto as demais aparecem uma vez. Dentre as palavras-chave mais presentes, a maioria refere-se ou ao propósito (bibliometrics, citation, institutional context etc.) ou à técnica utilizada (A-Index, AR-Index, G-Index, H-Index, Scientometric etc.), o que pode desviar a atenção do fim que se busca, neste caso a avaliação da produção científica. As palavras-chave utilizadas na busca - scientific production, scientific research, scientometric, scientist e publication foram igualmente encontradas, mas uma única vez cada.

Figura 4.
Palavras-chave de destaque no Portfólio Bibliográfico (PB). Fonte: Elaborada pelos autores (2013).

Constatou-se, também, que se trata de um tema que carece ainda de uma nomenclatura universal. A dispersão das palavras-chave caracteriza a falta de maturidade de pesquisa sobre o tema, que, associada à falta de autores de amplo reconhecimento, evidencia seu estado em formação.

Conclusão

A última década trouxe grandes progressos científicos, com uma rapidez e conteúdo como nunca antes vistos. Nesse ambiente competitivo, os centros de pesquisa e universidades passaram a priorizar as publicações e a exigir de seus pesquisadores uma produção desproporcional a suas demais atividades. Essa situação, por sua forma inusitada de priorização, gerou uma nova dificuldade junto aos centros de pesquisa e universidades e à forma de realizar a gestão dos pesquisadores. A dificuldade aumentou mais ainda pela proliferação de bancos de dados, periódicos e publicações, que passaram a ser contadas em números de seis ou mais dígitos. É nesse contexto que foi proposto o presente trabalho.

O objetivo geral desta pesquisa foi identificar artigos disponíveis na literatura internacional que abordam a avaliação de produções científicas e, para esses artigos, realizar uma bibliometria.

Para atender ao objetivo central desta pesquisa, foi inicialmente identificada que a metodologia a ser utilizada seria o ProKnow-C. A partir disso, seguindo o processo proposto, foram estabelecidos os eixos produção científica e avaliação de desempenho como as dimensões que serviriam de alicerce para o entendimento do tema.

Para cada um desses eixos, os autores identificaram as palavras-chave que melhor representassem o tema, segundo seu entendimento. A combinação das palavras-chave foi então utilizada para buscar no portal de periódicos da Capes, no qual foram selecionados os banco de dados Web of Science, Scopus, Ebsco, Springer, Wiley e ProQuest.

Foram encontrados 2 514 artigos publicados entre janeiro de 2000 e março de 2013. A seguir, valendo-se dos filtros propostos pelo método ProKnow-C, foi possível: (a) selecionar um portfólio bibliográfico de 15 artigos com reconhecimento científico e alinhado ao tema para as delimitações postas pelos pesquisadores; e (b) realizar a análise bibliométrica nesse portfólio, que apontou o Scientometrics como periódico de destaque, o autor van Raan como aquele com o maior número de trabalhos, o artigo An index to quantify an individual's scientific research output como o mais citado, e os termos bibliometrics, citation e research assessment como palavras-chave de destaque.

A existência de apenas quatro artigos que se repetem nas referências do PB, associada à dispersão das palavras-chave, permite concluir que o assunto ainda não alcançou sua maturidade com massa crítica consensual.

Como recomendação para futuros trabalhos e continuidade desta pesquisa, os autores sugerem: Primeiro, que sejam realizadas as próximas etapas do ProKnow-C: (iii) análise sistêmica; e (iv) definição da pergunta de pesquisa e objetivo de pesquisa; uma vez que

oferece oportunidades de encontrar lacunas na literatura para futuras pesquisas quanto ao tema e delimitações postas pelos pesquisadores. Segundo, valendo-se das conclusões apontadas como lacunas ou oportunidades de contribuição, sugerem buscar metodologias que atendam às lacunas para o desenvolvimento de modelo, para apoiar a gestão da produção científica, quando analisada segundo seu desempenho ou performance.

Este instrumento, personalizado a cada ambiente, permitiria a cada pesquisador conhecer suas potencialidades e áreas em que necessita evoluir, ao mesmo tempo que permitiria ao gestor do grupo desenvolver procedimentos para promover o aperfeiçoamento coletivo.

Referências

• Afonso, M.H.F. et al. Como construir conhecimento sobre o tema de pesquisa? Aplicação do processo proknow-c na busca de literatura sobre avaliação do desenvolvimento sustentável. Revista de Gestão Social e Ambiental, v.5, n.2, p.47-62, 2011.
• Azevedo, R.C. et al. Avaliação de desempenho do processo de orçamento: estudo de caso em uma obra de construção civil. Ambiente Construído, v.11, n.1, p.85-104, 2011.
• Bortoluzzi, S.C. et al. A avaliação de desempenho em redes de pequenas e médias empresas: estado da arte para as delimitações postas pelo pesquisador. Revista Eletrônica de Estratégia & Negócios, v.4, n.2, p.202-222, 2011. Disponível em: <http://www.portaldeperiodicos.unisul.br/index.php/EeN/article/view/763/716>. Acesso em: 22 jul 2013.
  » http://www.portaldeperiodicos.unisul.br/index.php/EeN/article/view/763/716
• Bruna Junior, E.D. et al. Seleção e análise de um portfólio de artigos sobre avaliação de desempenho na cadeia de suprimentos. Revista Gepros, v.7, n.1, p.113-125, 2012.
• Calazans, A.T.S. Qualidade da informação: conceitos e aplicações. Transinformação, v.20, n.1, p.29-45, 2008.
• Chaves, L.C. et al. Mapeamento do tema gestão do apoio à decisão quando analisado sob a ótica de seus resultados. Sistema & Gestão, v.7, n.3, p.336-348, 2012. Disponível em: <http://189.16.45.2/ojs/index.php/recadm/article/view/1202/ 688>. Acesso em: 23 jul 2013.
  » http://189.16.45.2/ojs/index.php/recadm/article/view/1202/ 688>. Acesso em: 23 jul 2013
• Chaves, L.C. et al. Sistemas de apoio à decisão: mapeamento e análise de conteúdo. Revista Eletrônica de Ciência Administrativa, v.12, n.1, p.6-22, 2013.
• Ensslin, L. et al. Um estudo sobre segurança em estádios de futebol baseado na análise da literatura internacional. Perspectivas em Ciências da Informação, v.17, n.2, p.71-91, 2012.
• Ensslin, L. et al. Processo de investigação e análise bibliométrica: avaliação da qualidade dos serviços bancários. Revista de Administração Contemporânea, v.17, n.3, p.325-349, 2013.
• Kobashi, Y.; Santos, R.N.M. Institucionalização da pesquisa científica no Brasil: cartografia temática e de redes sociais por meio de técnicas bibliométricas. Transinformação, v.18, n.1, p.27-36, 2006.
• Lacerda, R.T.O. et al. A performance measurement framework in portfolio management: A constructivist case. Management Decision, v.49, n.4, p.648-668, 2011.
• Lacerda, R.T.O. et al. Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, v.19, n.1, p.59-78, 2012.
• Rosa et al. Management environmental disclosure: A constructivist case. Management Decision, v.50, n.6, p.1117-1136, 2012.
• Tasca, J.E. et al. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, v.34, n.7, p.631-655, 2010.
• Waiczyk, C.; Ensslin, E.R. Avaliação de produção científica de pesquisadores: mapeamento das publicações científicas. Revista Contemporânea de Contabilidade, v.10, n.20, p.97-112, 2013.

Datas de Publicação

• Publicação nesta coleção
  Sep-Dec 2015

Histórico

• Recebido
  28 Ago 2013
• Revisado
  22 Out 2014
• Aceito
  22 Nov 2014