Metodologia de pesquisa bibliográfica com a utilização de método multicritério de apoio à decisão

Methodology of bibliographical research using multicriteria decision-making methods

Metodologia de pesquisa bibliográfica com a utilização de método multicritério de apoio à decisão

Methodology of bibliographical research using multicriteria decision-making methods

Fernanda Tavares Treinta^I; José Rodrigues Farias Filho^II; Annibal Parracho Sant'Anna^III; Lúcia Mathias RabeloIV, ^*

^[e-mail], UFF, Brasil

^[e-mail], UFF, Brasil

^[e-mail], UFF, Brasil

^[e-mail], UFF, Brasil

RESUMO

Este trabalho apresenta e exemplifica a aplicação de metodologia que apoia a seleção e a priorização de um conjunto de dados bibliográficos que represente o estado da arte do assunto pesquisado. O processo envolve a formação de uma base de dados preliminar bruta, seguida da aplicação de uma série de etapas de filtro para a formação de uma base de dados convergente com os objetivos da pesquisa e termina com a priorização desses dados através de um método de apoio à decisão (MAD). O método adotado para exemplificar a aplicação da metodologia foi a Composição Probabilística de Preferências (CPP). A metodologia foi aplicada com sucesso à seleção de artigos em diferentes contextos.

Palavras-chave: Busca. Bibliometria. Composição probabilística de preferências. CPP.

ABSTRACT

This work presents and exemplifies the application of a methodology that supports the selection and prioritization of a bibliographical data set that represents the state of the art on the subject studied. The process involves the compilation of a preliminary database, followed by the application of a sequence of filtering steps to form a convergent database for the aims of the study, and finally organizes this final databasis using a decision support method. The probabilistic preferences composition (CPP) method was adopted to exemplify the application of the methodology. The methodology was applied successfully to select articles in different contexts.

Keywords: Search. Bibliometrics. Composition of probabilistic Preferences. CPP.

1. Introdução

A pesquisa bibliográfica, para os pesquisadores, é um dos problemas mais sérios a serem equacionados. Em função da disponibilidade dos bancos de dados bibliográficos e da profusão de artigos científicos, torna-se um grande impasse a escolha dos artigos mais adequados na construção da argumentação teórica fundamental às pesquisas e textos acadêmicos.

Dessa forma, cabe ao pesquisador estabelecer uma estratégia de pesquisa bibliográfica que tanto facilite a identificação dos principais trabalhos em meio a uma quantidade grande de possibilidades que permeiam a produção científica mundial, como garanta a capacidade de estabelecer as fronteiras do conhecimento advindo dos achados científicos. Para tanto, o uso de uma metodologia de avaliação por meio de um estudo bibliométrico pode ajudar a equacionar esses dilemas.

Segundo Pritchard (1969, p. 349), define-se bibliometria como "[...] todos os estudos que tentam quantificar processos de comunicação escrita [...]", o que remete à conotação de análise estatística dos referencias bibliográficos.

De acordo com Pao (1989), o conceito bibliometria refere-se a uma área de estudo que utiliza a estatística e a matemática com o intuito de quantificar os processos de comunicação escrita, oferecendo uma base quantitativa para o levantamento de informações documentais. Nesse sentido, a finalidade central da bibliometria é, com a utilização de métodos quantitativos, gerar uma avaliação objetiva de resultados da produção científica. Em seu estudo, o autor destaca alguns itens que podem ser utilizados como parâmetros para quantificar-se a literatura estudada como, por exemplo, veículos de publicação, autores, palavras-chave utilizadas, citações e publicações.

Nesse sentido, Vanti (2002) define a bibliometria como conjunto de métodos de pesquisa utilizados para mapear a estrutura do conhecimento em um campo científico através de uma abordagem quantitativa e estatística de diversos dados bibliográficos. Dessa forma, a partir do tratamento de informações referentes aos autores das pesquisas, aos veículos de publicação, às instituições de pesquisa e às palavras-chave podem-se avaliar as tendências e o comportamento da produção científica desenvolvida sobre um tema específico.

Para Lacerda, Ensslin e Ensslin (2012), o conceito análise bibliométrica tem como base a avaliação quantitativa de determinados parâmetros de um conjunto definido de artigos, denominado portfólio bibliográfico. Como parâmetros observáveis, destacam-se os artigos selecionados, suas referências, autores, número de citações e periódicos mais relevantes. Como resultado da análise bibliométrica, tem-se a gestão da informação e do conhecimento científico sobre um dado assunto.

Sendo assim, o estudo bibliométrico busca identificar o que foi produzido de conhecimento pela comunidade científica sobre esse tema e, ao mesmo tempo, avaliar as principais tendências da pesquisa sobre ele. Parte do princípio de que, ao iniciar-se uma nova pesquisa acadêmica, tudo o que está sendo discutido, publicado e gerado de conhecimento nessa linha de pesquisa deve ser mapeado para a construção do conhecimento a ela relacionado.

Uma investigação dessa natureza é particularmente útil quando se inicia uma pesquisa exploratória em áreas de desenvolvimento incipiente. Esse era o caso das pesquisas que originaram a metodologia exposta neste artigo: Treinta (2011) e Gomes (2010). Para esses estudos, houve a necessidade de realizar uma pesquisa bibliométrica que pudesse assegurar que o trabalho científico satisfizesse as exigências destacadas por Kumar (2005): que o trabalho fosse controlado, rigoroso, sistemático, válido e verificável.

Dessa forma, este artigo discute, especialmente, a etapa de formação da base de dados para leitura a partir de um problema de pesquisa. Os melhores resultados são selecionados com base em critérios relacionados com a qualidade acadêmica apresentada pela produção dos autores e dos periódicos, pela repercussão causada pelo artigo em termos de citações e, ainda, pelo alinhamento dele ao tema proposto.

A seção 2 apresenta a metodologia de investigação utilizada. Na seção 3 tem-se as etapas de planejamento da pesquisa e a construção do portfólio de artigos. Em seguida, na seção 4, o método multicritério de apoio à decisão empregado para a priorização de artigos é justificado e detalhado. A seção 5 apresenta uma sistematização resumida da metodologia proposta. Por fim, a seção 6 faz uma discussão dos resultados encontrados.

2. Metodologia de pesquisa proposta

A maioria das pesquisas realizadas hoje indica uma grande quantidade de produções acadêmicas. A preocupação do pesquisador passa a ser a avaliação dessas publicações, de forma a categorizar o que é de fato relevante. Nesse sentido, a problemática em questão está relacionada à garantia de que a escolha da bibliografia tenha sido feita dentro de um universo de estudo que consiga de fato representar o estado da arte, além de primar pela qualidade, abrangência e significância.

Dessa forma, o objetivo principal do presente trabalho é estruturar uma metodologia para escolher de forma criteriosa os melhores e mais significativos artigos. Para isso, é apresentado um passo a passo para levantamento da base bibliográfica, catalogação dos documentos levantados, seleção e priorização dos artigos e aplicação de método multicritério para priorização dos documentos, a Composição Probabilística de Preferências (CPP), proposta por Sant'Anna (2002).

A metodologia de pesquisa utilizada encontra-se esquematizada na Figura 1. Cada uma dessas etapas será detalhada ao longo do artigo.

3. Planejamento da pesquisa e construção do portfólio de artigos

3.1. Definição dos conceitos principais da pesquisa

A primeira etapa consiste na determinação dos conceitos básicos que deverão ser explorados pela pesquisa. Especificamente, para a estratégia de busca e para a realização da busca bibliográfica faz-se necessário definir o ambiente contextualizador, o problema de pesquisa e o objetivo geral da pesquisa, os quais têm como propósito viabilizar a definição dos conceitos-chave principais.

De acordo com Tasca et al. (2010), a análise do contexto, a definição de um problema e das questões direcionadoras dão início ao processo de pesquisa científica, motivando assim os pesquisadores a procurarem informações sobre determinada temática em bases bibliográficas.

O intuito é explorar ao máximo as potencialidades dos bancos de dados bibliográficos existentes e disponíveis e o ferramental de tecnologia de informação para o tratamento desses dados. A Figura 2 a seguir, retirada de Gabriele (2011), mostra as vinculações necessárias entre os itens acima descritos, os quais deixarão claros os conceitos de pesquisa.

3.2. Definição da estratégia de pesquisa

Segundo Lacerda, Ensslin e Ensslin (2012), uma vez determinada a área de conhecimento da pesquisa, devem ser escolhidas as palavras-chave que serão utilizadas na busca de referências. Sendo assim, a partir desses conceitos-chave encontrados utiliza-se a lógica booleana de pesquisa para a construção da árvore de palavras-chave.

A estratégia de estruturação da árvore tem como finalidade desdobrar os objetivos de pesquisa em palavras-chave, tanto no sentido vertical como no horizontal. No sentido vertical, o intuito é estabelecer áreas temáticas distintas e complementares que possibilitem que a pesquisa feita seja abrangente. Já no sentido horizontal, as áreas temáticas são subdivididas em vários ramos, garantindo dessa forma a profundidade e a especialização da pesquisa (FARIAS FILHO, 2009), conforme a Figura 3.

Utilizando a lógica booleana de pesquisa, em que as palavras-chave são ligadas com os conectivos "e" e "ou", o pesquisador deve lembrar-se de que a estratégia de uso dos conectores é muito importante, pois explica a existência de muitos ou poucos artigos encontrados. Quando o pesquisador utiliza o "e" na vinculação das palavras-chave, a ação de pesquisa é restritiva, pois a pesquisa só encontrará artigo quando existirem juntas as palavras-chave conectadas pelo "e". Quando o pesquisador utiliza o "ou" na vinculação das palavras-chave, a ação da pesquisa é aberta, pois encontrará artigos que tenham pelo menos uma das palavras-chave conectadas pelo "ou". Dessa forma, a escolha dos conectores e de onde posicioná-los na árvore de palavras-chave é estratégica.

Por fim, são definidos os motores de busca mais adequados ao tema de pesquisa, de acordo com sua relevância e a facilidade de obtenção e tratamento dos dados.

3.3. Realização da pesquisa

A exploração bibliográfica avançada nos motores de busca exige que sejam criadas diferentes estruturas de busca. Essas estruturas definem regras para a pesquisa dos artigos através de uma metalinguagem. A metalinguagem irá permitir que os mecanismos de busca interpretem de forma efetiva o desejo do pesquisador. No entanto, elas podem variar significativamente em função dos motores de busca utilizados, pois cada um possui características próprias e interpreta as estruturas de diferentes modos.

Nesse sentido, Tasca et al. (2010) ressaltam a importância de uma padronização mínima dos motores de busca nas bases de dados, tendo em vista a diversidade de maneiras de pesquisar e as dificuldades do processo de importação de resultados para os softwares de catalogação.

Na pesquisa de Gomes (2010) foi desenvolvida uma ferramenta visando auxiliar os pesquisadores na montagem das estruturas de busca. Ela é capaz de realizar a leitura dos arquivos FreeMind™ interpretando as árvores de palavras-chave através de uma estrutura padrão e retornando as estruturas de busca para os principais motores. A ferramenta foi disponibilizada para uso ou download do código fonte no site http://www.lssoft.com.br/pesquisaweb/ (acessado em: 27/6/2011). Maiores detalhes podem ser observados na pesquisa de Gomes (2010). O funcionamento segue as etapas apresentadas na Figura 4.

Inicialmente, a ferramenta irá receber o arquivo no formato FreeMind™, previamente desenvolvido através de um formulário on-line. O arquivo deve seguir um formato padrão que será descrito a seguir para que a ferramenta seja capaz de interpretar os objetivos da pesquisa. Além disso, no site do pesquisador também pode ser feito o download de um arquivo de exemplo. A Figura 5 apresenta um exemplo de árvore de palavras-chave já formatada para leitura na ferramenta.

Nesse exemplo, o pesquisador optou por ramificar sua pesquisa em três subárvores. O que importa para a ferramenta é encontrar o primeiro conector em um ramo. Após encontrar o primeiro conector, a ferramenta inicia o agrupamento das palavras-chave subsequentes. Toda subárvore, a partir do primeiro conector encontrado, fará parte da mesma estrutura de busca. Caso encontre um novo conector, ele será um subitem do conector anterior e assim sucessivamente, até completarem-se todos os nós filhos.

As estruturas de busca geradas devem ser revisadas a fim de ajustarem-se os termos traduzidos. De fato, nem sempre os termos traduzidos possuem o mesmo sentido em ambos os idiomas, ou até a tradução pode falhar. No entanto, para a realidade da pesquisa de Gomes (2010), o número de ajustes necessários foi pequeno, permitindo que o ganho de produtividade fosse significativo. Na Tabela 1 foi apresentada a estrutura gerada, a partir da árvore representada na Figura 5, utilizada na pesquisa de Gomes (2010).

Cabe salientar que os pesquisadores devem avaliar se a linguagem dos motores de busca está correta, pois devido a atualizações ou introdução de novas facilidades por parte do gestor do banco de dados bibliográfico a linguagem do motor pode ser alterada. Dessa forma, a sintaxe também deve ser alterada na ferramenta para garantir a produtividade pretendida.

Esse processo de pesquisa deve ser sucessivo e progressivo, com o intuito de permitir que a cada rodada de pesquisa a busca obtenha artigos mais aplicáveis aos interesses do pesquisador e alinhados com os objetivos da pesquisa. A árvore de palavras-chave deve ser dinâmica e inclusiva e deve adaptar-se ao processo de pesquisa, refletindo nos resultados esse dinamismo. O pesquisador deve catalogar e guardar todo o processo a fim de garantir sempre a rastreabilidade da pesquisa.

3.4. Formação do banco de dados inicial

Nesse momento é feita a catalogação dos documentos científicos e a formação do banco de dados inicial buscando-se extrair todos os artigos que não possuem aderência com a pesquisa. Na pesquisa realizada por Treinta (2011), a partir do processo de pesquisa foram encontrados ao todo 2.132 artigos nas bases de dados utilizadas, os quais foram selecionados e catalogados através do software EndNotes™, possibilitando assim a formação de uma biblioteca de artigos científicos onde todas as informações referentes aos artigos pudessem ser visualizadas. Há outros softwares similares que podem ser buscados caso o pesquisador não se identifique com o EndNotes™.

Com os artigos catalogados foi possível realizar o primeiro filtro, que envolve eliminar artigos duplicados e que não possuíam informações completas quanto a título, autores, periódicos e palavras-chave e que, por isso, impossibilitariam a análise. Nesse primeiro filtro foram eliminados 540 artigos, restando 1.592.

Posteriormente, foi feito uma segunda filtragem de artigos, através da leitura do título do artigo e de uma avaliação em relação ao alinhamento, aos objetivos e à contribuição para a pesquisa. Nesse caso, ter os artigos dentro de um sistema de catalogação é providencial para auxiliar na produtividade do trabalho do pesquisador. No caso específico da pesquisa de Treinta (2011), a escolha foi pelo EndNotes™. Dessa forma foram eliminados 1.190 artigos, restando 402 artigos na base de dados.

3.5. Refinamento da amostra e formação do portfólio de artigos

Nessa etapa é formado o portfólio final de artigos, buscando selecionar os mais aderentes à pesquisa. Para isso, na pesquisa realizada por Treinta (2011), os artigos foram exportados para o software Refviz™. Esse software agrupa em clusters os temas-chave encontrados através de uma análise de correlação, gerando uma galáxia, na qual podem ser visualizados os artigos e os clusters formados, bem como os termos-chave principais encontrados em cada um dos clusters.

Ao analisar o espalhamento dos artigos através dos clusters formados foi feita uma nova filtragem, por meio da eliminação dos clusters cujas palavras-chave não estavam alinhadas e dos artigos que estavam muito afastados dos clusters principais. O pesquisador deve ter o cuidado de guardar os artigos espúrios retirados e justificar de forma clara por que os ditos artigos foram retirados.

Além disso, outro fator de análise diz respeito ao formato da galáxia formada. De acordo com as instruções do próprio software, o ideal é que a galáxia final tenha um formato de "ovo" ou "gota", representando assim o alinhamento dos clusters formados. Nesse sentido, a partir da galáxia inicial, o processo de formação de clusters e eliminação de artigos da base de dados deve ser feito tantas vezes quanto o pesquisador considerar necessário. Em cada uma delas, uma nova galáxia é formada e deve ser analisada pelo pesquisador. Na Figura 6 tem-se um exemplo das galáxias inicial e final geradas pelo software para uma mesma pesquisa.

Por fim, foi feito uma última filtragem mais seletiva através da leitura dos resumos e das palavras-chave dos artigos. Ao final desse processo, foi possível formar o portfólio de artigos no EndNotes™, o qual contempla 240 artigos. A Figura 7 apresenta todos os filtros utilizados ao longo da pesquisa, partindo de 2.132 artigos encontrados inicialmente até chegar aos 240 artigos que compõe o portfólio final de artigos.

4. Aplicação do método multicritério de apoio à decisão para a priorização de artigos

Os artigos selecionados no portfólio precisam ser ordenados segundo critérios científicos que gerem uma base preferencial sem que existam vieses na escolha. Para isso foi adotado um método multicritério de apoio. Há uma grande variedade de métodos disponíveis e para escolher o mais adequado para cada aplicação, Al-Shemmeri, Al-Kloub e Pearman (1997) afirmam que é preciso levar em conta que alguns são específicos para determinadas aplicações e outros não podem ser considerados ferramentas úteis, por exigirem recursos sofisticados de hardware ou software ou informações fidedignas não disponíveis.

Entre os problemas multiatributo que lidam com alternativas discretas é comum ter os métodos classificados segundo as duas grandes escolas: a americana e a francesa, embora existam métodos que não se enquadram totalmente em nenhuma delas como, por exemplo, o MACBETH (BANA E COSTA; CORTE; VANSNICK, 2005 apud RANGEL; GOMES, 2010). A escola americana está baseada nos desenvolvimentos de Borda e entre seus métodos principais há o AHP (SAATY, 1980) e a teoria de utilidade multiatributo MAUT (KEENEY; RAIFFA, 1993). Essa escola defende as técnicas de agregação multicritério, com critério único de síntese (GOMES JÚNIOR et al., 2011). Já a escola francesa tem suas raízes no trabalho de Condorcet e nela destacam-se a família ELECTRE (ROY, 1991) e o PROMETHEE (BARBA-ROMERO; POMEROL, 1997). Essa escola trata mais do conceito da relação de superação para defender a agregação sem critério único de síntese (GOMES JÚNIOR et al., 2011).

Segundo Olson (2001), apud Gomes Júnior et al. (2011), nenhuma metodologia destaca-se em relação a outras alternativas de métodos multicritério. O analista deve selecionar a mais adequada em função das características do problema. O foco deste trabalho é a priorização dos documentos que deverão ser analisados e para isso poderiam ser adotados diferentes métodos, como o AHP. Podem ser observadas diversas aplicações em revistas nacionais que vêm utilizando esse método, conforme a Tabela 2. Para o mesmo objetivo, esse método foi aplicado por Treinta (2011). Os exemplos de aplicação dos métodos multicritério em artigos foram selecionados a partir de uma busca nas palavras-chave de revistas e jornais brasileiros indexados no Scopus: Produção on-line, Pesquisa operacional e Gestão e produção.

No entanto, dentre os métodos que satisfazem as condições de disponibilidade e aplicabilidade ao caso foi selecionado o método CPP, proposto em Sant'Anna (2002). Nessa proposta, o ordenamento das opções resulta da composição das preferências medidas como probabilidades para cada um dos múltiplos critérios com as probabilidades de cada opção ser a preferida. Uma vez avaliadas as preferências segundo cada critério por meio de probabilidades, a preferência global pode ser avaliada comparando-se as probabilidades conjuntas. Esse método vem sendo aplicado em outras situações, como: avaliação de hospitais (SANT'ANNA, 2002), avaliação de usinas (SANT'ANNA; SANT'ANNA, 2008), avaliação de consumidores (SANT'ANNA; RIBEIRO, 2009), acompanhamento do cumprimento de cronogramas (SANT'ANNA, 2010) e avaliação da qualidade de ativos de renda variável (SANT'ANNA; NOGUEIRA; RABELO, 2011).

Um aspecto importante em relação ao método selecionado é que ele representa uma alternativa às escolas tradicionais de apoio à decisão que levam em conta diretamente a incerteza esperada pela imprecisão de medidas. Mecanismos para limitar a incerteza envolvem a redução de medidas a postos, a comparação das opções duas a duas e a utilização de limiares de indiferença. Além disso, o método permite comparar pelas probabilidades conjuntas, tornando dispensável a atribuição de pesos aos critérios, mas ao mesmo tempo proporcionando grande flexibilidade ao decisor, já que permite que o cálculo da preferência global seja feito de diversas formas, conforme a conveniência.

Mais especificamente, avaliando-se segundo cada critério em termos de probabilidades de preferência, a composição dos critérios pode ser feita de modo que uma opção, mesmo não tendo sido a preferida em nenhum critério, possa vir a ser a escolhida. Pode-se usar também a probabilidade de preferência segundo pelo menos um dos critérios, ou a de não ser a menos preferida segundo nenhum dos critérios e assim por diante. Se adotarmos a hipótese de independência entre as avaliações segundo diferentes critérios, cada uma dessas probabilidades conjuntas pode ser calculada efetuando-se operações de multiplicação e subtração. Finalmente, em vez do uso de uma probabilidade global única, o analista pode oferecer ao decisor resultados de ordenamento entre as probabilidades conjuntas segundo mais de um enfoque. Fica, nesse caso, a critério do decisor escolher o ponto de vista que prefira adotar.

Outro aspecto a ser considerado para adoção do método é que a preferência inicial pode advir tanto de termos quantitativos (peso, custo, velocidade, risco etc.) como de termos qualitativos (pequena, média ou grande). Nesse segundo caso, pode ser adotada uma lista de valores em uma escala Likert para a avaliação de cada alternativa. Essa medida inicial de uma alternativa segundo um critério é usada como estimativa para um parâmetro de localização como a média, a moda ou a mediana de uma distribuição de probabilidades.

A identificação dessas distribuições de probabilidades se completa através da análise de algumas hipóteses como: independência entre as perturbações afetando as determinações das preferências por diferentes alternativas, simetria em torno da média e parâmetros de dispersão constantes. Hipóteses de dependência entre as avaliações segundo os diversos critérios são estudadas em Sant'Anna e Ribeiro (2009). O fato de se levar em conta todas as avaliações segundo os diversos critérios de forma simples é uma boa razão para adotarmos a hipótese de independência como ponto de partida e assumirmos outras hipóteses em casos particulares em que elas se mostrem mais adequadas.

Uma desvantagem do método é que ele exige conhecimento mais profundo do decisor em probabilidades. A Figura 8 apresenta a descrição acima nas etapas necessárias para chegar-se à preferência global. Cada um dos passos encontra-se detalhado.

4.1. Definição de critérios

Os critérios estabelecidos podem ser os mesmos usados na pesquisa de Treinta (2011). Os artigos foram avaliados quanto à relevância em relação a quatro eixos principais: artigo, autores, periódico e tema. Para cada um desses eixos foram também definidos indicadores que atendessem aos critérios estabelecidos: número de citações do artigo, valor do índice h dos autores, valor dos índices SJR e SNIP do periódico de publicação, conforme detalhamento na Tabela 3.

Uma métrica única para o ordenamento de publicações gera um viés natural. Moed (2009) argumenta que todos os indicadores estão ponderados de forma diferente e, assim, produzem resultados diferentes. Dessa forma, o uso de múltiplos indicadores torna a análise mais robusta, pois minimiza o impacto das limitações dos indicadores. É fundamental olhar para as publicações através de diferentes métricas e perspectivas (GLÄNZEL, 2011), pois cada métrica isoladamente apresenta inúmeras vantagens e desvantagens (GERAEDS; KAMALSKI, 2010). Alguns exemplos deixam claro que os indicadores só fazem sentido caso utilizados em conjunto: o número de citações, por exemplo, pode avaliar a quantidade mas não a referência positiva ou negativa dessas citações quanto à qualidade da contribuição trazida pelo artigo.

A análise de citações tem como função principal fornecer ao leitor referências importantes sobre o campo de estudo em questão, além de auxiliar na identificação de autores predecessores que contribuíram para o desenvolvimento de estudos em determinadas áreas (CALDAS, 2005). De acordo com Vergara e Carvalho Junior (1995), as referências bibliográficas utilizadas pelo autor contribuem para sustentar uma argumentação e para representar as preocupações, preferências e metodologias adotadas, sinalizando assim o quão importante é para aquele autor determinada produção científica.

Para a avaliação de autores optou-se por utilizar o índice h, definido como o número de artigos publicados por um pesquisador que obteveram um total de citações igual ou superior a h (HIRSCH, 2005). Esse índice foi proposto como uma forma alternativa de calcular-se a produtividade e o impacto de determinado autor tendo em vista as vantagens e desvantagens de outros indicadores existentes. O número total de artigos publicados pelo autor, por exemplo, é um indicador de produtividade, porém não analisa o impacto e a relevância dessas publicações (MEHO, 2007; KERMARREC et al., 2007).

Em relação à avaliação de jornais e revistas, de acordo com Moed (2009), o Scopus é atualmente a maior base de dados, tendo em vista a ampla cobertura de resumos e citações de literatura que oferece, além de possuir diversas ferramentas que possibilitam ao pesquisador acompanhar, analisar, visualizar e exportar pesquisas. Atualmente, o Scopus disponibiliza o Journal Analyzer, que oferece uma visão rápida do desempenho dos períodos, sendo que em 2010 adicionou duas novas métricas de periódicos: SNIP e SJR. A utilização de ambos indicadores evita que a avaliação das publicações fique restrita a uma única métrica. Além disso, ambos os indicadores conseguem atuar de forma realmente complementar, além de serem métricas públicas e com suas metodologias de cálculo publicadas (MOED, 2010; LÓPEZ-ILLESCAS; DE MOYA-ANEGÓN; MOED, 2009; BERGSTROM, 2007).

O critério de alinhamento à pesquisa é uma avaliação feita pelo próprio pesquisador. Ele quantifica o grau de alinhamento de cada documento aos objetivos propostos na pesquisa. Para isso, é necessária a leitura dos resumos e a atribuição de uma nota para cada um. Esse critério é fundamental para que os artigos selecionados gerem o máximo de resultados para o trabalho desenvolvido.

4.2. Transformação das avaliações iniciais em uma distribuição probabilística

Primeiramente, para os indicadores de número de citações e índice h foi necessário colocar os vetores em escalas compatíveis. Para isso foram estabelecidas faixas para cada um. De acordo com a faixa em que o artigo se encontrava, ele recebeu uma nota: os valores considerados passaram a ser de 1 a 9. Para o estabelecimento dessas faixas e a atribuição dessas notas foram utilizados os valores máximos e mínimos encontrados para cada um dos indicadores.

Para cada critério, as avaliações de cada alternativa foram transformadas em uma distribuição probabilística. Os índices SJR e SNIP foram considerados com perturbações normais e dependência máxima entre si. Para os índices de citações, índice h e alinhamento foram adotadas distribuições triangulares com extremos fixos, independentes entre si e das normais. As normais possuem desvio padrão 0,055 para o SJR e 0,9 para o SNIP (são os desvios padrão dos vetores de 240 observações). As distribuições triangulares possuem extremos fixos uma unidade acima do máximo e uma unidade abaixo do mínimo quanto aos parâmetros de dispersão.

4.3. Cálculo da probabilidade para cada alternativa

Quando o número de alternativas é muito grande e as probabilidades se tornam muito pequenas, dificultando a comparação ou a manipulação dos dados, pode-se aplicar uma forma alternativa, substituindo-se o cálculo de a probabilidade ser a melhor opção no conjunto total de alternativas pelo de a probabilidade ser a melhor em uma amostra composta por um conjunto de alternativas fixas para cada critério, alternativas essas extraídas dos valores observados (SANT'ANNA; RIBEIRO, 2009). Nesse caso, os escores das alternativas segundo cada critério são as probabilidades de apresentarem o valor mais alto em uma amostra de 10 observações: 9 geradas em torno de alternativas construídas para representar os decis da população e 1 gerada em torno da alternativa em avaliação.

4.4. Cálculo da preferência global

Na hipótese de independência, para determinar a preferência global como probabilidade de a opção ser a preferida segundo todos os critérios, basta multiplicar as probabilidades de ela ser a preferida segundo cada critério. Na hipótese de máxima dependência, essa probabilidade de ser a preferida segundo todos os critérios é o mínimo entre as probabilidades de preferência para cada critério. Cálculos igualmente simples fornecem as probabilidades de a opção ser a preferida segundo pelo menos um critério, usando-se o fato de a preferência, segundo pelo menos um critério, ser o complementar da ausência de preferência segundo cada um.

4.4.1. Preferência global com ajuste em função do cálculo de pesos

Como dito anteriormente, o método CPP dispensa o uso de pesos. No entanto, com base no trabalho de pesquisa realizado por Treinta et al. (2011), no qual foram extraídos pesos para os critérios através de uma matriz de comparações dois a dois baseada no método de análise hierárquica (AHP), foi determinada a importância relativa de cada critério.

Na análise ficou evidente que o critério Alinhamento foi considerado o mais importante de todos, com peso de 0,41. Mesmo que o artigo tenha muitas citações, os autores tenham o índice h alto e o periódico de publicação seja bem avaliado, se o artigo não estiver alinhado com o que o pesquisador traçou como temática de seu trabalho ele não é relevante para o estudo. Os resultados para os pesos de cada critério no trabalho de Treinta et al. (2011) podem ser observados na Tabela 4.

Diante disso foi definido que o critério Alinhamento seria tratado como indispensável e os demais como desejáveis, já que não apresentaram uma discrepância relevante. O ordenamento foi, então, feito segundo a probabilidade de a alternativa ser a preferida no critério alinhamento multiplicada pela probabilidade de a unidade ser a preferida segundo qualquer outro critério. Como discutido anteriormente, outras abordagens poderiam ter sido aplicadas conforme a conveniência do decisor e a natureza do problema.

4.4.2. Análise de resultados

Os resultados obtidos permitiram que a priorização da leitura do pesquisador fosse realizada com garantia de que os artigos estivessem primeiramente alinhados ao tema e que atendessem a critérios de qualidade apresentados pela sociedade acadêmica. No caso do trabalho de Treinta et al. (2011), foi selecionado o primeiro quartil resultante do ordenamento da base (240 artigos finais) como essencial para leitura. O restante da base permaneceu como fonte para consultas e/ou aprofundamento de algum tópico.

5. Sistematização da metodologia proposta

Para resumir todos os procedimentos trabalhados neste artigo, com vistas a potencializar a pesquisa bibliográfica, a Tabela 5 apresenta uma sistematização da metodologia proposta.

Cumpre lembrar que o processo de pesquisa bibliográfica deve ser contínuo e que os pesquisadores devem sempre se questionar se todos os artigos científicos possíveis foram encontrados e devem estar sempre atentos a novas possibilidades - assim a pesquisa bibliográfica será muito consistente.

6. Conclusão

Este trabalho teve como objetivo sugerir uma metodologia de priorização de leitura definida precisamente, buscando reduzir as dificuldades de lidar com o grande volume de documentos hoje disponíveis para a pesquisa e garantir que a escolha feita seja adequada ao objeto de estudo, balizando-se pela qualidade, abrangência e contribuição científica dos documentos. Nesse contexto foram propostos métodos e ferramentas para levantamento da base bibliográfica, catalogação, realização de filtragens e priorização da leitura dos artigos.

A metodologia proposta implica no empreendimento de esforço considerável para sua realização mas garante que a pesquisa a realizar seja imparcial em relação às fontes de dados e aos dados em si, evitando vieses. Além disso, proporciona foco e método para o pesquisador.

Como limitação do método proposto pode ser levantada a necessidade de o pesquisador ter conhecimento prévio sobre o tema de pesquisa. Durante todo o processo é necessária a intervenção do autor para: identificação das palavras-chave, realização das filtragens e, sobretudo, para a avaliação do artigo pesquisado quanto a seu alinhamento com o tema proposto. Outro aspecto a ser considerado é que para cada problema de pesquisa é necessário empreender um processo único e separado para a aplicação da metodologia, não sendo possível incluir dois ou mais problemas de pesquisa durante o processo.

Por fim, destaca-se que pesquisas futuras podem buscar automatizar o método e integrar ferramentas. Também podem ser testados outros tipos de métodos multicritério e analisada a sua facilidade quanto à manipulação dos dados e à obtenção de resultados satisfatórios.

Recebido 28/11/2011

Aceito 03/11/2012

• AL-SHEMMERI, T.; AL-KLOUB, B.; PEARMAN, A. Model choice in multicriteria decision aid. European Journal of Operational Research, v. 97, n. 3, p. 550-560, 1997. http://dx.doi.org/10.1016/S0377-2217(96)00277-9
• BARBA-ROMERO, S.; POMEROL, J. C. Decisiones Multicriterio: Fundamentos Teóricos y Utilización Práctica. Colección de Economia, 1997.
• BERGSTROM, C. Eigenfactor: Measuring the value and prestige of scholarly journals. College & Research Libraries News, v. 68, n. 5, p. 314-316, 2007.
• CALDAS, M. Análise Bibliométrica da produção cientifica brasileira de RH na década de 1990: um mapeamento a partir das citações dos artigos publicados no Enanpad. São Paulo: FGV, 2005.
• FARIAS FILHO, J. R. Ensaio Teórico sobre Pesquisa Bibliográfica em Estratégia de Operações Niterói: UFF/TEP, 2009. Apostila da Disciplina de Gestão de Operações - Programa de Pós-Graduação em Engenharia de Produção.
• GABRIELE, P. Uma Proposta de Metodologia de Engenharia de Custos Adequada à Realidade Brasileira: Uma pequisa quali e quanti no setor de construção civil. 2011. Dissertação (Mestrado em Engenharia de Produção)-Universidade Federal Fluminense, Niterói, 2011.
• GERAEDS, G. J.; KAMALSKI, J. Bibliometrics comes of age: an interview with Wolfgang Glänzel. Research Trends, n. 16, Mar. 2010. Entrevista concedida a Gert-Jan Geraeds e Judith Kamalski. Disponível em: <http://www.researchtrends.com/wp-content/uploads/2011/01/Research_Trends_Issue16.pdf>. Acesso em: 20 nov. 2011.
• GLÄNZEL, W. The application of characteristic scores and scales to the evaluation and ranking of scientific journals. Journal of Information Science, v. 37, n. 1, p. 40-48, 2011. http://dx.doi.org/10.1177/0165551510392316
• GOMES JÚNIOR, S. F. et al. Integração de Métodos Multicritério na Busca da Sustentablidade Agrícola para a Produção de Tomates no Município de São José de Ubá - RJ. Pesquisa Operacional, v. 31, n. 1, p. 157-171, 2011. http://dx.doi.org/10.1590/S0101-74382011000100010
• GOMES, L. Manufatura ágil e o setor de serviços financeiros brasileiro: uma análise exploratória de práticas de gestão de TI. 2010. Dissertação (Mestrado em Engenharia de Produção)-Universidade Federal Fluminense, Niterói, 2010.
• HIRSCH, J. E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences, v. 102, n. 46, p. 16569-16572, 2005. http://dx.doi.org/10.1073/pnas.0507655102
• ISHIZAKA, A. Clusters and pivots for evaluating a large number of alternatives in AHP. Pesquisa Operacional, v. 32, n. 1, p. 87-101, 2012. http://dx.doi.org/10.1590/S0101-74382012005000002
• KEENEY, R. L.; RAIFFA, H. Decisions with multiple objectives: preferences and value tradeoffs. Cambridge: Cambridge University Press, 1993. p. 569.
• KERMARREC, A. M. et al. What do bibliometrics indicators measure? INRIA, Sept 2007. Technical report.
• KUMAR, R. Research Methodology: A Step-by-Step Guide For Beginners. 2nd ed. Londres: Sage Publications, 2005.
• LACERDA, R. T. O.; ENSSLIN, L.; ENSSLIN, S. R. Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, v. 19, n. 1, p. 59-78, 2012. http://dx.doi.org/10.1590/S0104-530X2012000100005
• LÓPEZ-ILLESCAS, C.; DE MOYA ANEGÓN, F.; MOED, H. F. Comparing bibliometric country-by-country rankings derived from the Web of Science and Scopus: The effect of poorly cited journals in oncology. Journal of Information Science, v. 35, n. 2, p. 244-256, 2009. http://dx.doi.org/10.1177/0165551508098603
• MEHO, L. I. The rise and rise of citation analysis Physics World, 2007. Disponível em: <http://eprints.rclis.org/handle/10760/8738#.TskDINRqFtw>. Acesso em: 20 nov. 2011.
• MOED, H. F. New developments in the use of citation analysis in research evaluation. Archivum Immunologiae et Therapiae Experimentalis, v. 57, n. 1, p. 13-18, 2009. http://dx.doi.org/10.1007/s00005-009-0001-5
• MOED, H. F. Measuring contextual citation impact of scientific journals. Journal of Informetrics, v. 4, n. 3, p. 265-277, 2010. http://dx.doi.org/10.1016/j.joi.2010.01.002
• OLSON, D. L. 2001. Comparison of three multicriteria methods to predict known outcomes. European Journal of Operational Research, v. 130, n. 3, p. 576-587. http://dx.doi.org/10.1016/S0377-2217(99)00416-6
• PADOVANI, M.; DE CARVALHO, M. M.; MUSCAT, A. R. N. Portfolio of projects: Case study of selection and balancing, Gestão & Produção, v. 17, n. 1, p. 157-180, 2010. http://dx.doi.org/10.1590/S0104-530X2010000100013
• PAO, M. L. Concepts of information retrieval Englewood, Colorado: Libraries Unlimited, Inc., 1989. 285 p.
• PRITCHARD, A. Statistical bibliography or bibliometrics?. Journal of publication, v. 25, p. 348-349, 1969.
• RANGEL, L. A. D.; GOMES, L. F. A M. O Apoio Multicritério à Decisão na avaliação de candidatos. Produção, v. 20, n. 1, p. 92-101, 2010. http://dx.doi.org/10.1590/S0103-65132010005000016
• RIBEIRO, L. S.; PASSOS, A. C.; TEIXEIRA, M. G. Selection of communication technologies in the Brazilian Army using AHP, TODIM and Sapiens software. Produção, v. 22, n. 1, p. 132-141, 2012. http://dx.doi.org/10.1590/S0103-65132011005000063
• ROY, B. The outranking approach and the foundations of electre methods. Theory and Decision, v. 31, p. 49-73, 1991. http://dx.doi.org/10.1007/BF00134132
• SAATY, T. L. The Analytic Hierarchy Process New York: McGraw Hill, 1980.
• SANT'ANNA, A. P. Data Envelopment Analysis of Randomized Ranks. PesquisaOperacional, v. 22, n. 2, p. 203-215, 2002. http://dx.doi.org/10.1590/S0101-74382002000200007
• SANT'ANNA, A. P.; NOGUEIRA, H. D.; RABELO, L. M. Comparação entre Métodos Multicritério em um Modelo para Avaliação da Qualidade de Ativos de Renda Variável. Revista de Finanças Aplicadas, v. 1, p. 1-21, 2011.
• SANT'ANNA, A. P. Probabilistic Composition of Criteria for Schedule Monitoring. PesquisaOperacional, v. 30, n. 4, p. 751-767, 2010. http://dx.doi.org/10.1590/S0101-74382010000300013
• SANT'ANNA, A. P.; RIBEIRO, R. A. Statistical Modeling and Probabilistic Composition in the prediction of the customer lifetime value. Benchmarking: An International Journal, v. 16, p. 335-350, 2009.
• SANT'ANNA, L. A.; SANT'ANNA, A. P. A Probabilistic Approach to evaluate the Exploitation of the Geographic Situation of Hydroelectric Plants. Energy Policy, v. 36, n. 7, p. 2320-2329, 2008. http://dx.doi.org/10.1016/j.enpol.2008.01.023
• TASCA, J. E. et al. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, v. 34, n. 7, p. 631-655, 2010. http://dx.doi.org/10.1108/03090591011070761
• TORTORELLA, G. L.; FOGLIATTO, F. S. Systematic layout planning aided by multicriteria decision analysis. Produção, v. 18, n. 3, p. 609-624, 2010. http://dx.doi.org/10.1590/S0103-65132008000300015
• TREINTA, F. Novas Oportunidades de Negócio com Impacto Social através da Inovação: Proposta de Modelo de Negócio Social. 2011. Dissertação (Mestrado em Engenharia de Produção)-Universidade Federal Fluminense, Niterói, 2011.
• TREINTA, F. et al. Utilização de Métodos Multicritério para a Seleção e Priorização de Artigos Científicos. In: SIMPÓSIO DE ENGENHARIA DE PRODUÇÃO, 18., 2011, Bauru. Anais.. Bauru; 2011.
• VANTI, N. Da bibliometria à webometria: uma exploração conceitual dos mecanismos utilizados para medir o registro da informação e a difusão do conhecimento. Ciência da Informação, v. 31, n. 2, p. 152-162, maio/ago. 2002.
• VERGARA, S. C.; CARVALHO JUNIOR, D. Nacionalidade dos autores referenciados na literatura brasileira sobre organizações. In: ENCONTRO DA ANPAD, 19., 1995, João Pessoa. Anais.. Rio de Janeiro: Anpad, 1995. v. 6. Organizações, p. 169-188.

*

UFF, Niterói, RJ, Brasil

Datas de Publicação

• Publicação nesta coleção
  01 Out 2013
• Data do Fascículo
  Set 2014

Histórico

• Recebido
  28 Nov 2011
• Aceito
  03 Nov 2012