Análise de citações utilizadas em ADI: 10 Anos de anais digitais do enanpad (1997-2006)

Information management papers' citation analysis: 10 years of enanpad digital proceedings (1997-2006)

ARTIGOS

Análise de citações utilizadas em ADI: 10 Anos de anais digitais do enanpad (1997-2006)

Information management papers' citation analysis: 10 years of enanpad digital proceedings (1997-2006)

Alexandre Reis GraemlI, ^*; Marie Anne Macadar^II

^IDoutor em Administração de Empresas pela EAESP/FGV. Professor Adjunto do PMDA/UP, Curitiba/PR, Brasil

^IIDoutora em Administração pela FEA/USP. Professora Adjunta da UERGS, Porto Alegre/RS, Brasil.

RESUMO

Depois de 10 anos de anais digitais do Enanpad, o momento parece propício para a realização de balanços sobre a evolução das suas diversas áreas ao longo deste tempo. O fato de os artigos deste período estarem todos disponíveis em meio eletrônico facilita a realização de estudos que lancem mão dessa massa de dados eletrônica na obtenção de subsídios para análise. Este artigo apresenta os achados de uma pesquisa quantitativa que consistiu no tratamento dos dados contidos nas 9.289 referências, dos 339 artigos aceitos pela área de ADI do Enanpad, de 1997 a 2006. Dentre os resultados mais significativos está o mapeamento das principais fontes das idéias que fundamentam os trabalhos dos pesquisadores brasileiros da área, identificando-se países, instituições, periódicos, editoras, eventos científicos e autores que os inspiram.

Palavras-chave: análise de citações; bibliometria; administração de informação.

ABSTRACT

After 10 years of digital proceedings for Enanpad (the largest academic business conference in Brazil), this would seem to be a good time to evaluate how its Information Management field is performing. The fact that all papers published in the proceedings during this period of time are available in electronic media makes it easy for studies to be carried out that use that huge amount of available electronic data. This paper presents the findings of a quantitative study that involved handling the data contained in 9.289 references included in the 339 papers published in the proceedings of the Information Management field in Enanpad, from 1997 to 2006. Amongst the most significant results is the identification of the authors, universities, journals, publishers and scientific events that inspire researchers in the IS field in Brazil.

Key words: citation analysis; bibliometry; information management.

INTRODUÇÃO

Como já destacado por Caldas e Tinoco (2004a), observa-se, nos últimos anos, uma preocupação da comunidade acadêmica com a análise da produção científica nacional nas diversas áreas da Administração, que se reflete na produção de inúmeros estudos sobre o assunto. Alguns destes estudos têm dado ênfase à natureza ou à qualidade da produção acadêmica de uma área específica ou da Administração como um todo. Isto se dá seja pela necessidade de conhecer a si mesmo, seja pela perspectiva de construir ou propor alternativas, que sirvam como referência à constituição de um marco evolutivo consistente, como afirma Barbosa (2004).

Não é pretensão deste artigo avaliar a qualidade da pesquisa acadêmica, algo que outros artigos sobre produção científica em Administração no Brasil se têm se proposto a fazer e realizado com mestria. Tampouco se deseja analisar os instrumentos de coleta de dados utilizados ou a natureza dos estudos publicados, que também são temas recorrentes em estudos revisionais.

O presente artigo tem como objetivo extrair informações das citações realizadas em artigos publicados nos anais dos Encontros da Associação Nacional de Pós-Graduação e Pesquisa em Administração [Enanpad] na área de Administração da Informação [ADI], ao longo dos últimos 10 anos (1997-2006), disponibilizando-as para análise e reflexão dos pesquisadores da área. Para tal, recorreu-se sistematicamente a artigos de análise de produção científica, tanto da área da Administração da Informação [ADI] como de outras áreas de conhecimento (vide Tabela 1), em busca de apoio metodológico ou com o intuito de comparar e contrastar descobertas. Diversas possibilidades de apresentação de dados e análise advieram do levantamento realizado nesses trabalhos.

Se, por um lado, o fato de se trabalhar com artigos disponíveis em meio digital viabilizou a operacionalização da coleta dos dados para este artigo, por outro lado a quantidade de dados a que se teve acesso é desproporcionalmente maior que a utilizada em outros trabalhos semelhantes, realizados no passado. Somente para mencionar alguns dos números que subsidiaram este estudo, foram coletadas 9.289 citações, realizadas pelos 758 autores dos 339 artigos publicados nos anais da área de ADI do Enanpad, nos últimos 10 anos.

Na próxima seção, apresenta-se um levantamento panorâmico de trabalhos publicados sobre a produção acadêmica brasileira em Administração, focando a área de Sistemas de Informação [SI]. Depois, é detalhada a metodologia utilizada, são apresentados os resultados obtidos e, por fim, as considerações finais e conclusões dos autores.

PANORAMA DA PESQUISA CIENTÍFICA EM SISTEMAS DE INFORMAÇÃO

Seguindo a tradição norte-americana (Baskerville & Myers, 2002; King & Lyytinen, 2004), a pesquisa brasileira em Sistemas de Informação [SI] tem se desenvolvido, primordialmente, nas escolas de administração. Contudo observa-se em nível nacional um crescimento paralelo desta área de conhecimento na engenharia de produção e na informática. Eventos acadêmicos como o Simpósio de Excelência em Gestão e Tecnologia [SEGeT] e o Encontro Nacional de Engenharia de Produção [ENEGEP] têm apresentado artigos relacionadas à gestão de sistemas de informação e da tecnologia de informação. O Simpósio Brasileiro de Sistemas de Informação [SBSI], iniciativa bem mais recente da Sociedade Brasileira de Computação [SBC], evidencia que os informáticos também passaram a dedicar mais atenção ao tema.

Hoppen e Meirelles (2005), ao resgatarem o histórico da área acadêmica de SI no Brasil, reconhecem que esta área acadêmica é relativamente jovem e que somente na década de 1980 apareceu como área nas Escolas de Administração do Brasil. Salientam ainda que, apesar das diversas denominações que recebe (Tecnologia de Informação, Informática, Administra-ção da Informação e, mais recentemente, Tecnologia de Informação e Comunicação), "a área surgiu e ainda se encontra no departamento de Métodos Quantitativos ou de Administração da Produção" (p. 148), em muitas universidades.

Em nível internacional, como bem observam Rodrigues e Ludmer (2005), uma comunidade acadêmica bastante atuante em SI está surgindo na Austrália e no sul da Ásia, com conferências regionais importantes, a exemplo da Australasian Conference on Information Systems [ACIS] e da Pacific Conference on Information Systems [PACIS]. Esses eventos se somam aos já reconhecidos Americas Conference on Information Systems [AMCIS], International Conference on Information Systems [ICIS], European Conference on Information Systems [ECIS] e The UK Academy for Information Systems [UKAIS] como fóruns de discussão e debate das novas idéias do campo. Há ainda os encontros promovidos pela International Federation of Information Processing [IFIP] dos Working Groups 8.2 e 9.4 (este último, cuja primeira edição na América Latina ocorreu em São Paulo, em 2007), que possuem interesse específico em questões ligadas a países em desenvolvimento.

No Brasil, o aumento significativo do número de programas de Pós-Graduação (Barbosa, 2004), de modo geral, e o estabelecimento de núcleos de estudo em SI na década de 90 (Hoppen & Meirelles, 2005), mais especificamente, possibilitaram que pesquisadores brasileiros acompa-nhas-sem, mesmo que de forma ainda tímida, o crescimento mundial desta área de conhecimento. A incorporação de novos tópicos de estudo nesta área (por exemplo: comércio eletrônico, gestão do conhecimento, sistemas integrados de gestão, educação a distância etc.) tem refletido a evolu-ção da importância da área nas organizações e colabora para a sua expansão no cenário acadêmico brasileiro, com especial destaque para os Encontros da Anpad. Em 1997, o evento admitiu somente 18 trabalhos na área; já em 2006 foram 58 artigos selecionados, o que representa um crescimento de mais de 300% no período.

O crescimento consistente da área ao longo dos últimos anos possibilitou, ainda, o surgimento de eventos específicos para a discussão de trabalhos acadêmicos da área, como o Congresso Anual de Tecnologia de Informação [CATI], promovido pela FGV-Eaesp, e o Encontro de Administração da Informação [EnADI], evento temático promovido pela Anpad, cuja primeira edição ocorreu no segundo semestre de 2007.

JUSTIFICATIVA E CONTEXTUALIZAÇÃO DESTE TRABALHO NO ÂMBITO DOS ESTUDOS REVISIONAIS DA ÁREA DE ADI

Da mesma forma que diversas áreas da Administração analisaram o estado da arte de sua produção científica (vide Tabela 1), a área de SI também dispõe de pesquisas brasileiras (Diniz, Petrini, Barbosa, Christopoulos, & Santos, 2006; Hoppen et al., 1998; Hoppen & Meirelles, 2005; Ludmer, Rodrigues, Alcoforado, & Santana, 2002; Lunardi, Rios, & Maçada, 2005; Rodrigues & Ludmer, 2005; Teixeira, 2002) e internacionais com este propósito (Avgerou, 2000; Barki, Rivard, & Talbot, 1988, 1993; Baskerville & Myers, 2002; Chua, Cao, Cousins, & Straub, 2003; Orlikowski & Baroudi, 1991). Contudo em nível nacional, a área ainda carece de análises do tipo citacional (também conhecidas como bibliométricas).

O trabalho de Silveira, Sousa, Rangel e Silva (1996) parece ter sido o único desenvolvido em SI no Brasil, até o momento, que tenha utilizado análise de citações. Contudo, o seu propósito continuava sendo o mapeamento de temas de estudo. Sendo assim, verifica-se existir uma brecha nesta área de conhecimento para um tipo de estudo que, por meio de análise citacional, investigue questões como o trajeto de influência de autores, instituições e publicações que serviram de base à produção acadêmica em SI. Os anais digitais do Enanpad representam um objeto propício para este tipo de investigação.

Outro aspecto relevante que justifica a necessidade deste tipo de pesquisas refere-se ao contexto internacional. Na área das ciências sociais, o reconhecido Science Citation Index [SCI®], índice citacional produzido pela Thomson Scientific, o qual sucedeu ao Institute for Scientific Information [ISI] na empreitada iniciada em 1960, é uma referência internacional (Garfield, 1977)(¹). Nessa época o autor já reconhecia diferentes utilidades de citar pesquisas realizadas anteriormente, destacando: 1) reconhecer o trabalho de pioneiros; 2) dar crédito a estudos relacionados; 3) proporcionar embasamento aos argumentos ora estabelecidos; 4) proporcionar acesso a material de leitura adicional; 5) articular a metodologia utilizada na pesquisa; 6) criticar outros trabalhos; e 7) retificar o próprio trabalho prévio.

De acordo com Caldas e Tinoco (2004a, p. 103), "a utilização dos Índices de Citações tornou-se uma prática comum, principalmente nos Estados Unidos, servindo como fonte para remuneração dos pesquisadores de diversas áreas".

No Brasil, mais especificamente na Administração, este debate é ainda inicial. Contudo algumas áreas já demonstraram que estes índices representam um instrumento importante para a análise da qualidade acadêmica dos trabalhos produzidos, embora seus métodos e critérios precisem ser mais bem discutidos. Em 2004, a Revista de Administração de Empresas [RAE] propiciou esse debate na área de Recursos Humanos (ver Barbosa, 2004; Caldas & Tinoco, 2004a, 2004b; Mattos, 2004), que pode subsidiar reflexão em todas as áreas da Administração, incluindo a área de ADI.

Diante das diversas críticas recebidas por Caldas e Tinoco (2004a), e adequadamente respondidas em sua tréplica (Caldas & Tinoco, 2004b, p. 4), a argumentação de que o método bibliométrico não é suficiente para analisar o campo (e, por isso, o uso deve ser complementar a outras ferramentas de análise) também serve para o presente artigo. A área de ADI no Brasil tem sido mapeada de diversas formas, seja quanto à identificação dos principais métodos utilizados na investigação de diferentes tópicos e assuntos de pesquisa e reconhecimento dos métodos mais utilizados (Hoppen et al., 1998; Lunardi et al., 2005), posições epistemológicas (Diniz et al., 2006; Ludmer et al., 2002), discussão sobre se SI é ou não ciência (Rodrigues & Ludmer, 2005), métodos de pesquisa mais utilizados e a qualidade científica dos artigos (Hoppen & Meirelles, 2005) e estratégias de pesquisas mais utilizadas (Teixeira, 2002), somente para citar alguns dos enfoques utilizados.

De forma usualmente apropriada, estes trabalhos começaram a discutir o estado-da-arte em Sistemas de Informações no Brasil, tendo como base publicações dos Anais do Enanpad e/ou de revistas acadêmicas de repercussão nacional. Essenciais são estes estudos, pois, a partir deles, é possível avançar na construção de uma área da Administração relevante. Neste artigo, segue-se o mesmo objetivo que motivou o estudo de Caldas e Tinoco (2004a): utilizar a análise citacional de modo a complementar mapeamentos anteriores e, em alguns casos, apontar incongruências, as quais se acredita que devam ser debatidas em fórum apropriado, como os próprios encontros da Enanpad e as revistas por ela editadas, como está sendo o caso.

Em nível internacional, a área de SI vem refletindo sobre a sua produção e a condição de ser uma área específica de conhecimento científico desde a década de 80, quando Keen (1980) cunhou os termos cumulative tradition e reference disciplines durante a primeira Conferência do ICIS. Os trabalhos de Culnan e Swanson (1986) e Culnan (1986, 1987), sobre análise de citações, realizados há mais de 20 anos, e replicados por Cheon, Lee e Grover (1992), foram recentemente ampliados por Grover, Gokhale, Lim, Coffey e Ayyagari (2006) e publicados em uma edição especial do Journal of the AIS, onde Wade, Biehl and Kim (2006b) também realizaram comentários sobre o estudo. Estes mesmos autores iniciaram a edição, questionando se a área de SI é ou não uma disciplina de referência (Wade, Biehl, & Kim, 2006a). Outro trabalho internacional que utiliza a análise citacional e merece destaque é o artigo publicado no ICIS/2006 por Hansen, Lyytinen e Markus (2006). Nele os autores analisam o clássico trabalho de Markus (1983) - Power, Politics, and MIS Implementation - tendo como base mais de 300 referências realizadas ao longo de duas décadas. Utilizando a análise de citações, os autores procuram responder à seguinte questão de pesquisa: o que se pode descobrir sobre os interesses intelectuais dos pesquisadores de Sistemas de Informação, analisando os padrões de referência relacionados a um dos artigos mais citados da área.

METODOLOGIA

Para a elaboração deste levantamento foi criada uma base de dados com as referências de todos os artigos da área de ADI publicados nos anais do Enanpad desde 1997, quando os anais do evento deixaram de ser disponibilizados em papel e passaram a existir em formato digital (CD e web site), até 2006. A área temática de análise é a Administração da Informação (ADI, incluindo o período quando a denominação ainda era simplesmente AI). É importante lembrar que, em 2005, tal como aconteceu para as demais áreas temáticas, a área de ADI sofreu subdivisão, com a criação de quatro subáreas, que foram mantidas até 2008. Contudo, para a montagem do banco de dados que subsidiou o presente estudo, tal subdivisão não foi considerada, sendo a área vista como um todo.

Foram coletadas 9.289 citações, encontradas nos 339 artigos publicados nesse período por 758 autores. O termo adotado no presente artigo para indicar as referências utilizadas nos artigos analisados é citação. A análise de citações é um dos diversos tipos de metodologia utilizados pela Biblioteconomia e pelas Ciências da Informação (Vanti, 2002).

Por se tratar de um período estrito, apesar de consideravelmente produtivo para a área de SI no Brasil, e pelo fato de terem sido considerados exclusivamente os anais do Enanpad (periódicos, livros e outras publicações na área não foram contabilizados), não é possível generalizar para toda a área de SI os resultados apresentados na próxima seção, embora isto não os tornem menos úteis à reflexão.

A primeira etapa da pesquisa consistiu em coletar as referências de cada artigo publicado nos anais do Enanpad, na área ADI, no período de 1997 até 2006. Essa empreitada foi especialmente laboriosa, pois a utilização de diferentes padrões (ou a falta deles) na enumeração das referências em cada trabalho se interpôs firmemente às tentativas de organização automatizada das linhas de dados. Essas referências foram incluídas em uma planilha Excel e seus diversos componentes de informação foram separados em campos distintos para o posterior tratamento quantitativo. Foram criados os seguintes campos relacionados ao artigo em que ocorreram as referências: ano do artigo, autores, número de autores, título, instituição dos autores e código do artigo. Com relação às referências, propriamente ditas, a informação foi desmembrada em: tipo da referência (artigo em periódico, livro, anais etc.), ano, autores e número de autores.

A partir desses dados foram geradas as inúmeras tabelas e gráficos apresentados e discutidos na próxima seção.

APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS

Os dados coletados acabaram representando uma fonte muito mais rica de informações do que os autores deste trabalho imaginavam, ao iniciarem o projeto de pesquisa. Em função da limitação de espaço, apresentar-se-ão aqui os resultados considerados mais relevantes, ou que foram mais bem explorados pelos pesquisadores até o momento.

Será, primeiramente, discutida a questão da autoria dos trabalhos aceitos para a publicação nos anais da área de ADI do Enanpad (individual ou colaborativa). Depois, serão apresentados os tipos de obras incluídas nas citações, os principais eventos em cujos anais os autores de artigos do Enanpad buscam referências, os principais periódicos, a idade das referências utilizadas e os autores, nacionais e estrangeiros, mais citados. Espera-se, desta forma, fornecer informações organizadas ao leitor, de forma que ele próprio possa fazer sua análise da área de ADI nesses mais de 10 anos de anais digitais do Enanpad.

Autoria Individual x Autoria Coletiva

Um dos primeiros aspectos que chama a atenção, ao se analisar os dados coletados, é o abandono da autoria individual, como forma prioritária de comunicação dos resultados das pesquisas, por parte dos autores que submetem trabalhos à área de ADI, no Enanpad. Conforme pode ser visto na Figura 1, cerca de 45% dos trabalhos apresentados em 1997 originaram-se do esforço de pesquisadores individuais. Este percentual veio caindo gradativamente ao longo do tempo, até se estabilizar na faixa dos 10%, a partir de 2004.

O aumento do número de autores por artigo é inquestionável. Nos anos mais recentes, mais de 30% dos trabalhos aceitos no Enanpad, na área ADI, possuem pelo menos 3 autores. Em 2006, foram 38%. Até 2003, este percentual ficava na faixa dos 20%. Já havia indícios dessa tendência, detectados por Lunardi et al. (2005), ao analisarem artigos publicados nos principais periódicos acadêmicos nacionais e nos próprios anais do Enanpad.

Um estudo internacional realizado por Huang e Hsu (2005), que envolveu dados de 20 journals da área de SI publicados entre os anos 1999 e 2003, constatou que aproximadamente 20% de artigos eram de autoria individual e 40% de artigos tinham dois autores. Nesse período (1999 a 2003) a porcentagem de artigos com autoria individual no Brasil também girava um pouco acima dos 20%. Foi depois disto que os pesquisadores da área no Brasil intensificaram a produção de artigos acadêmicos de autoria coletiva, pelo menos no caso das submissões ao Enanpad.

Isto pode ser decorrência do amadurecimento da área, com a concentração do foco de pesquisa em temas de interesse coletivo, que facilitam a produção conjunta. Se este for o caso, existe mais compartilhamento e troca de informações entre pesquisadores, que optam por discutir e divulgar seus achados conjuntamente. Por outro lado, os trabalhos coletivos também podem ser conseqüência da pressão pelo incremento da produção científica nas universidades brasileiras, levando pesquisadores do país a realizar uma ação entre amigos, ao convidar colegas para serem seus coautores, na esperança de, em um momento seguinte, poderem ser alvo de igual gentileza (observação esta também realizada por Lunardi et al., 2005).

Embora em uma primeira análise esta segunda possibilidade pareça ser extremamente negativa, o simples fato de o artigo passar pelo crivo dos seus diversos autores, ainda que alguns deles atuem como meros revisores, com uma função menor na sua elaboração, já lhe atribui maior qualidade do que se realizado por um autor isolado. Da falta de virtude que pode estar, eventualmente, associada à ação inicial, pode decorrer o início de um processo virtuoso de colaboração efetiva entre colegas pesquisadores.

Tipos de Obras Incluídas nas Citações dos Artigos Publicados nos Anais do Enanpad

A grande maioria das referências encontradas nos artigos publicados nos anais da área de ADI do Enanpad, ao longo dos últimos 10 anos (> 85%), se refere a periódicos ou revistas, livros ou anais de eventos científicos, conforme evidencia a Erro! Fonte de referência não encontrada., que apresenta os números absolutos que se reportam a cada tipo de obra.

Figura 2

Em editorial da RAE-eletrônica de jan/jun 2007, Bertero (2007), ao referir-se aos artigos submetidos a essa revista, afirma que "nossos autores ainda apóiam suas idéias em livros e mais raramente em artigos de periódicos. Quando o fazem, a tendência é referir-se à produção nacional". Neste ponto os resultados encontrados nesta pesquisa demonstram o contrário. Não somente os artigos publicados no Enanpad apresentam percentual significativo de citações de periódicos (apesar de o percentual de livros citados também ser elevado), como também referências a periódicos internacionais ocorrem em níveis significativos (ver também a Figura 3). É possível que esses números reflitam o acesso facilitado, nos últimos anos, a bases de dados eletrônicas, embora esta constatação dependa de uma análise mais minuciosa de eventual mudança no padrão de uso de referências ao longo do tempo.

Principais Periódicos e Revistas em que os Autores de Artigos do Enanpad Buscam Referência

A Figura 3 apresenta a lista de revistas e periódicos acadêmicos que apareceram nas referências dos artigos da área de ADI com maior freqüência, ao longo dos últimos 10 anos. Em conjunto, eles representam um pouco mais de 50% das referências a revistas e periódicos neste período (1.864 das 3.603 referências a revistas e periódicos contidas nos 339 artigos da área de ADI no período de 1997 a 2006) e cerca de 20% do total das referências (1.864 das 9.289 referências).

Assim como constatado por pesquisas do mesmo tipo, realizadas em outras áreas da Adminis-tração (Caldas & Tinoco, 2004a; Tonelli et al., 2003), a área de ADI também parece sofrer influência do pop management, de revistas de circulação geral que o reforçam, e de revistas de origem acadêmica, mas cujo principal objetivo é disseminador e não gerador de conhecimento novo. Esta constatação deve servir de alerta. Se tais citações estiverem sendo utilizadas para definir o contexto ou caracterizar melhor o tema da pesquisa que se propõe, não há motivo para mai-ores preocupações. Do contrário, se estiverem sendo utilizadas para estabelecer as bases sobre as quais se sustentará o estudo, os alicerces do trabalho estarão sendo construídos sobre areia movediça e a má escolha dos pressupostos pode invalidar todo o esforço posterior de construção de conhecimento científico, se é que se pode atribuir à Administração esta cientificidade.

De qualquer modo, é reconfortante constatar que os melhores journals da área se encontram presentes na lista das referências mais adotadas (ver a Figura 3), ainda que fazendo companhia a periódicos de circulação geral e outros de cunho gerencialista, que não possuem nenhum compro-mis-so com o rigor acadêmico esperado das fontes usadas pelos pesquisadores em seus trabalhos.

Contudo, como a área de ADI se tem caracterizado por apresentar resultados de trabalhos práticos, com forte relação à realidade organizacional, é possível que o alto índice de citações de artigos de revistas como Computerworld, HSM Management, Exame e Info (antiga Exame Informática) esteja relacionado à necessidade de contextualizar e justificar a escolha de problemas de pesquisa, ou ilustrar achados de pesquisas realizadas usando reportagens de cunho mais jornalístico. Isto também pode explicar o fato de revistas como a Harvard Business Review, a MIT Sloan Management e a California Management Review estarem incluídas na lista. Essas são todas consideradas revistas de disseminação de conhecimento científico já consolidado e, portanto, menos recomendadas para compor estudos que se preocupem em desbravar novas fronteiras para o conhecimento.

As revistas acadêmicas brasileiras que fazem parte da lista apresentada na Figura 3 são todas conceituadas (Qualis A nacional). As internacionais também são de ótima qualidade. Todas apresentam fator de impacto superior a 0,5 pelo critério dos Journal Citation Records [JCR], o que as qualifica como Qualis A internacional (Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [CAPES], 2006).

Livros Utilizados pelos Autores de Artigos do Enanpad para Apoiar suas Pesquisas

Das 3.389 referências a livros, pouco mais da metade (50,6%) se relaciona a textos escritos em português. Outros 46,6% correspondem a obras em inglês. Há ainda uma pequena fração de obras em francês (1,5%) e espanhol (1,3%), que foram utilizadas pelos autores de artigos do Enanpad em seus trabalhos, conforme mostra a Tabela 2.

A freqüência com que livros das diferentes editoras foram utilizados como referências para os artigos apresentados no Enanpad, área ADI, no período do estudo, é apresentada na Tabela 3. É importante salientar que essas vinte editoras mais atuantes foram responsáveis por mais de 60% dos livros citados nos trabalhos acadêmicos contidos nos anais do evento, no período de 1997 a 2006 (ver a Tabela 3). Também é digno de nota o crescimento da Editora Bookman na segunda metade do período analisado, o que já a eleva a uma das principais editoras com atuação na área, no país.

Principais Eventos em Cujos Anais os Autores de Artigos do Enanpad Buscam Referências

Foi realizado um levantamento dos eventos em que os autores de artigos apresentados no Enanpad mais buscam inspiração para os seus trabalhos. Impressiona a ênfase que se dá, ao realizar citações, aos artigos publicados nos próprios anais do Enanpad. Das 949 referências a artigos em anais, 458 são do Enanpad, o que representa 48,3% do total. Nenhum dos outros eventos teve, sequer, um décimo da repercussão do Enanpad (vide Figura 4).

Esta valorização acentuada dos anais do próprio evento, em contraste com a atenção que é dada a outros eventos da área, deve ser motivo de reflexão dos pesquisadores da área. Da mesma forma que se deve tomar cuidado para não asfixiar a produção científica de um determinado grupo de pesquisa com excessiva concentração nos achados de outros pesquisadores do próprio grupo (endogenia), também se deve evitar que um congresso se volte apenas para o próprio umbigo, fazendo com que seus freqüentadores percam a oportunidade de oxigenar suas idéias, expondo-se à troca de experiências com outros grupos.

Outros eventos que apareceram com algum nível de incidência nas citações foram: Americas Conference on Information Systems [ACIS], Encontro Nacional da Engenharia de Produção [Enegep], International Conference on Information Systems [ICIS], Business Association of Latin American Studies [Balas], Hawaii International Conference on Systems Science [HICSS], Simpósio de Administração da Produção Logística e Operações Internacionais [Simpoi], Congresso Anual de Tecnologia de Informação [Cati] e Seminários em Administração da FEA-USP [Semead].

Idade das Referências Utilizadas nos Artigos Publicados nos Anais do Enanpad - Área de ADI

Diferentemente do que se esperava, a facilidade de acesso à literatura, proporcionada pelas inúmeras bases de dados de periódicos on-line que hoje estão à disposição dos pesquisadores, não contribuiu para reduzir a idade média das citações. Pelo contrário, a idade média das citações utilizadas nos artigos da área de ADI no Enanpad tem aumentado, conforme pode ser visto na Tabela 4.

Em um primeiro momento, ao se constatar que a idade média das citações aumentava um ano a cada ano que se passava, desde 2003, teve-se a impressão de que os pesquisadores da área tinham parado de se atualizar e continuavam a utilizar, em seus novos trabalhos, as mesmas referências que vinham utilizando antes. Contudo outra hipótese aventada é que a facilidade de acesso às bases de dados eletrônicas esteja contribuindo, de forma inversa à inicialmente prevista, para que os pesquisadores consigam localizar artigos mais antigos, que apóiam os seus argumentos, mesclando-os com textos mais novos na organização do seu referencial bibliográfico. Embora contraintuitivo, isto não é ilógico. Textos recentes normalmente estão mais facilmente disponíveis em papel, de modo que não se obtém grande vantagem na utilização de bancos de dados para sua localização. Artigos antigos, por outro lado, podem ser encontrados e resgatados mais facilmente por meio eletrônico do que folhando-se dezenas ou centenas de revistas velhas em uma biblioteca.

Analisando-se a Tabela 4, percebe-se nitidamente que, a partir de 1999, aproximadamente, as citações começaram a envelhecer. O resultado é curioso e não pode ser facilmente explicado a partir dos dados desta pesquisa. A conjectura de que isto decorra da facilidade de garimpar textos de todas as idades para serem usados como referência precisa ser mais bem investigada.

Autores Citados com Maior Freqüência nos Artigos da Área de ADI do Enanpad

As 9.289 citações realizadas nos trabalhos de ADI do Enanpad, no período de 1997 a 2006, se referem a trabalhos desenvolvidos por 6.740 autores diferentes, o que dá uma idéia da elevadíssima pulverização do conhecimento nesta área. Os 161 autores mais citados (todos aqueles que tiveram mais de dez menções), em conjunto, são responsáveis por menos de 2,5% do total de citações. O excesso de informação disponível aos pesquisadores atualmente faz com que cada um encontre referências mais ajustadas às neces-sidades específicas de suas pesquisas, mas também dificulta que se crie consenso sobre quais são as obras que merecem a atenção de todos. Isto fica claro observando-se a Tabela 5 que expande os dados coletados e organizados por Ludmer et al. (2002), incluindo mais cinco anos.

Observa-se, na Tabela 5, que o número de autores citados uma única vez caiu ligeiramente, desde a pesquisa de Ludmer et al. (2002) até o momento atual. Isto possivelmente se dá porque, passados mais alguns anos, houve a oportunidade para que eles voltassem a ser citados. Uma força na direção contrária se relaciona ao fato de o evento ter crescido nos últimos anos, possivelmente agregando novos pesquisadores ao sistema, ainda pouco experientes e com pouca chance de terem seus próprios trabalhos citados com freqüência.

Autores Nacionais Mais Citados nos Trabalhos da Área de ADI no Enanpad (1997-2006)

Elaborar uma tabela de autores mais citados em determinada área, embora possa parecer simples exercício de tabulação de dados extraídos diretamente das referências existentes nos textos que compõem o objeto do estudo, é atividade que envolve uma série de decisões com significativo impacto sobre o resultado obtido. E essas decisões podem passar absolutamente despercebidas a um leitor menos atento. Algumas das possibilidades mais óbvias de ordenamento seriam as seguintes, apenas para mostrar o quanto de subjetividade pode ser acrescentado a tarefa aparentemente tão simples:

• classificação levando-se em consideração apenas o primeiro autor de cada trabalho; neste caso assume-se uma importância secundária para os coautores, que não necessariamente corresponde à realidade;

• classificação contabilizando-se todos os autores do trabalho, independentemente da quanti-da-de deles; neste caso, assume-se que autores de uma obra realizada a muitas mãos (nos anais do Enanpad do período aparecem artigos com até 9 autores!) oferecem uma contribui-ção à área de mesma magnitude que autores de trabalhos individuais. Note-se que não é difícil encontrar argumentos para defender a maior relevância de trabalhos mais colabora-tivos ou individuais (uns em oposição aos outros), embora tudo dependa da complexidade e da abrangência da empreitada;

• classificação contabilizando-se todos os autores do trabalho, mas ponderando-se a sua contri-bui-ção em função do número de autores; neste caso, parte-se do pressuposto (pelo menos matemático) que produzir um artigo a dezoito mãos envolve um esforço, ou uma contri-buição (afinal, o que se está tentando medir?), nove vezes menor que produzir um texto individual;

• classificação excluindo autocitações ou citações realizadas por outros membros do mesmo grupo de pesquisa ou instituição; aqui assume-se uma postura que desestimula menções ao trabalho anterior do próprio autor e daqueles que, em conjunto com ele, procuram avançar de forma ordenada no conhecimento. Mas, afinal, a academia não valoriza a continuidade nos trabalhos e a interação com os pares?

Perceba-se que nenhuma ordenação ou classificação é inocente ou livre de juízos de valor, o que torna a sua geração potencialmente injusta e sempre sujeita a críticas. Ainda assim, levadas em consideração as suas limitações, a ordenação dos autores mais citados e, portanto, daqueles que, de uma forma ou de outra, têm despertado a atenção dos pares para as questões que discutem, é digna de nota, por representar referencial para outros pesquisadores.

Na elaboração da Tabela 4 foram adotados os mesmos critérios utilizados em classificações anteriores, como as realizadas sistematicamente pelo Journal Citiation Reports [JCR] e os utilizados por Caldas e Tinoco (2004a) em seu estudo bibliométrico da área de Recursos Humanos no Brasil.

Inicialmente, foram contabilizadas todas as citações a obras de autoria de um determinado autor/pesquisador citado nos trabalhos de ADI do Enanpad, independentemente de se tratar do autor principal ou coautor. Esta informação está disponibilizada na coluna total de citações (sem ponderação). O critério inicial para constar da tabela foi que trabalhos deste autor tivessem sido citados mais de 10 vezes nos artigos da área de ADI, ao longo do período do estudo. Contabilizou-se também a média do número de autores dos trabalhos citados de autoria ou coautoria desses autores, apresen-tada na coluna autores por artigo. A seguir, levantou-se também o número de autocitações (colu-na autocit.) e o número de citações por outros autores da mesma instituição (coluna mesma instit.). O critério adotado para definir o número de citações por pesquisadores da mesma instituição envolveu a comparação do vínculo institucional dos autores dos trabalhos aceitos no Enanpad (declarado na submissão) com o vínculo do autor do trabalho citado (obtido do Currículo Lattes). É claro que distorções ocorrem nesta análise, toda vez que um autor muda de instituição e continua tendo o seu trabalho citado por ex-colegas. Ainda que impreciso e provido de um caráter que pode ser interpretado como depreciativo (visa a desestimular a endogenia e formas pouco nobres de ação entre amigos), o dado contido na coluna mesma inst. pode ser interpretado como um indicador positivo da existência de grupos de pesquisa fortes na instituição, em que os pesquisadores trocam informações entre si e, com base nisto, constroem o conhecimento científico.

A seguir, partiu-se para o ordenamento principal da tabela, que foi realizado adontando-se uma ponderação do total de citações (excluídas as autocitações) em função da quantidade de autores por artigo (coluna total cit. sem pond. menos coluna autocit., dividido pela coluna autores por artigo). Pode-se argumentar contra a utilização deste ranking, já que ele prioriza autores de trabalhos individuais (seria uma conseqüência da sua importação da academia norte-americana, inserida em uma cultura predominantemente individualista?) e desestimula a autocitação. Por isso são apresentados vários outros rankings, cada um dos quais gera seus próprios vieses e distorções; mas, nem por isso, se torna desprovido de utilidade para reflexão e discussão pela área de ADI. Dentre estes rankings adicionais estão os que excluem, além das autocitações também as citações dos colegas mais diretos e os rankings que incluem todas as citações, sem se estabelecer qualquer tipo de filtro. Estes rankings foram criados tanto adotando-se a ponderação do número de autores por artigo, quanto sem ponderação.

Em virtude da limitação de espaço e de toda a subjetividade envolvida em possíveis análises do conteúdo da Tabela 6, não se despenderá energia neste sentido, nesta ocasião. Convém ressaltar apenas que, embora muitos dos pesquisadores mais destacados constem desta lista, os critérios adotados na sua consecução (justos ou injustos), deixaram de fora inúmeros outros, de efetiva contribuição para a área de ADI. Foram incluídos, também, e até priorizados em função da ponderação adotada, autores de livros de metodologia científica (Gil), textos de disseminação (Furlan, Oliveira), e diversos pesquisadores com atuação prioritária em outras áreas da Administração ou mesmo fora dela. Isto também se verificou com os autores internacionais mais citados, como pode ser visto na Tabela 6, em que apare-cem autores com os mais diversos graus de comprometimento com a área de ADI, outros mais ligados à área de estratégia (Porter, Mintzberg, Drucker, Prahalad), autores de livros de metodologia científica (Yin, Hair, Anderson, Tatham), autores de manuais (Turban, Laudon e Laudon) e alguns que, embora com atividade acadêmica, apresentam inclinação ao pop management.

Se fosse adotado o mesmo critério que para os autores nacionais, ou seja, para a inclusão na tabela dos mais citados fossem necessárias pelo menos 10 citações, a lista dos autores estrangeiros teria 138 nomes (os brasileiros eram apenas 42). Repete-se na área de ADI a constatação de outras áreas da Administração em que se realizaram trabalhos sobre o assunto (Arkader, 2003; Caldas & Tinoco, 2004a; Vergara, 2005; Vergara & Carvalho, 1995; Vergara & Pinto, 2000; Vieira, 1998, 1999, 2000, 2003, 2005): os estudos realizados no país são muito dependentes de fontes exógenas, com clara predominância norte-americana.

Os autores que aparecem com destaque alaranjado na Tabela 6 são os que tiveram pelo menos dois artigos publicados nos anais do Enanpad, área de ADI, no período de 1997 a 2006, dentre os mais citados na área. Em amarelo são destacados os autores que tiveram um artigo publicado nos anais do evento nesses dez anos. Se quase todos os integrantes do primeiro grupo (alaranjado) são pesquisadores integralmente dedicados à área de ADI, o mesmo não pode ser dito do segundo grupo (amarelo) em que, misturados a pesquisadores da área, aparecem vários autores, cujo foco principal de estudo está em outra área da Administração.

Dentre os autores que não tiveram participação direta na área, as citações são principalmente de livros. Antônio Carlos Gil foi lembrado por seus livros de metodologia científica, o que também aconteceu com Sylvia Vergara, que teve dez das doze menções a seu nome associadas ao seu livro Projetos e relatórios de pesquisa em Administração. Todas as dezoito citações a Fauze Mattar referem-se ao livro Pesquisa de marketing: metodologia, planejamento, execução, análise. As citações de Paulo Roberto Motta se referem aos livros Gestão contemporânea: a ciência e a arte de ser dirigente e Transformação organizacional: a teoria e a prática de inovar. Fernando Prestes Motta foi lembrado por seus livros sobre Teoria das Organizações. Djalma Rebouças Oliveira e José David Furlan aparecem na lista em função de seus livros sobre Sistemas de Informação e Estratégia. Eduardo Martins Morgado é o único autor que aparece em branco na lista da Tabela 6 - ou seja, que não publicou nos anais do Enanpad no período da pesquisa - que é citado em função de artigos na área, publicados em revistas ou em anais de outros eventos. Todos os demais, como se viu acima, são autores de livros em outras áreas, na própria área, mas com abordagem menos científica, ou de metodologia, os quais foram muito citados em função da visibilidade de suas obras (sempre produzidas por grandes editoras) no mercado editorial.

Na Tabela 7 foi possível incluir uma coluna em que se apresentam os principais interesses dos pesquisadores listados. Isto foi possível porque os autores internacionais demonstraram possuir interesses de pesquisa com escopo mais bem definido que os brasileiros (apresentados na Tabela 6), cujos temas estudados em poucos casos poderiam ser resumidos em algumas poucas palavras. A dificuldade de se proceder da mesma forma para os autores nacionais que para os estrangeiros denota a necessidade de se buscar mais foco nos esforços de pesquisa realizados aqui. O fato de os pesquisadores brasileiros estarem dedicando-se a diversos problemas de pesquisa não conectados uns aos outros, além de os dispersar, não permite o aprofundamento que poderia ser obtido se houvesse concentração em menos tópicos de interesse.

Outro aspecto que chama atenção, revelado pelos dados da Tabela 7, é a completa ausência de autores europeus, com exceção de Humbert Lesca. Ainda assim, esse autor só aparece devido a sua ligação a pesquisadores da UFRGS. Trabalhos de sua autoria foram citados 28 vezes nos anais do Enanpad, área de ADI (1997-2006). Em todos os casos isto se deu por autores do Rio Grande do Sul, alguns dos quais são, até mesmo, seus parceiros de pesquisa e de dois artigos publicados nos anais do próprio Enanpad, em 2002 e 2005.

Os norte-americanos, ou pelo menos pesquisadores ligados a universidades nos Estados Unidos e Canadá, representam quase a totalidade desses autores estrangeiros mais citados.

CONSIDERAÇÕES FINAIS

Ao iniciarem a preparação deste artigo, os autores não tinham idéia de quanta informação estava contida nas referências de trabalhos acadêmicos. Foram motivados pela oportunidade: os dados estavam lá e o momento era propício para reflexão (por alguma razão, números redondos, como os 10 anos dos anais digitais da Anpad, mexem com as pessoas, fazendo-as acreditar que se referem a ocasiões especiais).

À medida que se avançou com o projeto, contudo, foi-se percebendo que o estudo envolvia dificuldades que não haviam sido antecipadas. Inicialmente, a falta de padronização das citações inviabilizou a utilização de qualquer procedimento automatizado de separação dos dados e quase inviabilizou o projeto como um todo. Afinal, o que parecia fácil, a princípio, transformou-se em um tedioso trabalho manual de recorta e cola, que envolveu o tratamento das cerca de 9.300 citações, a partir das quais foram originadas quase 300 mil células com dados a serem cruzados, para serem convertidos em informação útil.

Ultrapassada esta fase, os autores se depararam com um desafio ainda maior, conscientes de que não o superaram plenamente: encontrar uma forma de apresentar os resultados obtidos de maneira isenta, evitando que o seu juízo de valor se colocasse entre a informação capturada dos dados brutos e o leitor. Isto foi particularmente difícil ao se estabelecer o ranking, contido na Tabela 6. Ligeiras mudanças de critério causam variações consideráveis na posição dos pesquisadores que ali aparecem. Adotou-se como primeiro critério, depois de acalorada discussão entre os próprios autores deste artigo, o critério da filtragem de autocitações e da ponderação do número de citações em função do número de coautorias, que garante a comparabilidade com outros estudos já realizados no Brasil e se inspira na forma como a academia norte-americana trabalha a questão. Mas, conforme salienta Mattos (2004), em sua réplica a trabalho semelhante desenvolvido por Caldas e Tinoco (2004a) para a área de RH, a lógica subjacente a uma decisão como esta pode passar despercebida ao leitor apressado e levá-lo a interpretações equivocadas, ou induzidas, pelo juízo de valor dos autores do trabalho, o que assombraria qualquer pesquisador com formação mais positivista, que gostaria de acreditar que consegue ser isento em sua pesquisa.

Embora o objetivo do trabalho fosse organizar os dados e disponibilizá-los para que a própria comunidade científica pudesse analisá-los, algumas evidências saltaram logo aos olhos. Percebeu-se claramente que os pesquisadores da área de ADI estão trocando a autoria individual pela coletiva, suscitando a realização de estudos apropriados para identificar os motivos que levam a isso. Também se identificou que, diferentemente do que ocorre em outras áreas da Administração, periódicos representam uma porção significativa dos textos citados, com nível de utilização quase 4 vezes superior ao de anais de eventos científicos. Ficou evidente a predileção nas citações por trabalhos publicados anteriormente nos anais do próprio encontro. Praticamente metade de todas as citações de anais se refere a trabalhos do próprio Enanpad. Dentre os periódicos com maior presença nas citações estão muitos journals estrangeiros, algumas revistas leigas de negócios e as três mais tradicionais revistas acadêmicas de Administração do país (RAE, Rausp e RAC). Percebeu-se uma enorme pulverização de autores citados, dentre os quais mais de 70% receberam uma única citação, ao longo dos 10 anos de anais eletrônicos.

Este artigo se preocupou mais em estimular a geração de novas perguntas e a reflexão da área de Administração da Informação sobre os caminhos que tem trilhado, e que pretende percorrer ao longo dos próximos anos, do que em proporcionar respostas. A riqueza dos dados obtidos, contudo, não permite que os autores encerrem por aqui o seu envolvimento com o tema. Dentre os trabalhos futuros pretendidos está a coleta e sistematização das opiniões dos principais pesquisadores da área sobre as questões levantadas no presente trabalho.

Os dados contidos nas citações utilizadas nos trabalhos do Enanpad possibilitam ainda o estudo das redes sociais existentes entre os pesquisadores, que podem ajudar na compreensão do que se estuda, onde e a partir de que perspectiva. Também é possível analisar padrões de cocitação, ou seja, identificar a freqüência com que obras ou autores aparecem juntos nas referências de diversos artigos produzidos pelos pesquisadores da área. Isto pode ser útil para identificar temas centrais, temas que estão se tornando mais relevantes e temas que estão deixando de preocupar os estudiosos da área, no caso de se estudar variações ao longo do tempo.

Enfim, o que, a princípio parecia aos próprios autores ser um estudo relativamente despretensioso, de escopo e alcance bem definidos, rapidamente está configurando-se como oportunidade para um programa de pesquisa bem mais ambicioso, com o qual toda a comunidade acadêmica da área de Administração da Informação se pode envolver, já que ajuda a todos a melhor compreenderem o sentido do seu próprio trabalho, na busca da construção do conhecimento.

AGRADECIMENTOS

Os autores agradecem os detalhados comentários de um dos avaliadores, até mesmo com ricas referências a pesquisas semelhantes realizadas fora do país, algumas das quais foram utilizadas para aprimorar a análise dos dados ora obtidos e outras que, seguramente, servirão de subsídio para futuros desdobramentos deste trabalho. Também são gratos a Helton Francisco Maciel, que colaborou na preparação de uma versão preliminar desse artigo, apresentada no Enanpad de 2007.

NOTA

Artigo recebido em 23.12.2007.

Aprovado em 04.11.2008.

• Arkader, R. (2003). A pesquisa científica em gerência de operações no Brasil. Revista de Administração de Empresas, 43(1), 70-80.
• Arkader, R. (2005). Gestão de operações: a pesquisa científica no Brasil. In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 131-146). São Paulo: Atlas.
• Avgerou, C. (2000). Information systems: what sort of science is it? Omega - The International Journal of Management Science, 28(5), 567-579.
• Barbosa, A. C. Q. (2004). Réplica 1: a produção acadêmica em recursos humanos no Brasil: fato ou ficção? RAE-eletrônica, 3(2), 1-8. Recuperado em 22 abril, 2007, de http://www.rae.com.br/eletronica/index.cfm?FuseAction=Artigo&ID=3445&Secao=DEBATE&Volume=3&numero=2&Ano=2004
• Barki, H., Rivard, S., & Talbot, J. (1988). An information systems keyword classification scheme: an update. MIS Quarterly, 12(2), 299-322.
• Barki, H., Rivard, S., & Talbot, J. (1993). A keyword classification scheme for IS research literature: an update. MIS Quarterly, 17(2), 209-226.
• Baskerville, R. L., & Myers, M. D. (2002). Information systems as a reference discipline. MIS Quarterly, 26(1), 1-14.
• Bertero, C. O. (2007). Editorial. RAE-eletrônica, 6(1). Recuperado em 22 abril, 2007, de http://www.rae.com.br/eletronica/index.cfm?FuseAction=Principal&Volume=6&numero=1&Ano=2007
• Bertero, C. O., Binder, M. P., & Vasconcelos, F. C. (2005). Estratégia empresarial: a produção científica brasileira entre 1991 e 2002. In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 18-34). São Paulo: Atlas.
• Bertero, C. O., Caldas, M., & Wood, T., Jr. (1999). Produção científica em administração de empresas: provocações, e contribuições para um debate local. Revista de Administração Comtemporânea, 3(1), 147-178.
• Bertero, C. O., Caldas, M., & Wood, T., Jr. (2005). Introdução: produção científica em administração no Brasil. In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 1-17). São Paulo: Atlas.
• Bertero, C. O., & Keinert, T. M. M. (1994). A evolução da análise organizacional no Brasil (1961-1993). Revista de Administração de Empresas, 34(3), 81-90.
• Bignetti, L. P., & Paiva, E. L. (1997, setembro). Estudo das citações de autores de estratégia na produção acadêmica brasileira. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Rio das Pedras, RJ, Brasil, 21.
• Bignetti, L. P., & Paiva, E. L. (2002). Ora (direis) ouvir estrelas: estudo das citações de autores de estratégia na produção acadêmica brasileira. Revista de Administração Contemporânea, 6(1), 105-125.
• Botelho, D., & Macera, A. (2001, setembro). Análise metateórica de teses e dissertações da área de marketing apresentadas na Eaesp-FGV (1974-1999). Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Campinas, SP, Brasil, 25.
• Caldas, M. P., & Tinoco, T. (2004a). Pesquisa em gestão de recursos humanos nos anos 1990: um estudo bibliométrico. Revista de Administração de Empresas, 44(3), 100-114.
• Caldas, M. P., & Tinoco, T. (2004b). Tréplica: sobre mapas e topógrafos: uma tréplica a Barbosa (2004) e Mattos (2004). RAE-eletrônica, 3(2), 1-7. Recuperado em 22 abril, 2007, de http://www.rae.com.br/eletronica/index.cfm?FuseAction=Artigo&ID=3445&Secao=DEBATE&Volume=3&numero=2&Ano=2004
• Caldas, M. P., Tinoco, T., & Chu, R. A. (2003, setembro). Análise bibliométrica dos artigos de RH publicados no Enanpad na década de 1990 - um mapeamento a partir das citações dos heróis, endogenias e jactâncias que fizeram a história recente da produção científica da área. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Atibaia, SP, Brasil, 27.
• Caldas, M. P., Tonelli, M. J., & Lacombe, B. M. G. (2002, setembro). Espelho, espelho meu: meta-estudo da produção científica em recursos humanos nos Enanpads na década de 90. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Salvador, BA, Brasil, 26.
• Camargos, M. A., Coutinho, E. S., & Amaral, H. F. (2005, setembro). O perfil da área de finanças do Enanpad: um levantamento da produção científica e de suas tendências entre 2000-2004. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Brasília, DF, Brasil, 29.
• Cheon, M. J., Lee, C., & Grover, V. (1992). Research in MIS - Points of work and reference: a replication and extension of the culnan and swanson study. ACM SIGMIS Database, 23(2), 21-29.
• Chua, C., Cao, L., Cousins, K., & Straub, D. W. (2003). Measuring researcher-production in Information Systems. Journal of the AIS, 3(6), 145-215.
• Culnan, M. J. (1986).The intellectual development of management information systems, 1972-1982: a co-citation analysis. Management Science, 32(2), 156-172.
• Culnan, M. J. (1987). Mapping the intellectual structure of MIS, 1980-85: a co-citation analysis. MIS Quarterly, 11(3), 340-353.
• Culnan, M. J., & Swanson, E. B. (1986). Research in management information systems, 1980-1984: points of work and reference. MIS Quarterly, 10(3), 289-302.
• Davel, E., & Alcadipani, R. (2005). Estudos críticos em administração: a produção científica brasileira nos anos 1990. In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte. São Paulo: Atlas.
• Diniz, E. H., Petrini, M., Barbosa, A. F., Christopoulos, T. P., & Santos, H. M. (2006, setembro). Abordagens epistemológicas em pesquisas qualitativas: além do positivismo nas pesquisas na área de sistemas de informação. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Salvador, BA, Brasil, 30.
• Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2006). Qualis de periódicos científicos - triênio 2004-2006. Recuperado em 28 abril, 2007, de http://qualis.capes.gov.br/arquivos/avaliacao/webqualis/criterios2004_2006/Criterios_Qualis_2005_27.pdf
• Garfield, E. (1977). Can citation indexing be automated? Essays of an information scientist, 1, 84-90. Recuperado em 28 abril, 2007, de http://garfield.library.upenn.edu/allvols.html
• Graeml, A. R., Macadar, M. A., Guarido, E. R., & Rossoni, L. (2008, setembro). Redes sociais e intelectuais em ADI: uma análise cientométrica do período 1997-2006. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Rio de Janeiro, RJ, Brasil, 32.
• Grover, V., Gokhale, R., Lim, J., Coffey, J., & Ayyagari, R. (2006). A citation analysis of the evolution and state of information systems within a constellation of reference disciplines. Journal of the Association for Information Systems, 7(5), 270-324.
• Hansen, S., Lyytinen, K., & Markus, M. L. (2006, December). The legacy of 'power and politics' in disciplinary discourse: a citation analysis. Proceedings of the International Conference for Information Systems, Milwaukee, WI, USA, 27.
• Hoppen, N., Audy, J. L. N., Zanela, A. I. C., Candotti, C. T., Santos, A. M., Scheid, R., Perin, M. G., Mecca, M. S., & Petrini, M. (1998, setembro). Sistemas de informação no Brasil: uma análise dos artigos científicos dos anos 90. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Foz do Iguaçu, PR, Brasil, 23.
• Hoppen, N., & Meirelles, F. S. (2005). Sistemas de Informação: a pesquisa científica brasileira entre 1990 e 2003. In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte. São Paulo: Atlas.
• Huang, H. H., & Hsu, J. S. C. (2005). An evaluation of publication productivity in information systems: 1999 to 2003. The Communications of the Association for Information Systems, 15, 555-564.
• Keen, P. G. W. (1980). MIS research: reference disciplines and a cumulative tradition. Proceedings of the International Conference on Information Systems, Philadelphia, PA, 1.
• Keinert, T. M. (2000, setembro). O que é administração pública no Brasil? Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Florianópolis, SC, Brasil, 24.
• King, J. L., & Lyytinen, K. (2004). Reach and grasp. MIS Quarterly, 28(4), 539-551.
• Leal, R. P. C. (2005). Finanças: perfil da pesquisa no Brasil. In C. O. Bertero, M. Caldas, T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 115-130). São Paulo: Atlas.
• Ludmer, G., Rodrigues, J., Filho, Alcoforado, E. S., & Santana, S. (2002, setembro). Conhecimento emancipatório em sistemas de informação no Brasil: uma avaliação da produção acadêmica. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Salvador, BA, Brasil, 25.
• Lunardi, G. L., Rios, L. R., & Maçada, A. C. F. (2005, setembro). Pesquisa em sistemas de informação: uma análise a partir dos artigos publicados no Enanpad e nas principais revistas nacionais de administração. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Brasília, DF, Brasil, 28.
• Macadar, M. A., & Graeml, A. R. (2007, outubro). Refletindo sobre a área de ADI: o que pensam os pesquisadores da área? Anais do Encontro de Administração da Informação, Florianópolis, SC, Brasil, 1.
• Machado-da-Silva, C., Cunha, V. C., & Amboni, N. (1990, setembro). Organização: o estado da arte da produção acadêmica no Brasil. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Florianópolis, SC, Brasil, 14.
• Markus, M. L. (1983). Power, politics, and MIS implementation. Communications of the ACM, 26(6), 430-444.
• Martins, G. (1997). Abordagens metodológicas em pesquisas na área de administração. Revista de Administração da Universidade de São Paulo, 32(3), 5-12.
• Mattos, P. L. C. L. (2004). Réplica 2: "Bibliometria": a metodologia acadêmica convencional em questão. RAE-Eletrônica, 3(2), 1-6. Recuperado em 22 abril, 2007, de http://www.rae.com.br/eletronica/index.cfm?FuseAction=Artigo&ID=3445&Secao=DEBATE&Volume=3&numero=2&Ano=2004
• Oliveira, J., Leal, R. P. C., & Soluri, A. F. (2003). Perfil da pesquisa em finanças no Brasil. Revista de Administração de Empresas, 43(1), 91-104.
• Orlikowski, W., & Baroudi, J. (1991). Studying information technology in organizations: research approaches and assumptions. Information Systems Research, 2(1), 1-28.
• Pacheco, R. S. (2005). Administração pública: a produção científica veiculada nas revistas especializadas - 1995-2002. In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 86-99). São Paulo: Atlas.
• Perin, M. G., Sampaio, C. H., Froemming, L. M. S., & Luce, F. B. (2000, setembro). A pesquisa survey em artigos de marketing nos Enanpads da década de 90. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Florianópolis, SC, Brasil, 24.
• Quintella, R. (2003). Encontro nacional da Anpad x meeting of AOM: lições, questionamentos e especulações. Revista de Administração de Empresas, 43(2), 107-115.
• Rodrigues, J., Jr., & Ludmer, G. (2005). Sistema de informação: que ciência é essa? Revista de Gestão da Tecnologia e Sistemas de Informação, 2(2), 151-166.
• Rodrigues, S. B., & Carrieri, A. P. (2001). A tradição anglosaxônica em estudos organizacionais brasileiros. Revista de Administração Contemporânea, 5(Edição Especial), 81-102.
• Roesch, S. (2005). Quem responde pelo desempenho limitado da produção científica em administração no Brasil? In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 165-168). São Paulo: Atlas.
• Roesch, S., Antunes, E., & Silva, L. V. (1997, setembro). Tendências da pesquisa em recursos humanos e organizações: uma análise das dissertações de mestrado. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Rio das Pedras, RJ, Brasil, 21.
• Rossoni, L., & Hocayen-da-Silva, A. J. (2007a, outubro). Administração da informação: a produção científica brasileira entre 2001 e 2006. Anais do Encontro de Administração da Informação, Florianópolis, SC, Brasil, 1.
• Rossoni, L., & Hocayen-da-Silva, A. J. (2007b, outubro). Cooperação entre pesquisadores da área de administração da informação: evidências estruturais de fragmentação das relações no campo científico. Anais do Encontro de Administração da Informação, Florianópolis, SC, Brasil, 1.
• Silveira, A., Sousa, C. G., Rangel, M. S. K., & Silva, E. M. (1996, setembro). Administração da informação: uma análise de citação. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Rio das Pedras, RJ, Brasil, 20.
• Teixeira, F., Jr. (2002, setembro). Análise dos métodos de pesquisa utilizados em artigos de administração da informação: levantamento dos artigos publicados nos EnANPADs de 1999 a 2001. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Salvador, BA, Brasil, 26.
• Tonelli, M. J., Caldas, M. P., Lacombe, B. M. B., & Tinoco, T. (2003). Produção acadêmica em recursos humanos no Brasil: 1991-2000. Revista de Administração de Empresas, 43(1), 105-122.
• Vanti, N. (2002). Da bibliometria à webometria: uma exploração conceitual dos mecanismos utilizados para medir o registro da informação e a difusão do conhecimento. Ciência da Informação, 31(2), 152-162.
• Vergara, S. (2005). Estudos organizacionais: a produção científica brasileira. In C. O. Bertero, M. Caldas, & T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 35-49). São Paulo: Atlas.
• Vergara, S., & Carvalho, D. S., Jr. (1995, setembro). Nacionalidade dos autores referenciados na literatura brasileira sobre organizações. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, João Pessoa, PB, Brasil, 19.
• Vergara, S. C., & Pinto, M. C. S. (2000, junho). Nacionalidade das referências teóricas em análise organizacional: um estudo das nacionalidades dos autores referenciados na literatura brasileira. Anais do Encontro de Estudos Organizacionais, Curitiba, PR, Brasil, 1.
• Vieira, F. G. D. (1998, setembro). Por quem os sinos dobram? Uma análise da publicação científica na área de marketing do Enanpad. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Foz do Iguaçu, PR, Brasil, 22.
• Vieira, F. G. D. (1999, setembro). Ações empresariais e prioridades de pesquisa em marketing: tendências no Brasil e no mundo segundo a percepção dos acadêmicos brasileiros. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Foz do Iguaçu, PR, Brasil, 23.
• Vieira, F. G. D. (2000, setembro). Panorama acadêmico-científico e temáticas de estudos de marketing no Brasil. Anais do Encontro Nacional da Associação Nacional de Pós-Graduação e Pesquisa em Administração, Florianópolis, SC, Brasil, 24.
• Vieira, F. G. D. (2003). Narciso sem espelho: a publicação brasileira de marketing. Revista de Administração de Empresas, 43(1), 81-90.
• Vieira, F. G. D. (2005). Marketing: a produção científica brasileira. In C. O. Bertero, M. Caldas, T. Wood Jr. (Coords.). Produção científica em administração no Brasil: o estado-da-arte (pp. 100-114). São Paulo: Atlas.
• Wade, M., Biehl, M., & Kim, H. (2006b). If the tree of IS knowledge falls in a forest, will anyone hear? A commentary on Grover et al Journal of the Association for Information Systems, 7(5), 326-334.
• Wade, M., Biehl, M., & Kim, H. (2006a). Information systems is not a reference discipline (and what we can do about it). Journal of the Association for Information Systems, 7(5), 247-268.

1

Garfield foi o fundador do Institute for Scientific Information [ISI] e o criador do Science Citation Index [SCI®] em 1964.

Datas de Publicação

• Publicação nesta coleção
  27 Jan 2010
• Data do Fascículo
  Fev 2010

Histórico

• Recebido
  23 Dez 2007
• Aceito
  04 Nov 2008