Estudos de avaliação quantitativa e qualitativa de linguagens documentárias: uma síntese bibliográfica

Quantitative and qualitative evaluation studies of indexing languages: a bibliographic summary

REVISÕES DE LITERATURA

Estudos de avaliação quantitativa e qualitativa de linguagens documentárias: uma síntese bibliográfica

Quantitative and qualitative evaluation studies of indexing languages: a bibliographic summary

Vera Regina Casari Boccato^I; Mariângela Spotti Lopes Fujita^II

^IBibliotecária da Faculdade de Odontologia de Bauru da USP; doutoranda do Programa de Pós-Graduação em Ciência da Informação da Faculdade de Filosofia e Ciências da UNESP Campus de Marília. [e-mail]

^IIProfessora Adjunta do Departamento de Ciência da Informação da Faculdade de Filosofia e Ciências da UNESP Campus de Marília. [e-mail]

RESUMO

Este estudo apresenta uma síntese bibliográfica sobre as metodologias de avaliação que foram propostas por pesquisadores internacionais e nacionais e utilizadas por indexadores de instituições de ensino e/ou pesquisas atuantes em unidades de informação e/ou centros de documentação, bem como aquelas que foram analisadas pelas opiniões dos próprios usuários da informação registrada e disponibilizada em inúmeros sistemas de informações, com enfoques nas abordagens quantitativa, qualitativa e qualitativa/cognitiva, respectivamente.

Palavras-chave: Linguagem documentária; Avaliação; Sistema de informação; Recuperação da informação.

ABSTRACT

This study presents a bibliographical summary on methodologies of evaluation that had been proposals for researchers international and national and used by indexers of Institutions of Education and/or Research in Information Units and/or Documentation Centers, as well as that they had been analyzed by the opinions of the proper users of the registered and assessibilited information in different Information Systems, with focus in the quantitative, qualitative and qualitative/cognitive approaches, respectively.

Key-words: Indexing language; Evaluation; Information system; Information retrieval.

1 Introdução

Uma unidade de informação não planeja e desenvolve somente os seus serviços para o usuário, centradas exclusivamente no ciclo da informação, mas, sim, com o usuário, tanto para o fornecimento de informação útil à pesquisa quanto para a formação do usuário/cidadão.

A integração entre o profissional da informação e o usuário no desenvolvimento participativo de suas atividades vai ao encontro de seus objetivos em atender às necessidades de informação solicitadas por seus usuários/pesquisadores com competência, qualidade, rapidez, visando à satisfação e à confiabilidade desses usuários nos seus serviços prestados.

Nesse sentido, a atividade de busca bibliográfica em um sistema de informação necessita de uma linguagem documentária que proporcione uma recuperação de informação condizente com as necessidades informacionais desse usuário/pesquisador. Portanto, se o grau de especificidade dessa linguagem adotada pelo sistema de informação for baixa, tanto o indexador quanto o usuário/pesquisador terão grandes dificuldades no momento da indexação/recuperação da informação, ocasionando uma baixa precisão nos dois momentos.

Conforme Fujita (1999, p. 101):

Em um consenso empírico da atividade de análise documentária, sabe-se que indexadores enfrentam dificuldades no momento de extrair termos significativos e, também, representativos do tema do documento. Por outro lado, é válido também colocar que, muitas vezes o indexador, mesmo conseguindo extrair os termos significativos do documento, não consegue realizar uma tradução satisfatória, isto é, representar o termo significativo extraído do documento com os descritores disponíveis na LD.

A avaliação de uma linguagem documentária, sob o ponto de vista do indexador e do usuário/pesquisador é fundamental para que se verifique até que ponto o desempenho de um sistema de informação fica comprometido ou não com a sua utilização. A linguagem documentária deve estar de acordo com as políticas de indexação definidas pelo sistema, intermediando o acesso à recuperação da informação e este, por outro lado, deve considerar a instituição onde se desenvolve; as expectativas e necessidades do usuário; as características do assunto tratado; os recursos humanos, físicos e financeiros; os produtos e serviços visados e a relação custo/desempenho.

Todavia, ao avaliar-se uma linguagem documentária, deve-se verificar, também, como se processa a comunicação especializada, ou seja, como ela ocorre entre os pesquisadores e a área de domínio que, neste estudo, é a área de fonoaudiologia. A representação adequada desses termos técnicos da área resultará em uma indexação de qualidade do conteúdo das pesquisas fonoaudiológicas pelo indexador/leitor profissional, bem como de buscas mais consistentes por parte do usuário/pesquisador.

Dentro desse contexto, muitos estudos tem-se realizado a respeito de avaliação de linguagens documentárias pela forma, pelo uso e/ou pelo conteúdo com aplicação de abordagens quantitativas, qualitativas e/ou cognitivas, sendo em muitos deles, o indexador o ator principal para a obtenção do feedback necessário sobre a atuação eficaz dessas linguagens nos sistemas de informação.

Considerando que, embora as opiniões desses indexadores sejam de suma importância para o aprimoramento das linguagens, não se pode descartar o papel fundamental que o usuário desempenha junto ao sistema de informação. É ele quem irá utilizar a informação processada em seu nível descritivo e temático e, por conseguinte, quem também avaliará se o retorno obtido está compatível ou não com as suas necessidades iniciais de pesquisas.

Este estudo tem por objetivo apresentar uma síntese bibliográfica sobre as metodologias de avaliação que foram propostas por pesquisadores internacionais e nacionais e utilizadas por indexadores de instituições de ensino e/ou pesquisas atuantes em unidades de informação e/ou centros de documentação, bem como aquelas que foram analisadas pelas opiniões dos próprios usuários/pesquisadores da informação registrada e disponibilizada em inúmeros sistemas de informações, com enfoque nas abordagens quantitativa, qualitativa e qualitativa/cognitiva, respectivamente.

2 A avaliação de linguagem documentária em abordagem quantitativa: estudos internacionais e nacionais

A abordagem quantitativa possibilita a quantificação e o dimensionamento do universo pesquisado, sendo os dados coletados, analisados e apresentados estatisticamente.

Segundo Oliveira (2001), o método quantitativo

significa quantificar opiniões, dados, nas formas de coleta de informações, assim como também com o emprego de recursos e técnicas estatísticas desde a mais simples, como percentagem, média, moda, mediana e desvio padrão, até as de uso mais complexo, como coeficiente de correlação, análise de regressão etc. [...].

Historicamente, os primeiros trabalhos realizados na área de ciência da informação com a utilização da abordagem quantitativa como método de pesquisa, foram os estudos internacionais de Cleverdon e Lancaster no desenvolvimento de pesquisas com o intuito de verificar o desempenho de linguagens documentárias em Sistemas de Informação na recuperação de informação.

Assim, Cleverdon (1964 apud LANCASTER; FAYEN, 1973, p. 125), definiu seis critérios para a avaliação de linguagens documentárias na recuperação da informação: a) cobertura; b) revocação; c) precisão; d) tempo de resposta; e) esforço do usuário; f) forma da resposta (output ).

Agregado a esses critérios propostos pelo autor para a avaliação de linguagens na recuperação de informação em um sistema de informação, são recomendáveis o emprego dos índices quantitativos de precisão e revocação.

Dessa forma, Lancaster (2004) define o coeficiente de precisão como sendo a capacidade de evitar documentos inúteis na recuperação pelo sistema. O coeficiente de precisão (Co. Pre.) é determinado quando o resultado de uma pesquisa é submetido à seleção, pelo usuário, dos registros pertinentes à sua solicitação. Esse coeficiente é medido pela proporção:

Quanto ao coeficiente de revocação (Co. Rev.), o autor define esse critério como a capacidade do sistema em fornecer todas as referências relevantes existentes, medido pela proporção:

Esse critério é um pouco difícil de se aplicar pois, para obter-se o número de referências relevantes existentes no sistema talvez fosse preciso a realização de uma pesquisa muito genérica sobre um determinado assunto; porém, este não seria necessariamente o intuito normal de um usuário.

Dentro dessa abordagem quantitativa, também merecem especial atenção outros trabalhos internacionais sobre a avaliação de linguagens pelo uso como os testes da ASTIA (Armed Services Technical Information Agency), os Projetos Cranfield I e II, o programa desenvolvidos por F. W. Lancaster para a avaliação de desempenho do Sistema Medlars, o teste de Aberystwyth envolvendo estudos sobre linguagens natural e controladas e os estudos de indexação sistemática de J. Kaiser, complementado, posteriormente, pelos testes realizados pela WRU (Western Reserve University), tendo como ponto focal a avaliação formal de linguagens. (FOSKETT, 1973; MELO, 1994).

As pesquisas no Brasil também apresentaram trabalhos muito importantes sobre a avaliação formal de linguagens como o realizado por Lara (1993) em sua dissertação de mestrado e o de Strehl (1998) com a análise de um vocabulário controlado utilizado numa base de dados de uma biblioteca universitária de artes.

Lara (1993) em sua dissertação de mestrado, realizou a avaliação de quatro linguagens documentárias, sendo duas linguagens pré-coordenadas, a Classificação Decimal de Dewey (CDD) e a Classificação Decimal Universal (CDU) e duas linguagens pós-coordenadas, o Thesaurus POPIN (Thesaurus Miltilíngüe de População) e o Macrothesaurus de Informação Sócio-Econômico para o Planejamento (Macrothesaurusfor Information Processing in the Field of Economic and Social Development ).

A metodologia utilizada foi primeiramente a realização da análise geral das referidas linguagens nos quesitos de identificação, objetivos e princípios de construção e forma de apresentação. Num segundo momento, as linguagens foram analisadas em seus aspectos formais estruturais tendo sido observadas as características de divisão para a construção das cadeias hierárquicas (hierarchical display), a flexibilidades dos sistemas, a lógica das relações entre os termos (relações hierárquicas, não-hierárquicas e de equivalência), entre outros aspectos e sob os indicadores de eficiência tais como eficiência para o controle do vocabulário, eficiência para a elaboração de índices, eficiência para representar a informação e eficiência na comunicação documentária.

Os indicadores de eficiência foram verificados por meio de 10 exemplos retirados dos sistemas de classificação CDD e CDU e por 9 exemplos retirados dos tesauros em estudo.

Como resultados, a autora aponta para a necessidade do desenvolvimento de políticas, metodologias específicas de análise e representação documentária, agregado aos requisitos mínimos de construção de linguagens documentárias, tendo em vista "[...] que as LDs analisadas não são construídas com o rigor necessário para dar conta do significado. Vários critérios são utilizados, de forma empírica, inexistindo uma preocupação com a palavra como fonte de sentido". (LARA,1993, p. 126).

O trabalho de Strehl (1998) teve como propósito a realização da avaliação formal do vocabulário controlado utilizado para a indexação e recuperação de informações na base de dados de uma biblioteca universitária de artes, visando a definição de uma política de indexação a ser adotada pelo sistema. Esse estudo teve por objetivo avaliar a indexação realizada nessa base nas áreas de artes plásticas, música e teatro, verificando-se a forma de apresentação dos descritores formadores do vocabulário quanto ao número de palavras por descritor, uso do singular e plural, sinônimos, descritores compostos, termos homógrafos, relações lógico-semânticas e os identificadores geográficos.

Para tanto, foram utilizados como parâmetros os critérios estabelecidos por Affonso (1987) em sua obra Metodologia para construção de tesauro de informática em língua portuguesa, em uma amostra composta por 743 descritores representados por meio do referido vocabulário adotado e atribuídos pela bibliotecária responsável pela atividade de indexação. Os resultados demonstraram que 77,66% dos descritores analisados apresentaram problemas em relação aos parâmetros estabelecidos por Affonso (1987) quanto a formação e apresentação dos mesmos.

As avaliações quantitativas do Vocabulário Controlado DeCS – Descritores em Ciências da Saúde

No âmbito das pesquisas na área de ciências da saúde, o desempenho do Vocabulário Controlado DeCS Descritores em Ciências da Saúde, elaborada pela BIREME – Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde, originária do MeSH – Medical Subject Headings de responsabilidade da United States National Library of Medicine – NLM, foi objeto de estudos realizados quanto ao uso e forma do Vocabulário para a indexação e recuperação de informação em sistemas de informação.

Muitos desses trabalhos foram desenvolvidos por pesquisadores cubanos preocupados principalmente com a atualização da terminologia da área de ciências da saúde disponibilizada pelo DeCS.

Assim, Valdés de Abreu (1996) analisou a necessidade de incorporar-se notas de escopo aos Descritores Qualificadores existentes no DeCS, por considerá-las muito úteis no processo de indexação e recuperação de informações no Sistema Nacional de Información de Ciências Médicas (SNICAM). Essa exposição foi enfatizada com exemplos pertinentes da área médica.

Durante o ano de 1997 a Biblioteca Médica Nacional de Cuba possibilitou aos pesquisadores e profissionais da área de saúde a realização de buscas bibliográficas nas bases de dados MEDLINE e LILACS. Nesse sentido, Jiménez Miranda (1998, 2002) realizou uma avaliação formal das linguagens documentárias MeSH e DeCS, utilizadas para a indexação e recuperação da informação nas respectivas bases de dados, bem como os mecanismos de buscas utilizados pelos dois sistemas de informação.

A necessidade de comunicação entre a BIREME e os Centros Cooperantes é ressaltada no trabalho desenvolvido por Rodríguez Camiño (1998), destacando especificamente as inclusões de descritores e não-descritores ocorridas no Vocabulário DeCS, no período de 1992-1997. Dessa forma, o autor expõe a necessidade de ser formado um comitê de indexação com a responsabilidade de sistematizar os trabalhos de atualização da linguagem, bem como a criação de uma lista de discussão para a agilização do processo de comunicação entre os indexadores do Sistema Latino-Americano e do Caribe de Informação em Ciências da Saúde.

O trabalho de Pellizzon (2004) expõe o processo de operacionalização das listas alfabética, permutada e hierárquica dos termos que compõem a Linguagem DeCS.

A pesquisa argentina de Otero et al. (2004) também apresentou um estudo de avaliação das linguagens MeSH e DeCS na recuperação de artigos de periódicos sobre o assunto informática médica (Medical Informatics) realizada nas bases de dados MEDLINE e LILACS, respectivamente. Os resultados obtidos dessa avaliação pelo conteúdo das referidas linguagens mostraram a eficaz representatividade do assunto pesquisado em relação aos periódicos encontrados nas bases MEDLINE e LILACS.

No Brasil, os trabalhos de Santos (2002) e de Campanatti-Ostiz (2004), ambos também em nível de dissertação de mestrado, tiveram suma importância nos estudos de avaliação sobre a linguagem documentária DeCS – Descritores em Ciências da Saúde da BIREME.

Santos (2002) teve como objetivo analisar o Vocabulário Controlado – DeCS Descritores em Ciências da Saúde na categoria de saúde pública, utilizada para a indexação e recuperação da informação na base de dados AdSaúde (Administração em Saúde), do Sistema Especializado em Administração em Saúde do Sistema BIREME.

Os critérios metodológicos para a definição de parâmetros de revisão de linguagens foram obtidos por meio de levantamento bibliográfico de estudos de revisão, atualização e gerenciamento de linguagens documentárias, análise das estruturas hierárquicas e do léxico das categorias SP1 e SP2 da área de saúde pública e a realização de um estudo de ocorrência de descritores na base de dados AdSaúde. Esse trabalho teve como resultados a definição de parâmetros de revisão de linguagens documentárias, tendo sido estabelecidos dois níveis:

a) o nível da gestão da linguagem cujo gerenciamento inclui:

• elaboração de diretrizes para avaliação e revisão;

• estabelecimento de prazos;

• verificação de falhas e soluções de problemas;

• consulta a especialistas e a estudos de ocorrência de termos;

• comunicação das atualizações para o sistema.

b) "o nível de controle terminológico que analisa os aspectos da terminologia empregada". (SANTOS, 2002, p. 5).

A pesquisa de Campanatti-Ostiz (2004) teve como proposta analisar a qualidade de sete periódicos científicos na área de fonoaudiologia, possuidores de ISSN (International Standard Serial Number) e publicados entre os anos de 1986 a 2001.

A avaliação de linguagem documentária em abordagem quantitativa: estudos com enfoques cognitivos

A linguagem documentária utilizada para identificar os assuntos e a qualidade da indexação refletem diretamente na satisfação do usuário, pois é o índice, o elo entre a pergunta/questão e o conteúdo do sistema de informação. (LOPES, 1985).

Para se verificar o feedback da busca bibliográfica realizada pelo usuário, Lancaster (1996, p. 10), apresenta também considerações sobre a avaliação qualitativa, isto é subjetiva: "A avaliação de um serviço de informação pode ser subjetiva ou objetiva. Estudos subjetivos, baseados em opiniões, não deixam de ser úteis, pois é importante saber o que as pessoas sentem em relação ao serviço" [...].

Dentro dessa proposta, o desenvolvimento de estudos de avaliação que utilizam abordagens cognitivas tornaram-se muito úteis nas diversas áreas do conhecimento, bem como na área da ciência da informação a partir da década de 1970 com o advento do desenvolvimento da informática e das novas tecnologias de comunicação.

A partir dessa época até os primeiros anos da década de 1990, foram numerosos os autores que realizaram estudos sobre a organização e recuperação da informação baseados em modelos cognitivos. Assim, estudos de maior interesse nessa linha de pesquisa iniciaram-se basicamente com os trabalhos realizados por Allen (1969), James Carlisle e Robert Fetter (1970 apud PIEDADE, 1976, p. 18), Martyn (1974), Martyn e Lancaster (1981), Ericsson e Simon (1987), entre outros. Esses estudos foram realizados no próprio ambiente de trabalho onde se concentravam os serviços de referência e os de busca online, com o objetivo de que fossem verificadas, por exemplo, as situações de necessidade de informação dos usuários, bem como o seu comportamento diante dessas situações.

Os trabalhos realizados por Brenda Dervin (1983 apud FERREIRA, 1997) sobre a abordagem Sense-Making, inicialmente aplicada na área de ciências da comunicação, também contribuíram para o desenvolvimento das abordagens cognitivas.

Portanto, a abordagem Sense-Making

[...] consiste em pontuações de premissas teóricas e conceituais e outras tantas metodologias relacionadas para avaliar como pacientes/audiências/usuários/clientes/cidadãos percebem, compreendem, sentem suas interações com instituições, mídias, mensagens e situações e como usam a informação e outros recursos neste processo.

Seguindo a linha de pesquisa de Dervin, vários estudos de avaliação foram desenvolvidos com a utilização dessa abordagem em diversas áreas do conhecimento. No Brasil, o trabalho de Carvalho, Boccato e Ramos (1998) com a avaliação da Sub-Rede Nacional de Informação na Área de Ciências da Saúde Oral, atualmente denominada Sistema de Informação Especializado na área de Odontologia (SIEO) demonstrou o emprego dessa técnica de coleta de dados.

Assim, considerando as necessidades, as opiniões e os problemas dos usuários como fatores relevantes no estabelecimento de parâmetros determinantes de um modelo de sistema de informação, o Serviço de Documentação Odontológica da Faculdade de Odontologia da Universidade de São Paulo (SDO/FO-USP) desenvolveu um estudo de avaliação com as 20 bibliotecas integrantes da Sub-Rede Nacional de Informação na Área de Ciências da Saúde Oral – bibliotecas das faculdades de odontologia das Universidades Estaduais Paulistas e das Universidades Federais Brasileiras -, com o intuito de levantar as necessidades informacionais de seus usuários. Para tanto, a abordagem Sense-Making foi utilizada como instrumento de coleta de dados, na verificação de algumas questões básicas como:

• quem são os atuais usuários dos sistemas de informações;

• como, onde, por que e para que estão utilizando esses sistemas;

• quais as características e necessidades dos usuários;

• como planejar sistemas de informações atuantes que sejam mediadores reais na satisfação das necessidades de informação dos usuários.

Os resultados obtidos proporcionaram subsídios para a identificação dessas necessidades informacionais, possibilitando a criação de novos serviços com vistas à crescente integração entre os sistemas de informação, os usuários no compartilhamento da informação e nos serviços em rede.

Continuando este relato sobre as avaliações que utilizam a abordagem qualitativa/cognitiva na área de ciência da informação, o estudioso dinamarquês Peter Ingwersen foi um importante colaborador no desenvolvimento de pesquisas realizadas sobre a atividade de recuperação da informação.

Segundo Ingwersen (2002), a teoria cognitiva da recuperação da informação - como denomina a recuperação da informação interativa, isto é, pela abordagem cognitiva, engloba a base do modelo tradicional de recuperação da informação, agregando a esta, os criadores do sistema de informação, o profissional da informação, os autores dos documentos, bem como os aspectos que influem no estado cognitivo e emocional do usuário, exemplificado por suas crenças, os seus objetivos pretendidos, o seu grau de motivação no desenvolvimento de uma busca bibliográfica, suas áreas de interesse, entre outros aspectos.

O autor expõe também, que a pesquisa orientada pelo usuário enfatiza as dimensões comportamentais em um contexto social associado com o comportamento no momento da realização da busca da informação ou com estudos de satisfação de usuários em relação aos serviços de documentação ou de referência. Normalmente, esses estudos são quantitativos e nem sempre o processo de recuperação da informação está inserido nas investigações.

Dentro desse contexto, o estado cognitivo do usuário/pesquisador passa a ser o ponto focal dessa abordagem, sendo uma conseqüência o surgimento de sua necessidade de informação e a sua evolução até que esta o satisfaça.

Assim, conforme Vargas-Quesada, Moya Anegón e Olvera Lobo (2002), são cinco os elementos principais do processo de recuperação da informação com abordagem cognitiva: o usuário, o ambiente organizacional, a interface de busca, o sistema de informação e a informação armazenada, pronta para ser disponibiliza por esse sistema. Nesse sentido, considera-se que o usuário/pesquisador desempenha um papel fundamental frente a um sistema de informação. Os valores essenciais do ser humano devem nortear a construção da missão, dos valores e da visão da organização, não permitindo o conflito e o distanciamento entre estas duas partes: valores humanos e a política básica estabelecida pela própria organização.

Dentro desse cenário sobre os estudos de avaliação centrada no usuário – abordagem cognitiva -, pode-se citar como instrumento de avaliação introspectiva a técnica do protocolo verbal, que vem se demonstrando muito eficaz, a partir de 1970, na área de ciência da informação, mais especificamente na linha de organização e recuperação da informação.

Os trabalhos pioneiros de Ericsson e Simon (1987 apud FUJITA, NARDI e FAGUNDES, 2003, p. 144) com a utilização da técnica do protocolo verbal na observação da atividade de leitura também colaboraram com resultados promissores para os estudos de observação. Em 1998, Endres-Niggemeyer e Neugebauer (apud FUJITA, NARDI e FAGUNDES, 2003, p. 142) aplicaram a técnica na observação dos processos de elaboração de resumos. Além destes, outros estudiosos colaboram para o desenvolvimento e aplicação dessa técnica não só no campo da ciência da informação como também em outras áreas do conhecimento como a computação, psicologia, lingüística, entre outras. A técnica introspectiva do protocolo verbal é aplicada a estudos de avaliação qualitativa onde os sujeitos, em voz alta, expressam o que pensam e o que ocorre em suas mentes durante a execução de uma tarefa. Essas declarações são gravadas, observando-se também o comportamento dos sujeitos como expressões faciais (gestos e movimentos dos olhos). Dessa maneira, a linguagem do pensamento realiza muitos processos cognitivos como a percepção e o raciocínio.

Além dos referidos autores, vários outros pesquisadores renomados já utilizaram o protocolo verbal como método de avaliação, entre os quais destaca-se o pesquisador dinamarquês Peter Ingwersen com seus estudos sobre a interação da recuperação de informações, já citado anteriormente por Fujita, Nardi e Fagundes (2003).

[...] nós baseamos nossas experiências na técnica de pensar alto combinada com a observação. Usando esta técnica, determinados elementos dos processos de pensar relacionados a formulação das necessidades do usuário, interações e as atividades de busca de informação, podem ser gravadas em fita (tape). (INGWERSEN, 1982).

Para a verificar a eficácia da atividade de recuperação da informação e a interação do usuário, em especial os aspectos cognitivos do processo, o autor realizou uma avaliação qualitativa utilizando o protocolo verbal no serviço de referência de uma biblioteca pública.

Segundo Ingwersen (1982), os sujeitos eram formados por treze bibliotecários, sendo sete bibliotecários ocupantes de cargos de direção, três bibliotecários de referência e três trabalhavam em ambas as atividades. Todos os treze possuíam vários anos de experiência na biblioteca, e as bibliotecas escolhidas cobriam tanto cidades grandes quanto as de áreas rurais. Os cinco usuários que participaram foram escolhidos entre as pessoas com uma experiência limitada de biblioteca: quatro eram técnicos e um era estudante de faculdade.

Muita atenção foi dada à instrução dos sujeitos antes dos testes, isto é, a realização da familiarização dos 13 sujeitos com a técnica, treinamentos sobre como pensar alto, isto é, como externar seus pensamentos no momento da execução da atividade de recuperação da informação, durante a gravação e também sobre a utilização do sistema de informação. Complementando a aplicação da técnica, o autor também observou o comportamento dos sujeitos durante todo o processo. Realizou estudo sobre a negociação que ocorreu durante a pesquisa no sistema de Informação, entre o usuário e o bibliotecário.

Sete gravações foram feitas que cobriram a busca do usuário, seguida pela negociação e pela busca da informação. Cada gravação foi baseada na necessidade do usuário participante sobre os assuntos: a) as identidades da álgebra booleana na forma apropriada para a aplicação, criação e reparo de circuitos nos computadores; b) literatura não tendenciosa sobre o pacto de 1939 alemão-soviético na forma de fontes de informação, correspondências, textos sobre o pacto, com especial consideração em esclarecer de que lado originou-se a iniciativa.

Cada registro foi transcrito em um protocolo verbal, tendo sido incluídos alguns fatos ocorridos bem como as observações referentes ao comportamento dos sujeitos envolvidos. Comentários adicionais de sua própria observação foram incorporados.

No Brasil, entre vários estudos desenvolvidos com o emprego do Protocolo Verbal, a dissertação de mestrado de Nardi (1993 apud FUJITA, NARDI & FAGUNDES, 2003, p. 146) "abriu a possibilidade de uso de um instrumento de coleta de dados, também, para a observação da leitura documentária dentro do Grupo de Pesquisa Análise Documentária da UNESP Campus de Marília". A pesquisa pioneira no Brasil, desenvolvida por Fujita, Nardi e Fagundes (2003), na observação da leitura documentária, apresenta excelentes resultados no uso do protocolo verbal, demonstrando novos aspectos da leitura documentária entre outras contribuições.

Com a utilização da técnica do protocolo verbal, os usuários pensam em voz alta, emitindo suas opiniões e comentários acerca do objeto avaliado, realizando uma avaliação cooperativa e participativa: usuários participam da identificação e entendimento de problemas de recuperação da informação e utilização do sistema no seu próprio ambiente de trabalho.

Esse ponto de vista é reafirmado por Fujita, Nardi e Fagundes (2003, p. 142), expondo que Ingwersen deu atenção especial à utilização dessa técnica que garantiu a realização de ações íntegras e válidas:

[...] a coleta de dados dos sujeitos em situação natural, em seu próprio ambiente de pesquisa e sem inserir qualquer mudança em suas rotinas; complementação dos dados de Pensar Alto com observação do comportamento e ações dos sujeitos; treinamento do sujeito (familiarização com a técnica).

Avaliação qualitativa de linguagem documentária na perspectiva do usuário: o caso do Vocabulário Controlado DeCS - Descritores em Ciências da Saúde

Por considerar de fundamental importância a observação do usuário para a avaliação de linguagem documentária, Boccato (2005) realizou um trabalho de pesquisa em nível de mestrado, com a proposta de avaliar, pela perspectiva do usuário, a linguagem documentária – DeCS Descritores em Ciências da Saúde, utilizada para a recuperação da informação no sistema LILACS (Literatura Latino-Americana e do Caribe em Ciências da Saúde), produzido pela BIREME – Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde, com o intuito de obter indicadores para delinear as estratégias de aprimoramento da linguagem na área de fonoaudiologia.

Para avaliação dessa linguagem empregou-se a técnica do protocolo verbal ou pensar alto (thinking aloud ), tendo como sujeitos pesquisadores do Departamento de Fonoaudiologia da Faculdade de Odontologia de Bauru da Universidade de São Paulo – FOB-USP. A aplicação dessa técnica foi realizada no próprio ambiente de trabalho dos sujeitos, tendo sido verificado, anteriormente, o conhecimento de cada um deles no acesso ao sistema LILACS, bem como na utilização da linguagem DeCS.

A partir de então, foram selecionados quatro sujeitos representantes das quatro especialidades formadoras da área de Fonoaudiologia: Linguagem, Voz, Motricidade Oral e Audiologia, e observados, com protocolo verbal, na tarefa de realizar a recuperação de informações, no campo de descritor de assunto da interface de busca da base de dados LILACS utilizando a linguagem DeCS. A análise das transcrições dos protocolos verbais demonstrou que a metodologia empregada foi eficaz por possibilitar a coleta, em tempo real, das declarações dos sujeitos (usuários/pesquisadores) sobre o desempenho da linguagem DeCS utilizada para a recuperação de informações no sistema LILACS. O estudo realizou uma reflexão sobre as declarações emitidas pelos quatro sujeitos participantes desta pesquisa e os resultados obtidos da análise revelam que a linguagem DeCS, em Fonoaudiologia, conduziu as buscas a resultados insatisfatórios quanto a recuperação da informação a partir dos seguintes aspectos relevantes: insuficiência de termos genéricos e/ou específicos representativos da área de fonoaudiologia; necessidade de atualização de termos disponíveis na linguagem com relação à terminologia encontrada na literatura científica da área e adotada pelos especialistas; hierarquização de termos em categorias de assuntos não equivalentes aos seus conceitos, entre outros aspectos.

Conclui-se que o aprimoramento da linguagem documentária DeCS na área de fonoaudiologia requer atualização dos descritores e definições correspondentes conforme a realidade de avanço científico da área, revisão da tradução para a língua portuguesa dos descritores existentes no Vocabulário DeCS e o estabelecimento das relações de equivalência, hierárquica e não-hierárquica a todos os descritores. Por outro lado, o levantamento da terminologia da área de fonoaudiologia utilizada pelos especialistas, sociedades de pesquisas e pela literatura científica deve representar as especialidades de Linguagem, Voz, Motricidade Oral e Audiologia.

Portanto, recomendou-se ao Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde – BIREME, instituição responsável pela elaboração do Vocabulário Controlado DeCS, a construção de uma categoria específica para a área de fonoaudiologia, representante da literatura e da comunidade científica brasileira da área, a exemplo da inclusão das categorias de saúde pública e homeopatia, tendo em vista que sua representação terminológica não condiz com as necessidades dos usuários/pesquisadores para a recuperação de informações.

Além disso, esse trabalho foi inovador por utilizar o protocolo verbal como instrumento de coleta de dados na recuperação da informação, até então, técnica essa empregada nesse segmento somente em estudos internacionais conforme já apresentados anteriormente.

Considerações finais

O bom desempenho de uma linguagem documentária na recuperação da informação é um fator essencial na obtenção de informações satisfatórias para o usuário, possibilitando a realização de investigações que contribuam para o desenvolvimento da ciência, visando o bem-estar da sociedade.

A busca de informação desejada pelo usuário e a recuperação desta, de acordo com o assunto de sua pesquisa, é a realização de um trabalho integrado entre o sistema, a linguagem documentária e o próprio usuário.

Nesse sentido, a exposição realizada sobre alguns estudos metodológicos de avaliações de linguagens documentárias realizados na área de organização e recuperação da informação, como os clássicos Cleverdon (1964) e Lancaster (2004) no desenvolvimento de trabalhos com a definição de critérios e dos índices quantitativos de previsão e revocação, contribuíram para o estabelecimento de parâmetros metodológicos para a avaliação de linguagens.

Outros trabalhos internacionais sobre a avaliação de linguagens pelo uso mereceram especial atenção como os testes da ASTIA (Armed Services Technical Information Agency), os Projetos Cranfield I e II, o programa de avaliação desenvolvido por F. W. Lancaster para a avaliação de desempenho do Sistema Medlars, o teste de Aberystwyth envolvendo estudos sobre linguagens natural e controladas e os estudos de indexação sistemática de J. Kaiser, complementado posteriormente pelos testes realizados pela WRU (Western Reserve University), tendo como ponto focal a avaliação formal de linguagens.

O Vocabulário Controlado DeCS foi objeto de estudos de alguns pesquisadores latino-americanos na verificação de sua performance e de sua estrutura na indexação e recuperação de informação em sistemas de informação. Assim, apresentam-se os trabalhos desenvolvidos pelos estudiosos cubanos Valdés de Abreu (1996), Rodriguéz Camiño (1998), Jiménez Miranda (1998, 2002) e Pellizzon (2004), bem como o dos pesquisadores argentinos Otero et al. (2004).

No Brasil, os trabalhos de Lara (1993), Strehl (1998), Santos (2002) e Campanatti-Ostiz (2004) também destacaram-se por sua fundamental importância no desenvolvimento de avaliações quantitativas de linguagens documentárias alfabéticas e hierárquicas.

Todavia, quando se estudam as metodologias de avaliação de linguagens documentárias observa-se que, além de suas estruturas formais e suas relações hierárquicas que devem estar compatíveis aos objetivos do sistema de informação que a utiliza (políticas de indexação bem definidas) esta também deve refletir as reais necessidades do usuário, isto é, fornecer as informações relevantes existentes nesse sistema.

Assim, a abordagem qualitativa/cognitiva trouxe inúmeras contribuições para os estudos de avaliações em sistemas de informação.

Pesquisadores como Allen (1969), James Carlisle e Robert Fetter (1970), Martyn (1974), Martyn e Lancaster (1981), Dervin (1983), Ericsson e Simon (1987), Carvalho, Boccato e Ramos (1998), Vargas-Quesada, Moya Anegón e Olvera Lobo (2002), o expoente Ingwersen (2002), Fujita, Nardi e Fagundes (2003) e Boccato (2005) compartilharam o êxito de suas experiências, utilizando principalmente os instrumentos de coleta de dados como o sense-making e o protocolo verbal, para o desenvolvimento de um modelo de avaliação que considera o usuário como um elemento fundamental desse processo.

Referências

AFFONSO, L. da B. M. F. Metodologia para construção do tesauro de informática em língua portuguesa. Rio de Janeiro: SERPRO, 1987.

ALLEN, T. J. Information needs and users. ARIST– Annual Review of Information Science and Technology, White Plains v. 4, p. 3-31, 1969.

BOCCATO, V. R. C. Avaliação de linguagem documentária em Fonoaudiologia na perspectiva do usuário: estudo de observação da recuperação da informação com protocolo verbal. 2005. 239 f. Dissertação (Mestrado em Ciência da Informação) – Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília, 2005.

CAMPANATTI-OSTIZ, H. Periódicos nacionais em Fonoaudiologia: caracterização de termos, estrutural e de indicador de impacto. 2004. 159 f. Dissertação (Mestrado em Letras) Faculdade de Filosofia, Letras e Ciências Humanas, Universidade de São Paulo, São Paulo.

CARLISLE, J; FETTER, R. apud PIEDADE, M. A. R. Estudo comparativo de algumas linguagens de indexação: eficácia e tempo de pesquisa. 1976. p. 18. Dissertação (Mestrado em Biblioteconomia e Documentação) – Instituto Brasileiro de Bibliografia e Documentação; Universidade Federal do Rio de Janeiro, Rio de Janeiro.

CARVALHO, T.; BOCCATO, V. R. C.; RAMOS, L. M. S. V. C. Estudo do usuário da Sub-Rede Nacional de informação na Área de Ciências da Saúde Oral, sob o enfoque do "Sense-Making". In: CONGRESO PANAMERICANO DE INFORMACIÓN EN CIENCIAS DE LA SALUD, 4., 1998, San José. Anales San José: Ministerio de Salud, 1998. Disponível em <http://www.bireme.br/crics4w/post106.htm>. Acesso em 28 jun. 2005.

CLEVERDON, C. W. Evaluation of operational information retrieval systems. Part 1:Identification of criteria. Cranfield: College of Aeronautics, 1964 apud LANCASTER.; FAYEN, 1973, p. 125.

DERVIN, B. An overview of Sense-Making research: concepts, methods and results to date. [ANNUAL MEETING OF THE INTERNATIONAL COMMUNICATION ASSOCIATION, 1983, Dallas] apud FERREIRA, S. M. S. P. Estudo de necessidades de informação: dos paradigmas tradicionais à abordagem Sense-Making. Documentos ABEBD, Porto Alegre, n. 2, 1997. Disponível em: <http://www.eca.usp.br/nucleos/sense/textos/sumar.htm>. Acesso em 26 jun. 2005.

ENDRES-NIGGEMEYER, B.; NEUGEBAUER, E. Professional summarizing: no cognitive simulation without observation. Journal of American Society for Information Science, New York, v. 49, n. 6, p. 486-506, 1998 apud FUJITA; NARDI; FAGUNDES, 2003, 142.

ERICSSON, K. A.; SIMON, H. A. Verbal reports on thinking. In: FAERCH, C.; KASPER, G. (Ed). Introspection in second language research. Clevedon: Multilingual Matters, 1987. p. 24-53 apud FUJITA; NARDI; FAGUNDES, 2003, 144.

FOSKETT, A. C. Pesquisa na recuperação da informação. In: __. A abordagem temática da informação. Trad. Antonio Agenor Briquet de Lemos. São Paulo: Polígono, 1973. p. 371-391.

FUJITA, M. S. L. A leitura do indexador: estudo de observação. Perspectivas em Ciência da Informação, Belo Horizonte, v. 4, n. 1, p. 101-116, jan./jun. 1999.

FUJITA, M. S L.; NARDI, M. I. A.; FAGUNDES, S. A . A observação da leitura documentária por meio de protocolo verbal. In: RODRIGUES, G. M.; LOPES, I. L. (Org). Organização e representação do conhecimento na perspectiva da ciência da informação. Brasília: Thesaurus, 2003. p. 141-178. (Estudos avançados em ciência da informação, v. 2).

INGWERSEN, P. Search procedures in the library: analysed from the cognitive point of review. Journal of Documentation, London, v. 38, n. 3, p. 165-191, Sept. 1982.

INGWERSEN, P. Information retrieval interaction. Los Angeles: Taylor Graham, 2002. p. vii-x. Disponível em <http://www.db.dk/pi/iri>. Acesso em 04 nov. 2003.

JIMÉNEZ MIRANDA, J. Acceso a MEDLINE y LILACS mediante el MeSH e el DeCS. ACIMED, Ciudad de Habana, v. 6, n. 3, p. 153-162, Sept./dec. 1998. Disponível em <http://scielo.sld.cu>. Acesso em 21 jun. 2005

JIMÉNEZ MIRANDA, J. La indización em el Sistema Nacional de Información de Ciencias Médicas: Parte II Descriptores en Ciencias de la Salud (DeCS). ACIMED, Ciudad de Habana, v. 10, n. 4, jul./ago. 2002. Disponível em <http://scielo.sld.cu>. Acesso em 21 jun. 2005

LANCASTER, F. W. Avaliação de serviços de bibliotecas. Tradução de Antonio Agenor Briquet de Lemos. Brasília: Briquet de Lemos, 1996. 356 p.

LANCASTER, F. W. Indexação e resumos: teoria e prática. Tradução de Antonio Agenor Briquet de Lemos. 2. ed. Brasília: Briquet de Lemos, 2004. 452 p.

LARA, M. L. G. de. A representação documentária: em jogo a significação. 1993. 133 f. Dissertação (Mestrado) – Departamento de Biblioteconomia e Documentação, Escola de Comunicações e Artes, Universidade de São Paulo, São Paulo.

LOPES, E. de F. Avaliação de serviços de indexação e resumo: critérios, medidas e metodologia. Revista da Escola de Biblioteconomia da UFMG, Belo Horizonte, v. 14, n. 2, p. 242-256, set. 1985.

MARTYN, J. Information needs and users. ARIST – Annual Review of Information Science and Technology, White Plains, v. 9, p. 3-23, 1974.

MARTYN, J.; LANCASTER, F. W. Investigative methods in library and information science. Arlington: Information resources Press, 1981.

MELO, L. B. Avaliação de sistemas de recuperação de informação: breve retrospectiva dos principais projetos. Cadernos BAD, Coimbra, n. 2, p. 29-46, 1994.

NARDI, M. I. A . As expressões metafóricas na compreensão de texto escrito em língua estrangeira. 1993. Dissertação (Mestrado em Lingüística Aplicada ao Ensino de Línguas) – Pontifícia Universidade Católica, São Paulo apud FUJITA; NARDI; FAGUNDES, 2003, p. 146.

OLIVEIRA, S. L. de. Tratado de metodologia científica: projetos de pesquisas, TGI, TCC, monografias, dissertações e teses. 2.ed. São Paulo: Pioneira Thomson Learning, 2001. 320 p.

OTERO, P. et al. Evolution of medical informatics in bibliographic databases. Medinfo, Amsterdam, v. 11, Pt 1, p. 301-305, 2004.

PELLIZZON, R. de F. Pesquisa na área de saúde: 1- base de dados DeCS (Descritores em Ciências da Saúde). Acta Cirúrgica Brasileira, Rio Claro, v. 19, n. 1, p. 153-163, mar./abr. 2004. Disponível em: <http://www.scielo.br>. Acesso em 29 set. 2004.

PIEDADE, M. A. R. Estudo comparativo de algumas linguagens de indexação: eficácia e tempo de pesquisa. 1976. 101 f. Dissertação (Mestrado em Biblioteconomia e Documentação) Instituto Brasileiro de Bibliografia e Documentação; Universidade Federal do Rio de Janeiro, Rio de Janeiro.

RODRÍGUEZ CAMIÑO, R. MeSH o DeCS: algunas consideraciones sobre la indización biomédica. ACIMED, Ciudad de Habana, v. 6, n. 3, p. 163-170, Sept./dec. 1998. Disponível em: <http://scielo.sld.cu>. Acesso em 21 jun. 2005

SANTOS, C. A. C. M. dos. Linguagens documentárias e codificação da informação: estudo de vocabulário da área de saúde. 2002. 70 f. Dissertação (Mestrado) – Escola de Comunicação e Artes, universidade de São Paulo, São Paulo.

STREHL, L. Avaliação da consistência da indexação realizada em uma biblioteca universitária de artes. Ciência da Informação, Brasília, v. 27, v. 3, p. 329-355, set./dez. 1998.

VALDÉS ABREU, M. de la C. Necessidad de las notas de alcance de los calificadores em la "Introducción" del tesauro Descriptores en Ciencias de la Salud (DeCS). ACIMED, Ciudad de la Habana, v. 4, n. 1, p. 23-28, ene./abr. 1996. Disponível em: <http://scielo.sld.cu/scielo.php>. Acesso em 17 abr. 2005.

VARGAS-QUESADA, B.; MOYA ANEGÓN, F. de; OLVERA LOBO, M. D. Enfoques en torno al modelo cognitivo para la recuperación de información: análisis crítico. Ciência da Informação, Brasília, v. 31, n. 2, p. 107-119, maio/ago. 2002.

Recebido em 12.05.2006

Aceito em 10.07.2006

Datas de Publicação

• Publicação nesta coleção
  18 Dez 2006
• Data do Fascículo
  Ago 2006

Histórico

• Aceito
  10 Jul 2006
• Recebido
  12 Maio 2006