Avaliação do impacto de um treinamento em pesquisa bibliográfica para mestrandos e residentes na área da Saúde

Impact evaluation of one training in bibliographic research for postgraduate students and residents in healthcare

RESUMO

O objetivo deste trabalho é avaliar o impacto do treinamento em pesquisa bibliográfica na base de dados Medical Literature Analysis and Retrieval System Online (MEDLINE) e nas bases de dados do Portal de Pesquisa da Biblioteca Virtual em Saúde (BVS), no comportamento de busca informacional dos mestrandos e residentes do Campus Saúde da Universidade Federal de Minas Gerais. A pesquisa usou o modelo de Kirkpatrick para a avaliação de treinamentos, focando no primeiro e segundo níveis desse modelo. A pesquisa foi básica descritiva utilizando abordagem quantitativa e utilizou uma amostra não aleatória composta pelos mestrandos e residentes que aceitaram participar do treinamento. Esse treinamento teve carga horária de 15 horas e foi oferecido aos mestrandos dos cursos de Pós-Graduação do Campus Saúde da Universidade Federal de Minas Gerais e residentes do Programa de Residência em Enfermagem Obstétrica da Escola de Enfermagem da Universidade Federal de Minas Gerais. Para a coleta de dados aplicamos um questionário no início do treinamento e outro similar no término. A pesquisa comparou as respostas dadas pelos alunos nesses questionários. Os resultados mostraram que o treinamento teve um impacto positivo sobre o comportamento de busca informacional, pois os alunos adquiriram novos conhecimentos e habilidades de pesquisa.

Palavras-chave:
Comportamento de busca de informação; Impacto de treinamento; Habilidades de pesquisa; Bases de dados bibliográficas; Modelo de Kirkpatrick.

ABSTRACT

The objective of this study is to evaluate the impact of training in online searching in Medical Literature Analysis and Retrieval System Online (MedLine) and Biblioteca Virtual em Saúde (BVS) Research Portal databases, on the information seeking behavior of graduate students and residents of the Health Science Campus of the Federal University of Minas Gerais. The research used the Kirkpatrick model for evaluating training specifically focusing on first and second levels of this model. The basic descriptive research used a quantitative approach. The research used a non-random sample consisting of the graduate students and residents who agreed to participate in the course. This training had a course load of 15 hours and was offered to postgraduate students of the Graduate Campus Health of the Federal University of Minas Gerais and residents of Obstetric Nursing Residency Program of the Federal University of Minas Gerais School of Nursing courses. Data collection was conducted using two questionnaires at the beginning and at the end of the training. We compared the answers given by the respondents in these questionnaires. The results showed that the training had a positive impact on the informational seeking behavior because students have acquired new knowledge and research skills.

Keywords:
Information seeking behavior; Training impact; Research skills; Databases; Kirkpatrick model.

1 Introdução

Os avanços científicos e tecnológicos têm gerado e disponibilizado, por meio da internet, um volume cada vez maior de informações. Isso tem acontecido de maneira explosiva na área da saúde. Entretanto, nem todas as informações acessíveis pela internet são confiáveis, pois muitas não passaram por um crivo, uma academia, uma pesquisa (CENDÓN, 2000; MUELLER, 2000). Por isso a busca por informações confiáveis deve ser realizada em bases de dados que disponibilizam artigos e trabalhos que foram avaliados por especialistas da área da saúde.

O número de bases de dados em saúde está crescendo significativamente. Nesse contexto as bibliotecas, e os bibliotecários que nela trabalham, têm um papel extremamente importante para facilitar a procura de informações necessárias ao trabalho dos profissionais da área da saúde (LOPES, 2002; CUENCA e outros, 2008). A biblioteca J. Baeta Vianna do Campus Saúde da Universidade Federal de Minas Gerais, nos últimos anos, tem oferecido treinamentos em habilidades de pesquisa bibliográfica que atingem um maior número de usuários. No entanto, os treinamentos oferecidos pela biblioteca só têm sentido se tiverem eficácia no seu intuito de desenvolver as competências informacionais pretendidas nos usuários. Por isso, avaliar a eficácia e o impacto dos treinamentos no comportamento de busca informacional dos seus participantes é altamente relevante (SANTOS; CASARIN, 2014).

Este trabalho avalia o impacto de um treinamento em pesquisa bibliográfica na base de dados Medical Literature Analysis and Retrieval System Online (MedLine) via Publisher Medline (PubMed) e nas bases de dados do Portal de Pesquisa da Biblioteca Virtual em Saúde, no comportamento de busca informacional dos mestrandos e residentes do Campus Saúde da Universidade Federal de Minas Gerais. Para isso, usamos o modelo de Kirkpatrick para a avaliação de treinamentos, focando especificamente no primeiro e segundo níveis desse modelo: a reação e a aprendizagem (KIRKPATRICK, 1967; STEVENSON, 2012). Pretende-se apresentar os resultados para a avaliação do impacto desse treinamento no nível três desse modelo em outro trabalho.

Trabalhos que pesquisam o impacto de cursos e treinamentos são raros no Brasil (CUENCA, 1999; CUENCA e outros, 1999; CUENCA e outros, 2008; VICENT, 2011). No exterior esse também não é um tema muito pesquisado: seis pesquisas foram localizadas (GRUPPEN e outros, 2005; BRETTLE e outros, 2006; BRETTLE e outros, 2007; ADDISON e outros, 2010; AYRE e outros, 2015; RAYNOR; CRAVEN, 2015). A escassez de pesquisas, especialmente em português, sobre o impacto de treinamento no uso de bases de dados da área da saúde justifica o presente trabalho, que pretende contribuir para o estudo desse tema tão importante.

2 Fundamentação teórica

De acordo com Wilson (2000), o comportamento de busca informacional é uma busca intencional pela informação como consequência da necessidade de satisfazer um objetivo. No decorrer da busca o indivíduo pode interagir com sistemas de informação manual, tais como um jornal ou uma biblioteca, ou com sistemas baseados em computador, como as bases de dados acessíveis pela internet. Outro termo relacionado é o comportamento de pesquisa informacional definido por Wilson como sendo um subconjunto do comportamento de busca informacional, consistindo dos comportamentos utilizados pelas pessoas quando interagem com sistemas de informação baseados em computador. Neste trabalho usaremos o termo mais geral “comportamento de busca informacional” para as duas situações, já que é o termo usado comumente no Brasil para os dois tipos de comportamentos de busca por informação.

Na literatura há vários modelos propostos de comportamento de busca informacional (CASE, 2007; MACHADO, 2014). Neste trabalho utilizamos o modelo de comportamento de busca informacional de Wilson (2000; 2006) para embasar a construção dos instrumentos de verificação do comportamento de busca informacional.

Casarin (2011), em sua tese, fez uma descrição detalhada desse modelo que não será reproduzida neste trabalho. No entanto, apresentamos a seguir uma síntese dos principais pontos desse modelo. Segundo o modelo de Wilson (1999) as necessidades informacionais ocorrem em um contexto que pode ser pessoal, ou em um contexto relacionado ao papel social da pessoa nas atividades do trabalho ou da vida, ou ainda em contextos mais amplos, como políticos, econômicos e tecnológicos. Entre a necessidade e a busca propriamente dita pela informação, há variáveis intervenientes que são barreiras que o usuário provavelmente encontrará no esforço para alcançar a informação desejada. Essas barreiras podem dificultar ou impedir a busca por informação. Para o comportamento de busca informacional são apresentadas várias alternativas: atenção passiva, busca passiva, busca ativa e busca em andamento.

Nesse modelo há dois itens chamados de mecanismos de ativação, e outro item chamado de processamento e uso da informação. O primeiro mecanismo de ativação explica algumas das situações em que a pessoa, mesmo tendo uma necessidade por informação, não se engaja na sua busca. Já o segundo, explica a razão de algumas buscas serem mais exaustivas que outras, ou porque o esforço despendido na busca é maior em alguns casos que em outros. Finalmente, o item “processamento e uso da informação” está relacionado com a leitura da informação e a aprendizagem que ocorre no processo, bem como a avaliação da qualidade da informação obtida.

Tanto no Brasil quanto em outros países, a necessidade de avaliar a eficácia de treinamentos no uso de bases de dados, ministrados por bibliotecários, tem levado à realização de pesquisas. No Brasil, Cuenca e outros (2008) apresentaram uma pesquisa para avaliar um treinamento por meio da comparação entre dois grupos de alunos: o primeiro grupo, de egressos dos Cursos Medical Literature Analysis and Retrieval System Online (MedLine) e Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS) da década de 1990 (CUENCA, 1999; CUENCA e outros, 1999) e o segundo grupo, de egressos do mesmo curso realizado após 10 anos. O treinamento teve como conteúdo as bases de dados MEDLINE e LILACS, bem como o uso de descritores MeSH/DeCS. Consistiu em dois módulos de quatro horas e a coleta de dados foi realizada por meio de questionários aplicados aos alunos após a realização dos cursos. Houve uma mudança no perfil dos alunos, sendo que na década de 1990 os alunos eram preferencialmente oriundos da Pós-Graduação e, na década seguinte, da Graduação. Em ambos os grupos a maioria dos alunos afirmou ter realizado, após o treinamento, buscas nas bases de dados sem a intermediação de bibliotecários.

Vicent (2011) realizou outra de pesquisa no Brasil sobre o impacto de treinamentos em habilidades de pesquisa na área da saúde, apresentando os seus resultados em uma tese. Ela realizou uma avaliação de um treinamento, dado em um único dia durante sete horas, para capacitar alunos na realização de pesquisas bibliográficas no MEDLINE/PubMed. O treinamento foi dado para mestrandos e doutorandos da Escola Nacional de Saúde Pública da Fundação Oswaldo Cruz, em São Paulo. A avaliação do treinamento foi feita por meio da aplicação de dois testes de Fresno dado a dois grupos de alunos divididos aleatoriamente em um grupo de controle e um grupo experimental. Os testes foram aplicados no início do treinamento para ambos os grupos, no meio do treinamento para o grupo de controle e no final do treinamento para o grupo experimental. De acordo com a tese os resultados dos testes não mostraram diferença significativa entre os grupos de controle e experimental.

No exterior a quantidade de trabalhos sobre o impacto de treinamentos em habilidades de pesquisa bibliográfica encontrado na revisão de literatura foi maior. Apresentamos a seguir uma pequena descrição desses trabalhos.

Raynor e Craven (2015) realizaram um estudo que usou uma combinação de dados quantitativos e qualitativos com o intuito de verificar se houve aprendizagem dos alunos por causa da participação deles no treinamento, e como as novas habilidades dos participantes foram usadas no seu trabalho. Isto vai além da simples verificação da satisfação e do nível de confiança relatados pelos alunos que era o padrão em trabalhos anteriores. O estudo avaliativo verificou o impacto e o valor de treinamentos em habilidades informacionais feito por eles no National Institute for Health and Care Excellence. A conclusão foi que houve aprendizagem entre os participantes do curso, como comprovado que comparou o desempenho antes e após o curso por meio do teste t pareado,

Brettle e outros (2007) fizeram uma revisão sistemática com o objetivo de avaliar a qualidade dos instrumentos de coleta de dados utilizados em trabalhos que avaliam o impacto de treinamentos em pesquisa oferecidos para profissionais da área da saúde. Os instrumentos de coleta de dados foram variados, sendo os mais frequentes os que verificavam as habilidades de pesquisa e questionários que avaliavam a percepção e o conhecimento dos alunos. A maioria dos trabalhos não apresentou evidência de validade dos instrumentos de coleta de dados utilizados e, por isso, o trabalho conclui enfatizando a necessidade da validação dos instrumentos de coleta de dados que se pretende utilizar para avaliar o impacto dos treinamentos na área da saúde.

Gruppen e outros (2005) avaliaram o impacto de um treinamento de duas horas em pesquisa no MEDLINE, oferecido para alunos de Medicina que participaram de um curso eletivo de Medicina Baseada em Evidências. O estudo usou um grupo de controle e de intervenção para verificar o impacto do treinamento. Os instrumentos de coleta de dados foram exercícios de pesquisa bibliográfica, cuja qualidade foi avaliada e pontuada por bibliotecários clínicos usando critérios padronizados. Os exercícios foram aplicados antes do treinamento e um mês após o término do treinamento e os resultados mostraram um impacto positivo nas habilidades de pesquisa. Os erros relacionados no uso dos termos MeSH, no uso dos limites da pesquisa e na dificuldade em combinar os termos por causa do uso inapropriado de operadores booleanos “AND” ou “OR”, foram maiores no grupo de controle. Os resultados indicaram que mesmo um treinamento curto teve efeitos benéficos na qualidade da pesquisa realizada pelos alunos.

Addison e outros (2010) apresentaram um trabalho onde procuraram avaliar evidências do efeito do treinamento em pesquisa realizado na biblioteca do National Institute for Health da Inglaterra, no comportamento posterior do usuário. Os dados que foram coletados em 23 hospitais da Inglaterra, e eram sobre o número de pesquisas bibliográficas realizadas sem mediação e com mediação, a quantidade de horas oferecidas no treinamento e o número de participantes no treinamento. Os resultados mostraram que houve correlação entre o número de participantes no curso ou a quantidade de horas de treinamento e a quantidade de pesquisa com mediação da equipe da biblioteca. Os autores explicaram esse resultado salientando que a maior quantidade de treinamento torna os usuários mais conscientes da complexidade da pesquisa bibliográfica, tornando-os menos confiantes nas suas capacidades para realizarem essas atividades sozinhos.

Ayre e outros (2015) apresentaram um trabalho com uma avaliação do impacto de treinamento em habilidades de informação promovido pelas bibliotecas da National Health Service, da Inglaterra. O estudo teve a participação de 60 organizações e utilizou um questionário, transformado em formulário eletrônico, para realizar a coleta de dados. O questionário foi enviado para os participantes algumas semanas após o treinamento e foi respondido por 534 participantes. Foi utilizado o modelo de Kirkpatrick de avaliação de treinamentos para verificar o impacto do treinamento em todos os níveis desse modelo. Esse modelo será apresentado mais a frente nesta seção. Como resultado o trabalho apresentou que 82% dos participantes relataram que utilizaram os conhecimentos adquiridos e mudaram a sua prática como consequência do treinamento e, também, 70% dos participantes mencionaram que o treinamento teve impacto nos cuidados com os pacientes. Os resultados demonstram claramente o valor do treinamento em habilidades de pesquisa

Brettle e outros (2006; 2007) apresentaram dois trabalhos onde compararam a efetividade e o custo de providenciar informação para o cuidado de pacientes por meio de pesquisa mediada pelo bibliotecário e por meio de treinamento em habilidades de informação. Os resultados dos dois trabalhos foram que tanto a pesquisa mediada pelo bibliotecário quanto o treinamento em habilidades de pesquisa são efetivas. Providenciar treinamento em habilidades de pesquisa não reduziu o volume de pesquisa mediada requisitada pelos profissionais sedo que ambos os serviços foram considerados valiosos pelos usuários que os percebem como métodos complementares para obter informações, dependendo de suas necessidades em diferentes ocasiões.

Stevenson (2012) publicou um trabalho muito interessante sobre a avaliação de treinamentos em pesquisa bibliográfica dados por bibliotecas da área da saúde. Nesse trabalho o autor propõe três modelos de avaliação, sendo que um deles o modelo de Kirkpatrick será utilizado na pesquisa realizada neste artigo. De acordo com Stevenson, esse modelo é o mais amplamente utilizado na avaliação de treinamentos da área da saúde.

O modelo de Kirkpatrick também é citado no livro de Lancaster (2004), que trata da avaliação dos serviços da biblioteca, na seção em que falade avaliação da instrução bibliográfica. No Brasil encontramos também uma dissertação apresentada no Curso de Mestrado em Ciência da Informação da Universidade Federal Minas Gerais, que utiliza esse modelo na avaliação de um e-learning corporativo como um sistema de informação (BRAGA, 2011).

O modelo de Kirkpatrick, que é um dos pioneiros na avaliação de treinamentos, apresenta quatro níveis de avaliação, mostrados no Quadro 1.

Quadro 1
Níveis de avaliação no modelo de Kirkpatrick

Nível 1	Reações	Avalia se os participantes gostaram do treinamento
Nível 2	Aprendizagem	Avalia o conhecimento adquirido pelos participantes no final do treinamento
Nível 3	Comportamento	Avalia o que há de diferente no comportamento dos participantes após o treinamento
Nível 4	Resultados	Avalia o impacto ocorrido nas organizações provocado pelas mudanças no comportamento ocorridas após o treinamento

• Fonte: Elaborada pelos autores (2015).

O foco deste artigo será nos níveis 1 e 2, que avaliam a reação e a aprendizagem ocorrida durante o treinamento. As reações são definidas como a percepção dos participantes sobre o treinamento. Existem dois tipos: (i) as reações afetivas, que estão relacionadas com o quanto os participantes gostaram do treinamento; e (ii) as reações instrumentais (utilidade), que estão relacionadas ao quanto os participantes acharam o treinamento "útil". A aprendizagem é definida em três níveis: (i) atitudes (sentir), (ii) conhecimento (saber) e (iii) habilidades (fazer). Em relação às atitudes, a questão básica a ser respondida é: os participantes se sentem de forma diferente após o treinamento? Em relação ao conhecimento, a questão básica a ser respondida é: os participantes sabem algo novo como resultado do treinamento? E a respeito de habilidades, a pergunta é: os participantes podem fazer algo diferente ou novo por causa do treinamento?

Embora o modelo de Kirkpatrick tenha um amplo uso na avaliação de treinamentos, ele tem algumas limitações (STEVENSON, 2012). Na utilização desse modelo devemos, então, estar cientes de suas limitações quando analisarmos os resultados obtidos.

3 Procedimentos metodológicos

A pesquisa descrita neste trabalho teve como objetivo determinar o impacto de um treinamento em pesquisa bibliográfica no comportamento informacional dos participantes. O treinamento foi oferecido por uma bibliotecária da Biblioteca J. Baeta Vianna para mestrandos e residentes do Campus Saúde da Universidade Federal de Minas Gerais. Do ponto de vista de sua natureza foi realizada uma pesquisa básica descritiva com procedimentos típicos de um estudo de caso, utilizando uma abordagem quantitativa. A pesquisa utilizou uma amostra não aleatória composta pelos mestrandos e residentes que aceitaram participar do curso.

O treinamento, ministrado por um dos autores deste artigo, teve carga horária de 15 horas e foi oferecido aos mestrandos dos cursos de Pós-Graduação do Campus Saúde da Universidade Federal de Minas Gerais e residentes do Programa de Residência em Enfermagem Obstétrica da Escola de Enfermagem da Universidade Federal de Minas Gerais. Os alunos formaram cinco turmas e as aulas ocorreram durante o segundo semestre de 2014 nos laboratórios de informática da Faculdade de Medicina da Universidade Federal de Minas Gerais e da Escola de Enfermagem da Universidade Federal de Minas Gerais, onde os alunos utilizavam computadores com acesso à Internet.

O treinamento para as cinco turmas seguiu o mesmo planejamento básico. Os conteúdos e atividades foram distribuídos em oito módulos oferecidos uma vez por semana, totalizando 15 horas de treinamento. Os conteúdos foram os seguintes: realização de pesquisas bibliográficas; elaboração de estratégias de busca; identificação dos conceitos de uma pesquisa; interface das bases de dados em saúde e sua aplicação e utilização das bases de dados do Portal de Pesquisa da Biblioteca Virtual em Saúde e da base de dados Medical Literature Analysis and Retrieval System Online (MEDLINE) via Publisher Medline (PubMed).

A estratégia de ensino utilizou apresentações expositivas e atividades práticas, nas quais os alunos tiveram a oportunidade de realizar pesquisas bibliográficas com a orientação da professora. A professora fez o controle de presença por meio de listas assinadas pelos alunos em todas as aulas. Verificamos que a presença dos alunos foi sempre superior a 90% em todas as aulas ministradas para as cinco turmas.

Participaram do treinamento 82 alunos, sendo 71 mulheres e 11 homens. Quanto à faixa etária, a mais frequente, com 34,1% dos alunos, é entre 26 e 30 anos, sendo que 67,1% deles tinham idades entre 20 e 40 anos. Quanto à formação dos alunos, apenas 39% deles realizaram o seu curso de Graduação na Universidade Federal de Minas Gerais. Os cursos de Graduação com maior frequência são Enfermagem, Medicina, Fonoaudiologia e Nutrição. A maioria dos alunos (62,2%) terminou o curso de Graduação entre 2005 e 2014 e, posteriormente, 69,5% deles participaram de cursos de especialização.

Quanto ao comportamento informacional inicial, os alunos relataram que ao realizarem suas buscas por informação na área da saúde utilizavam mais frequentemente os sites de busca, como o Google, e portais da área de saúde como a BVS e PubMed. A biblioteca e o Portal de Periódicos da Capes foram pouco utilizados. Os materiais bibliográficos mais utilizados foram os artigos originais e de revisão publicados em periódicos. A base SciELO, que não é específica da área da saúde, foi a mais utilizada. No entanto, as bases MEDLINE e LILACS, que são específicas da área da saúde, foram utilizadas com razoável frequência. Os alunos também relataram dificuldades no uso da interface das bases, em encontrar palavras-chave adequadas e identificar as bases relevantes para a pesquisa. Na realização das pesquisas bibliográficas os alunos frequentemente escreveram palavras-chave na primeira caixa de diálogo que encontraram e desconheciam o uso do vocabulário controlado como o MeSH/DeCS. Com isso, esses alunos tiveram dificuldades em localizar documentos pertinentes.

O comportamento informacional típico descrito tinha influência no resultado das pesquisas bibliográficas realizadas pelos alunos. Eles relataram ter dificuldade na recuperação de um número suficiente e acessível de referências, tendo acesso majoritariamente aos artigos que podiam obter gratuitamente. Finalmente, os alunos tiveram a percepção da necessidade de aprender a desenvolver melhor as estratégias de busca.

Os dados apresentados acima e no seguimento deste trabalho foram coletados por meio de dois questionários. O primeiro questionário continha 30 questões e foi aplicado no início do curso para identificar o perfil, a experiência geral de busca de informação e o comportamento de busca informacional inicial dos alunos participantes. Esse questionário utilizou o modelo do comportamento de busca informacional de Wilson (2000, 2006) como base e foi validado através de uma validação de conteúdo realizada por juízes, um estudo piloto e pré-testagem. A Tabela 1 apresenta a maneira como as questões foram agrupadas. Utilizamos o modelo de Wilson (2006) para identificar três indicadores do comportamento de busca informacional: uso das fontes de informação, as estratégias de buscas utilizadas e resultados da busca. Os indicadores deram origem ao conjunto de questões contidas nos questionários que perguntavam sobre o uso das fontes de informação, os procedimentos realizados durante as buscas e sobre os resultados alcançados nessas buscas.

Tabela 1
Relação entre os temas avaliados e as questões do primeiro questionário

Temas		Questões
Perfil demográfico		1, 2, 3 e 4
Formação		5, 6, 7, 8, 9, 10, 11 e 12
Experiência na busca informacional		13, 14, 15 e 16
Comportamento informacional: uso das fontes de informação	Recursos Materiais bibliográficos Bases de dados Tipos de publicação	17 e 18 19 e 20 21 e 22 23 e 24
Comportamento informacional: as estratégias de busca utilizadas	Problemas e dificuldades Aprendizagem das técnicas de pesquisa Ações realizadas	25 26 27 e 28
Comportamento informacional: resultados da busca por informação		29 e 30

• Fonte: Elaborada pelos autores (2015).

A validação do questionário foi realizada em três etapas que propiciaram evidências da validade. A primeira evidência foi que esse questionário foi construído através de adaptações de questionários utilizados em outros estudos sobre esse tema (GUERRERO, 2009; MARTÍNEZ-SILVEIRA, 2005; VINCENT, 2011), e foi baseado no modelo de busca informacional de Wilson, apresentado na seção anterior. Existe, então, uma garantia da adequação do questionário que construímos ao objetivo pretendido, pois os questionários no qual baseamos já foram utilizados e avaliados por especialistas da área da Ciência da Informação.

A segunda evidência é a validação de conteúdo realizada pela avaliação do questionário por cinco juízes que são especialistas na área da Ciência da Informação e na prática da pesquisa bibliográfica. Todos leram e avaliaram a adequação do questionário ao seu objetivo de identificar o comportamento informacional dos alunos no uso das bases de dados da área da saúde. Esses juízes sugeriram mudanças que foram acatadas e, no final, concordaram com a adequação do questionário.

A terceira evidência de validade foi o estudo piloto, em que o questionário, após a sua validação pelos juízes, foi respondido por cinco profissionais da área da saúde que procuraram o serviço de atendimento para pesquisa da Biblioteca do Campus Saúde da UFMG. Esses usuários não relataram nenhum problema de entendimento das questões e não tiveram dificuldade em responder ao questionário. Finalmente, quando aplicamos o questionário para a primeira turma do treinamento não verificamos problemas no questionário e na sua aplicação.

O segundo questionário, que continha 19 questões, repetiu as questões sobre o comportamento de busca informacional do primeiro questionário A única mudança nas questões foi perguntar sobre a intenção do uso das fontes, a intenção de realizar os procedimentos apresentados em futuras buscas e, finalmente, os resultados que seriam esperados. Houve também o acréscimo de duas questões que solicitavam aos alunos uma avaliação do curso. Entre os participantes do treinamento 82 alunos responderam ao primeiro questionário, 79 alunos responderam ao segundo questionário e 65 alunos responderam a ambos os questionários.

Para avaliar o impacto do treinamento comparamos as respostas dadas pelos alunos nos dois questionários mencionados no parágrafo anterior. Neste trabalho não analisaremos todas as questões do questionário por causa da limitação de espaço. No entanto, isso não prejudicará as conclusões obtidas, pois as questões analisadas apresentam resultados similares às outras questões não analisadas.

Para fazer a primeira avaliação do modelo de Kirkpatrick, analisamos uma questão do segundo questionário que solicitava uma avaliação do treinamento. Para fazer a avaliação no segundo nível do modelo de Kirkpatrick utilizamos apenas as questões sobre os “recursos”, as “bases de dados”, os “problemas e dificuldades” e as “ações realizadas”, mostradas no quadro 2, que estavam nos dois questionários. As respostas dadas às questões no segundo questionário, que indagam sobre as fontes de informação utilizadas pelos alunos ao realizarem suas buscas por informação, foram comparadas com as respostas dadas pelos mesmos alunos ao primeiro questionário. A comparação entre as respostas dadas pelos alunos nos dois questionários foi feita utilizando o teste de Wilcoxon (DANCEY; REIDY, 2006), que é o recomendado quando comparamos os mesmos alunos usando uma escala ordinal.

As respostas dos alunos às questões do segundo questionário que estavam relacionadas com as estratégias de busca foram comparadas com respostas dadas às questões equivalentes do primeiro questionário. Nessas questões o aluno escolhe uma ou mais alternativas. Por isso, o resultado para cada alternativa é o número de alunos que a marcou ou a porcentagem de alunos que marcou cada alternativa da questão. O teste t pareado é o recomendado quando comparamos respostas, dadas pelo mesmo grupo de alunos, por meio de proporções (DANCEY; REIDY, 2006).

A pesquisa aqui relatada, bem com o Termo de Consentimento Livre e Esclarecido, foi submetida à apreciação do Comitê de Ética, que aprovou a realização da mesma (Projeto: CAAE - 33767114.6.0000.5149).

4 Apresentação e análise dos resultados

No modelo de Kirkpatrick para a avaliação de treinamentos a reação do aluno, definida como sua percepção sobre o treinamento, tanto afetiva (gostar do treinamento), quanto instrumental (utilidade do treinamento), é o primeiro nível de avaliação do impacto do treinamento. Uma questão, no final do segundo questionário, propiciou essa avaliação propondo aos alunos a seguinte questão: “Como você avaliaria o curso, considerando o quanto você aprendeu e a evolução de suas habilidades para realizar pesquisas bibliográficas nas bases de dados da área da saúde?”

A Tabela 2 mostra os resultados desta questão, que foi respondida por 76 alunos. As respostas estão numa escala de “um” a “cinco”, sendo “um” muito ruim e “cinco” muito bom. De acordo com os resultados dessa tabela, 93,5% dos alunos responderam marcando as opções “cinco” ou “quatro”. Assim, o treinamento foi considerado muito bom ou quase isso. Então, para os alunos, houve boa aprendizagem e evolução de suas habilidades para a realização de pesquisas bibliográficas nas bases de dados da área da saúde.

Tabela 2
Frequência (n) e porcentagem (%) das respostas da avaliação

	Avaliação	N	%	% Válida
	5 - Muito bom	48	60,8	63,1
	4	23	29,1	30,3
	3	5	6,3	6,6
	2	0	0	0
	1 - Muito ruim	0	0	0
	Total	76	96,2	100
	Não respondeu	3	3,8
	TOTAL	79	100

• Fonte: Elaborada pelos autores (2015).

Com isso, a reação positiva dos alunos, que é o primeiro tipo de avaliação no modelo de Kirkpatrick, mostrou que o treinamento teve, na avaliação dos alunos, um impacto positivo na aquisição de habilidades de pesquisa, contribuindo dessa maneira para um melhor comportamento de busca informacional.

A avaliação no segundo nível do modelo de Kirkpatrick, relacionado à aprendizagem, será apresentada a seguir para dois indicadores do comportamento informacional de acordo com o quadro 2: uso das fontes de informação (Recursos; Bases de dados) e as estratégias de busca (Problemas e dificuldades; Ações realizadas).

5 Resultados para o uso das fontes de informação: recursos e bases de dados

Para o indicador recursos o teste de Wilcoxon identificou mudança significativa, com nível de significância p<0,01, apenas para os recursos “sites de buscas”, “portais da área da saúde” e “portal de periódicos da CAPES” (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior). Os recursos “bibliotecas” e “sites da área da saúde” não apresentaram mudança significativa.

A Figura 1 mostra a distribuição das respostas para o uso de “sites de buscas” antes e depois do treinamento. Podemos observar que após o treinamento o número de alunos que usariam esses sites frequentemente diminuiu. Essa é uma mudança positiva, pois o uso desses sites (por exemplo, o Google) torna a busca de informação na área da saúde pouco eficiente, já que recupera uma grande quantidade de informações de qualidade duvidosa.

Figura 1
Frequência de uso do recurso SITES DE BUSCA antes e depois do treinamento

A mesma análise feita para os recursos “portais da área da saúde” e “portal de periódicos da CAPES” antes e depois do treinamento, mostra um uso mais frequente desses portais após o curso, já que a porcentagem da resposta “Frequentemente” aumentou e diminuiu a porcentagem das respostas “Algumas vezes”, “Raramente” e “Nunca”. Novamente, essa mudança é positiva, indicando uma intenção de maior uso desses portais.

Para o indicador bases de dados a comparação de seus usos antes e depois do treinamento, foi realizada utilizando o teste de Wilcoxon. Esse teste identificou que todas as bases, com exceção das bases “Scientific Electronic Library Online (SciELO)” e “EMBASE”, apresentaram mudança significativa, indicando um uso com maior frequência após o curso. As bases que tiveram maior mudança, com nível de significância p<0,01, foram “Medical Literature Analysis and Retrieval System Online (MEDLINE)”, “Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS)”, “COCHRANE”, “Cumulative Index to Nursing & Allied Health Literature (CINAHL)”, “Web of Science” e “Base de Dados de Enfermagem (BDENF)”. As bases “PSYCINFO”, “SCOPUS” e “UPTODATE” tiveram uma mudança menor, mas ainda significativa, com nível de significância p<0,05. A base “SciELO - Scientific Electronic Library Online” já era a mais utilizada antes do curso e os alunos ainda pretendiam usá-la com grande frequência após o curso.

Cabe salientar que, embora a utilização das bases CINAHL, BDENF, PSYCINFO, SCOPUS e UPTODATE tenha aumentado, elas ainda continuavam desconhecidas pela maioria dos alunos. No entanto a base “Web of Science”, que era desconhecida por 52,3% dos alunos antes do curso, passou a ser desconhecida por apenas 24,5% dos alunos que terminaram o curso.

6 Resultados para as estratégias de busca: problemas/dificuldades e ações realizadas.

A Tabela 3 resume os resultados da comparação para a questão que indaga sobre as dificuldades na realização da pesquisa bibliográfica.

Tabela 3
Porcentagem de alternativas escolhidas antes e depois do treinamento para as dificuldades na realização das pesquisas bibliográficas (N = 65)

Alternativa	Antes %	Depois %	Diferença %	Nível de significância
Dificuldade no uso da interface das bases	68	38	30	0,000
Selecionar entre a grande quantidade de documentos recuperados	45	58	-13	0,095*
Dificuldade em localizar documentos pertinentes	58	22	36	0,000
Identificar bases específicas em sua área de interesse e/ou especialização	48	22	26	0,001
Encontrar palavras-chave adequadas para uma boa estratégia de busca	55	20	35	0,000
Falta de tempo para se dedicar à busca	31	66	-35	0,000
Custo financeiro dos documentos	25	8	17	0,010

• Fonte: Elaborado pelos autores (2015).
• Nota: *Diferença não significativa.

Observe que as diferenças nas respostas são significativas, com nível de significância p≤0,01 para todas as alternativas, com exceção da alternativa “Selecionar entre a grande quantidade de documentos recuperados”.

Para interpretar a Tabela 3 devemos notar que uma diferença positiva indica que a porcentagem de alunos que escolheu a alternativa é menor após o treinamento e o contrário acontece quando a diferença é negativa. Com isso, percebemos que após o treinamento os alunos relataram uma menor dificuldade em várias atividades relacionadas com o processo de busca informacional. Houve um aumento de 35% no número de alunos que marcou a alternativa “Falta de tempo para se dedicar à busca”. Interpretamos esse aumento da seguinte maneira: os alunos, após o curso, se tornaram conscientes da complexidade dos processos necessários para realizar a busca informacional. Logo, perceberam que precisariam de um tempo maior para fazer as suas buscas. Consideramos essa conscientização da complexidade da pesquisa um efeito positivo do curso, pois torna os alunos mais cuidadosos na realização de suas pesquisas.

Em relação ao custo financeiro dos documentos, isso deixou de ser um problema para muitos alunos, pois eles aprenderam a recuperar esses documentos em portais que disponibilizam o texto completo gratuitamente.

A Tabela 4 apresenta um resumo dos resultados do teste t pareado para a questão que pergunta sobre ações específicas que os alunos podem executar para realizar as suas buscas por informação.

Tabela 4
Porcentagem de alternativas escolhidas antes e depois do treinamento para as ações realizadas nas pesquisas bibliográficas (N = 65)

Alternativa	Antes %	Depois %	Diferença %	Nível de significância
Escrever palavras-chave na primeira caixa de diálogo que aparece	94	49	45	0,000
Selecionar a opção “pesquisa avançada”	83	86	-3	0,597*
Combinar diversas palavras-chave com operadores booleanos (AND, OR, NOT)	63	95	-32	0,000
Utilizar outros recursos, como “limites”, “campos” ou “índice”	28	69	-41	0,000
Combinar diversos resultados, utilizando o recurso “histórico da pesquisa”	26	86	-60	0,000
Cadastrar na base para receber as informações atualizadas	22	88	-66	0,000
Ordenar as referências encontradas por data, título da revista, autor	57	82	-25	0,003
Utilizar o recurso “Single Citation”	2	9	-7	0,058*
Montar estratégias com descritores (MeSH ou DeCS) e qualificadores e combinar diversos temas	28	94	-66	0,000

• Fonte: Elaborado pelos autores (2015).
• Nota: *Diferença não significativa.

Assim como ocorreu na análise anterior, uma diferença positiva indica que a porcentagem de alunos que escolheu a alternativa é menor após o curso e o contrário acontece quando a diferença é negativa.

De acordo com os dados da tabela 3 apenas as ações “Selecionar a opção ‘pesquisa avançada’” e “Utilizar o recurso ‘Single Citation’” não tiveram uma mudança significativa nas respostas antes e depois do curso. A alternativa “Selecionar a opção ‘pesquisa avançada’” era usada por 83% dos alunos antes do curso e essa porcentagem aumentou para 86%, ou seja, já era alta e continuou assim após o curso. A alternativa “Utilizar o recurso ‘Single Citation’” era utilizada por apenas 2% dos alunos antes do curso e por apenas 9% depois. As outras alternativas mudaram de maneira significativa, indicando que após o curso as ações dos alunos ficaram mais adequadas a uma pesquisa bibliográfica de maior eficiência.

Na revisão bibliográfica sobre o impacto de treinamentos no comportamento informacional de profissionais da área da saúde apresentada na Seção 2, observamos que vários trabalhos também relataram um impacto positivo dos treinamentos. No entanto, nenhum desses trabalhos apresentou detalhes específicos do tipo de mudança provocada pelos treinamentos, como foi realizado neste artigo. Por isso, não podemos comparar os resultados detalhados aqui obtidos com os resultados dessa literatura consultada.

7 Conclusões e considerações finais

Os resultados apresentados e analisados na seção anterior mostram que o treinamento teve um impacto bastante positivo sobre o comportamento de busca informacional dos alunos. A reação dos alunos, que é o primeiro nível de avaliação do modelo de Kirkpatrick, foi altamente positiva indicando que os alunos gostaram do treinamento, considerando-o útil para o desenvolvimento de suas habilidades de pesquisa.

A aprendizagem dos alunos, que é o segundo nível de avaliação no modelo de Kirkpatrick, foi também efetiva. Os alunos relataram uma diminuição nas suas intenções de usar sites de buscas, como o Google, bem como um maior uso de Portais da área da saúde e do Portal de Periódicos da CAPES. Também relataram a intenção de uso mais frequente das bases MEDLINE, LILACS, COCHRANE e “Web of Science”. Para a “Web of Science” houve uma diminuição significativa no número de alunos que desconheciam essa base.

Nas estratégias de pesquisa os alunos relataram a intenção de uso mais frequente de palavras-chave adequadas e mais alunos esperam localizar documentos pertinentes. Houve um aumento expressivo no número de alunos que sabiam como se cadastrar na base para receber as informações atualizadas e, também, montar estratégias com descritores (MeSH ou DeCS) e qualificadores e combinar diversos temas.

Desenvolvemos para este trabalho um questionário validado para verificar o comportamento de busca informacional de profissionais da área da saúde. A falta de instrumentos validados foi uma deficiência apontada em vários trabalhos publicados no exterior. No Brasil a situação é ainda pior, pois não foi encontrado, na literatura consultada, nenhum instrumento desse tipo que tenha sido adequadamente validado. O questionário que desenvolvemos e validamos procura sanar essa falha, e é uma contribuição importante para o estudo do comportamento informacional da área da saúde no Brasil.

O uso, que fizemos neste trabalho, do modelo de Kirkpatrick para a avaliação de treinamentos em pesquisa bibliográfica na área da saúde, parece ser inédito em pesquisas desse tipo no Brasil. Neste trabalho utilizamos apenas o primeiro e segundo níveis desse modelo, mas em um trabalho posterior pretendemos utilizar também o terceiro nível para avaliar o impacto do treinamento realizado. Consideramos que o modelo de Kirkpatrick é muito útil para a avaliação de treinamentos e, por isso, a sua introdução no nosso trabalho espera contribuir para o estudo de impacto dos treinamentos realizados nas bibliotecas da área da saúde no Brasil.

A importância dos treinamentos em habilidades de pesquisa impõe uma demanda pela formação de bibliotecários com habilidades bem desenvolvidas em pesquisa bibliográfica e conhecimento das bases da área da saúde. As escolas de Biblioteconomia e de Ciência da Informação devem levar em consideração essas novas demandas e incluir na sua grade curricular disciplinas específicas com o intuito de desenvolver nos profissionais da informação habilidades de pesquisa nas bases de dados.

Referências

• ADDISON, J. et al. The impact of information skills training on independent literature searching activity and requests for mediated literature searches. Health Information and Libraries Journal, v. 27, n. 3, p. 191-197, 2010.
• AYRE, S. et al. Measuring the impact of information skills training: a survey of health libraries in England. Health Information and Libraries Journal, v. 32, n. 1, p. 50-60, 2015.
• BRAGA, B.D. A avaliação do e-learning corporativo como um sistema de informação. 2011. 149f. Dissertação (Mestrado em Ciência da Informação) - Escola de Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2011.
• BRETTLE, A. et al. The costs and effectiveness of information-skills training and mediated searching: quantitative results from the EMPIRIC project. Health Information and Libraries Journal, v. 23, n. 4, p. 239-247, 2006.
• BRETTLE, A. et al. Effectiveness of information skills training and mediated searching: qualitative results from the EMPIRIC project. Health Information and Libraries Journal, v. 24, n. 1, p. 24-33, 2007.
• CASARIN, H. C. S. O comportamento informacional de pós-graduandos da área de Educação: estudo com programas de excelência no país. 2011. 139f. Tese (Livre Docência em Comportamento Informacional) - Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília, 2011.
• CASE, D. O. Research by occupation. In: CASE, D. O. Looking for information: a survey of research on information seeking, needs, and behavior. 2. ed. Amsterdam: Elsevier, 2007. p. 265-271.
• CENDÓN, B. V. Serviços de indexação e resumo. In: CAMPELLO, B. S. et al. (Org.). Fontes de informação para pesquisadores e profissionais. Belo Horizonte: Ed. UFMG, 2000. p. 217-239.
• CUENCA, A. M. B. O usuário final da busca informatizada: avaliação da capacitação no acesso a bases de dados em biblioteca acadêmica. Ciência da Informação, v. 28, n. 3, p. 293-301, 1999.
• CUENCA, A. M. B. et al. Capacitação no uso das bases Medline e Lilacs: avaliação de conteúdo, estrutura e metodologia. Ciência da Informação, v. 28, n. 3, p. 340-346, 1999.
• CUENCA, A. M. B. et al. Avaliação da capacitação de usuários para a recuperação da informação: o caso de uma biblioteca acadêmica. Revista Brasileira de Biblioteconomia e Documentação, v. 4, n. 1, p. 46-58, 2008. Disponível em: <http://rbbd.febab.org.br/rbbd/article/view/60/75>. Acesso em: 27 jan. 2015.
  » http://rbbd.febab.org.br/rbbd/article/view/60/75
• DANCEY, C. P.; REIDY, J. Estatística sem matemática para psicologia: usando SPSS para Windows. 3. ed. Porto Alegre: Artmed, 2006.
• GRUPPEN, L. D. et al. A controlled comparison study of the efficacy of training medical students in evidence-based medicine literature searching skills. Medicine, v. 80, n. 10, p. 940-944, 2005.
• GUERRERO, J.C. Competência informacional e a busca de informações científicas: um estudo com pós-graduandos da Faculdade de Ciências Agronômicas da UNESP campus de Botucatu. 2009. 111f. Dissertação (Mestrado em Ciência da Informação) - Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília, 2009.
• KIRKPATRICK, D. L. Evaluation of training. In: CRAIG, R. L.; BITTEL, L. R. (Ed.). Training and development handbook. New York: McGraw-Hill, 1967. p. 87-112.
• LANCASTER, F. W. Avaliação de serviços de bibliotecas. Brasília: Briquet de Lemos, 2004.
• LOPES, I. L. Estratégia de busca na recuperação da informação: revisão da literatura. Ciência da Informação, v. 31, n. 2, p. 60-71, 2002.
• MACHADO, M. N. O comportamento de busca de informação dos profissionais médicos em um hospital universitário público brasileiro. 2014. 176f. Tese (Doutorado em Ciência da Informação) - Escola de Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2014.
• MARTÍNEZ-SILVEIRA, M. S. A informação científica na prática médica: estudo do comportamento do médico-residente. 2005. 184f. Dissertação (Mestrado em Ciência da Informação) - Instituto de Ciência da Informação, Universidade Federal da Bahia, Salvador, 2005.
• MUELLER, S. P. M. A ciência, o sistema de comunicação científica e a literatura científica. In: CAMPELLO, B.S. et al. (Org.). Fontes de informação para pesquisadores e profissionais. Belo Horizonte: Ed. UFMG, 2000. p. 21-34.
• RAYNOR, M.; CRAVEN, J. Looking beyond satisfaction: evaluating the value and impact of information skills training. Health Information and Libraries Journal, v. 32, n. 1, p. 73-79, 2015.
• SANTOS, C. A.; CASARIN, H. C. S. Habilidades informacionais abordadas em instrumentos de avaliação de competência informacional. Informação & Sociedade: Estudos, v. 24, n. 3, p. 135-144, 2014.
• STEVENSON, P. Evaluating educational interventions for information literacy. Health Information and Libraries Journal, v. 29, n. 1, p. 81-86, 2012.
• VINCENT, B. R. L. Competência em informação de alunos de pós-graduação em Saúde Pública. 2011. 166f. Tese (Doutorado em Saúde Pública) - Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, 2011.
• WILSON, T. D. Models in information behaviour research. The Journal of Documentation, v. 55, n. 3, p. 249-270, 1999.
• WILSON, T. D. Human information behavior. Information Sciences, v. 3, n. 2, p. 49-53, 2000.
• WILSON, T.D. 60 years of the best in information research: on user studies and information needs. Journal of Documentation, v. 62, n. 6, p. 658-670, 2006.

Datas de Publicação

• Publicação nesta coleção
  Apr-Jun 2018

Histórico

• Recebido
  17 Abr 2017
• Aceito
  13 Jun 2018