Adaptação de um instrumento para avaliação do impacto de bibliotecas escolares: estudo com o questionário do Student Learning Through Ohio School Libraries (OELMA)

Adaptation of an instrument to evaluate the impact of school libraries: study with the Student Learning Through Ohio School Libraries (OELMA) questionnaire

RESUMO

O impacto das bibliotecas escolares na aprendizagem de alunos não tem sido verificado de forma sistemática devido à falta de instrumentos adequados, em particular no contexto nacional. Realizou-se um estudo com o objetivo de adaptar o instrumento utilizado na pesquisa Student Learning through Ohio School Libraries (OELMA) do Center for International Scholarship in School Libraries à realidade brasileira com relação a conteúdo, estrutura das questões, nível de complexidade e linguagem. Após adequações e tradução do questionário para o português a versão foi validada por três juízes. O questionário então foi aplicado a três turmas do ensino fundamental brasileiras. Foram analisadas as respostas obtidas em relação ao propósito das questões e verificados os registros da observação da atitude das crianças durante aplicação. A partir dos resultados, foi elaborada uma nova versão do questionário que foi aplicado a turmas de 4º e 5º ano do ensino fundamental. Os resultados apontaram que a maior parte das dúvidas dos respondentes e problemas relacionados às questões da primeira versão do questionário foram sanadas e que ele está adequado à realidade e atualidade brasileira, principalmente com relação ao conteúdo. Estudos complementares ampliados podem aferir a adequação e indicar possíveis necessidades de novas adequações e ou complementações.

Palavras-chave:
Biblioteca escolar; Instrumento de avaliação; Impacto; OELMA

ABSTRACT

The impact of school libraries on student learning has not been systematically verified due to the lack of adequate tools, particularly in the national context. This study aims to adequate the instrument used in the Student Learning through Ohio School Libraries research of the Center for International Scholarship in School Libraries to the Brazilian reality about its content, structure of the questions, the level of complexity and language. After adjustments and translation of the questionnaire into Portuguese, validated by three judges, it was applied to three classes of a Brazilian elementary school. We analyzed the responses regarding the purpose of the questions and checked the records observing the children´s attitude during the application. Based on the results, a new version of the questionnaire was elaborated and applied to classes of 4th and 5th year of elementary school. The results showed that most of the doubts and problems related to the questions in the first version of the questionnaire were resolved and it was adequate to the current Brazilian reality, especially concerning the content. Large-complementary studies can check his adequacy and the possible need for other adjustments.

Keywords:
School libray; Evaluation instrument; Impact; OELMA

1 Introdução

A avaliação é um aspecto extremamente necessário para a constante melhoria e aperfeiçoamento de qualquer produto, serviço, instrumento, programa, processo de ensino-aprendizagem, entre outros dentro e fora das bibliotecas escolares. A School Libraries Section Standing Committee da International Federation of Library Associations and Institutions - IFLA explica que a avaliação em bibliotecas escolares contribui diretamente para melhoria dos seus produtos e serviços, de modo a alinhá-los com os objetivos da escola. Permite demonstrar os benefícios alcançados, prover as evidências necessárias para aperfeiçoá-los e ajuda a evidenciar para os estudantes, professores, equipe da biblioteca e da escola o valor e a importância que eles detêm. A avaliação bem sucedida da biblioteca leva à renovação de programas e serviços e ao desenvolvimento de novos (SCHOOL LIBRARIES SECTION STANDING COMMITTEE, 2015, p. 49).

A IFLA School Libraries Section Standing Committee (2015) complementa que a avaliação de impacto para uma biblioteca escolar, mais especificamente, tem foco no conceito de “valor-agregado” e se destina a identificar a contribuição das bibliotecas escolares em alguns aspectos de aprendizagem dos alunos, como:

• Atividades e projetos de pesquisa;

• Uso de fontes de informação (identificação da fonte, confiabilidade, validade e relevância da informação);

• Capacidade de criar produções confiáveis e bem informadas;

• Responsabilidade em gerir sua identidade digital. (IFLA SCHOOL LIBRARIES SECTION STANDING COMMITTEE, 2015).

Através da avaliação, pode-se verificar como os alunos desenvolvem seus conhecimentos e entendimento sobre os conteúdos curriculares, o tratamento da informação e o desenvolvimento de habilidades que serão úteis para a escola, no trabalho e sua vida em geral. (IFLA SCHOOL LIBRARIES SECTION STANDING COMMITTEE, 2015).

As Práticas Baseadas em Evidências são uma maneira de auxiliar nesta avaliação de impacto, utilizando dados para tomar decisões através de uma abordagem holística e integrada. Todd (2007 apud IFLA SCHOOL LIBRARIES SECTION STANDING COMMITTEE, 2015) explica que as práticas baseadas em evidências integram três tipos de dados: a) evidência para prática (quando faz-se uso de descobertas de pesquisas formais para práticas informais); b) evidência em prática (quando usa-se a informação produzida localmente para transformar em prática); e evidência de prática (quando se usam dados reportados ou gerados por usuários para demonstrar o trabalho dos bibliotecários).

As práticas baseadas em evidências em bibliotecas escolares, segundo Todd (2015), emergem do conceito de que o bibliotecário escolar deve estar engajado em práticas profissionais e reflexivas que mapeiem, mensurem, documentem e demonstrem o impacto das bibliotecas escolares para a aprendizagem. As práticas baseadas em evidências se desdobram em dois conceitos, o primeiro, relacionado ao uso de pesquisas de evidências, aliado à expertise e raciocínio dos bibliotecários escolares para implementar intervenções de aprendizagem que são efetivas; o segundo, diz respeito ao esforço diário realizado por esses profissionais para destacarem avaliações eficazes que trazem evidências significativas e sistemáticas na dimensão de ensino e aprendizagem. (TODD, 2001)

Exemplos de estudos de práticas baseadas em evidências são os trabalhos realizados pela Center for International Scholarship in School Libraries (CISSL) desde 2003, alguns deles aplicados em larga escala nos Estados Unidos. Um destes estudos é o Student Learning through Ohio School Libraries, criado para a Ohio Educational Library Media Association (OELMA) em parceria com Leadership four School Libraries (L4SL) e conduzido pelos pesquisadores Dr. Ross Todd e Dra. Carol Kuhlthau, que tinham a intenção de identificar a aprendizagem promovida pelas bibliotecas escolares. (CISSL, 2017a; CISSL, 2017e; OELMA, 2017).

O objetivo geral da pesquisa aqui relatada foi adaptar o instrumento utilizado na pesquisa Student Learning through Ohio School Libraries do Center for International Scholarship in School Libraries elaborado por Todd e Kuhlthau (2005) à realidade brasileira. Como objetivos específicos estabeleceu-se: elaborar uma versão do instrumento americano para o português; verificar se a versão traduzida do questionário está adequada à realidade brasileira com relação ao conteúdo, estrutura das questões, nível de complexidade e linguagem.

A escolha do Student Learning through Ohio School Libraries se justifica pelo fato do mesmo ser um instrumento consolidado e utilizado internacionalmente em larga escala em programas de avaliação de bibliotecas escolares e devido à ausência de outros instrumentos com esse caráter no Brasil. Esse fato foi evidenciado após levantamento da literatura e análise do material disponível no CISSL da RUTGERS (School of Communication and Information), que embora dispusesse de vários relatórios e artigos entre outros materiais sobre o tema, apenas um possuía o instrumento utilizado no estudo, o que era o interesse para este trabalho.

Sendo assim, esta pesquisa contribui no sentido de adaptar para a realidade brasileira um instrumento que auxilia na avaliação do que vem sendo desenvolvido nas bibliotecas escolares no país, de forma a identificar quais os pontos a serem explorados para melhoria das atividades, proporcionar melhor compreensão do trabalho de ensino-aprendizagem junto à comunidade escolar, maior conhecimento e avaliação dos instrumentos didático-pedagógicos e recursos utilizados nestes espaços, e qual a visão dos alunos sobre a biblioteca escolar.

2 Instrumento OELMA

O Student Learning through Ohio School Libraries foi um estudo criado para a Ohio Educational Library Media Association (OELMA) em parceria com Leadership 4 School Libraries (L4SL) e foi desenvolvido através do programa federal Library Services and Technology Act (LSTA) da Biblioteca do Estado de Ohio (State Library of Ohio), E.U.A., e pelo Institute of Museum and Library Services (IMLS) (CISSL, 2017e). A pesquisa foi conduzida pelos pesquisadores Dr. Ross Todd e Dra. Carol Kuhlthau e procurou verificar como as bibliotecas escolares ajudam os alunos na aprendizagem dentro e fora da escola. Essa pesquisa foi realizada entre outubro de 2002 e dezembro de 2003, em 39 escolas do estado de Ohio nos Estados Unidos (CISSL, 2017a; CISSL, 2017e; OELMA, 2017).

A coleta de dados da pesquisa se deu através de dois questionários, sendo uma versão para os alunos e outra com algumas adaptações para os professores. Os questionários foram disponibilizados através do servidor Rutgers University Web System. Neste estudo, analisa-se somente o questionário aplicado aos alunos. Responderam ao questionário 13.123 estudantes matriculados no que equivale no Brasil ao 3ª ano do Ensino Fundamental I até o 3º ano do Ensino Médio (grades 3rd to 12th) (TODD; KUHLTHAU, 2005; CISSL, 2017e).

As bibliotecas escolares participantes foram selecionadas com base em uma série de diretrizes nacionais e internacionais para bibliotecas escolares, sendo seus critérios e indicadores validados por um Painel Consultivo Internacional composto por nove pesquisadores e líderes em biblioteca escolar, não sendo, no entanto, especificado quais foram estas diretrizes utilizadas. Um Painel de Experts, composto por 11 profissionais da comunidade educacional e bibliotecários escolares de Ohio, foi formado para fazer a seleção final das escolas participantes. Também foram seguidas as diretrizes éticas e de procedimento do Departamento de Educação para trabalhar com menores de 18 anos.

3 Materiais e métodos

Esta pesquisa é de caráter exploratório. Conforme detalham os objetivos, procurou-se elaborar uma versão do instrumento americano para o português; verificar se a versão traduzida do questionário está adequada à realidade brasileira e aos estudantes do ensino fundamental I no Brasil, com relação a: conteúdo, compreensão do enunciado, complexidade e linguagem das questões; disposição das questões no instrumento e seu layout; quantidade de questões. A análise destes itens tem como objetivo adaptar o instrumento de maneira que se possa chegar a uma versão adequada à realidade brasileira e possa ser aplicado em diferentes contextos por professores e bibliotecários, por exemplo, sem a necessidade do acompanhamento de um pesquisador.

3.1 Instrumento

Primeiramente o questionário OELMA foi analisado em sua versão original, no sentido de verificar como foi sua abordagem, conteúdo, estrutura, quantidade de questões, linguagem utilizada e as opções de resposta. Assim como sua aplicação e a forma com que os dados foram coletados.

O questionário analisado (TODD; KUHLTHAU, 2005) é composto por 51 questões, sendo 48 questões fechadas apresentadas em forma de escala de Likert (grau de intensidade) e três abertas utilizando a técnica do incidente crítico de Flanagan (1954). As questões foram separadas em sete blocos organizados por tema, denominados pelos autores: Busca por informação; Uso da informação; Conhecimento; Computadores; Leitura; Aprendizagem independente e Conquista (TODD; KUHLTHAU, 2005, tradução nossa).

O quadro a seguir apresenta cada bloco de questões do questionário, a quantidade e o tipo de questões em cada um deles:

Quadro 1
Blocos temáticos, quantidade e tipo de questões do OELMA

Uma análise das questões que compunham cada tópico tendo como base a competência informacional (ACRL, 2000) permitiu identificar que elas condiziam com as seguintes competências: autonomia na busca por informações; fazer um bom uso da informação; obtenção novos conhecimentos e organização dos já adquiridos; melhoria da leitura e escrita; melhoria de desempenho em testes e avaliações.

Outro fato que foi possível observar diz respeito à ênfase do instrumento com relação a certos tópicos, o que pode ser verificado pela concentração de questões, como por exemplo, o conhecimento desenvolvido pelos alunos (10 questões), uso da informação (8 questões) e a aprendizagem independente (8 questões), seguida por busca por informação (7 questões) e uso de tecnologia (7 questões).

Nas questões fechadas, os respondentes deveriam clicar nas opções que indicavam em que medida consideravam a biblioteca útil segundo uma escala de satisfação, conforme a seguinte instrução: “© © © © = muito útil (quando você acha que teve muita ajuda), © © © = útil (quando você acha que a ajuda foi boa), ©© = até que útil (a ajuda que você teve foi mais ou menos), © = pouco útil (quando você acha que tem pouca ajuda)” e quando não sabiam a resposta ou não se aplicava, era indicado que fosse assinada a opção “não se aplica” (TODD; KUHLTHAU, 2005). Por exemplo, na questão “A biblioteca escolar me ajuda a aprender os diferentes passos para buscar e usar a informação” (TODD; KUHLTHAU, 2005, tradução nossa), poderia ser respondido, se o aluno considerasse que a ajuda foi útil, assinalando “© © ©”. É importante ressaltar que não havia uma opção de resposta “não ajuda” no questionário.

O questionário ainda possuía três questões abertas, nas quais foi utilizada a técnica de incidente crítico, sendo que uma fazia parte do bloco 3 e a outra do bloco 6. A terceira questão aberta não estava vinculada a nenhum dos blocos, que é a seguinte: “Agora, lembre-se de uma vez que a biblioteca escolar realmente te ajudou. Escreva sobre essa ajuda que você recebeu e o que você foi capaz de fazer devido a ela” (TODD; KUHLTHAU, 2005, tradução nossa). Tal questão foi utilizada para verificar como se dá essa ajuda na aprendizagem pelo olhar dos alunos, quais os conceitos de ajuda que eles podem elencar, prevendo assim possíveis resultados que poderiam passar despercebidos na pesquisa.

Por fim, com relação às questões de cada bloco, percebeu-se a ausência de alguns tópicos que poderiam contribuir também para evidenciar o papel da biblioteca escolar na aprendizagem, dentro da mesma abordagem. No bloco sete, por exemplo, poderia ser discutido sobre a autonomia para buscar uma informação no acervo e uso da biblioteca escolar mesmo quando não é imposto/solicitado, entre outras.

Após a análise, foi realizado o processo de tradução e adaptação para a língua portuguesa, sem que o instrumento perdesse sua estrutura original, conforme descrito anteriormente. Após a realização da tradução pelas autoras, para validar a tradução, o questionário foi enviado a três juízes, dois brasileiros e um inglês que também possui domínio do português. Os três são doutores e docentes da área de Ciência da Informação. Dois deles são especialistas na temática de biblioteca escolar e conheciam a pesquisa que originou o OELMA. A versão traduzida foi enviada aos três juízes por e-mail juntamente com a versão em inglês para comparação. Foram sugeridas pequenas alterações na redação das opções de resposta de algumas questões.

No que diz respeito a forma de aplicação do questionário original, foi utilizada uma plataforma on-line e os dados obtidos na coleta foram armazenados em uma base de dados da CISSL. No caso deste estudo, os professores das escolas envolvidas na pesquisa foram consultados sobre qual suporte seria mais adequado para a aplicação do questionário e, tanto nas escolas particulares quanto nas públicas participantes do estudo, recomendaram a versão impressa. O motivo para escolha da versão impressa do questionário se deve principalmente por questões de operacionalidade, pois a aplicação dependia da disponibilidade do laboratório de informática das escolas participantes e do acesso à internet adequado, além do conhecimento dos alunos para utilizar o computador para preencher o questionário e também da disponibilidade de tempo para deslocamento das crianças até o laboratório e tempo de aplicação.

Assim, as questões cujas respostas faziam uso da escala de Likert foram adaptadas no que diz respeito à apresentação. No questionário original, que era on-line, para indicar a resposta, o respondente deveria clicar de uma a quatro figuras “©”. No Piloto I, as figuras foram alteradas para “emojis” como são conhecidos: “☺”, os quais as crianças deveriam colorir de acordo com o grau de concordância ou satisfação em relação à pergunta. Para tanto, o questionário exibia a seguinte orientação:

Para responder as próximas questões, pinte os rostinhos indicando o quanto a biblioteca tem sido útil para você, da seguinte forma:

• “☻☻☻☻” = muito útil (quando você acha que teve muita ajuda e foi muito boa);

• “☻☻☻ ☺” = útil (quando você acha que a ajuda foi boa);

• “☻☻ ☺ ☺” = até que útil (a ajuda que você teve foi mais ou menos);

• “☻☺ ☺ ☺” = pouco útil (quando você acha que teve pouca ajuda);

• “☺ ☺ ☺ ☺” = não sei a resposta, não se aplica a minha realidade.

Diante do observado, estas foram as únicas adaptações realizadas do questionário original para a versão Piloto I.

3.2 Procedimentos

Várias escolas da cidade de Marília, no Estado de São Paulo, foram convidadas para participar desta pesquisa. O requisito mínimo era ter uma biblioteca escolar equipada em sua unidade e com profissional bibliotecário atuante. No entanto, apenas uma escola das consultadas aceitou participar. Assim, foi consultada também uma escola particular da cidade de Araçatuba - São Paulo em que atuava um membro do grupo de pesquisa do qual os autores participam. Assim, o estudo Piloto I foi realizado em uma escola pública da rede municipal da cidade de Marília e em uma escola particular de Araçatuba, interior de São Paulo, em um total de 57 participantes. Na escola pública, participaram 51 alunos, correspondendo a 17 do 2º ano, 23 do 3º ano e 11 do 5º ano. As turmas e anos foram selecionados pela diretoria das escolas participantes e de acordo com a disponibilidade do professor no momento da pesquisa. Na escola particular, participaram um total de seis alunos, sendo três do 3º ano e três do 5º ano do ensino fundamental I.

A aplicação do questionário ficou a cargo do professor na escola pública e do bibliotecário na escola privada, uma vez que a proposta é que, uma vez validado, o questionário seja aplicado por bibliotecários e/ou professores sem o auxílio do pesquisador. Na escola localizada em Marília a pesquisadora acompanhou a aplicação do questionário como observadora. Foi elaborado um protocolo de observação para fossem registrados pelos responsáveis pela aplicação os seguintes aspectos durante a aplicação: a atitude das crianças, o tempo de aplicação, questões que suscitaram dúvidas que foram verbalizadas por alunos e professores e questões deixadas sem respostas, pois foi explicado a professores e a alunos respondentes que as questões que não fossem compreendidas deveriam ficar em branco, ou seja, sem resposta. O mesmo aconteceu com relação às palavras que geraram dúvidas em relação ao seu significado. Durante a observação das aplicações foram registradas as palavras de difícil compreensão pelos alunos e aquelas palavras que o professor precisou explicar e apresentar sinônimos, ou exemplificava seu uso em outro contexto. Para complementar, também foi solicitado às crianças que circulassem no próprio questionário as palavras que eles desconhecessem e que precisassem chamar o professor para auxiliá-las quanto ao seu significado. Toda a sistematização acima relatada serviu como base para as alterações do questionário a fim de se obter uma adaptação mais assertiva com relação às necessidades e compreensão das crianças e seus entrevistadores a respeito do questionário, gerando uma nova versão do instrumento, também chamado de Piloto II, que passou por nova aplicação para validação.

O estudo Piloto II, foi aplicado em uma escola municipal da rede pública e em uma escola privada de direito público interno (sem fins lucrativos) para um total de 261 alunos regularmente matriculados no 4º e 5º ano do Ensino Fundamental I, ambas na cidade de Marília. A proposta era que alunos do mesmo grau de escolaridade, porém de realidades distintas pudessem responder o questionário a fim de que se verificasse a adequação do mesmo em diferentes contextos. Participaram desta fase da pesquisa 126 alunos, da escola pública, denominada escola 1, sendo 52 alunos do 4º ano e 74 do 5º ano. A escola privada, escola 2, participou com 135 alunos, 68 alunos do 4º ano e 67 do 5º ano. Todas as turmas de 4º e 5º ano de ambas as escolas participaram da pesquisa respondendo a mesma versão do questionário. Na escola privada, o questionário foi aplicado pelos professores por solicitação da direção da escola. Na escola pública, optou-se pela aplicação pelo bibliotecário para que o procedimento fosse o mesmo nas duas escolas, ou seja, sem a participação da pesquisadora na aplicação, mas apenas no acompanhamento. Para padronizar o processo de aplicação, foi elaborado um guia de observação e aplicação, elaborado com base nos quesitos adotados na versão Piloto I, a fim de garantir que fossem observados os mesmos quesitos em ambas as versões.

3.4 Forma de análise dos resultados

Todos os dados obtidos durante e através da aplicação dos instrumentos foram utilizados para servir de parâmetros para as alterações realizadas no questionário. Os dados foram analisados de forma conjunta, a fim de que as informações coletadas de cada método servissem para complementar, reforçar e justificar as alterações no instrumento.

A estrutura do questionário foi avaliada de acordo com o feedback dos professores, observação do nível de dispersão da turma e anotações da pesquisadora sobre os comentários dos alunos sobre as questões e blocos. O tempo de aplicação e a aplicabilidade foram analisados de forma correlacionada, de forma que quanto maior fosse o tempo de aplicação, menor era a aplicabilidade do questionário e vice-versa.

No que diz respeito ao material utilizado para análise dos resultados, as anotações feitas pela pesquisadora durante a aplicação foram transcritas, categorizadas e analisadas de acordo com o conteúdo, significado de palavras, estrutura e tempo de aplicação dos questionários. Foram somadas a elas, as notas das observações e comentários (feedbacks) dos professores e bibliotecários que acompanharam a aplicação do Piloto I e, também, as respostas do guia de observação e aplicação preenchido por eles no Piloto II.

As respostas obtidas nos questionários, tabuladas no Microsoft Excel, foram analisadas de forma qualitativa e quantitativa, levando em consideração o preenchimento dos questionários, adequação das respostas às perguntas ao propósito das questões, a quantidade de respostas em branco (sem resposta) e outras variações que pudessem ser evidenciadas.

4 Resultados

Nesta seção serão apresentados os resultados dos dois estudos piloto e as adequações realizadas no instrumento.

4.1 Estudo piloto I

Para melhor visualizar as questões que mais geraram dúvidas nessa versão do questionário, foi elaborado o Gráfico 1, no qual é indicada a frequência com que cada turma (ano) participante fez perguntas em relação às questões.

Gráfico 1
Frequência de dúvidas em relação às questões do Piloto I

Através deste gráfico fica evidente que a questão que gerou mais dúvidas entre as cinco salas pesquisadas foi a dissertativa final, com quatro menções; a segunda com mais dúvidas, foi a questão B do bloco 3, com três; e dividindo a terceira posição, a questão F do bloco 4 e a questão B do bloco 6, com duas citações cada.

Outro ponto importante evidenciado no Piloto I foram as principais dúvidas e problemas relatados com relação a essa versão do instrumento. Para uma melhor visualização da frequência em que cada turma apontou estes problemas elaborou-se a tabela 1.

Tabela 1
Frequência de dúvidas e problemas relatados Piloto I por turma

Principais dúvidas e problemas relatados	2º pública	3º pública	5º pública	3º particular	5º particular	Frequência total
Quantidade de questões	1	1	1	1	1	5
Dúvidas em questões específicas	1	1	1	1	1	5
Resistência ou dificuldade a questões dissertativas	1	1	1	1	1	5
Falta de compreensão das instruções de preenchimento do questionário	1	0	1	1	0	3
Frequência de respostas em branco	1	1	0	0	1	3
Dúvidas em relação ao vocabulário	1	1	1	0	0	3
Não entendimento do conceito de trabalho, tarefa, projetos	1	1	0	0	0	2
Questões repetitivas	1	1	0	0	0	2
Entendimento sobre o que é um questionário de opinião	1	0	0	0	0	1
Crianças não alfabetizadas	1	0	0	0	0	1

• Fonte: Elaborado pelas Autoras

Os itens que apresentaram problemas e dúvidas na versão do questionário do Piloto I para todas as turmas foram: quantidade de questões, dúvidas em questões específicas (apresentadas no Gráfico 1) e resistência ou dificuldade em relação às questões dissertativas. Em seguida, a falta de compreensão sobre as instruções de preenchimento do questionário, pois os professores tinham que explicar várias vezes como deveria ser respondido e/ou alguns alunos que coloriram as instruções, dificultando seu entendimento posteriormente; e frequência de respostas em branco das questões de caracterização dos sujeitos e as questões dissertativas, pois nas outras questões as respostas em branco não poderiam ser consideradas de fato um problema, pois se a criança não pintasse nada, a princípio, significava que o conteúdo da questão não se aplicava a realidade dela; e as dúvidas com relação ao vocabulário, que eram perguntadas pelos alunos aos professores ou assinaladas por eles (circuladas) nos questionários. Logo em seguida, em ordem de frequência, a falta de entendimento por parte dos alunos dos seguintes termos: trabalho, tarefa e projetos. As dúvidas dos alunos implicaram em que as professoras perdessem muito tempo explicando a distinção entre eles; e questões consideradas repetitivas, os alunos verbalizavam que as questões pareciam todas iguais.

É perceptível através dos dados da Tabela 1 que o 2º ano da escola pública demonstrou ter dúvidas em todos os quesitos elencados, e também foi a única turma a demonstrar dúvidas e problemas com relação ao entendimento sobre o que é um questionário de opinião e a ter crianças não alfabetizadas.

O não entendimento sobre o conceito do item “trabalho, tarefa e projetos” apresentados nos blocos e questões 2d, 3a, 3b, 4a, 6e, 7a, 7b, 7d, 7e, foi outro ponto evidenciado apenas pelas crianças dos 2º e 3ºs anos de escola pública. É possível que eles ainda não estivessem familiarizados com este tipo de atividade.

Estes resultados são de suma importância, pois indicam o que precisa ser ajustado a fim de que haja uma melhor compreensão do conteúdo abordado no instrumento. A correção e adequação do instrumento tomou como base a análise de cada um desses pontos acima mencionados, chegando à sua segunda versão, que para sua validação, passou pelo mesmo procedimento de coleta e análise de dados (Piloto II), relatado na próxima seção.

4.2 Estudo piloto II

A primeira alteração realizada no questionário se deu na primeira página, na caracterização dos sujeitos da pesquisa, mais especificamente na pergunta sobre o sexo do participante. Optou-se por adicionar ao texto uma ilustração para ambos os sexos, pois as crianças por vezes ficavam em dúvida sobre o significado dos termos masculino e feminino, vide Apêndice.

As instruções de como preencher o questionário também foram modificadas, sendo utilizado apenas uma figura (rostinhos) para indicar cada grau da escala, inspirado na escala de faces (CLARO, 1993). Dessa maneira, a criança deveria colorir apenas o rostinho correspondente a sua resposta, da seguinte maneira:

“ ” ajuda muito “ ” ajuda “ ” mais ou menos “” ajuda pouco

Sobre a estrutura do questionário, os blocos se mantiveram, porém optou-se por colocar o começo das frases “A biblioteca da escola tem me ajudado a:” no cabeçalho do bloco de questões, como uma introdução aos tópicos de cada questão. No estudo piloto I, as questões tinham a seguinte estrutura:

Figura 1
Exemplo de questão e opções de resposta do questionário no estudo Piloto I

Já na versão do Piloto II, optou-se por simplificar a redação da questão para que não ficasse repetitiva. Abaixo há um exemplo da mesma questão do exemplo anterior segundo a nova versão.

Figura 2
Exemplo de estrutura de questão do questionário do estudo Piloto II

As principais alterações realizadas na versão do questionário para o Piloto II foram: o agrupamento e diminuição da quantidade de questões, passando de 51 para 34 questões; a diminuição da quantidade de páginas; questionário mais lúdico (uso de figuras para representar os sexos e rostinhos com expressões faciais para representar a escala de Likert); vocabulário mais fácil (trocando termos técnicos, como por exemplo, fontes de informação, por livros, revistas e outros materiais de mais fácil identificação pelas crianças); modificação nos enunciados das questões (principalmente nas dissertativas); modificação da forma de preenchimento da escala das respostas, sendo no Piloto I necessário colorir a quantidade de rostinhos de acordo com grau de ajuda/satisfação com a biblioteca (variando entre um “pouco útil” à quatro “muito útil”), passando para a pintura de somente um rostinho com a expressão facial correspondente ao nível desejado, tornando mais claras as opções de resposta e demandando menos tempo para o preenchimento pela criança e, consequentemente, causando menos cansaço e possivelmente uma maior participação dos respondentes; resumo e alteração das instruções de preenchimento do questionário e a identificação dos anos de escolares mais indicados para aplicação do questionário (a partir do 4º e 5º anos).

Com relação à adaptação do instrumento, foram alteradas algumas questões que, a nosso ver, não faziam tanto sentido na língua portuguesa, e outras precisaram passar por uma atualização para se adequarem às novas tecnologias e à realidade em que as crianças vivem (alteração de assuntos ligados a computadores para internet).

Um dos primeiros pontos a ser analisado e comparado entre as duas versões do instrumento para validar suas alterações diz respeito à aplicabilidade. No Piloto I, foi observado que a versão do questionário não seria adequada aos alunos do 2º ano, devido ao tempo demandado. O 3º ano teve uma média de tempo similar à dos 4º e 5º anos do Piloto II, se ignorada as variáveis que podem alterar significativamente o tempo de aplicação.

O mesmo acontece se analisado o tempo total de aplicação levados nos Piloto I e II, há uma diminuição de 16 minutos no tempo de respostas do Piloto II. Porém, 40 minutos ainda é considerado um tempo muito alto para a aplicação de um questionário para crianças de 7 a 9 anos, devido a diversos fatores, como a dificuldade de leitura e interpretação e relacionar as ideias do enunciado; o tempo que uma criança dessa faixa etária consegue se manter concentrado em uma atividade; o horário disponível dos professores para execução de atividades fora do cronograma escolar, entre outras.

A partir dos resultados acima identificados, pensou-se também na proposta de aplicação fragmentada do questionário, pois como a estrutura do instrumento está em blocos independentes, isto possibilita que se faça aplicação de um bloco por dia, por exemplo. Também permite que o tempo de aplicação seja mais curto, podendo ser administrado entre as atividades planejadas no cronograma escolar e possivelmente gerando menos reclamações dos alunos devido à extensão do questionário.

A maior parte das dúvidas e problemas relatados no Piloto I foram sanados no Piloto II, como reclamações sobre a quantidade de questões; a falta de compreensão das instruções de preenchimento do questionário; não entendimento do conceito de trabalho, tarefa, projetos; dúvidas em relação ao vocabulário; questões repetitivas; entendimento sobre o que é um questionário de opinião e dificuldades na participação devido às crianças não serem ainda alfabetizadas.

Outros pontos tiveram uma redução, porém não foram resolvidos de fato, como as dúvidas em questões específicas, discutidas na seção anterior; a frequência de respostas em branco, considerando apenas as relacionadas à caracterização dos sujeitos e as dissertativas, pois conforme explicado nas instruções de preenchimento do questionário, as respostas da escala de Likert que fossem deixadas em branco seriam entendidas como “não se aplica”, não entrando assim, nessa análise.

Outro aspecto que está diretamente relacionado à quantidade de respostas em branco, diz respeito à resistência ou dificuldade às questões dissertativas. Apesar de a porcentagem de respostas em branco ter diminuído para quase metade de uma versão para a outra do instrumento, este ainda é um quesito que deve ser melhor analisado, principalmente com relação aos alunos de escolas públicas, nas quais a incidência de respostas em branco foi maior que nas privadas, de forma que se chegue a uma solução que cause menos desconforto nas crianças quando se depararem com esse tipo de questão. Este resultado indica a dificuldade de escrita principalmente entre as crianças da escola pública, aspecto ao qual a leitura e a biblioteca poderiam contribuir significativamente para uma melhora.

Por fim, a análise demonstra que muitas alterações realizadas no questionário para o desenvolvimento do Piloto II foram validadas, porém ainda há a necessidade de novos estudos mais amplos e aprofundados que levem a modificações que permitam que o questionário esteja adequado em sua totalidade à realidade brasileira e aos seus participantes, garantindo respostas condizentes com as opiniões e mais próximas aos acontecimentos vivenciados no cotidiano dos estudantes brasileiros.

5 Considerações finais

Em síntese, a primeira versão do instrumento utilizado nesta pesquisa (Piloto I), foi uma versão traduzida com poucas adaptações e modificações relacionadas ao vocabulário do questionário utilizado na pesquisa Student Learning through Ohio School Libraries do Center for International Scholarship in School Libraries. Esse instrumento foi aplicado em turmas de escolas da rede pública e particular de ensino, sendo observados o comportamento dos participantes no momento de sua aplicação, o feedback dos professores e bibliotecários e respostas do questionário.

A partir da análise dos dados obtidos no estudo Piloto I foi identificada uma grande dificuldade por parte alunos do 2º e 3º ano do Ensino Fundamental I em responder o questionário, já evidenciando que o nível de complexidade das questões não era adequado a todos os alunos dos anos escolares conforme realizado na pesquisa original.

Dessa forma, por meio das análises do conteúdo, vocabulário, leitura e interpretação, estrutura e tempo de aplicação do Piloto I, foram realizadas alterações nas questões, depois, modificações no instrumento que resultaram no estudo Piloto II. Modificações estas como: o agrupamento e diminuição da quantidade de questões; a diminuição da extensão do questionário; apresentação do questionário mais lúdica; vocabulário mais fácil; modificação nos enunciados das questões; menos ilustrações para colorir; resumo e alteração das instruções de preenchimento do questionário e definição dos anos de escolares mais indicados à participação (4º e 5º anos). Com relação à adaptação do instrumento, foram alteradas algumas questões que não fizeram tanto sentido na língua portuguesa, e outras precisaram passar por uma atualização de para se adequarem às novas tecnologias e à realidade que os alunos vivenciam no cotidiano (alteração de assuntos ligados a computadores para internet).

As alterações realizadas no estudo Piloto II passaram pelas mesmas avaliações realizadas do estudo Piloto I a respeito da leitura e interpretação dos enunciados, conteúdo, vocabulário, estrutura e tempo de aplicação do questionário.

Os resultados apontaram que a maior parte das dúvidas apresentadas pelos alunos e problemas relacionados às questões do estudo Piloto I foram sanados no estudo Piloto II. Nos três itens que não foram totalmente solucionados, se comparados entre as duas versões, o Piloto II demonstrou ter havido uma diminuição na incidência de relatos de problemas. Mesmo sendo um ponto positivo, ainda será necessário a realização de novas análises e alterações para que se chegue a uma solução definitiva.

Entretanto, ainda há a necessidade de algumas alterações para que se chegue a uma versão final do questionário, a fim de que o instrumento possa ser aplicado em outras bibliotecas e escolas, não só as participantes desta pesquisa, sem o acompanhamento dos pesquisadores. Deste modo, sugere-se, por exemplo, que sejam realizadas outras pesquisas que permitam eliminar as dúvidas apontadas pelos respondentes, em particular nas seguintes questões e opções de resposta: “[A biblioteca da escola tem me ajudado a] saber anotar e reescrever as ideias principais com as minhas próprias palavras” (Bloco 3, c); [A biblioteca da escola tem me ajudado a] formar a minha própria opinião sobre as coisas” (Bloco 3, h); “Que assuntos interessantes fora dos estudos a biblioteca já ajudou você a descobrir?” (Bloco 5, d); “Agora, lembre-se de uma vez que a biblioteca da escola realmente te ajudou. Conte como a biblioteca ajudou você. E o que você foi capaz de fazer com a ajuda da biblioteca?” (Dissertativa final).

A pesquisa também evidenciou a dificuldade principalmente dos alunos do ensino público em relação a escrita, através da resistência demonstrada pelos mesmos em responder questões dissertativas, o que reforça a importância da presença e atuação da biblioteca em conjunto com os professores em prol do processo de ensino-aprendizagem dos alunos.

Para estudos futuros recomenda-se aplicar o instrumento proposto em uma quantidade maior de alunos com o propósito de aprimorar o instrumento, e, em um segundo momento, utilizar métodos quantitativos de análise a fim de assegurar a validade e confiabilidade do instrumento.

Referências

• ASSOCIATION OF COLLEGE AND RESEARCH LIBRARIES. Information literacy competency standards for higher education. Chicago, IL, 2000. Disponível em: https://alair.ala.org/bitstream/handle/11213/7668/ACRL%20Information%20Literacy%20Competency%20Standards%20for%20Higher%20Education.pdf?sequence=1&isAllowed=y Acesso em: 2 jan. 2015.
  » https://alair.ala.org/bitstream/handle/11213/7668/ACRL%20Information%20Literacy%20Competency%20Standards%20for%20Higher%20Education.pdf?sequence=1&isAllowed=y
• CENTER FOR INTERNATIONAL SCHOLARSHIP IN SCHOOL LIBRARIES (CISSL). Impact Studies, 2017. Disponível em: <http://cissl.rutgers.edu/joomla-license/impact-studies>. Acesso em: 01 set. 2017a.
  » http://cissl.rutgers.edu/joomla-license/impact-studies
• CENTER FOR INTERNATIONAL SCHOLARSHIP IN SCHOOL LIBRARIES (CISSL). Impact Studies - OELMA, 2017e. Disponível em: <http://cissl.rutgers.edu/joomla-license/impact-studies/53-impact-studies-oelma>. Acesso em: 22 jun. 2016.
  » http://cissl.rutgers.edu/joomla-license/impact-studies/53-impact-studies-oelma
• CLARO, M. T. Escala de faces para avaliação da dor em crianças: etapa preliminar. 1993. 60 p. Dissertação (Mestrado) - Escola de Enfermagem de Ribeirão Preto, Universidade de São Paulo, 1993.
• FLANAGAN, J.C. The critical incident technique. Psychological Bulletin, [S.l.], v. 51, n. 4, p. 327-358, 1954.
• IFLA. Alexandria Manifesto on Libraries, the Information Society in Action. Egito: IFLA, 2005. Disponível em: < http://www.ifla.org/publications/alexandria-manifesto-on-libraries--the-information-society-in-action>. Acesso em: 19 fev. 2015.
  » http://www.ifla.org/publications/alexandria-manifesto-on-libraries--the-information-society-in-action
• IFLA SCHOOL LIBRARIES SECTION STANDING COMMITTEE; SCHULTZ-JONES, Barbara (Ed.); OBERG, Dianne (Ed.). IFLA School Library Guidelines. 2. ed. rev. Holanda: IFLA, 2015. Disponível em: <https://www.ifla.org/files/assets/school-libraries-resource-centers/publications/ifla-school-library-guidelines.pdf>. Acesso: 11 jun. 2017.
  » https://www.ifla.org/files/assets/school-libraries-resource-centers/publications/ifla-school-library-guidelines.pdf
• OHIO EDUCATIONAL LIBRARY MEDIA ASSOCIATION (OELMA). Student Learning through Ohio School Libraries: The Ohio Research Study, 2017. Disponível em: <http://www.oelma.org/ohio-research-study/>. Acesso em: 08 jan. 2017.
  » http://www.oelma.org/ohio-research-study
• TODD, R. J. Evidence-based practice and school libraries: Interconnections of Evidence, Advocacy & Actions. Knowledge Quest, [S.l.], v. 43, n. 3, p. 8-15, jan.-fev. 2015. Disponível em: <http://files.eric.ed.gov/fulltext/EJ1048950.pdf>. Acesso em: 10 fev. 2016.
  » http://files.eric.ed.gov/fulltext/EJ1048950.pdf
• TODD, R. J. Transitions for Preferred Futures of School Libraries: Knowledge Space, Not Information Place; Connections, Not Collections; Actions, Not Positions; Evidence, Not Advocacy. International Association of School Libraries Conference, Auckland, New Zealand, 2001
• TODD, R. J.; KUHLTHAU, C. Student learning through Ohio school libraries, Part 1: How effective school libraries help students. School Libraries Worldwide, v. 11, n. 1, p. 63-88, 2005.

APÊNDICE - Versão 2 do instrumento

Datas de Publicação

• Publicação nesta coleção
  02 Dez 2022
• Data do Fascículo
  Jul-Sep 2022

Histórico

• Recebido
  28 Set 2020
• Aceito
  30 Set 2022