Inteligência artificial no levantamento bibliográfico em bases de dados científicos: comparando expressões de busca no ChatGPT, Copilot e GeminiRESUMO
Introdução: A discussão acerca do uso de inteligência artificial está em ascensão e presente em todas as áreas do conhecimento. Nas bibliotecas, estas ferramentas estão cada vez mais presentes em atividades que compõem o serviço de referência, como a elaboração de estratégias de busca.
Objetivo: Examinar o potencial de três ferramentas de inteligência artificial ao executar comandos diretos, relacionados à elaboração de expressões de busca.
Metodologia: O estudo está caracterizado como pesquisa aplicada, empírica e de método comparativo. Foram selecionadas três ferramentas de inteligência artificial: Chat GPT-4, O Copilot e o Gemini. A partir disso, foram selecionados descritores, termos livres e expressões de busca baseadas em um objetivo fictício de pesquisa. Prompts indicaram o que as ferramentas deveriam retornar em relação à pesquisa e a análise focou em avaliar o entendimento dos comandos, bem como a existência ou não de erros de sintaxe.
Resultados: Em solicitações mais mecânicas o ChatGPT, seguido do Copilot, demonstraram melhor desempenho em relação aos demais, com pouca ou nenhuma distorção. Já em solicitações mais contextuais, o Gemini apresentou melhores resultados. Foi possível observar erros em operadores booleanos e demais operadores avançados de pesquisa, além da execução de ações que não foram solicitadas.
Conclusão: As ferramentas são hoje grandes aliadas de bibliotecários e pesquisadores em tarefas repetitivas e corretivas. Contudo, os testes realizados demonstram que as ferramentas por si só não produzem expressões de busca de alta sensibilidade, necessitando de supervisão e adequações antes da estratégia ser empregada.
PALAVRAS-CHAVE:
Revisões de literatura; Inteligência artificial; Recuperação da informação; Biblioteconomia; Bibliotecários
ABSTRACT
Introduction: The discussion on the use of artificial intelligence is expanding and present across all fields of knowledge. In university libraries, these tools are increasingly being utilized in activities that constitute reference services, such as the development of search strategies.
Objective: To assess the potential of three artificial intelligence tools in executing direct commands related to the construction of search expressions.
Methodology: This study is characterized as applied, empirical research employing a comparative method. Three artificial intelligence tools were selected: ChatGPT-4, Copilot, and Gemini. Based on this selection, descriptors, free terms, and search expressions were developed according to a fictional research objective. Prompts were designed to specify the expected outputs from the tools concerning the search process, and the analysis focused on evaluating their comprehension of commands as well as the presence or absence of syntax errors.
Results: In more mechanical requests, ChatGPT, followed by Copilot, exhibited superior performance compared to the other tools, with minimal or no distortion. Conversely, in more context-dependent requests, Gemini yielded better results. Errors were observed in Boolean operators and other advanced search operators, as well as in the execution of unintended actions.
Conclusion: These tools are currently valuable allies for librarians and researchers in repetitive and corrective tasks. However, the conducted tests indicate that the tools alone do not generate highly sensitive search expressions, requiring supervision and adjustments before the strategy is implemented.
KEYWORDS:
Literature Reviews; Artificial Intelligence; Information Retrieval; Librarianship; Librarians
1 INTRODUÇÃO
Ferramentas digitais são aliadas dos pesquisadores e bibliotecários no processo de pesquisa científica há muitos anos. Recentemente, ferramentas de Inteligência Artificial (IA) se popularizaram entre a comunidade e com elas muitas discussões acerca do uso, limites, plágio, benefícios, entre outros desdobramentos.
Se por um lado seu uso é criticado, principalmente quando utilizado como fonte de informação a ser citada em pesquisas, por outro, a IA pode auxiliar em tarefas cotidianas do pesquisador que são repetitivas ou corretivas.
Na produção de um artigo do tipo revisão, um dos processos da pesquisa científica é a elaboração da estratégia de busca. Isso consiste em determinar as fontes de informação, os termos que representam a pesquisa, os operadores avançados e demais recursos, ou seja, a tradução do objetivo de pesquisa para a estratégia de busca.
Parte desse trabalho é mecânico, sendo, portanto, valioso o auxílio de um robô que possa desempenhar algumas atividades sob supervisão dos pesquisadores. O estudo desenvolvido por Alaniz et al (2023). obteve resultados positivos ao utilizar o ChatGPT para construir expressões de busca com operadores booleanos. Wang et al. (2023) também chegou em resultados promissores em testes na mesma IA para consultas booleanas para revisões sistemáticas, mas salienta que as consultas geradas possuem alta precisão e baixa revocação, o que denota a recuperação de referências altamente relevantes ao custo de muitos documentos relevantes terem sido deixados de fora.
Atualmente tem sido cada vez mais demandado, em bibliotecas universitárias, o oferecimento de atendimentos individualizados com foco na orientação para construção da estratégia de busca do usuário (Pintro; Silveira; Lehmkuhl, 2023). Esse tipo de serviço tem ganhado relevância, pois os pesquisadores possuem dificuldades em construir estratégias de busca de alta sensibilidade que lhe são exigidas. Além de não conseguirem acompanhar a velocidade com que os recursos de busca dos Sistemas de Recuperação da Informação (SRI) se modificam.
É papel das bibliotecas acompanhar a chegada de novas ferramentas de pesquisa, aprender a sua função e uso, e após isso, guiar a comunidade acadêmica nas práticas de pesquisa mais avançadas. É função do bibliotecário orientar os usuários no meio de todas essas novas ferramentas que surgem no processo de automatização da pesquisa científica, para isso, é preciso estar atualizado em relação as mais recentes tendências sobre recuperação da informação, e isso incluir IA (Tu; Nacke; Rogers, 2025).
Em um contexto crescente de automatização de atividades, este estudo foi guiado com o intuito de testar a performance de inteligências artificiais como ferramentas para uma etapa específica da produção de artigos, e responder a pergunta: como as IA Generativas podem auxiliar na construção de expressões de busca em bases de dados científicos?
Para responder à questão de pesquisa, objetivou-se examinar o potencial de três ferramentas de IA ao executar comandos diretos relacionados à formação de expressões de busca. Sendo elas o Chat GPT, o Copilot (antigo Bing Chat) e o Gemini (antigo Bard) do Google.
Este artigo ainda contribui com o avanço de uma limitação apresentada por Robyn e Barnett (2024) que testou unicamente o ChatGPT e indicou que o uso de outras IAs poderia apresentar resultados diferentes, estas estão contempladas no presente estudo.
A justificativa de tal estudo se apoia na vivência profissional dos autores que aqui escrevem, em que estratégias de busca de alta sensibilidade são demandadas cada vez mais pelos usuários da área da saúde. Nesse contexto, os pesquisadores recorrem aos bibliotecários de forma massiva, fazendo com que os horários disponíveis para atendimento se esgotem rapidamente. O que exige do bibliotecário a busca por recursos que o auxiliem a desempenhar as tarefas de forma eficiente e eficaz.
Como pressuposto, o ponto de partida é que é possível utilizar tais ferramentas de forma a agilizar o trabalho dos bibliotecários no auxílio à elaboração de estratégias de busca, atividade comum aos profissionais do serviço de referência, sobretudo na área da saúde.
2 REVISÃO DE LITERATURA
Apesar de não ser um assunto recente, a Inteligência Artificial (IA) tem sido tema central de grande parte das áreas do conhecimento do final de 2022 em diante (Borgohain; Bhardwaj; Verma, 2024; Baber et al., 2023). O termo foi criado em 1956 e a contar desta época tem sido constantemente aprimorado por diversas pesquisas da ciência da computação. Entretanto, foi em novembro de 2022 com o lançamento do Chat GPT que o assunto reverberou com maior impacto nas demais áreas de pesquisa, bem como consequência de um aumento expressivo de outras ferramentas on-line mais acessíveis ao público em geral na execução de tarefas básicas, como aplicativos de edição de imagem, vídeo e texto. São diversos os trabalhos discutindo o uso de tecnologias de IA nas ciências da saúde, humanas, biológicas, linguística e outros (Borgohain; Bhardwaj; Verma, 2024; Baber et al., 2023).
No campo da Ciência da Informação estudos têm sido realizados com o objetivo de identificar como o uso de IA pode influenciar os serviços bibliotecários. Para Azimi, Nematolahi e Dakhesh (2022) entre atividades mais ou menos afetadas, grandes transformações são esperadas para as bibliotecas. Para os autores as atividades de gestão estão no nível mais baixo em termos de serem afetadas pelas vantagens da Inteligência Artificial, enquanto as mais afetadas são as de referência e recuperação da informação, especificamente: diagnóstico e compreensão da necessidade de informação do usuário, seleção da estratégia adequada para busca, e análise da pergunta e estratégia de busca. Conforme observa-se, as atividades mais afetadas estão diretamente relacionadas com a revisão de literatura.
A revisão de literatura é etapa essencial para qualquer pesquisa científica, afinal de contas, saber o que há publicado sobre um determinado assunto enriquece a pesquisa em desenvolvimento, bem como evita que sejam feitos trabalhos duplicados sobre um mesmo tema. Apesar da revisão de literatura ser importante para todos os campos do conhecimento científico, cada área de pesquisa tem suas particularidades e em todas elas, algumas etapas se repetem e são passíveis de ter a IA como auxiliar. O uso de IA em revisões vem sendo estudado sob diferentes perspectivas, como na seleção de descritores e termos livres, elaboração de expressões de busca, consultas booleanas e definição de critérios de inclusão e exclusão (Hartling; Gates, 2022; Nguyen-Trung; Saeri; Kaufman, 2023; Alaniz; Vu; Pfaff, 2023; Wang et al., 2023).
A revisão sistemática da literatura é um tipo de revisão muito utilizada na área da saúde, sendo um dos pilares para a denominada medicina baseada em evidências. Ela é um método de síntese que visa recuperar todos os estudos originais sobre um determinado tema, reunindo e sistematizando as melhores evidências científicas publicadas, se configurando como um guia confiável de determinada questão de saúde (Higgins et al., 2021; Meerpohl et al., 2012). A metodologia para elaboração desse tipo de revisão é rígida e um dos critérios é que ela seja reprodutível, motivos pelos quais a faz estar no topo da pirâmide da escala de evidências científicas.
Outros tipos de revisão de literatura consideradas rigorosas em termos de consulta e reprodutibilidade são a revisão de escopo e a integrativa. Para todas elas, a definição da pergunta de pesquisa e elaboração da estratégia de busca, ou protocolo de pesquisa, são uma das principais etapas. A utilização de IA nestas etapas representa uma inovação principalmente para os serviços bibliotecários em saúde - por ser a área que mais elabora estudos baseados em evidência. O uso do ChatGPT como ferramenta de auxílio para elaboração de revisões sistemáticas já é uma realidade nas áreas médicas, como pode ser visto nas revisões feitas por Blanco-Gonzalez, Cabezon e Seco-Gonzalez (2022) acerca da criação e avaliação de literatura científica. Aydın e Karaarslan (2022) para recuperar estudos científicos, ao preço de redobrar os cuidados com questões relacionadas ao plágio e Temsah et al. (2023) em relação a pesquisa científica, redação médica e tomada de decisão diagnóstica. Esses autores testaram o ChatGPT em termos de auxiliar autores humanos na redação de artigos de revisão. Eles utilizaram a ferramenta para criar um artigo de revisão de literatura com o objetivo de mostrar o estágio da aplicação de inteligência artificial da OpenAI.
Neste contexto, os serviços bibliotecários de auxílio para elaboração de estratégias de busca para revisões de literatura devem se atualizar de acordo com as novas capacidades proporcionadas pela IA. Pesquisas que abordam essa temática mostram que possibilidades estão sendo discutidas tanto para ações mais mecânicas como para as mais contextuais.
A função mais mecânica na elaboração de estratégias de busca é a inserção de operadores booleanos e outros operadores de pesquisa, sobretudo OR e AND, aspas duplas (" "), truncamentos representados por asteriscos * e, em menor frequência pelo cifrão $. Esses foram temas de estudo de Nguyen-Trung, Saeri e Kaufman (2023), Alaniz, Vu e Pfaff (2023) e Wang et al. (2023), e para todos os casos, o uso de IA nessas funções se mostra promissor para auxiliar em tarefas do tipo.
Outra etapa que pode ser otimizada com o uso de IA é a adaptação da elaboração da estratégia de busca para diferentes bases de dados, que consiste na tradução da expressão de busca (Nguyen-Trung; Saeri; Kaufman, 2023). As revisões de literatura são realizadas em um conjunto de bases de dados, e por mais que os termos de busca sejam os mesmos utilizados para todas, cada base tem suas particularidades e programações de comando. Tais adaptações podem se tornar uma tarefa difícil para quem não tem familiaridade com o processo de busca de uma base específica, ou até mesmo uma tarefa mecânica e repetitiva para bibliotecários experientes (Cativelli; Oliveira, 2024). Nesse sentido, o uso de IA pode agilizar e aperfeiçoar o desenvolvimento de expressões de busca e consequentemente na pesquisa científica.
No meio termo entre funções mecânicas e contextuais, há ainda como solicitar a IA que construa a expressão de busca por completo. Deste modo, a própria ferramenta decide quais são os descritores e termos livres relevantes, quais os operadores booleanos adequados a lógica daquela expressão, se é interessante ou não truncar alguma palavra, outras decisões que em via de regra são tomadas pelo pesquisador com o auxílio de um bibliotecário (Guimarães et. al., 2024; Jesus; Segundo, 2023).
A eficácia dos resultados gerados por expressões de buscas formuladas pelo ChatGPT também é tema de interesse nos estudos realizados no assunto. Sob tal perspectiva Wang et al (2023) faz uma importante discussão a respeito da precisão e revocação, e o quanto o uso de IA na definição dos termos de busca pode tornar a expressão algo que irá retornar referências com alta precisão e baixa revocação.
Das ações mais contextuais é possível citar a possibilidade de solicitar a IA que que identifique os assuntos principais de um objetivo ou problema de pesquisa (Nguyen-Trung; Saeri; Kaufman, 2023; Alaniz; Vu; Pfaff, 2023; Wang et al., 2023; Jesus; Segundo, 2023), inclusive a seleção preliminar e final de estudos (Maculan et al., 2023).
O estudo de Fabiano et al. (2024) foi além e categorizou ferramentas de IA que podem auxiliar em outras etapas de uma revisão, dividindo-as em ferramentas para o protocolo de busca, leitura e extração de dados, e escrita e correção de texto. Conforme exposto, são muitas as possibilidades e o nível de interferência das IAs em uma pesquisa acadêmica, cabendo aos pesquisadores testá-las e agir com transparência em relação a seu uso.
Para o presente artigo, as contribuições relacionadas a construção de expressões de busca, sobretudo em termo de sintaxe são fundamentais na análise de resultados, como as consultas boolenas avaliadas por Alaniz et al. (2023), a constatação de termos MeSH incorretos observadas por Wang et al. (2023).
3 METODOLOGIA
O presente estudo se caracteriza como pesquisa aplicada, de modo que os conhecimentos gerados são passíveis de aplicação imediata e direcionados à soluções de questões específicas na construção de expressões de busca (Huaraz; Ramos, 2022; Prodanov; Freitas, 2013). É empírico, a partir da observação de fenômenos com base em aspectos da inteligência artificial e na interação direta com ela (Waslawick, 2021). E por fim, de método comparativo por estar centrado em verificar as semelhanças e diferenças do uso de três inteligências artificiais para o mesmo propósito (Prodanov; Freitas, 2013).
O ChatGPT, o Copilot e o Gemini foram as três IAs selecionadas para o estudo. Todas pertencentes a grandes grupos de tecnologia - OpenAI, Microsoft e Google respectivamente - e populares no Brasil por serem de fácil acesso e relativamente parecidas nas funções.
Foram desenvolvidos três cenários distintos, nos quais trabalhamos com o seguinte objetivo de pesquisa: Avaliar a qualidade de vida de pacientes com câncer em tratamento radioterápico no território brasileiro. Cada cenário contava com ao menos um prompt diferente, que foi caracterizado nesse estudo como uma “instrução ou entrada fornecida pelo usuário para direcionar a geração de conteúdo por parte do modelo ou serviço de IA” (Hessel; Lemes, 2023, p. 125).
O cenário 1 foi elaborado com prompts relacionados a atividades mais mecânicas: Inserção de aspas duplas em termos compostos; inserção dos operadores booleanos OR e AND entre os termos para construção da expressão de busca; inserção de parênteses para ordenar a precedência de resolução; e por último, conferência da sintaxe de busca para encontrar possíveis erros em expressões.
O cenário 2 consiste em prompts intermediários, compostos por solicitar a IA que construa uma expressão de busca a partir de descritores, termos livres pré-selecionados e a indicação de bases de dados científicos para a execução da busca.
Já o cenário 3 foca em prompts para atividades contextuais, no caso, solicitar a IA que construa a expressão de busca do zero a partir de um problema e um objetivo de pesquisa.
Para diminuir os problemas relacionados ao de risco de viés nesta pesquisa, no que diz respeito à forma como tais prompts foram construídos, Jesus e Santarem Segundo (2023, p. 3) ressaltam que “a maneira como são formulados esses prompts pode influenciar na granularidade e na acurácia dos resultados retornados”. Nesse sentido, todos os prompts foram construídos atentando para os princípios listados por Wang et al. (2023) que os classificam em três principais grupos: simples, detalhados e com exemplos. Nessa pesquisa optou-se pelo uso somente de prompts simples (cenário 1 e 2) e detalhado (cenário 3).
Um endereço de e-mail novo foi criado para executar os cenários de busca nas IAs, no entanto, é sabido que mesmo assim é difícil reproduzir os mesmos resultados, levando em consideração que não somente informações de um usuário são utilizadas no processamento de linguagem natural para gerar resultados. É preciso ter em mente outros fatores como variações aleatórias do modelo, atualizações de acordo com a base de conhecimento e contexto da conversa, se houver histórico.
Os cenários utilizados no estudo foram criados a partir das categorias apresentadas por Wang et al. (2023). Os prompts, segundo os princípios do mesmo autor. Todo o texto que compõe os prompts partiu da experiência dos autores que enquanto bibliotecário, utilizam tais ferramentas diariamente para as funções do estudo. Aprofundar em detalhes do porquê foi empregada uma frase ou termo X e não Y, não é relevante para a pesquisa, tendo em vista que um experimento em ambiente não controlado, como o input de uma IA, é difícil de ser reproduzido igualmente. As respostas sempre vão variar. Nesse sentido, parte da descrição metodológica neste tipo de estudo se concentra mais em emitir transparência da condução científica do que de fato permitir reprodutibilidade idêntica dos resultados.
Todas as respostas completas, em formato PDF, obtidas nas IAs, estão disponíveis no repositório de dados abertos de pesquisas Zenodo sob o título C01P01_ChatGPT, C01P01_Copilot e C01P01_Gemini, sendo C = Cenário e P = Prompt, no caso, Cenário 1 Prompt 1 seguido do nome da IA que trouxe a resposta. A disponibilização dos dados da pesquisa espera contribuir com o movimento da ciência aberta, ao poupar retrabalho de futuros pesquisadores em um possível reuso de dados e ao apoiar a transparência do fazer ciência (Lecardelli, 2020).
Esse artigo também dá continuidade e aprofundamento no trabalho de Alaniz, Vu e Pfaff (2023) que focaram no uso de operadores booleanos e na tradução das expressões de uma base de dados para outra.
4 RESULTADOS
Nessa seção, todos os cenários são apresentados e seus resultados comparados. Há três prompts no primeiro cenário, um no segundo e um no terceiro.
4.1 Cenário 1
Foram selecionados termos respectivos a quatro assuntos diferentes. O primeiro deles sobre radioterapia, o segundo câncer (neoplasia), o terceiro qualidade de vida e o quarto e último, Brasil.
Alguns termos estão com um asterisco * ao final para efetuar o truncamento da palavra. Radiotherap* retornará resultados tanto com Radiotherapy quanto com Radiotherapies. Os demais seguem a mesma lógica.
Importante frisar que os descritores usualmente não são truncados. Geralmente repete-se o descritor, se for uma palavra usual como termo livre e só então, insere-se o truncamento.
A seguir os comandos executados dentro do cenário 1 de testes.
Prompt 1: Insira aspas duplas em todos os termos compostos a seguir:
No Quadro 2 é possível observar parte das respostas do ChatGPT, Copilot e Gemini respectivamente.
O prompt 1 não teve um entendimento pleno por nenhuma das IAs. Apesar do ChatGPT e o Copilot terem adicionado aspas duplas retas aos termos, eles não distinguiram os termos simples dos compostos.
As aspas duplas retas servem para garantir que um termo composto ou uma frase, não seja buscada de forma fragmentada pelo SRI, isto é, com o uso de aspas, o termo "Qualidade de vida" retornará exatamente da forma como está descrito, ao pesquisá-lo sem aspas é possível que o SRI também retorne documentos que contenham a palavra Qualidade, Vida, ou até mesmo Vida de Qualidade.
O Gemini foi a IA com pior entendimento do comando. Ele focou na gramática das palavras e sugeriu o uso do hífen em alguns momentos. Ao final, não seguiu o comando e não adicionou aspas duplas retas em nenhum dos termos, inclusive, frisou que deveria manter os termos com eles estavam, a fim de evitar possíveis inconsistências.
Em relação ao formato, o ChatGPT apresenta o melhor desempenho, ao levar em consideração que após a solicitação, o usuário talvez precise transportar o mesmo texto para um documento externo. Nesse sentido, o Copilot e o Gemini adicionam formatações, como a versão anterior e subtítulos.
O prompt 2 representa uma sequência do 1. Os mesmos termos agora em uma expressão de busca.
Prompt 2: Construa uma expressão de busca com todos os termos descritos nos 4 assuntos:
Todos cumpriram a tarefa, mas o entendimento do ChatGPT e do Copilot foi superior ao Gemini. O ChatGPT trouxe uma resposta mais precisa e executou a tarefa sem adendos. O Copilot apresentou exatamente a mesma expressão da IA anterior, com breve introdução e fechamento de acréscimo à tarefa.
Já o Gemini adicionou um maior número de parênteses. Eles não tornam a expressão de busca errada em termos de sintaxe, mas aumentam os caracteres sem que haja necessidade de definir a precedência de resolução dessa forma. Além disso, retirou a sigla ‘HRQOL’ alegando não ser um termo em português. O mesmo ocorreu com o termo Life Quality, Neoplasm, Cancer e outros. Em nenhum momento o comando indicava que a IA deveria criar a expressão de busca somente com termos em Português ou Espanhol. Mesmo utilizando as ferramentas em Português nesse estudo, tanto o ChatGPT e o Gemini entenderam corretamente a proposta do prompt, no que diz respeito ao idioma.
O Gemini também retirou o truncamento sem solicitação e trouxe uma breve explicação do funcionamento dos operadores booleanos utilizados. Sugestões de bases de dados nas quais a expressão proposta poderia ser utilizada e possíveis aprofundamentos em cada conjunto temático.
Partindo para o prompt 3 do cenário 1, ele consistiu em solicitar as IAs que verifiquem se há algum erro de sintaxe numa expressão de busca construída pelos autores, com três erros inseridos de forma proposital: ausência do fechamento de parêntese no conjunto relacionado a neoplasmas; ausência da abertura de aspas no termo Life Quality; operador booleano AND em minúsculo na intersecção dos dois últimos conjuntos temáticos.
Observe a expressão de busca com a localização dos erros destacados em vermelho:
(Radiotherapy OR Radiation OR Radiotherap* OR Radioterapia OR Radiação OR Radioteráp* OR Radiación*) AND (Neoplasms OR Neoplasm* OR Cancer* OR Tumor* OR Neoplasias OR Neoplasia OR Câncer OR Neoplasma* OR Cáncer AND ("Quality of Life" OR HRQOL OR Life Quality" OR "Qualidade de vida" OR QVRS OR "Calidad de Vida") and (Brazil OR Brazil* OR Brasil OR Brasil*)
Portanto o Quadro 3 apresenta os resultados retornados a partir do seguinte comando:
Prompt 3: Verifique se há algum erro de sintaxe na expressão de busca:
4.2 Cenário 2
No cenário 2 os testes foram realizados visando a construção de uma expressão de busca a ser executada na base de dados PubMed, uma das mais difundidas a nível mundial na área da saúde. Por causa disso, nos termos que são descritores, a tag [Mesh] foi adicionada. Nela, o Mesh entre colchetes serve para que o descritor ‘exploda’ e retorne não apenas o termo em si, mas todos os demais termos abaixo da hierarquia do tesauro da base, no caso, o Mesh Terms. Ou seja, a ideia em uma futura busca será retornar não somente Radiotherapy mas também os termos Brachytherapy; Chemoradiotherapy; Chemoradiotherapy, Adjuvant; Cranial Irradiation; Pituitary Irradiation; Craniospinal Irradiation; Heavy Ion Radiotherapy; Proton Therapy; Hemibody Irradiation; Lymphatic Irradiation; Radioimmunotherapy; Radiosurgery; Radiotherapy Dosage; Dose Fractionation, Radiation; Radiation Dose Hypofractionation; Radiotherapy Setup Errors; Radiotherapy, Adjuvant; Radiotherapy, Computer-Assisted; Radiotherapy, Conformal; Radiotherapy, Intensity-Modulated; Radiotherapy, High-Energy; Neutron Capture Therapy; Boron Neutron Capture Therapy; Radioisotope Teletherapy; Radiotherapy, Image-Guided; Re-Irradiation; Whole-Body Irradiation e X-Ray Therapy, sem ter que descrever explicitamente cada um deles.
Outra tag utilizada foi o [TIAB] que indica para a base de dados que aquele termo em específico deve ser pesquisado somente nos campos respectivos ao título e ao resumo.
Nessa base de dados é comum os pesquisadores utilizarem códigos de busca por campo ao lado dos termos. Pensando nisso, foi realizado teste com intuito de averiguar se a IA pode se confundir com esses comandos.
Neste cenário, pela pesquisa teste ser exclusiva na PubMed, a seleção de termos se ateve somente a descritores e outros termos livres em inglês.
Prompt 1: Construa uma expressão de busca com os termos dos 4 assuntos.
A PubMed não possui restrições em relação a truncamento dentro de aspas duplas retas, portanto, mesmo termos simples foram colocados entre elas, para facilitar a descrição dos termos e levando em consideração que essa expressão de busca seria executada em uma única base de dados.
O Quadro 3 apresenta as expressões de busca construídas pelo ChatGPT e Gemini respectivamente.
As expressões retornadas pelo ChatGPT e pelo Copilot foram idênticas e não possuem nenhum erro de sintaxe, atendendo plenamente ao prompt solicitado. Em relação a apresentação, é possível observar na Figura 2, que o ChatGPT possui uma característica específica em relação às demais IAs testadas e que, ocorre frequentemente ao solicitar expressões de busca da forma relatada neste estudo.
Algumas das expressões fornecidas pelo ChatGPT, são apresentadas em PlainText (Ver Figura 2) que se refere ao texto simples, sem elementos de formatação adicionais como negrito, itálico ou códigos específicos. Mesmo que haja espaços excedentes pela quebra das linhas e isso precise de correção antes de rodar a expressão em alguma base de dados, é uma excelente forma de apresentar uma expressão de busca, já que dessa forma, o risco de algum caractere especial ser entendido como um comando ou uma formatação especial, é nula.
Apesar de atender a solicitação proposta, o Gemini não adicionou nenhum parêntese à expressão construída. Sem eles, a precedência de resolução fica a cargo da lógica do Sistema de Recuperação da Informação (SRI), sendo geralmente o operador AND (multiplicação lógica) resolvido primeiro, seguido do operador OR (adição lógica) resolvido sequencialmente (Picalho, Lucas, Amorim, 2022). A PubMed segue essa ordem e os operadores booleanos são processados sempre da esquerda para a direita (PubMed, 2024).
A caráter de exemplo, uma sem parênteses como A AND B OR C será processada como (A AND B) OR C. Ao passo que uma expressão com parênteses como A AND (B OR C) força o SRI a resolver primeiro B OR C, e somente depois combinar com A. Assim como nas fórmulas matemáticas, o uso de parênteses é essencial pois define a precedência na resolução de expressões tanto algébricas quanto lógicas.
Por fim, O Gemini também retirou todas as aspas duplas e o qualificador [TIAB] dos termos, comprometendo a precisão de busca em palavras compostas.
4.3 Cenário 3
O cenário 3 visa indicar as IAs um prompt mais aberto a fim de verificar seu desempenho em selecionar termos adequados à temática de pesquisa testada nos cenários anteriores, bem como a montagem de uma expressão de busca completa.
Prompt 1: A partir deste objetivo de pesquisa: Avaliar a qualidade de vida de pacientes com câncer em tratamento radioterápico no território brasileiro. Crie uma expressão de busca com descritores e termos apropriados em inglês, português e espanhol para uma revisão de literatura em bases de dados científicos.
Neste terceiro cenário o ChatGPT compreendeu o comando e apresentou uma expressão de busca ligeiramente satisfatória. Adicionou aspas duplas retas em todos os termos, incluindo os simples (o que não é um problema pois não gera erro de sintaxe). A sigla QoL foi o único termo a ficar sem aspas duplas.
A expressão de busca também não contempla os plurais, que nos cenários anteriores poderia ser recuperado por meio do truncamento de alguns termos, no uso do asterisco *. Por fim, duplicou os termos ‘Brasil’ e ‘Radioterapia’, provavelmente por ter recuperado as traduções dos três idiomas e não ter identificado a escrita exatamente igual para o português e espanhol. Os parênteses e operadores booleanos foram empregados corretamente. Além disso, complementou o resultado com explicações sobre os termos e operadores utilizados, acrescidos de dicas de refinação da busca e indicação de uso em uma base de dados, a PubMed.
O Copilot entendeu a proposta de forma diferente e apresentou três expressões diferentes, uma para cada idioma. Todas corretas em termos de sintaxe. Parênteses e operadores booleanos foram empregados corretamente. A IA apostou em termos não contemplados anteriormente como "Tratamento radioterápico" e "Território brasileiro" e também indicou bases de dados para consulta (PubMed e CINAHL).
Já o Gemini teve um início de apresentação um tanto confuso. Primeiramente, exemplificou a união de termos relacionados à temática, misturando assuntos que se relacionam, mas possuem contextos diferentes. ‘Fatores sociodemográficos’, ‘bem-estar’, ‘saúde mental’, ‘efeitos colaterais’ e ‘impactos pessoais’ estão atrelados à ‘Qualidade de vida’, mas não. Ao passo que, ‘oncologia’ é, neste contexto, mais amplo que a intersecção dos assuntos ‘câncer’ e ‘radioterapia’ que juntos foram no tratamento, enquanto ‘oncologia’ pode abranger também diagnóstico, cirurgia e outros tipos de tratamento, como quimioterapia.
Na sequência, melhora ao sugerir bases de dados para a pesquisa e dicas adicionais em relação a operadores booleanos e filtros de refinamento. Ao indicar a expressão de busca completa, se assemelha aos demais e mantém apenas os termos relacionados à proposta. Comete o mesmo equívoco do ChatGPT ao duplicar termos escritos da mesma forma em português e espanhol.
É necessário destacar também que o Gemini foi a única IA que recomendou a consulta a um bibliotecário ou bibliotecária para auxiliar o pesquisador a construir uma estratégia de busca para a pesquisa. O que vai de exato encontro a função dos profissionais da área que atuam com serviço de referência em Instituições de Ensino Superior (IES)
CONCLUSÃO
O objetivo deste artigo não foi trazer uma contribuição teórica para o campo, no sentido de discutir teorias, mas sim, executar o potencial de três ferramentas de IA ao executar comandos diretos relacionados à formação de expressões de busca. Levantando possibilidades promissoras do uso de IAs em um processo basilar a toda pesquisa científica, o levantamento bibliográfico em bases de dados.
No conjunto total dos experimentos realizados em cada cenário, o ChatGPT apresentou melhor desempenho, compreendendo de forma mais direta os comandos indicados e interferindo menos contextualmente. Seguido do Copilot que também apresentou bons resultados na maioria dos testes. O Gemini foi o que menos apresentou resultados satisfatórios, interferindo com ações não solicitadas, no entanto, na solicitação contextual, conduziu um resultado mais sociável e simpático.
É sabido que experimentos em ambientes não controlados, como no caso dos que foram realizados nessa pesquisa, não permitem aos pesquisadores aferirem resultados precisos sobre determinado fenômeno. Ainda assim, a pesquisa apresenta caráter inovador ao expor na prática o potencial de uso das ferramentas de IA Generativa na construção de expressões de busca para pesquisa científica em bases de dados. Além disso, se mostram como ferramentas poderosas de auxílio a profissionais da biblioteconomia que atuam orientando pesquisadores de diferentes níveis em suas respectivas pesquisas.
Importante frisar que cada modificação, por menor que seja, pode influenciar de maneira significativa o resultado, demonstrando a sensibilidade dos dados linguísticos e estruturais na formulação de comandos. O ideal é que o profissional crie uma conta e ajuste os comandos, fazendo com que o modelo aprenda e fique treinado para tais funções. Ou seja, ao formular e reformular os comandos, a IA que é projetada para aprender com as interações dos usuários, será aprimorada ao refinar a sua capacidade de gerar respostas mais precisas e relevantes.
O presente estudo avança as considerações deixadas por Wang et al. (2023) e compreende que nem todas as consultas booleanas podem ser geradas por IA. É necessário ponderar que por mais promissoras que essas ferramentas se apresentam, há de se destacar que o resultado do teste executado no Cenário 3 é insuficiente se comparado com uma expressão de busca criada por um bibliotecário com alguma experiência na área da saúde. Por exemplo, todas as três IA testadas neste estudo utilizam poucos sinônimos para os assuntos de pesquisa. O uso dos vocabulários controlados em saúde DeCS e no MeSH, para localizar os descritores principais e os alternativos de pesquisa é etapa fundamental de uma boa expressão de busca, passo que as IAs não consideram com o rigor necessário. Resultado este que corrobora com Guimarães et al. (2024) que recomenda cautela ao construir expressões de busca usando exclusivamente um recurso de IA.
Além disso, o uso de truncamento com aspas duplas, em algumas bases de dados, pode apresentar problemas, visto que o truncamento solicita variações após uma determinada letra e as aspas duplas fornecem o comando de não alterar nenhum caráter que estiver dentro delas.
Isso leva à conclusão de que uma expressão de busca criada por IA para um usuário inexperiente, atualmente pode representar um grande problema para a qualidade da pesquisa. Deste modo, ao utilizar uma IA, a supervisão por bibliotecário e/ou pesquisador experiente é essencial. Neste sentido, o estudo concorda com as conclusões apresentadas por Robyn e Barnett (2024) de que o ChatGPT, bem como o Copilot e Gemini precisam de maior treinamento para auxiliar em levantamentos bibliográficos de revisões.
Estudos futuros podem abordar de forma comparativa o uso de outras ferramentas de IA, desenvolvidas especificamente para uso em pesquisas científicas. Além disso, a partir dos dados abertos disponibilizados pelo presente artigo, é possível comparar os mesmos prompts com parâmetros diferentes, envolvendo histórico de conversas ou mudanças sutis nas construções de cada frase.
Reconhecimentos:
Não aplicável.
REFERÊNCIAS
-
ALANIZ, L.; V. U. C.; PFAFF, M. J. The Utility of Artificial intelligence for systematic reviews and boolean query formulation and translation. Plast Reconstr Surg Glob Open, Filadélfia, v. 11, n. 10, 2023. DOI: https://doi.org/10.1097%2FGOX.0000000000005339
» https://doi.org/10.1097%2FGOX.0000000000005339 -
AZIMI, M. H., NEMATOLAHI, Z., DAKHESH, S. Identifying and categorizing the dimensions and applications of artificial intelligence in library services using meta-synthesis method. Library and Information Sciences, Meshed, v. 25, n. 3, p. 5-35, 2022. Disponível em: https://lis.aqr-libjournal.ir/article_136707.html?lang=en Acesso em: 15 fev. 2024.
» https://lis.aqr-libjournal.ir/article_136707.html?lang=en -
AYDIN, Ö.; KARAARSLAN, E. OpenAI ChatGPT Generated Literature Review: Digital Twin in Healthcare . In: AYDIN, O. (ed.). Emerging computer technologies 2, İzmir Akademi Derneği: Tire, p. 22-31, 2022. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4308687 Acesso em: 08 nov. 2024.
» https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4308687 -
BLANCO-GONZÁLEZ A, CABEZÓN A, SECO-GONZÁLEZ A, CONDE-TORRES D, ANTELO-RIVEIRO P, PIÑEIRO Á, GARCIA-FANDINO R. The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies. Pharmaceuticals, Basel, v. 16, n. 6, p. 891, 2023. DOI: https://doi.org/10.3390/ph16060891
» https://doi.org/10.3390/ph16060891 -
BABER, H.; NAIR, K.; GUPTA, R.; GURJAR, K. The beginning of ChatGPT - a systematic and bibliometric review of the literature. Information and Learning Sciences, Bingley, v. 125, n. 7/8, 2023. DOI: https://doi.org/10.1108/ILS-04-2023-0035
» https://doi.org/10.1108/ILS-04-2023-0035 -
BORGOHAIN, D. J.; BHARDWAJ, R. K.; VERMA, M. K. Mapeando a literatura sobre a aplicação de inteligência artificial em bibliotecas (AAIL): uma análise cienciométrica, Library Hi Tech, Bingley, v. 42, n. 1, 2024. DOI: https://doi.org/10.1108/LHT-07-2022-0331
» https://doi.org/10.1108/LHT-07-2022-0331 -
CATIVELLI, A.; OLIVEIRA, G. R. de. Metodologia para elaboração de estratégias de busca em saúde: relato de experiência da Biblioteca Setorial do Centro de Ciências da Saúde - Medicina na Universidade Federal de Santa Catarina. BiblioCanto, Natal, v. 10, n. 1, p. 20-47, 2024. DOI: https://doi.org/10.21680/2447-7842.2024v10n1ID34873
» https://doi.org/10.21680/2447-7842.2024v10n1ID34873 -
FABIANO, N. et al. How to optimize the systematic review process using AI tools. JCPP Advances, Londres, v. 4, n. 2, 2024. DOI: https://doi.org/10.1002/jcv2.12234
» https://doi.org/10.1002/jcv2.12234 -
GOOGLE. Gemini. IA Generativa. 2024. Disponível em: https://gemini.google.com/app Acesso em: 02 abr. 2024.
» https://gemini.google.com/app -
GUIMARÃES, N. S. et al. Development of search strategies for systematic reviews in health using ChatGPT: a critical analysis. Journal of Translational Medicine, Londres, v. 22, n. 1, 2024. DOI: https://doi.org/10.1186/s12967-023-04371-5
» https://doi.org/10.1186/s12967-023-04371-5 -
HARTLING, L.; GATES, A. Friend or foe? the role of robots in systematic reviews. Ann Intern Med, Filadélfia, v. 175, n. 7, p.1045-1046, 2022. DOI: https://doi.org/10.7326/M22-1439
» https://doi.org/10.7326/M22-1439 -
HESSEL, A. M. G.; LEMES, D. Criatividade da Inteligência Artificial Generativa. TECCOGS - Revista Digital de Tecnologias Cognitivas, São Paulo, n. 28, p. 119-130, 2023. Disponível em: https://revistas.pucsp.br/index.php/teccogs/article/view/67075/45082 Acesso em: 17 out. 2024.
» https://revistas.pucsp.br/index.php/teccogs/article/view/67075/45082 - HIGGINS, J. P. T. et al. (ed.). Cochrane handbook for systematic reviews of interventions: version 6.2 (updated February 2021). Londres: Cochrane Collaboration, 2021.
-
HUAREZ, C. B. R; Ramos, M. R. V. Metodológia de lá investigación. Pampas: UNAT, 2022 DOI: https://doi.org/10.56224/EdiUnat.4
» https://doi.org/10.56224/EdiUnat.4 -
JESUS, A. F.; SANTAREM SEGUNDO, J. E. Uso do ChatGPT em Revisões Sistemáticas da Literatura: preenchimento do protocolo de pesquisa. In: WORKSHOP DE INFORMAÇÃO, DADOS E TECNOLOGIA-WIDaT, 6., 2023, Brasília, Anais [...]. Brasília: Ministério da Ciência e Tecnologia e Inovação; Instituto Brasileiro de Informação em Ciência e Tecnologia, 2023. DOI: https://doi.org/10.22477/vi.widat.19
» https://doi.org/10.22477/vi.widat.19 -
LECARDELLI, J. Dados científicos abertos em agências de fomento à pesquisa: cenário dos planos de gestão de dados (PGD) e princípios FAIR. 2020. Dissertação (Mestrado) - Universidade do Estado de Santa Catarina, Centro de Ciências Humanas e da Educação, Florianópolis. Disponível em: https://l1nq.com/GryMt Acesso em: 20 nov. 2023.
» https://l1nq.com/GryMt -
MACULAN, B. C. M. S. et al. Contribuições do ChatGPT na revisão sistemática de literatura: um estudo de caso. Cuadernos De Educación Y Desarrollo, Castelo de Paiva, v. 15, n. 10, p. 11773-11797, 2023. DOI: https://doi.org/10.55905/cuadv15n10-095
» https://doi.org/10.55905/cuadv15n10-095 -
MEERPOHL, J. J. et al. Scientific value of systematic reviews: survey of editors of core clinical journals. PLoS One, São Francisco, v. 7, n. 5, p. e35732, 2012. DOI: https://doi.org/10.1371/journal.pone.0035732
» https://doi.org/10.1371/journal.pone.0035732 -
MICROSOFT. Copilot. IA Generativa. 2024. Disponível em: https://copilot.microsoft.com/. Acesso em: 02 abr. 2024.
» https://copilot.microsoft.com -
NGUYEN-TRUNG, K.; SAERI, A. K.; KAUFMAN, S. Applying ChatGPT and AI-powered tools to accelerate evidence reviews. OSF Pre Prints, 2023. DOI: https://doi.org/10.31219/osf.io/pcrqf
» https://doi.org/10.31219/osf.io/pcrqf -
OPENAI. ChatGPT. IA Generativa. 2024. Disponível em: https://chatgpt.com/. Acesso em: 02 abr. 2024.
» https://chatgpt.com -
PICALHO, A. C.; LUCAS, E. R. O.; AMORIM, I. S. Lógica booleana aplicada na construção de expressões de busca. AtoZ: novas práticas em informação e conhecimento, Curitiba, v. 11, p. 1 - 12, 2022. DOI: https://doi.org/10.5380/atoz.v11i0.81838
» https://doi.org/10.5380/atoz.v11i0.81838 -
PINTRO, S.; SILVEIRA, C. Z.; LEHMKUHL, K. M. A singularização do desenvolvimento da competência em informação para usuários de bibliotecas universitárias: atendimento individualizado de orientação para pesquisas em bases de dados da BU/UFSC. In: GRANTS, A. F. L.; BEM, R. M. (org). Na esteira das possibilidades: questões e reflexões na Biblioteca Universitária da UFSC. Florianópolis: BU/UFSC, 2023. Disponível em: https://repositorio.ufsc.br/handle/123456789/251701 Acesso em: 13 fev. 2025.
» https://repositorio.ufsc.br/handle/123456789/251701 -
PRODANOV, C. C.; FREITAS, E. C. Metodologia do trabalho científico: métodos e técnicas da pesquisa e do trabalho acadêmico. Novo Hamburgo: Feevale, 2013. Disponível em: https://l1nq.com/SVoom Acesso em: 19 jan. 2024.
» https://l1nq.com/SVoom -
PUBMED. PubMed user guide. 2024. Disponível em: https://pubmed.ncbi.nlm.nih.gov/help/. Acesso em: 01 set. 2024.
» https://pubmed.ncbi.nlm.nih.gov/help -
ROBYN, B. R.; BARNETT, D. J. Assessing the quality of biomedical boolean search strings generated by prompted and unprompted models using ChatGPT: A Pilot Study. Medical Reference Services Quartely, Utah, v. 43, n. 4, p. 1-10, 2024. DOI: https://doi.org/10.1080/02763869.2024.2440848 Acesso em: 13 fev. 2025.
» https://doi.org/10.1080/02763869.2024.2440848 -
TEMSAH, O et al. Overview of Early ChatGPT’s Presence in Medical Literature: Insights From a Hybrid Literature Review by ChatGPT and Human Experts. Cureus, São Francisco, v. 15, n. 4, p. e37281, 2023. DOI: https://doi.org/10.7759/cureus.37281
» https://doi.org/10.7759/cureus.37281 -
TU, J.; NACKE, L.; ROGERS, K. Introducing the INSPIRE framework: guidelines from expert librarians for search and selection in HCI literature. Interacting with Computers, p. 1-22, 2025. DOI: https://doi.org/10.1093/iwc/iwaf001
» https://doi.org/10.1093/iwc/iwaf001 -
WANG, Shuai et al. Can ChatGPT write a good boolean query for systematic review literature search?. arXiv preprint, 2023. Disponível em: https://arxiv.org/abs/2302.03495 Acesso em: 26 jan. 2024.
» https://arxiv.org/abs/2302.03495 - WAZLAWICK, R. S. Metodologia de pesquisa para ciência da computação. 3. ed. Barueri: GEN LTC, 2021.
Fonte: Open AI.
