AVALIAÇÃO DO DESEMPENHO DO CHATGPT/INTELIGÊNCIA ARTIFICIAL NA PROVA DE MÚLTIPLAS ESCOLHAS PARA OBTENÇÃO DO TÍTULO DE ESPECIALISTA EM ORTOPEDIA E TRAUMATOLOGIA

RESUMO

O ChatGPT, um avançado modelo de Inteligência Artificial especializado em processamento de linguagem natural, tem mostrado habilidades notáveis, alcançando pontuações altas em exames de certificação em várias especialidades. Este estudo foi conduzido com o objetivo de avaliar o desempenho do ChatGPT no teste de múltipla escolha aplicado para se obter a certificação de especialista em Ortopedia e Traumatologia.

Métodos:  Utilizamos o ChatGPT 4.0 para responder 100 perguntas da primeira fase do TEOT 2022. Excluímos perguntas não baseadas em texto. Cada questão foi inserida individualmente no ChatGPT, com uma nova sessão iniciada para cada questão. A performance foi avaliada em relação ao número de palavras e à classificação taxonômica das questões.

Resultados:  Das 95 questões analisadas, o ChatGPT respondeu corretamente 61.05% e incorretamente 38.95%. Não houve diferença estatística significativa em relação ao número de palavras das questões e o ChatGPT não apresentou variação de desempenho conforme o nível taxonômico.

Conclusão:  O ChatGPT demonstrou vasto conhecimento em ortopedia, com um desempenho aceitável no exame TEOT, resultado que sugere o potencial do ChatGPT como recurso educacional e clínico em ortopedia, porém com a necessidade de progressos futuros e supervisão humana para sua aplicação efetiva. Nível de evidência IV, Série de casos.

Palavras-chave:
Inteligência Artificial; Ortopedia; Educação Médica