INTELIGÊNCIA ARTIFICIAL: DESEMPENHO COMPARATIVO COM HUMANOS E CONFIABILIDADE DAS FONTES GERADAS EM PROVAS MÉDICAS ESPECIALIZADAS

Autores

Resumo

A inteligência artificial (IA) vem sendo progressivamente incorporada à educação médica e aos processos de avaliação do conhecimento, consolidando-se como uma ferramenta de apoio com potencial crescente nesse campo. Apesar do uso cada vez mais frequente de modelos de linguagem em contextos educacionais, ainda há escassez de evidências sobre seu desempenho em exames médicos altamente especializados, como os de ingresso da Sociedade Brasileira de Cirurgia do Ombro e Cotovelo (SBCOC), bem como sobre a confiabilidade das fontes utilizadas para fundamentar suas respostas. Este estudo comparou o desempenho de diferentes modelos de IA com a média nacional de candidatos humanos nos exames de ingresso da Sociedade Brasileira de Cirurgia do Ombro e Cotovelo (SBCOC) de 2021 a 2023, avaliando a acurácia das respostas e a confiabilidade das fontes bibliográficas. Estudo observacional comparativo que avaliou cinco modelos de inteligência artificial, incluindo ChatGPT-4 padrão, ChatGPT-4 treinado com literatura de referência do exame, ChatGPT-o1-pro, Gemini e Meta Llama 3.1. Foram analisadas 150 questões de múltipla escolha, incluindo itens com imagens, aplicadas individualmente a cada modelo por meio de prompt padronizado, com solicitação de escolha de uma única alternativa e indicação da fonte utilizada. A acurácia foi definida pela concordância com o gabarito oficial, e as fontes foram classificadas como confiáveis (artigos científicos e livros-texto) ou não confiáveis (sites e referências inespecíficas). Os resultados dos modelos e dos candidatos humanos foram comparados por meio de testes do qui-quadrado e ANOVA com pós-teste de Tukey, considerando significância de 5% (p<0,05). O ChatGPT-o1-pro apresentou a maior acurácia nos três anos avaliados (66%, 62% e 68%) superando a média dos candidatos humanos (58%, 52% e 50%) em todos os períodos, com diferença estatisticamente significativa (p<0,05). O ChatGPT-4 padrão obteve taxas de acerto de (60%, 50% e 48%), enquanto o ChatGPT-4 treinado com literatura alcançou (52%, 56% e 52%), ambos com desempenho semelhante ao observado entre os candidatos. Já os modelos Gemini (40%, 28% e 38%) e Meta Llama 3.1 (32%, 44% e 50%) apresentaram desempenho inferior. Nas questões com imagens, o ChatGPT-o1-pro também se destacou, sendo o único modelo a manter desempenho consistentemente superior a 50% em todos os anos avaliados. Quanto às fontes utilizadas, ChatGPT-o1-pro e Meta Llama 3.1 citaram predominantemente livros e artigos científicos, enquanto o ChatGPT-4 alternou entre literatura e sites, e o Gemini não especificou as referências utilizadas. Entre os modelos avaliados, o ChatGPT-o1-pro demonstrou desempenho superior ao dos candidatos humanos e maior consistência no uso de fontes confiáveis, inclusive em questões que exigiram interpretação de imagens. O ChatGPT-4 apresentou desempenho equivalente ao humano, enquanto Gemini e Meta Llama 3.1 mostraram resultados inferiores. Esses achados reforçam o potencial da inteligência artificial como ferramenta complementar na educação médica e na preparação para exames especializados, destacando, contudo, a necessidade de uso criterioso e de avaliação contínua da confiabilidade das informações e das fontes geradas.