DESEMPENHO DE MODELOS DE INTELIGÊNCIA ARTIFICIAL GENERATIVA EM QUESTÕES DE CONCURSO PÚBLICO DE ODONTOLOGIA: UM ESTUDO COMPARATIVO DA TAXA DE ACERTO EM SAÚDE BUCAL COLETIVA

Resumo

O avanço da inteligência artificial generativa tem despertado interesse em sua aplicação na área da saúde, incluindo a odontologia. No entanto, ainda são escassos os estudos que avaliam o desempenho dessas ferramentas em contextos específicos da odontologia coletiva, como a resolução de questões de concurso público. Diante disso, o presente estudo teve como objetivo avaliar e comparar as taxas de acerto de três modelos de inteligência artificial generativa: ChatGPT, Gemini e DeepSeek, em suas versões gratuitas, na resolução de 100 questões de concurso público na área de saúde bucal coletiva. As questões foram extraídas de bancos públicos de provas para cirurgiões-dentistas realizadas entre 2016 e 2026, abrangendo temas como epidemiologia oral, políticas públicas do SUS, vigilância em saúde, determinantes sociais e gestão de serviços. Cada questão foi aplicada individualmente aos três modelos utilizando prompt padronizado, sem histórico de conversas prévias, e a taxa de acerto foi calculada considerando cada questão correta como equivalente a 1 ponto percentual. Os resultados demonstraram que o ChatGPT obteve o melhor desempenho (75 acertos) seguido pelo Gemini (47 acertos) e pelo DeepSeek (23 acertos). As diferenças entre todos os pares foram estatisticamente significativas (p < 0,001), com o ChatGPT superando o Gemini em 28 pontos percentuais e o DeepSeek em 52 pontos percentuais. Conclui-se que, entre os modelos gratuitos testados, apenas o ChatGPT alcançaria a pontuação mínima para aprovação na maioria dos concursos públicos para cirurgiões-dentistas em saúde bucal coletiva, enquanto Gemini e DeepSeek, nas versões avaliadas, não se mostraram ferramentas confiáveis para esse fim.