UTILIZANDO QUESTION ANSWERING NO AUXILIO AO PROCESSO DE ENSINO E APRENDIZAGEM DE PROGRAMACAO: UM ESTUDO DE CASO COM LLMS

Resumo

O Processamento de Linguagem Natural (PLN) representa uma área da Inteligência Artificial que tem trazido benefícios aos mais diversos processos da atividade humana. Nesse contexto, este trabalho utiliza uma abordagem de Question Answering (QA) para auxiliar no processo de ensino e aprendizagem de programação. Para isso, foram analisados três estudos de caso com diferentes modelos de QA e um corpus de dados com 87 perguntas e respostas relacionadas ao ensino de programação. Assim, os modelos (BERT, ChatGPT-3, Bard) alcançaram acurácia de 62%, 85% e 93%, respectivamente. No presente trabalho também discutiu-se, (i) algumas limitações da abordagem, (ii) resultados pedagógicos qualitativos e, por fim, (iii) recomendações para trabalhos futuros.