Ciências Exatas e da Terra
Ciência da Computação
Resumo
A química segue sendo uma disciplina crucial na área das ciências exatas e sua aplicação é essencial para o avanço científico. No Instituto Federal de Mato Grosso do Sul (IFMS), encontramos desafios significativos com a aplicação de testes semanais de química para alunos e professores. Os alunos, com rotinas pesadas, encontravam dificuldade para estudar adequadamente e efetivamente ter uma prática deliberada, resultando em baixo aproveitamento. Por outro lado, os professores enfrentavam dificuldades para criar diferentes testes semanalmente para diversas turmas, particularmente quando almejam preparar os estudantes para o ENEM. Com o objetivo de solucionar esses problemas, este projeto criou questões e simulados de química psicometricamente validados, utilizando inteligência artificial (IA). O projeto foi realizado em diversas fases, visando não só a criação de questões de alta qualidade, mas também a automação da produção das questões e sua validação psicométrica. Na fase piloto criaram-se prompts de comando para gerar questões através do ChatGPT e professores do IFMS avaliaram criticamente as questões, permitindo ajustar os prompts para aprimorar a clareza e utilidade destas. Na fase seguinte foi desenvolvido um sistema para automatizar a criação das questões, permitindo gerar questões em grande escala. As questões foram apresentadas aos estudantes por meio de um chatbot desenvolvido para o projeto, o QuiTest, que forneceu feedback aos alunos e coletou as suas respostas de forma anônima. Usando o método de learnersourcing, os dados coletados foram utilizados na validação psicométrica das questões, através da Teoria da Resposta ao Item (TRI). Ao final o projeto obteve sucesso na geração de milhares de questões de química utilizando IA, além de desenvolver um sistema que não só auxilia os estudantes a estudarem química, mas também facilita a criação de bons testes.
Palavras-chave: Psicometria, Large Language Models, Química