Análise automática de feedback em ambientes virtuais de aprendizagem

Abstract

O feedback é um componente muito importante no processo de ensino-aprendizagem, pois ajuda o aluno a identificar as lacunas e avaliar o seu progresso no aprendizado. Em cursos a distância o feedback se torna ainda mais importante, pois é um dos recursos mais utilizados na interação entre professor e aluno, já que ambos estão separados fisicamente. No entanto, devido ao crescimento significativo da quantidade de alunos em cursos a distância, é difícil para os instrutores fornecer um feedback de alta qualidade. Nesse contexto, este trabalho tem como objetivo propor uma abordagem para analisar automaticamente os feedbacks fornecidos por professores em cursos online. Para isso, foram utilizados recursos linguísticos para extrair as características dos textos e algoritmos de aprendizagem de máquina para classificação. O objetivo é que os modelos de aprendizagem de máquina aprendam os padrões de bons feedbacks textuais que foram apresentados durante o treinamento. Foram realizados experimentos com base em duas teorias educacionais de feedback propostas na literatura utilizando diferentes classificadores, entre eles, o Random Forest, AdaBoost, XGBoost e o BERT (Bidirectional Encoder Representations from Transformers). Além de verificar qual algoritmo obtém os melhores resultados, também propomos a análise de quais as características são mais relevantes para cada classificador usando a medida Mean Decrease Gini (MDG) e o método eXplainable Artificial Intelligence (XAI). Os experimentos seguiram uma sequência de análise de cada classificador, começando pelo Random Forest e com base nos resultados obtidos, outros classificadores eram analisados com o objetivo de melhorar a acurácia do modelo. Os resultados obtidos demostram uma boa acurácia e os modelos gerados podem ser utilizados integrados em sistemas educacionais para ajudar o professor a fornecer um bom feedback ao aluno, onde a ferramenta apresentará quais os níveis de feedback e boas práticas de feedback o texto do professor possui, e com base nessa informação ele irá ajustar o seu texto para conseguir atingir o maior número de boas práticas.