Análise comparativa das técnicas de Explainable AI e um novo método para geração de explicações textuais

Abstract

As soluções de Inteligência Artificial (IA), mais especificamente de Aprendizagem de Máquina (AM), têm alcançado crescentes níveis de desempenho devido à capacidade computacional, disponibilidade de dados e surgimento de novos métodos cada vez mais complexos. Essa complexidade tem aumentado a dificuldade de interpretar o funcionamento interno que conduz os modelos de AM na recomendação das decisões. Com objetivo de aumentar a interpretabilidade e manter a acurácia desses modelos complexos, surgiu a área de Explainable AI (XAI), com papel importante para impulsionar a confiança e o controle das soluções de IA. Este trabalho apresenta uma análise do estado da arte da área, propondo um mapa conceitual para organizar as taxonomias e abordagens. E realiza uma comparação entre as principais técnicas da literatura através de experimentos em uma base de dados reais para interpretar um modelo treinado para classificar o desempenho escolar, domínio no qual a interpretação dos resultados dos modelos é fundamental. Os resultados apontam as vantagens e desvantagens das abordagens, discussões sobre as saídas fornecidas, bem como uma forma de combinar estratégias. Diante das lacunas encontradas, um novo método é proposto nesta pesquisa, o Textual SHAP. O método busca endereçar necessidades da área como, por exemplo, considerar a perspectiva do usuário leigo como foco da explicabilidade. O método extrai as principais informações do gráfico da interpretação global do SHAP, técnica do estado da arte de XAI, e converte para um formato mais simples por meio de textos e apresenta em uma ferramenta com interface gráfica interativa. Foi realizada uma avaliação através de questionários com pessoas com conhecimento no domínio da educação e sem familiaridade com IA. Os resultados demonstraram que a abordagem proposta é menos complexa de interpretar e fornece maior nível de compreensão do que é exposto para os usuários. Com a abordagem de explicação textual, o método proposto apresenta potencial para alcançar explicações compreensivas e eficazes, contribuindo para os avanços das abordagens centradas nos humanos.