Transformadores em dados tabulares: uma análise comparativa.

Abstract

No contexto contemporâneo relativo à análise de dados, em que a obtenção e o processamento de informações tem se tornado cada vez mais presentes, surge a necessidade de métodos sofisticados que lidem com dados tabulares complexos. Tradicionalmente, os algoritmos com maior sucesso em preencher essa lacuna são algoritmos de ensemble, como árvores de decisão impulsionadas por gradiente (GBDT). Contudo, de modo a acompanhar a evolução exponencial que o campo da inteligência artificial tem sofrido nas últimas décadas, é conveniente analisar o potencial de modelos baseados em "transformers" como uma alternativa promissora. Esse trabalho de graduação aborda tal paradigma através de uma análise comparativa no quesito de dados tabulares, averiguando a performance obtida através de manipulações inspiradas nos modelos no estado da arte (transformers) em relação aos modelos tradicionais. O foco, por sua vez, recai especificamente sobre a análise dos modelos TabNet, TabTransformer e FTTransformer em tarefas de classificação, com ênfase na capacidade de a nova abordagem capturar relações entre as características presentes em dados tabulares. Dada a métrica de avaliação selecionada (estatística de Kolmogorov–Smirnov) a fim de comparar os resultados obtidos, o estudo obtém sucesso em propor, implementar e validar os novos modelos levantados, de modo que os mesmos obtém um valor de métrica KS superior a 0.30, o que é competitivo em relação ao valor KS de 0.32 obtido no estado da arte.