Notwarning e dynamicwarning : estratégias de aprendizado em fluxo de dados com base na análise dos efeitos do sinal de detecção warning

Abstract

Muitos desafios de aplicações comerciais envolvem mineração de dados aplicado a classificação em fluxo de dados. Onde os classificadores são métodos incrementais de instâncias que aprendem com cada exemplo conforme chegam e são capazes de lidar com um fluxo teoricamente infinito, suscetível a mudanças de conceito, em um ambiente com severas restrições de tempo, processamento e quantidade de memória, além disso, também precisam ser capazes de predizer um padrão a qualquer momento. Exemplos de aplicações deste tipo, incluem: detecção de spam em e-mails, detecções de fraudes em cartões de crédito e detecção de logs de sistemas. Assim sendo, diferentes modelos de classificação foram adaptados para manipular fluxos de dados nessas condições, destacando-se para este trabalho a estratégia de aprendizado adaptativo aplicado a classificação com detecção, na qual a adaptação do modelo de aprendizado leva em consideração sinais de detecção do método de detecção de mudança de conceito. Normalmente, os trabalhos da literatura de detecção de mudança de conceito escolhem essa estratégia. Entretanto, é comum nas avaliações de desempenho, métodos detectores não fazerem distinção entre métodos que consideram dos que não consideram os sinais de detecção warning. Neste trabalho, os experimentos foram implementados no framework Massive Online Analysis (MOA) e executados na ferramenta MOAManager para analisar os impactos do sinal de detecção warning na acurácia dos novos modelos de decisão, e para isso são fornecidas evidências empíricas, referências e justificativas para descrever os efeitos do warning na acurácia. Deste modo, sendo possível concluir que os sinais de detecção warning melhoram a generalização dos modelos e na maioria das situações analisadas, quando são omitidos degradam a acurácia Prequential, resultando em diferenças estatísticas. Baseando-se nesses resultados, foram desenvolvidas duas estratégias para melhor lidar com os efeitos do sinal de detecção warning: o NotWarning e o DynamicWarning. Estas estratégias possuem mecanismos capazes de garantir que novos modelos sejam treinados antes de serem testados; construir conjuntos de treinamento para os novos modelos sem depender dos sinais de detecção warning do método de detecção de mudança de conceito; e uma gestão mais eficaz da criação de novos modelos. Além disso, é questionado o atual método de avaliação de detectores, que são baseados na acurácia da classificação, propondo uma nova metodologia de avaliação mais justa. Assim sendo, foi possível fornecer uma análise aprofundada comparando os impactos dos sinais de detecção warning na acurácia Prequential, incluindo um estudo empírico para comparar várias versões diferentes de métodos de detecção de mudança de conceito em cada estratégia. Por fim, os experimentos empíricos com bases artificiais alcançaram resultados promissores com os novos algoritmos.