Uma metodologia para otimização de arquiteturas e pesos de redes neurais

Abstract

Este trabalho propõe uma metodologia para a otimização global de redes neurais. O objetivo é a otimização simultânea de arquiteturas e pesos de redes Multi-Layer Perceptron (MLP), com o intuito de gerar topologias com poucas conexões e alto desempenho de classificação para qualquer conjunto de dados. A otimização simultânea de arquiteturas e pesos de redes neurais é uma abordagem interessante para a geração de redes eficientes com topologias pequenas. Tal aplicação já originou alguns trabalhos com algoritmos genéticos, entretanto existem outras técnicas, como simulated annealing e tabu search, que ainda não foram exploradas para esta finalidade até o presente momento. Métodos de otimização global podem ser combinados com uma técnica baseada em gradiente (por exemplo, o algoritmo backpropagation) em uma abordagem de treinamento híbrido, que procura unir, no mesmo sistema, a eficiência global dos métodos de otimização com o ajuste fino das técnicas baseadas em gradiente. Tal combinação não tem sido estudada para simulated annealing e tabu search, e isto gerou outra motivação para o presente trabalho. Os resultados mostram que a combinação cuidadosa de técnicas tradicionais de otimização global, como simulated annealing e tabu search, com redes neurais artificiais e métodos baseados em gradiente é capaz de produzir sistemas híbridos bastante eficientes. Por este motivo, uma metodologia foi desenvolvida, combinando as vantagens de simulated annealing, de tabu search e do treinamento híbrido, a fim de gerar um processo automático para obter redes MLP com topologias pequenas e alto desempenho de generalização. Esta metodologia representa um grande avanço na área de sistemas neurais híbridos e fornece resultados importantes para diversas aplicações práticas. Este trabalho apresenta resultados da aplicação da metodologia proposta em dois domínios práticos: reconhecimento de odores em um nariz artificial e diagnóstico de diabetes. Em ambos os casos, a metodologia obteve resultados satisfatórios e gerou redes com baixo erro de generalização e baixa complexidade. Tais resultados são extremamente importantes para mostrar que a combinação de técnicas de otimização é capaz de produzir sistemas híbridos superiores