Learning to transfer what, where and which : método de transfer learning entre redes convolucionais de arquiteturas diferentes

Abstract

Atualmente, os modelos de aprendizagem profunda estão sendo utilizados para solucionar uma grande variedade de problemas. No entanto, esse tipo de algoritmo usualmente necessita de grandes quantidades de dados para alcançar bons desempenhos. Apesar do crescimento da quantidade de dados disponíveis devido à digitalização da informação, essa ainda não é uma realidade para diversos problemas, além da necessidade de um alto custo computacional, dependendo da complexidade envolvida. Nesse sentido, técnicas de transferência de aprendizagem vêm sendo desenvolvidas para superar essa barreira. Algumas técnicas propostas recentemente envolvem utilizar os mapas de ativação a nível de camadas e/ou canais de uma rede pré- treinada, de forma a guiar o treino de uma nova rede. Neste trabalho, é proposto estender essa ideia, incluindo a utilização de informação dos mapas de ativação a nível de pixels, além de canais e camadas, de forma a refinar a transferência de conhecimento, aumentando o desempenho do processo. Nesse sentido, foram realizados testes utilizando os conjuntos de dados CIFAR-10, CIFAR-100 e STL-10, e o método proposto se demonstrou superior a outros métodos da literatura, como o L2T-ww e UFM, em um cenário essencial de quantidade limitada de dados de treinamento. A comparação entre os métodos foi analisada utilizando testes de Mann-Whitney, alcançando-se aumento no método proposto de até 3,75% na acurácia, em um dos cenários, com diferença estatística significativa (p-value < 0,05).