Análise de desempenho de bibliotecas de deep learning em arquiteturas híbridas com aceleradores
Abstract
Deep Learning, ou Aprendizagem Profunda, é uma subcategoria de algoritmos de aprendizado
de máquina, sendo um tema de estudos relevantes na área de Inteligência Artificial.
Caracterizando-se na maior parte dos casos como Redes Neurais Artificiais de múltiplas
camadas, redes de aprendizagem profunda apresentam-se como um meio de alcançar
melhorias em inúmeras tarefas computacionais, como reconhecimento de fala, processamento
de linguagem natural e identificação de objetos em imagens, item presente no
campo de visão computacional. Sua importância cresce cada vez mais nos últimos anos,
e sua popularidade aumenta conforme se tornam acessíveis bancos de dados vastos em
informações e dispositivos com alta capacidade computacional. Empresas investem no
ramo de pesquisa associado, e novas aplicações ficam disponíveis aos usuários finais,
além da forte esperança de eficiência da sua aplicação na área da saúde. Este trabalho
se propôs a analisar o desempenho e a forma como os valores de perda evoluem até convergirem,
em um cenário de sobreajuste inevitável, de duas bibliotecas de Deep Learning
relativamente populares entre desenvolvedores e pesquisadores do ramo: Caffe, desenvolvida
pela Universidade de Berkley, e TensorFlow, desenvolvida pela Google. Foram
conduzidas execuções de duas redes convolucionais conhecidas (AlexNet e GoogLeNet),
como forma de benchmarking, em arquiteturas híbridas que fazem uso de aceleradores e
em um cluster, variando hiperparâmetros das redes em um cenário de sobreajuste inevitável.
Os resultados levaram a constatação que a biblioteca TensorFlow apresentou um
melhor desempenho na maioria dos casos, e que tende a consumir menos memória para
armazenar as informações da rede. Entretanto, uma porção desse desempenho se deve
em parte ao uso de instruções vetorizadas, e em um cenário contrário a biblioteca Caffe
pode obter mais desempenho que a concorrente, apesar de algumas deficiências técnicas.
Além disso, a biblioteca Caffe apresenta um problema ao atingir o sobreajuste com valores
negativos, fato que não deve acontecer em uma rede neural artificial.
Collections
The following license files are associated with this item: