Um sistema por processamento de fluxos aplicado à análise e monitoramento da rede
Resumo
Processamentos de dados são comumente realizados por sistemas Big Data, em arquiteturas tradicionais, efetuando a manipulação dos dados de forma offline. No entanto, com a necessidade de obter resultados com baixa latência, ocorre o uso de outras arquiteturas, como Lambda e Kappa para implementação de sistemas Big Data, direcionadas ao processamento de fluxos de dados. Diversos estudos na literatura começam a aplicar esse novo modelo de arquitetura para diferentes fins, assim como a utilização de diferentes tipos de ferramentas para que seja possível efetuar sua implementação. Neste cenário alguns sistemas são desenvolvidos com estes moldes para monitorar e processar o fluxo de dados gerados pelo tráfego de rede, empregando diferentes tipos de análises sobre os dados coletados, para obter desde informações sobre o consumo de banda da rede a identificar anomalias que ocorrem. Nesse contexto, este trabalho tem como objetivo o desenvolvimento de um sistema com base na arquitetura Lambda, aplicado ao monitoramento e processamento do fluxo de dados do tráfego de rede, realizando a integração de diferentes ferramentas de código aberto. Cada ferramenta é responsável por determinada funcionalidade implementada, desde o monitoramento e coleta do tráfego de rede, transporte de informações, normalização e armazenamento dos dados, para posteriormente efetuar análises dos mesmos e detectar anomalias originadas por ataques DDoS, força bruta e varredura de portas sobre determinados protocolos. Sobre as conexões classificadas como anômalas, obter-se-á informações pertinentes ao IP responsável por originar essa conexão. A análise experimental do sistema ocorre com o uso de um conjunto de dados controlado que possui diversas anomalias, bem como as que devem ser detectadas pelo sistema. Logo após essa etapa, o sistema é aplicado para processar dados que foram coletados de uma rede local durante onze dias, totalizando mais de quatorze milhões de conexões. Os resultados experimentais obtidos sobre o tráfego de rede real apresentam os três tipos de anomalias que foram consideradas nesse estudo, assim como traz informações sobre os IPs responsáveis pelas mesmas, identificando o país e sua respectiva organização.
Coleções
Os arquivos de licença a seguir estão associados a este item: