Arquitetura de configuração dinâmica para a técnica de checkpoint em frameworks de processamento distribuído
Fecha
2019-08-05Metadatos
Mostrar el registro completo del ítemResumen
O processamento de dados em sistemas computacionais de alto desempenho tornouse
uma tarefa comum dada a grande quantidade de informação gerada atualmente. Conforme
a complexidade desses sistemas aumenta, criam-se problemas de confiabilidade e disponibilidade
a partir da iminente presença de falhas. Esses fatores motivam a busca por mecanismos
de tolerância a falhas para sistemas computacionais. Uma alternativa eficiente é a técnica de
Checkpoint and Recovery (CR), que busca auxiliar na recuperação pós-falha de um sistema a
partir de pontos de verificação previamente salvos. No Apache Hadoop e no Apache Spark
– frameworks para processamento distribuído de alto desempenho –, o checkpoint auxilia em
operações de recuperação nos cenários de falha. Porém, a configuração de atributos de checkpoint
em ambas as ferramentas é estática, de modo que o comportamento da técnica depende de
escolhas do desenvolvedor e mudanças em tempo de execução são limitadas. Ou seja, escolhas
inapropriadas podem degradar o desempenho e a confiabilidade do sistema. Portanto, este trabalho
apresenta uma solução de configuração dinâmica para a técnica de checkpoint do Hadoop
e do Spark, baseada em um monitoramento de recursos. A proposta é descrita pela arquitetura
de configuração dinâmica (Dynamic Configuration Architecture, ou DCA), que trabalha partir
da definição de métricas de monitoramento. O objetivo da arquitetura é adaptar, em tempo real,
os atributos de checkpoint de forma eficiente, de acordo com as necessidades dos frameworks.
Sendo assim, experimentações com e sem falha nos frameworks Hadoop e Spark foram executadas
a fim de validar a DCA com análises de desempenho e de recuperação. Os resultados
mostram que as técnicas de checkpoint dinamicamente configuradas pela DCA alcançaram um
equilíbrio de desempenho nos cenários de teste. Enquanto execuções sem falhas não geraram
uma alta intrusividade, os cenários de falha foram controlados de forma eficiente na maioria
dos testes. Além disso, a DCA mostrou uma grande vantagem ao possibilitar o estabelecimento
de checkpoints em trechos de código indisponíveis ao usuário no Spark. Em trabalhos futuros,
otimizações da arquitetura serão desenvolvidos com o refinamento das métricas de monitoramento.
Além disso, validações mais completas deverão ser realizadas para um melhor estudo
de todos os componentes envolvidos na elaboração da DCA.
Colecciones
El ítem tiene asociados los siguientes ficheros de licencia: