Desenvolvimento de um escalonador sensível ao contexto para o Apache Hadoop
Visualizar/ Abrir
Data
2014-01-20Autor
Cassales, Guilherme Weigert
Metadata
Mostrar registro completoResumo
Hoje em dia, o volume de dados gerados é muito maior do que a capacidade de processamento
dos computadores. Como solução para esse problema, algumas tarefas podem ser
paralelizadas ou distribuidas. O framework Apache Hadoop (Apache Hadoop, 2013), é uma
delas e poupa o programador as terefas de gerenciamento, como tolerância à falhas, particionamento
dos dados entre outros. Um problema no escalonador do Apache Hadoop é que seu
foco é em ambientes homogêneos, o que muitas vezes não é possível de se manter. O foco deste
trabalho foi na melhora de um escalonador já existente, possuindo como objetivo torná-lo sensível
ao contexto, permitindo que as capacidades físicas de cada máquina sejam consideradas
na hora da distribuição das tarefas submetidas. Optou-se por inserir coletores de informações
de contexto (memória e cpu) no CapacityScheduler, tornando o comportamento desse sensível
ao contexto. Através das mudanças feitas e de experimentos feitos usando um benchmark bem
conhecido (TeraSort), foi possível demonstrar uma melhora no escalonamento em relação ao
escalonador original com a configuração padrão.
Coleções
Os arquivos de licença a seguir estão associados a este item: