Incremente sua infra-estrutura
A Apache Software Foundation tem marcado a plataforma Hadoop análise de dados com a versão 2 e enviou o sistema Elefante-logoed debandada para fora no selvagem.
A segunda versão da tecnologia de código aberto vem com um motor de cálculo atualizada através do processamento de dados e FIO motor serviço, ea adição de recursos de alta disponibilidade para o Hadoop File System (HDFS).
Embora as atualizações HDFS estão disponíveis em alguns Hadoop distros, como Cloudera de, por um ano, e os fios tem sido apoiado por empresas como a Pivotal por seis meses ou mais, em geral disponibilidade do Apache (GA) marca para esta versão deve dar aos usuários do muncher dados 'n triturador de mais confiança.
"O que a liberação GA permite aos usuários fazer agora é assumir os usuário virada APIs e protocolos de fios já estão estáveis e não vão mudar até a próxima grande revisão do Hadoop, o que torna as pessoas mais confortável sobre a criação de aplicativos e usar os APIs ", Milind Bhandarkar o cientista-chefe para VMware-spinoff Pivotal, disse ao The Register.
FIO traz consigo grandes mudanças na forma como o componente de computação do Hadoop MapReduce () fatias e corta e reformas tarefas de processamento, porque FIO divide o componente trabalho de rastreamento de MapReduce em duas partes distintas: o gerenciador de recursos, e mestre aplicação.
Isso torna mais fácil para os domadores de dados para executar tarefas como MapReduce ou lado a lado tempestade, juntamente com serviços de dados, como HBase.
"O que ele deixa acontecer é outras cargas de trabalho que não são MapReduce agora podem compartilhar recursos com MapReduce muito mais eficaz", Hadoop co-criador Doug Cutting disse El Reg. "Estes outros sistemas podem agora estar compartilhando dinamicamente os recursos, e os recursos podem ser priorizada."
Esta abordagem tem alguma influência do projeto de sistema de gerenciamento de cluster Apache "mesos", junto com Borg secreto do Google e projetos Omega, tanto de corte e Bhandarkar admitiu.
"Eu diria que os quadros Borg / Omega são, por um lado mais baixo nível de estrutura para alocação de recursos e gestão de recursos", diz Bhandarkar. "Por outro lado, eles ainda são muito melhores em centro de dados em larga escala do que o fio pode fazer."
O FIO não para Hadoop é transformá-lo em mais uma plataforma de petróleo bruto para a execução de um bando de aplicações e serviços de dados orientados, o que ajuda a transformar o sistema Hadoop de um triturador de dados glorificado em um ecossistema de software com as características de um centro de dados de pleno direito sistema operacional, corte diz.
"FIO abre as capacidades de processamento distribuído de Hadoop para ser mais personalizável e extensível que a implementação original puramente focada em MapReduce", James Watters, o chefe de produto da Cloud Foundry divisões da Pivotal, disse-nos.
Outra característica de vir com Hadoop v2 é HDFS Federação, que permite que um único HDFS ter vários namespaces em um cluster. Isso aumenta a disponibilidade do sistema como um todo, isolando aplicações diferentes um do outro e aumenta a produtividade do sistema de arquivo através da eliminação da única namenode gargalo, de acordo com uma FAQ Apache .
Cutting prevê um futuro brilhante para Hadoop, e é surpreendido por quão longe o elefante tem viajado desde o seu nascimento no Yahoo!, No início da década de 2000 em resposta à publicação de MapReduce do Google e documentos GFS.
"Isso realmente está emergindo como um sistema operacional para os centros de dados que podem suportar uma ampla gama de aplicações - que é algo que eu não imaginava a direita fora", disse o Cutting. "Minha confiança em código aberto como a melhor maneira de obter a tecnologia e adotou cresceu vendo isso." ®
via Alimentar (Feed)
Nenhum comentário:
Postar um comentário