Resultados da pesquisa a pedido "google-hadoop"
Migrando dados de 50 TB do cluster local do Hadoop para o Google Cloud Storage
Estou tentando migrar dados existentes (JSON) no meu cluster Hadoop para o Google Cloud Storage. Eu explorei o GSUtil e parece que é a opção recomendada para mover grandes conjuntos de dados para o GCS. Parece que ele pode lidar com grandes ...
“Nenhum sistema de arquivos para o esquema: gs” ao executar o trabalho spark localmente
Estou executando um trabalho do Spark (versão 1.2.0) e a entrada é uma pasta dentro de um bucket do Google Clous Storage (ou seja, gs: // mybucket / folder) Ao executar o trabalho localmente na minha máquina Mac, estou recebendo o seguinte ...
Como ativar o Snappy / Snappy Codec no cluster hadoop para o Google Compute Engine
Estou tentando executar o Hadoop Job no mecanismo do Google Compute com nossos dados compactados, que estão no Google Cloud Storage. Ao tentar ler os dados através de SequenceFileInputFormat, recebo a seguinte ...
O Hadoop não pode se conectar ao Google Cloud Storage
Estou tentando conectar o Hadoop em execução no Google Cloud VM ao Google Cloud Storage. Eu tenho: Modificou o core-site.xml para incluir as propriedades fs.gs.impl e fs.AbstractFileSystem.gs.implBaixou e referenciou ...