Resultados da pesquisa a pedido "hadoop"
Como você pode procurar todas as tabelas com um determinado nome de coluna e retornar quais tabelas têm esse nome de coluna no Hadoop / Hive?
Estou procurando encontrar todas as tabelas que contêm um determinado nome de coluna no HDFS / Hive?
Inserir dados no Hbase usando o Hive (arquivo JSON)
Eu já criei uma tabela no hbase usando o hive: hive> CREATE TABLE hbase_table_emp(id int, name string, role string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ...
SafeModeException em cosmos.lab.fi-ware.org
De acordo com o ...
Erro do Apache Spark: Não foi possível conectar-se ao akka.tcp: // sparkMaster @
Estes são os nossos primeiros passos usando coisas de big data, como apache spark e hadoop. Temos um Cloudera CDH 5.3 instalado. No gerenciador de cloudera, escolhemos instalar o spark. O Spark está funcionando muito bem em um dos nós no ...
leitura e gravação de tabelas de colméia com faísca após agregação
Temos um armazém de colméias e queríamos usar o spark para várias tarefas (principalmente classificação). Às vezes, escreva os resultados de volta como uma tabela de seção. Por exemplo, escrevemos a seguinte função python para encontrar a soma ...
É possível carregar a mesa de parquet diretamente do arquivo?
Se eu tiver um arquivo de dados binários (ele pode ser convertido para o formato csv), existe alguma maneira de carregar a tabela de parquet diretamente dele? Muitos tutoriais mostram o carregamento do arquivo csv na tabela de texto e depois da ...
como adicionar jar externo ao trabalho hadoop?
Eu tenho um trabalho do Hadoop no qual o mapeador deve usar um jar externo. Tentei passar esse jar para a JVM do mapeador via argumento -libjars no comando hadoop hadoop jar mrrunner.jar DAGMRRunner -libjars ...
Como abrir / transmitir arquivos .zip através do Spark?
Eu tenho arquivos zip que eu gostaria de abrir 'através' do Spark. Não consigo abrir o arquivo .gzip por causa do suporte nativo ao Codec do Hadoops, mas não consigo fazer isso com os arquivos .zip. Existe uma maneira fácil de ler um arquivo zip ...
O que é memória reservada no fio
Consegui iniciar um aplicativo spark no Yarn. No entanto, o uso de emory é meio estranho, como você pode ver abaixo: http://imgur.com/1k6VvSI [http://imgur.com/1k6VvSI] O que significa memória reservada? Como posso usar com eficiência toda a ...
Configuração de cluster do Hadoop - java.net.ConnectException: conexão recusada
Quero configurar um hadoop-cluster no modo pseudo-distribuído. Consegui executar todas as etapas de configuração, incluindo a inicialização de um Namenode, Datanode, Jobtracker e um Tasktracker na minha máquina. Então tentei executar alguns ...