Resultados da pesquisa a pedido "hadoop"
Qual é a diferença entre GROUP e COGROUP no PIG?
Entendi que o Group não funcionava com várias tuplas e, portanto, tínhamos COGROUP no PIG. No entanto, enquanto verifica hoje o comando GROUP funciona para mim. Estou usando o PIG-0.12.0. Meus comandos e saídas são os seguintes. grunt> grpvar = ...
Não foi possível conectar-se ao HDFS usando a etapa PDI
Eu configurei com sucessoHadoop 2.4em umUbuntu 14.04 VMa partir de umWindows 8 sistema. A instalação do Hadoop está funcionando muito bem e também consigo visualizar o Namenode no meu navegador Windows. Imagem anexada abaixo: Portanto, meu ...
Não foi possível iniciar um gerenciador de nós no mestre
Estou configurando um cluster Hadoop YARN e estou usando uma máquina como mestre e escravo. Quando inicio o YARN usando o comando a seguir, ele inicia o gerenciador de nós nos escravos, mas não no nó principal. sbin/yarn-daemons.sh start ...
Conecte-se do Java ao Hive usando JDBC
Estou tentando conectar do Java ao servidor Hive 1. Encontrei uma pergunta há algum tempo neste fórum, mas ele não funciona para mim. Estou usando este código: import java.sql.SQLException; import java.sql.Connection; import java.sql.ResultSet; ...
Como converter um arquivo .txt / .csv para o formato ORC
Por algum requisito, quero converterarquivo de texto (delimitado)paraORC (coluna de linha otimizada)formato. Como tenho que executá-lo em intervalos regulares, quero escrever umprograma java para fazer isso. Não quero usar a solução temporária da ...
Como desativar o registro INFO no Spark?
Instalei o Spark usando o guia da AWS EC2 e posso iniciar o programa usando obin/pyspark script para chegar ao prompt do spark e também pode executar o Quick Start com êxito. No entanto, para a minha vida, não consigo descobrir como parar todos ...
O comando “hadoop fs -ls.” Não funciona
Eu acho que instalei o hadoop corretamente. Se eu fizerjps Eu posso ver o namenode e datanode, não há problema. Quando digitohadoop fs -ls . Eu recebo o erro: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded ...
que diferença entre executar uma tarefa de redução de mapa usando o comando hadoop e java
Encontre muitas opções para executar um programa de redução de mapa. Qualquer um pode explicar a diferença entre as teses abaixo dos comandos. E que impacto no trabalho de redução de mapa, se houver. java -jar MyMapReduce.jar [args] hadoop jar ...
hadoop java.net.URISyntaxException: caminho relativo no URI absoluto: rsrc: hbase-common-0.98.1-hadoop2.jar
Eu tenho um trabalho de redução de mapa que se conecta ao HBASE e não consigo descobrir onde estou executando esse erro: Exception in thread "main" java.lang.reflect.InvocationTargetException ...
Analisar CSV como DataFrame / DataSet com Apache Spark e Java
Eu sou novo no spark, e quero usar o agrupar por e reduzir para encontrar o seguinte em CSV (uma linha por funcionário): Department, Designation, costToCompany, State Sales, Trainee, 12000, UP Sales, Lead, 32000, AP Sales, Lead, 32000, LA Sales, ...