Resultados da pesquisa a pedido "hadoop"
Exceção do Spark: tarefa falhou ao gravar linhas
Estou lendo arquivos de texto e convertendo-os em arquivos em parquet. Estou fazendo isso usando o código spark. Mas quando tento executar o código, recebo a seguinte exceção org.apache.spark.SparkException: Job aborted due to stage failure: ...
Como ler vários elementos de linha no Spark?
Quando você lê um arquivo no Spark usandosc.textfile, fornece elementos, onde cada elemento é uma linha separada. No entanto, quero que cada elemento seja composto por N número de linhas. Também não posso usar delimitadores porque não há nenhum ...
Como posso executar o Hadoop com uma classe Java?
Eu estou seguindo o livroHadoop: o guia definitivo [http://shop.oreilly.com/product/9780596521981.do]. Estou confuso no exemplo 3-1. Há um arquivo de origem Java, URLCat.java. eu usojavac para compilá-lo no URLCat.class, usejar envolvê-lo em ...
Phoenix não exibe valores inteiros negativos corretamente
Estou criando uma tabela HBASE com um valor inteiro -17678. Mas quando eu o recupero do pheonix, isso me dá um valor positivo diferente. RowKey é uma chave de linha composta e não há nenhum problema com a chave de linha. Inserção Hbase: public ...
Como descompactar arquivos armazenados no HDFS usando Java, sem primeiro copiar para o sistema de arquivos local?
Estamos armazenando arquivos zip, contendo arquivos XML, no HDFS. Precisamos ser capazes de descompactar programaticamente o arquivo e transmitir os arquivos XML contidos, usando Java. FileSystem.open retorna um FSDataInputStream, mas ...
ClassNotFoundException: org.apache.hive.jdbc.HiveDriver
Eu sou muito novo em Java. Estou tentando conectar ao servidor hive através de java e usei o código de exemplo ...
Classificando dados grandes usando o MapReduce / Hadoop
Estou lendo sobre o MapReduce e a seguinte coisa está me confundindo. Suponha que tenhamos um arquivo com 1 milhão de entradas (inteiros) e queremos classificá-las usando o MapReduce. O jeito que eu entendi é o seguinte: Escreva uma função de ...
Biblioteca OpenCV carregada no hadoop, mas não está funcionando
Estou tentando usar o OpenCV com o Hadoop. Abaixo está o meu código. Estou apenas testando se as bibliotecas OpenCV funcionam bem com o Hadoop, ou seja, quando estou executando o código OpenCV na funçãopublic int run(String[] args) do ...
O streaming de faíscas funciona com "cp" e "mv"
Estou usando o spark streaming Meu programa lê continuamente fluxos de uma pasta hadoop. O problema é que, se eu copiar para minha pasta hadoop (hadoop fs -copyFromLocal), o trabalho do spark será iniciado, mas se eu mover (hadoop fs -mv / ...
IllegalAccessError para o StopWatch da goiaba de org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus
Estou tentando executar o aplicativo spark pequeno e estou recebendo a seguinte exceção: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from ...