Resultados da pesquisa a pedido "hadoop"
Hadoop no erro de construção / instalação do Windows
Estou tentando instalarApache Hadoop 2.7.1 [https://hadoop.apache.org/]no Windows x64 (8.1 e Server 2012 R2), mas estou falhando no objetivo: [INFO] Apache Hadoop Common ............................... FAILURE [ 37.925 s] Nos últimos dias, acho ...
Salvar o quadro de dados Spark como tabela particionada dinâmica no Hive
Eu tenho um aplicativo de exemplo trabalhando para ler arquivos csv em um dataframe. O quadro de dados pode ser armazenado em uma tabela do Hive no formato parquet usando o métododf.saveAsTable(tablename,mode). O código acima funciona bem, mas ...
Operador Hive - LIKE
Não consigo descobrir como lido com esse problema: Estes são os meus dados: Table1: Table2: BRAND PRODUCT SOLD Sony Sony ABCD 1233 Apple Sony adv 1233 Google Sony aaaa 1233 IBM Apple 123 1233 etc. Apple 345 1233 IBM 13123 1233É possível filtrar ...
Encontrar o maior valor para a chave
Eu quero descobrir o maior país com maior área. meu conjunto de dados é o seguinte Afghanistan 648 Albania 29 Algeria 2388 Andorra 0 Austria 84 Bahrain 1 Bangladesh 143 Belgium 31 Benin 113 Bhutan 47 Brunei 6 Bulgaria 111 Burma 678 Cameroon 474 ...
Hadoop / Hive Collect_list sem repetir itens
Com base na postagem,Hive 0.12 - Lista de Coletas [https://stackoverflow.com/questions/6445339/collect-set-in-hive-keep-duplicates] , Estou tentando localizar o código Java para implementar um UDAF que realize essa funcionalidade ou semelhante, ...
Diferença entre gravação de conjunto de dados do Spark
estou a usarSpark-Java. Preciso saber se existe alguma diferença (desempenho etc) entre os seguintes métodos de gravação nos Hadoop: ds.write().mode(mode).format("orc").save(path);Ou ds.write().mode(mode).orc(path);Obrigado.
Erro Mapreduce: falha ao configurar o diretório local
Estou executando o exemplo mapreduce wordcount no hadoop instalado no Windows 8. Eu recebi o erro como abaixo. Parece um problema de permissão de segurança. Mas não tenho muita certeza. Adicionei uma propriedade ao arquivo yarn-site.xml ...
Como forçar o Spark a executar código?
Como forçar o Spark a executar uma chamada para mapear, mesmo que ele ache que não precisa ser executado devido à sua avaliação lenta? Eu tentei colocarcache() com a chamada do mapa, mas isso ainda não funciona. Meu método de mapa, na verdade, ...
Exceção no encadeamento “main” org.apache.hadoop.ipc.RemoteException: o servidor IPC versão 9 não pode se comunicar com o cliente versão 4. Como resolver isso?
Estou usando o hadoop 2.7.0 e o java oracle jdk1.7.0_79 com o NetBeans IDE 8.0.2. Quando tento me comunicar com o Hadoop usando o arquivo Java, recebo o seguinte erro. Há algum problema de dependência envolvido? Ou como posso resolver esse ...
Hive 1.1.0 Alterar o tipo de partição da tabela de int para string
Eu tenho uma tabela que tem uma partição do tipo int, mas que eu quero converter em string. No entanto, não consigo descobrir como fazer isso. A descrição da tabela é: Col1 timestamp Col2 string Col3 string Col4 string Part_col int # ...