Resultados da pesquisa a pedido "hadoop"
Macos Hadoop 3.1.1 - Falha ao iniciar o namenode. java.io.IOException: Não foi possível analisar a linha: “Sistema de arquivos 1024-blocos usado capacidade disponível montada em”
Instale o hadoop 3.1.1 da homebrew no mac o core-site.xml config da seguinte maneira: <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/tmp</value> <description>A ...
possível usar o ssh no po
Fiz uma imagem do hadoop baseada em centos usando dockerfile. Existem 4 nós. Eu quero configurar o cluster usando o ssh-copy-id. Mas ocorreu um erro. ERROR: ssh: connect to host [ip] port 22: Connection refusedComo posso resolver este problema?
Acesso remoto ao HDFS no Kubernetes
Estou tentando configurar o HDFS no minikube (por enquanto) e posteriormente em um cluster DEV kubernetes para que eu possa usá-lo com o Spark. Quero que o Spark seja executado localmente na minha máquina para que eu possa executar no modo de ...
Como converter o arquivo .txt para o formato de arquivo de sequência do Hadoop
Para efetivamente utilizar trabalhos de redução de mapa no Hadoop [http://hadoop.apache.org/], preciso que os dados sejam armazenados em formato de arquivo de sequência do ...
Criar tabela temporária no Hiv
O Hive suporta tabelas temporárias? Não consigo encontrá-lo nos documentos apache.
Começando com hadoop no windows
Eu sou um novato aqui. Adoro codificar e desenvolver programas próprios ... Anteontem, tive uma idéia para definir o Hadoop no Windows. Acabei de buscar todas as pilhas, mas não consegui instalá-la com êxito. Estou anexando capturas de tela ...
Como faço para corrigir “O arquivo só pode ser replicado para 0 nós em vez de minReplication (= 1).”?
Fiz uma pergunta semelhante há um tempo atrás [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] e achei que resolvi esse problema, mas acabou que ele desapareceu ...
Hadoop HDFS tamanho máximo do arquivo
Um colega meu acha que o HDFS não tem tamanho máximo de arquivo, ou seja, ao particionar em pedaços de 128/256 meg, qualquer tamanho de arquivo pode ser armazenado (obviamente, o disco HDFS tem um tamanho e isso limitará, mas esse é o único ...
MapReduce (secundária) de classificação / filtragem - como?
Tenho um arquivo de log de valores com registro de data e hora (usuários simultâneos) de diferentes "zonas" de um webapp de sala de bate-papo no formato "Registro de data e hora; zona; valor". Para cada zona existe um valor por minuto de cada ...
Mover arquivos no Hadoop usando a API Java?
Eu quero mover arquivos no HDFS usando as APIs Java. Não consigo descobrir uma maneira de fazer isso. A classe FileSystem parece querer permitir a movimentação de e para o sistema de arquivos local .. mas eu quero mantê-los no HDFS e movê-los ...