Resultados da pesquisa a pedido "hadoop"
Usando o envio de spark, qual é o comportamento da opção --total-executor-cores?
Estou executando um cluster de faísca em código C ++ envolto em python. Atualmente, estou testando diferentes configurações de opções de multiencadeamento (no nível Python ou no Spark). Estou usando o spark com binários independentes, em um ...
A inicialização do modo Apache Spark YARN leva muito tempo (mais de 10 segundos)
Estou executando um aplicativo spark no modo cliente YARN ou cluster YARN. Mas parece levar muito tempo para iniciar. Demora mais de 10 segundos para inicializar o contexto de faísca. Isso é normal? Ou pode ser otimizado? O ambiente é o ...
Arquivo Hadoop ORC - Como funciona - Como buscar metadados
Eu sou novo no arquivo ORC. Passei por muitos blogs, mas não obtive um entendimento claro. Ajude e esclareça as perguntas abaixo. Posso buscar o esquema do arquivo ORC? Eu sei que no Avro, o esquema pode ser buscado. Como ele realmente fornece ...
Obtendo arquivos no Hadoop em um aplicativo Web
Eu sou novo no Hadoop. No momento, estou tentando fazer um aplicativo no eclipse no qual desejo usar os dados presentes no HDFS. Se queremos nos conectar ao banco de dados com Java, temos uma conexão JDBC. Dessa forma, o que preciso fazer para ...
Existe alguma perda de memória no HDFS se usarmos arquivos pequenos?
Abaixo, citei o Hadoop - O guia definitivo: Observe que arquivos pequenos não ocupam mais espaço em disco do que o necessário para armazenar o conteúdo bruto do arquivo. Por exemplo, um arquivo de 1 MB armazenado com um tamanho de bloco de 128 MB ...
Ferramenta e orientação de backup e recuperação do Hadoop
Eu sou novo no hadoop preciso aprender detalhes sobre backup e recuperação. Revisei o backup e a recuperação do oracle, isso ajudará no hadoop?
Rhadoop - contagem de palavras usando rmr
Estou tentando executar um trabalho rmr simples usando o pacote Rhadoop, mas ele não está funcionando. print("Initializing ...
É possível salvar arquivos no Hadoop sem salvá-los no sistema de arquivos local?
É possível salvar arquivos no Hadoop sem salvá-los no sistema de arquivos local? Gostaria de fazer algo como o mostrado abaixo, no entanto, gostaria de salvar o arquivo diretamente no HDFS. No momento, salvei os arquivos no diretório ...
Qual é o propósito do "modo uber" no hadoop?
Oi eu sou um novato em grande volume de dados. Eu procurei por toda a internet para encontrar o que exatamente é o modo uber. Quanto mais eu procurava, mais eu me confundia. Alguém pode me ajudar respondendo minhas perguntas? O que o modo uber ...
Hadoop Erro "Não foi possível carregar a biblioteca nativo-hadoop para sua plataforma" no docker-spark?
estou usandodocker-spark [https://github.com/sequenceiq/docker-spark]. Depois de iniciarspark-shell, gera: 15/05/21 04:28:22 DEBUG NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError:no hadoop in ...