Resultados de la búsqueda a petición "hdfs"
Encontrar el número total de líneas en el archivo distribuido hdfs usando la línea de comando
Estoy trabajando en un clúster donde se guarda un conjunto de datoshdfs de manera distribuida Esto es lo que tengo: [hmi@bdadev-5 ~]$ hadoop fs -ls /bdatest/clm/data/ Found 1840 items -rw-r--r-- 3 bda supergroup 0 2015-08-11 00:32 ...
Colmena Crear múltiples archivos pequeños para cada inserción en HDFS
lo siguiente ya se ha logrado Kafka Producer extrae datos de Twitter usando Spark Streaming.Kafka Consumer ingiere datos en la tabla externa de Hive (en HDFS).mientras esto funciona bien hasta ahora. Solo estoy enfrentando un problema, mientras ...
Cómo pasar archivos Jar al script de shell en el nodo de shell OOZIE
Hola, recibo el siguiente error al ejecutar un programa java en un script que se ejecuta en el flujo de trabajo de acción de shell oozie. Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in thread ...
No se puede conectar con el almacenamiento de blobs azul con hadoop local
Al intentar conectar elhadoop localcon elAZUR GOTAalmacenamiento (es decir, utilizando elalmacenamiento de blobs como HDFS) con la versión Hadoop - 2.7.1, arroja una excepción Aquí he formado con éxito el clúster local estableciendo la ...
Cómo escribir en HDFS usando Scala
Estoy aprendiendo Scala y necesito escribir un archivo personalizado en HDFS. Tengo mi propio HDFS ejecutándose en una imagen de Cloudera usando vmware fusion en mi computadora portátil. Este es mi código real: package org.glassfish.samples ...
¿Cómo se pueden enumerar todos los archivos csv en una ubicación HDFS dentro del shell Spark Scala?
El propósito de esto es manipular y guardar una copia de cada archivo de datos en una segunda ubicación en HDFS. Estaré usando RddName.coalesce(1).saveAsTextFile(pathName)para guardar el resultado en HDFS. Es por eso que quiero hacer cada ...
Acceso a HDFS HA desde el trabajo por chispa (error UnknownHostException)
Tengo el clúster Apache Mesos 0.22.1 (3 maestros y 5 esclavos), ejecutando Cloudera HDFS (2.5.0-cdh5.3.1) en la configuración HA y el marco Spark 1.5.1. Cuando intento generar una aplicación de ejemplo compilada de HdfsTest.scala (de fuentes de ...
¿Cómo funciona el proceso de conmutación por error de Hadoop Namenode?
La guía definitiva de Hadoop dice: Cada Namenode se ejecutaun proceso de controlador de conmutación por error ligero cuyo trabajo espara monitorear su Namenode por fallas(utilizando un mecanismo de latido simple) y desencadenar una conmutación ...
¿Por qué el nodo de datos Dockerized Hadoop se registra con la dirección IP incorrecta?
Tengo imágenes Docker (1.9.1) separadas para los nodos de nombre y de datos de Hadoop (2.7.1). Puedo crear contenedores a partir de estos y hacer que se comuniquen a través de una red Docker definida por el usuario. Sin embargo, el nodo de datos ...
¿Cuándo son los archivos "divisibles"?
Cuando uso spark, a veces me encuentro con un archivo enorme en unCOLMENAtabla, y a veces intento procesar muchos archivos más pequeños en una tabla HIVE. Entiendo que al ajustar trabajos de chispa, cómo funciona depende de si los archivos son o ...