Resultados de la búsqueda a petición "hdfs"
¿Es posible almacenar imágenes en Elasticsearch?
¿Es posible almacenar imágenes en clusters de Elasticsearch? En caso afirmativo, ¿hay algún recurso sobre el flujo de trabajo? Revisé el siguiente ...
Tamaño dividido vs tamaño de bloque en Hadoop
¿Cuál es la relación entre el tamaño de división y el tamaño de bloque en Hadoop? Mientras leoesta [http://willddy.github.io/2012/08/25/Hadoop-Split-and-Block.html], el tamaño dividido debe ser n veces el tamaño del bloque (n es un número entero ...
Poner archivo en HDFS con espacios en el nombre
Tengo un archivo llamadofile name(1).zip (con el espacio y los paréntesis) y quiero poner este archivo en el HDFS. Pero cada vez que trato de ponerlohadoop fs -put ... Tengo una excepción. Incluso intenté agregar citas alrededor del archivo e ...
chispa + localidad de datos hadoop
Obtuve un RDD de nombres de archivo, así que un RDD [String]. Lo consigo paralelizando una lista de nombres de archivo (de archivos dentro de hdfs). Ahora mapeo este rdd y mi código abre una secuencia de hadoop usando FileSystem.open (ruta). ...
Procese Spark Streaming rdd y almacene en un solo archivo HDFS
Estoy usando Kafka Spark Streaming para obtener datos de transmisión. val lines = KafkaUtils.createDirectStream[Array[Byte], String, DefaultDecoder, StringDecoder](ssc, kafkaConf, Set(topic)).map(_._2)Estoy usando este DStream y procesando ...
¿Es posible restringir que un trabajo de MapReduce acceda a datos remotos?
Tenemos un algoritmo particular que queremos integrar con HDFS. El algoritmo requiere que accedamos a los datos localmente (el trabajo se realizaría exclusivamente en elMapper) Sin embargo, queremos aprovechar HDFS en términos de distribución del ...
Verificación de suma de control en Hadoop
¿Necesitamos verificar la suma de verificación después de mover los archivos a Hadoop (HDFS) desde un servidor Linux a través de un Webhdfs? Me gustaría asegurarme de que los archivos en el HDFS no tengan corrupción después de ser copiados. ...
Confirmación de operación de escritura de datos Hadoop 2.0
Tengo una pequeña consulta sobre escrituras de datos hadoop De la documentación de Apache Para el caso común, cuando el factor de replicación es tres, la política de colocación de HDFS es colocar una réplica en un nodo en el bastidor local, ...
Nodo de nombre de Hadoop 2.0, nodo secundario y nodo de punto de control para alta disponibilidad
Después de leer ApacheDocumentación de Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe una pequeña confusión en la comprensión de las responsabilidades del nodo secundario y el nodo del ...
Guardar JSON en HDFS usando Python
Tengo un script de Python que actualmente accede a una API que devuelve JSON. Luego toma la cadena JSON y la guarda como un archivo en el sistema de archivos local, donde luego lo muevo a HDFS manualmente. Me gustaría cambiar esto para que mi ...