Resultados de la búsqueda a petición "hdfs"
El directorio de scratch raíz: / tmp / hive en HDFS debe poder escribirse. Los permisos actuales son: rw-rw-rw- (en Windows)
Estoy ejecutando Spark en Windows 7. Cuando uso Hive, veo el siguiente error The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-Los permisos se establecen de la siguiente manera C:\tmp>ls -la total 20 ...
solo se pudo replicar en 0 nodos en lugar de minReplication (= 1). Hay 4 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
No sé cómo solucionar este error: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, ...
¿Cómo establecer el tamaño del bloque de datos en Hadoop? ¿Es ventajoso cambiarlo?
Si podemos cambiar el tamaño del bloque de datos en Hadoop, hágamelo saber cómo hacerlo. ¿Es ventajoso cambiar el tamaño del bloque? En caso afirmativo, avíseme ¿Por qué y cómo? Si no es así, ¿me avisas por qué y cómo?
¿Cómo descomprimir archivos .gz en un nuevo directorio en hadoop?
Tengo un montón de archivos .gz en una carpeta en hdfs. Quiero descomprimir todos estos archivos .gz en una nueva carpeta en hdfs. Cómo debería hacer esto?
Número predeterminado de reductores
En Hadoop, si no hemos establecido el número de reductores, ¿cuántos número de reductores se crearán? Igual número de mapeadores depende de(tamaño total de datos) / (tamaño dividido de entrada), P.ej. si el tamaño de los datos es de 1 TB y el ...
Concat archivos Avro usando avro-tools
Estoy tratando de fusionar archivos avro en un archivo grande, el problema esconcat el comando no acepta el comodín hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroYo obtengo: Excepción en el hilo "main" ...
¿Cómo agregar un archivo de configuración typesafe que se encuentra en HDFS para enviar por chispa (modo de clúster)?
Tengo una aplicación Spark (Spark 1.5.2) que transmite datos desde Kafka a HDFS. Mi aplicación contiene dos archivos de configuración Typesafe para configurar ciertas cosas como el tema de Kafka, etc. Ahora quiero ejecutar mi aplicación con ...
Lectura en archivo csv como marco de datos de hdfs
Estoy usando pydoop para leer un archivo de hdfs, y cuando uso: import pydoop.hdfs as hd with hd.open("/home/file.csv") as f: print f.read()Me muestra el archivo en stdout. ¿Hay alguna forma de leer este archivo como marco de datos? He ...
permisos de archivos de usuario hadoop
Tengo un problema al configurar los permisos de archivos hadoop en hortonworks y cloudera. Mi requerimiento es: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this case ...
Hadoop: ... se replicará a 0 nodos en lugar de minReplication (= 1). Hay 1 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
Recibo el siguiente error cuando intento escribir en HDFS como parte de mi aplicación multiproceso could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this ...