Resultados de la búsqueda a petición "hadoop"
Ejecutar zeppelin en modo de grupo de chispas
Estoy usando este tutorialgrupo de chispas en modo hilo en contenedor acoplable [https://zeppelin.apache.org/docs/0.7.0/install/spark_cluster_mode.html#spark-on-yarn-mode] para lanzar zeppelin en el grupo de chispas en modo hilo. Sin embargo, ...
hadoop2.2.0 agregar archivo ocurre YaBeingCreatedException
Tengo un problema con la operación de agregar hadoop2.2.0. Agrego algunos bytes a un archivo hdfs por HDFS API de Java. Primero crearé el archivo de destino si el archivo no existe antes de agregar la operación, los códigos como: String fileUri ...
Hadoop 2.2.0 jobtracker no se inicia
Parece que no tengojobtracker con Hadoop 2.2.0. JPS no lo muestra, no hay nadie escuchando en el puerto 50030, y no hay registros sobre eljobtracker dentro delogs carpeta. ¿Esto es por HILO? ¿Cómo puedo configurar e iniciar el rastreador de trabajos?
PIG: interfaz encontrada org.apache.hadoop.mapreduce.JobContext, pero se esperaba clase
Estaba tratando de cargar una mesa desde la colmena. Estoy usando Hcatalog para eso. Me conecté a la colmena usando pig -useHCatalogExporto casi todos los frascos de colmena y hadoop register ...
¿Cómo escribir la salida avro en hadoop map reduce?
Escribí un programa de conteo de palabras de Hadoop que tomaTextInputFormat input y se supone que genera el recuento de palabras en formato avro. El trabajo Map-Reduce se está ejecutando bien, pero la salida de este trabajo se puede leer ...
Use combineByKey para obtener resultados como (clave, [valores] iterables)
Estoy tratando de transformarRDD(key,value) aRDD(key,iterable[value]), igual que la salida devuelta por elgroupByKey método. Pero comogroupByKey no es eficiente, estoy tratando de usarcombineByKey en cambio, en el RDD, sin embargo, no funciona. A ...
nodo de datos hdfs desconectado de namenode
De vez en cuando recibo los siguientes errores en el administrador de cloudera: This DataNode is not connected to one or more of its NameNode(s).y The Cloudera Manager agent got an unexpected response from this role's web server.(generalmente ...
hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Estoy tratando de escribir un archivo de secuencia comprimido de bloque rápido desde un trabajo de reducción de mapas. Estoy usando hadoop 2.0.0-cdh4.5.0 y snappy-java 1.0.4.1 Aquí está mi código: package jinvestor.jhouse.mr; import ...
El sumidero HDFS de Flume mantiene archivos pequeños
Estoy tratando de transmitir datos de Twitter a hdfs usando flume y esto: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] Lo que sea que intente aquí, sigue creando archivos en HDFS que varían ...
Obtenga pocas líneas de datos HDFS
Estoy teniendo un2 GB datos en miHDFS. ¿Es posible obtener esos datos al azar? Como lo hacemos en la línea de comando de Unix cat iris2.csv |head -n 50