Resultados de la búsqueda a petición "hadoop"
Agregar tarros de colmena permanentemente
¿Hay alguna forma de agregar tarros de colmena de forma permanente en lugar de agregar a nivel de sesión en el shell de colmena? Cualquier ayuda sería apreciada
Verificación de suma de control en Hadoop
¿Necesitamos verificar la suma de verificación después de mover los archivos a Hadoop (HDFS) desde un servidor Linux a través de un Webhdfs? Me gustaría asegurarme de que los archivos en el HDFS no tengan corrupción después de ser copiados. ...
Cómo exportar datos de Spark SQL a CSV
Este comando funciona con HiveQL: insert overwrite directory '/data/home.csv' select * from testtable;Pero con Spark SQL obtengo un error con unorg.apache.spark.sql.hive.HiveQl seguimiento de pila: java.lang.RuntimeException: Unsupported ...
¿Cómo conectarse a un Hive metastore programáticamente en SparkSQL?
Estoy usando HiveContext con SparkSQL y estoy tratando de conectarme a un Hive metastore remoto, la única forma de configurar el hive metastore es incluir hive-site.xml en el classpath (o copiarlo a / etc / spark / conf /). ¿Hay alguna manera de ...
Confirmación de operación de escritura de datos Hadoop 2.0
Tengo una pequeña consulta sobre escrituras de datos hadoop De la documentación de Apache Para el caso común, cuando el factor de replicación es tres, la política de colocación de HDFS es colocar una réplica en un nodo en el bastidor local, ...
¿Apache spark puede funcionar sin hadoop?
¿Hay alguna dependencia entreChispa - chispearyHadoop? Si no, ¿hay alguna característica que extrañaré cuando corro?Chispa - chispear sinHadoop?
Nodo de nombre de Hadoop 2.0, nodo secundario y nodo de punto de control para alta disponibilidad
Después de leer ApacheDocumentación de Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe una pequeña confusión en la comprensión de las responsabilidades del nodo secundario y el nodo del ...
¿Dónde envía hadoop mapreduce framework mis declaraciones System.out.print ()? (stdout)
Quiero depurar un script mapreduce, y sin meterme en muchos problemas intenté poner algunas declaraciones de impresión en mi programa. Pero parece que no puedo encontrarlos en ninguno de los registros.
Colmena Crear múltiples archivos pequeños para cada inserción en HDFS
lo siguiente ya se ha logrado Kafka Producer extrae datos de Twitter usando Spark Streaming.Kafka Consumer ingiere datos en la tabla externa de Hive (en HDFS).mientras esto funciona bien hasta ahora. Solo estoy enfrentando un problema, mientras ...
Guardar JSON en HDFS usando Python
Tengo un script de Python que actualmente accede a una API que devuelve JSON. Luego toma la cadena JSON y la guarda como un archivo en el sistema de archivos local, donde luego lo muevo a HDFS manualmente. Me gustaría cambiar esto para que mi ...