Resultados de la búsqueda a petición "hadoop"
¿Qué se debe considerar antes de elegir hbase?
Soy muy nuevo en el espacio de big data. Recibimos sugerencias del equipo de que deberíamos usar hbase en lugar de RDBMS para un alto rendimiento. No tenemos idea de lo que debe / debe considerarse antes de cambiar RDMS a hbase. ¿Algunas ideas?
Cómo serializar objetos en hadoop (en HDFS)
Tengo un HashMap <String, ArrayList <Integer>>. Quiero serializar mi objeto HashMap (hmap) a la ubicación HDFS y luego deserializarlo en Mapper and Reducers para usarlo. Para serializar mi objeto HashMap en HDFS, utilicé el código de ...
Ejecute un trabajo sqoop en una cola específica
Estoy tratando de crear unTrabajo Sqoop ejecutado en una cola específicaPero no funciona. He intentado dos cosas: Primero: Declarar la cola en la creación de empleo sqoop job \ --create myjob \ -- import \ ...
Las bibliotecas nativas de Hadoop no se encuentran en OS / X
He descargadohadoop código fuente de github y compilado con elnative opción: mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=trueLuego copié el.dylib archivos a $ HADOOP_HOME / lib cp ...
Cómo obtener datos de la tabla Phoenix a través del servicio REST de HBase
Creé una tabla HBase usando el controlador Phoenix JDBC en el siguiente fragmento de código: Class.forName("org.apache.phoenix.jdbc.PhoenixDriver"); Connection conn ...
Hadoop y renderizado 3D de imágenes
Tengo que hacer un proyecto Representación distribuida de una imagen en 3D. Puedo usar algoritmos estándar. El objetivo es aprender hadoop y no el procesamiento de imágenes. Entonces, ¿alguien puede sugerir qué lenguaje debo usar c ++ o java y ...
Cómo enumerar archivos en el directorio HDFS
¿Cómo enumero los archivos en el directorio HDFS? Esto es para enumerar archivos en el clúster Apache Spark usando Scala. Veo que hay una opción sc.textfile () pero eso también leerá el contenido. Quiero leer solo nombres de archivos. En ...
¿Cómo cambiar el formato de fecha en la colmena?
Mi tabla en la colmena tiene una fecha de presentación en el formato de "2016/06/01". pero encuentro que no es perjudicial con el formato '2016-06-01'. No se pueden comparar, por ejemplo. Ambos son cuerdas. Así que quiero saber cómo hacerlos ...
Cómo verificar la versión de Spark [cerrado]
Quiero verificar la versión de chispa en cdh 5.7.0. He buscado en Internet pero no puedo entender. Por favor ayuda. Gracias
Apache Spark que maneja datos sesgados
Tengo dos mesas que me gustaría unir. Uno de ellos tiene un sesgo de datos muy malo. Esto está causando que mi trabajo de chispa no se ejecute en paralelo ya que la mayoría del trabajo se realiza en una partición. Escuché y leí e intenté ...