Resultados de la búsqueda a petición "hadoop"
¿Cuál es la mejor manera de contar visitantes únicos con Hadoop?
Hola a todos, recién comenzando con hadoop y curiosos sobre cuál sería la mejor manera en mapreduce para contar visitantes únicos si sus archivos de registro se vean así ... DATE siteID action username 05-05-2010 siteA pageview jim 05-05-2010 ...
¿Cómo puedo hacer un nuevo directorio en hdfs con java?
public static void main(String[] args) throws IOException, URISyntaxException {Configuración config = nueva Configuración (); config.set("fs.default.name","hdfs://127.0.0.1:50070/dfshealth.jsp"); FileSystem dfs = FileSystem.get(config); String ...
Error de colmena de Apache La fusión de credenciales no es compatible con esta versión de hadoop
Estoy usando hadoop 1.2.1, hbase 0.94.14 y hive 1.0.0. Hay tres nodos de datos en mi clsuter y tres servidores de regiones también. Tengo que importar algunos datos de hbase a colmena. He configurado la colmena con éxito, pero cuando ejecuté un ...
usando pyspark, lee / escribe imágenes 2D en el sistema de archivos hadoop
Quiero poder leer / escribir imágenes en un sistema de archivos hdfs y aprovechar la localidad hdfs. Tengo una colección de imágenes donde cada imagen está compuesta de Matrices 2D de uint16información adicional básica almacenada como un ...
beeline no puede conectarse a hiveserver2
Tengo una instancia de CDH 5.3. Comienzo el hive-server2 iniciando primero el hive-metastore y luego el hive-server desde la línea de comandos. Después de esto, uso beeline para conectarme a mi servidor-colmena2, pero aparentemente no puede ...
MapReduce Output ArrayWritable
Estoy tratando de obtener una salida de un ArrayWritable en un MapReduce-Task simple. Encontré algunas preguntas con un problema similar, pero no puedo resolver el problema en mi propio código. Espero su ayuda. Gracias :)! Entrada:Archivo de ...
Avro vs. Parquet
Estoy planeando usar uno de los formatos de archivo hadoop para mi proyecto relacionado con hadoop. yoentenderparquet es eficiente para consultas basadas en columnas y avro para escaneo completo o cuando necesitamos todos los datos de las ...
Spark Streaming: HDFS
No puedo hacer que mi trabajo de Spark transmita archivos "antiguos" de HDFS.Si mi trabajo de Spark está inactivo por alguna razón (por ejemplo, demostración, implementación) pero la escritura / traslado al directorio HDFS es continua, podría ...
Clave del tipo de objeto en el mapeador hadoop
Nuevo en hadoop y tratando de entender el código de ejemplo mapreduce wordcount deaquí [http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html] . El mapeador de la documentación es ...
Obteniendo 'chequeando flume.conf por cambios' en un ciclo
Estoy usando Apache Flume 1.4.0 para recopilar archivos de registro (auth.log) y almacenarlos en HDFS (Hadoop 2.6.0). El comando utilizado es: bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n ...