Resultados de la búsqueda a petición "hadoop"
Escribir y leer matrices de bytes sin procesar en Spark - usando Sequence File SequenceFile
Como escribesRDD[Array[Byte]] a un archivo usando Apache Spark y leerlo de nuevo?
Comando para almacenar archivos en HDFS
Introducción Se han instalado y se están ejecutando un NameNode de Hadoop y tres DataNodes. El siguiente paso es proporcionar un archivo a HDFS. Se han ejecutado los siguientes comandos: hadoop fs -copyFromLocal ubuntu-14.04-desktop-amd64.iso ...
¿Cuál es la relación entre 'mapreduce.map.memory.mb' y 'mapred.map.child.java.opts' en Apache Hadoop YARN?
Me gustaría saber la relación entremapreduce.map.memory.mb ymapred.map.child.java.opts parámetros Esmapreduce.map.memory.mb > mapred.map.child.java.opts? Gracias Kewal.
¿Cómo se compara Hive con HBase?
Estoy interesado en descubrir cómo se lanzó recientemente ( http://mirror.facebook.com/facebook/hive/hadoop-0.17/ [http://mirror.facebook.com/facebook/hive/hadoop-0.17/]) Hive se compara con HBase en términos de rendimiento. La interfaz similar a ...
Delta / Carga incremental en colmena
Tengo el caso de uso a continuación: Mi aplicación tiene una tabla que tienedatos multianualesenRDBMSDB. Hemos usado sqooppara obtener datos en HDFS y cargarlos en una tabla de colmena particionada poraño mes. Ahora, la aplicación actualiza e ...
Cerdo: número de control de mapeadores
Puedo controlar el número de reductores usando la cláusula PARALLEL en las declaraciones que resultan en reductores. Quiero controlar el número de mapeadores. La fuente de datos ya está creada, y no puedo reducir el número de partes en la fuente ...
hadoop - mapa reduce tarea y variable estática
Acabo de comenzar a trabajar en algún trabajo de MapReduce de hadoop / hbase (usando cloudera) y tengo la siguiente pregunta: Digamos que tenemos una clase java con una variable principal y una estática. Esa clase define la clase interna ...
Almacenar datos en SequenceFile desde Apache Pig
Cerdo apache puede cargar datos de archivos de secuencia de Hadoop usando PiggyBankSequenceFileLoader: REGISTER /home/hadoop/pig/contrib/piggybank/java/piggybank.jar; DEFINE SequenceFileLoader ...
HBase en Hortonworks HDP Sandbox: no se puede obtener la dirección maestra de ZooKeeper
Descargué HDP 2.1 de hortonworks para virtualbox. Recibí el siguiente error al usar el shell Hbase en caso de un comando simple: crear 't1', {NAME => 'f1', VERSIONS => 5} ERROR de Hortonworks: no se puede obtener la dirección maestra de ...
¿Cómo hacer que Spark Streaming escriba su salida para que Impala pueda leerlo?
Tengo el siguiente problema con Spark Streaming API. Actualmente estoy transmitiendo datos de entrada a través de Flume a Spark Streaming, con lo que planeo hacer un preprocesamiento de los datos. Luego, me gustaría guardar los datos en el ...