Resultados de la búsqueda a petición "hadoop"
¿Cómo puedo inspeccionar un archivo de secuencia de Hadoop para el que me falta información de esquema completo?
Tengo un Hadoop SequenceFile comprimido de un cliente que me gustaría inspeccionar. No tengo información de esquema completo en este momento (en lo que estoy trabajando por separado). Pero mientras tanto (y con la esperanza de una solución ...
¿Cómo cargar datos para colgar desde HDFS sin eliminar el archivo fuente?
Cuando cargue datos de HDFS a Hive, use LOAD DATA INPATH 'hdfs_file' INTO TABLE tablename;command, parece que está moviendo el hdfs_file ahive/warehouse dir. ¿Es posible (¿Cómo?) Copiarlo en lugar de moverlo, para que el archivo sea utilizado ...
l ejemplo de @ hadoop-streaming no se pudo ejecutar: escriba la falta de coincidencia en la clave del mapa
I was running $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -D stream.map.output.field.separator=. \ -D stream.num.map.output.key.fields=4 \ -input myInputDirs \ -output myOutputDir \ ...
HDFS factor de replicación
Cuando estoy cargando un archivo a HDFS, si configuro el factor de replicación en 1, ¿entonces las divisiones de archivos residirán en una sola máquina o las divisiones se distribuirán a varias máquinas en la red? hadoop fs -D dfs.replication=1 ...
MapReduceBase y Mapper en desuso
public static class Map extends MapReduceBase implements MapperMapReduceBase, Mapper yJobConf están en desuso enHadoop 0.20.203. ¿Qué debemos usar ahora? Edit 1 - para elMapper y elMapReduceBase, Descubrí que solo necesitamos ...
Cómo escribir una subconsulta y usar la cláusula "In" en Hive
¿Cómo puedo usar la cláusula In en Hive? Quiero escribir algo como esto en Hive, seleccione x de y donde y.z en (seleccione una z distinta de y) en orden por x; Pero no encuentro ninguna forma de hacerlo ... Intenté En la cláusula en Hive 0.7 ...
Introducir datos dentro y fuera de Elastic MapReduce HDFS
He escrito un programa Hadoop que requiere un cierto diseño dentro de HDFS y que luego necesito sacar los archivos de HDFS. Funciona en mi configuración de Hadoop de nodo único y estoy ansioso por hacerlo funcionar en 10 de nodos dentro de ...
Cómo sobrescribir / reutilizar la ruta de salida existente para trabajos de Hadoop nuevamente y agian
Quiero sobrescribir / reutilizar el directorio de salida existente cuando ejecuto mi trabajo de Hadoop diariamente. En realidad, el directorio de salida almacenará la salida resumida de los resultados de la ejecución de trabajos de cada día. Si ...
¿Cómo hacer que Hadoop use todos los núcleos de mi sistema?
Tengo un sistema de 32 núcleos. Cuando ejecuto un trabajo de MapReduce con Hadoop, nunca veo que el proceso de Java use más del 150% de CPU (según la parte superior) y generalmente se mantiene alrededor del 100%. Debería estar más cerca del ...
Hadoop & Bash: eliminar el rango de coincidencia de nombres de archivo
Diga que tiene una lista de archivos en HDFS con un prefijo común y un sufijo incremental. Por ejemplo part-1.gz, part-2.gz, part-3.gz, ..., part-50.gzSolo quiero dejar unos pocos archivos en el directorio, digamos 3. Cualquier tres archivos ...