Resultados de la búsqueda a petición "hadoop"

1 la respuesta

Crear particiones de colmena para varios meses con un script

Tengo datos de 4 años. Me gusta '2011 2012 2013 2014'Tengo que ejecutar consultas basadas en los datos de un mes. Entonces estoy creando particiones como a continuación. 'ALTER TABLE table1_2010Jan ADD PARTITION(year='2010', month='01', ...

2 la respuesta

División automática de regiones HBase usando hbase.hregion.max.filesize

Estoy usando la distribución cloudera de HBase (hbase-0.94.6-cdh4.5.0) y el administrador cloudera para configurar todas las configuraciones del clúster. He configurado la siguiente propiedad para HBase: <property> ...

1 la respuesta

Error al ejecutar Mapreduce (hilo) desde el eclipse de Windows

Estoy ejecutando un programa WordCount desde mi eclipse. Intenté con Hadoop1.x está funcionando bien. Enfrentando un problema mientras se ejecuta en hadoop2.x intenté 1) agregué todo xml a mi classpath. 2) también probé conf.set ...

2 la respuesta

¿Cuál es el significado del espacio de nombres y metadatos que se utilizaron en hdfs (namenode)

Como principiante en hadoop, estoy confundido con estas palabras, espacio de nombres y metadatos. ¿Hay alguna relación entre estos dos?

1 la respuesta

Excepción Apache Spark EOF

Recibo una EOFException cuando ejecuto un trabajo simple que lee un archivo de texto y recopila los resultados. Esto funciona bien en mi máquina de desarrollo, pero falla al ejecutarlo en modo independiente (máquina única, maestro + trabajador). ...

3 la respuesta

Escriba en múltiples salidas por clave Scalding Hadoop, un trabajo MapReduce

¿Cómo puede escribir en múltiples salidas dependientes de la clave usando Scalding (/ en cascada) en un solo trabajo de reducción de mapa? Por supuesto que podría usar.filter para todas las claves posibles, pero ese es un truco horrible, que ...

10 la respuesta

Escribir en múltiples salidas mediante la tecla Spark: un trabajo de Spark

¿Cómo puede escribir en múltiples salidas dependientes de la clave usando Spark en un solo trabajo? Relacionado:Escriba en múltiples salidas por clave Scalding Hadoop, un ...

2 la respuesta

¿Cómo pasar Hive conf variable en hive udf?

Quiero pasar la variable conf de colmena a UDF de colmena. a continuación hay un fragmento de código. hive -f ../hive/testHive.sql -hivevar testArg=${testArg}A continuación se muestra la colmena UDF llamada. select ...

3 la respuesta

java.lang.NoSuchFieldError: IBM_JAVA para un simple cliente hbase java en Eclipse

Como dice el título, mi código fuente es: package hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; ...

1 la respuesta

Cómo leer archivos con un desplazamiento de Hadoop usando Java

Problema: quiero leer una sección de un archivo de HDFS y devolverla, como las líneas 101-120 de un archivo de 1000 líneas. No quiero usarseek porque he leído que es caro. Tengo archivos de registro que estoy usando PIG para procesar en ...