Resultados de la búsqueda a petición "hadoop"
Crear particiones de colmena para varios meses con un script
Tengo datos de 4 años. Me gusta '2011 2012 2013 2014'Tengo que ejecutar consultas basadas en los datos de un mes. Entonces estoy creando particiones como a continuación. 'ALTER TABLE table1_2010Jan ADD PARTITION(year='2010', month='01', ...
División automática de regiones HBase usando hbase.hregion.max.filesize
Estoy usando la distribución cloudera de HBase (hbase-0.94.6-cdh4.5.0) y el administrador cloudera para configurar todas las configuraciones del clúster. He configurado la siguiente propiedad para HBase: <property> ...
Error al ejecutar Mapreduce (hilo) desde el eclipse de Windows
Estoy ejecutando un programa WordCount desde mi eclipse. Intenté con Hadoop1.x está funcionando bien. Enfrentando un problema mientras se ejecuta en hadoop2.x intenté 1) agregué todo xml a mi classpath. 2) también probé conf.set ...
¿Cuál es el significado del espacio de nombres y metadatos que se utilizaron en hdfs (namenode)
Como principiante en hadoop, estoy confundido con estas palabras, espacio de nombres y metadatos. ¿Hay alguna relación entre estos dos?
Excepción Apache Spark EOF
Recibo una EOFException cuando ejecuto un trabajo simple que lee un archivo de texto y recopila los resultados. Esto funciona bien en mi máquina de desarrollo, pero falla al ejecutarlo en modo independiente (máquina única, maestro + trabajador). ...
Escriba en múltiples salidas por clave Scalding Hadoop, un trabajo MapReduce
¿Cómo puede escribir en múltiples salidas dependientes de la clave usando Scalding (/ en cascada) en un solo trabajo de reducción de mapa? Por supuesto que podría usar.filter para todas las claves posibles, pero ese es un truco horrible, que ...
Escribir en múltiples salidas mediante la tecla Spark: un trabajo de Spark
¿Cómo puede escribir en múltiples salidas dependientes de la clave usando Spark en un solo trabajo? Relacionado:Escriba en múltiples salidas por clave Scalding Hadoop, un ...
¿Cómo pasar Hive conf variable en hive udf?
Quiero pasar la variable conf de colmena a UDF de colmena. a continuación hay un fragmento de código. hive -f ../hive/testHive.sql -hivevar testArg=${testArg}A continuación se muestra la colmena UDF llamada. select ...
java.lang.NoSuchFieldError: IBM_JAVA para un simple cliente hbase java en Eclipse
Como dice el título, mi código fuente es: package hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; ...
Cómo leer archivos con un desplazamiento de Hadoop usando Java
Problema: quiero leer una sección de un archivo de HDFS y devolverla, como las líneas 101-120 de un archivo de 1000 líneas. No quiero usarseek porque he leído que es caro. Tengo archivos de registro que estoy usando PIG para procesar en ...