Resultados de la búsqueda a petición "hadoop"
Pasar frascos adicionales a Spark mediante envío de chispa
Estoy usando Spark con MongoDB y, en consecuencia, confío en elmongo-hadoop conductores Tengo las cosas funcionando gracias a la entrada en mi ...
Oozie> Acción Java> por qué la propiedad oozie.launcher.mapred.child.java.opts no funciona
Estoy trabajando en Oozie con una acción de Java. La acción Java debe usar la opción Java -Xmx15g. En consecuencia, configuré la propiedad oozie.mapreduce.map.memory.mb en 25600 (25G) en caso de que se necesite algo de memoria adicional. Después ...
/ bin / bash: / bin / java: no existe tal archivo o directorio
Estaba tratando de ejecutar un simple programa MapReduce de recuento de palabras usando Java 1.7 SDK y Hadoop2.7.1 en Mac OS X EL Captain 10.11 y recibo el siguiente mensaje de error en mi registro de contenedor "stderr" / bin / bash: / bin / ...
Ejecutar una aplicación Hadoop independiente en múltiples núcleos de CPU
Mi equipo creó una aplicación Java utilizando las bibliotecas Hadoop para transformar un montón de archivos de entrada en resultados útiles. Dada la carga actual, un solo servidor multinúcleo funcionará bien durante el próximo año más o menos. No ...
¿Por qué mi BroadcastHashJoin es más lento que ShuffledHashJoin en Spark?
Ejecuto una combinación usando unjavaHiveContext en chispa La gran mesa es de 1,76 Gb y tiene un récord de 100 millones. La segunda tabla es de 273Mb y tiene un récord de 10 millones. Yo tengo unJavaSchemaRDD y llamocount() en eso: String ...
Intente actualizar o eliminar usando el administrador de transacciones que no admite estas operaciones
Al intentar actualizar los datos en la tabla Hive en Cloudera Quickstart VM, recibo este error. Error al compilar la declaración: FALLIDO: SemanticException [Error 10294]: Intente actualizar o eliminar usando el administrador de transacciones ...
Alterar tabla de colmena agregar o soltar columna
Tengo una tabla de orcos en la colmena. Quiero colocar una columna de esta tabla. ALTER TABLE table_name drop col_name;pero recibo la siguiente excepción Se produjo un error al ejecutar la consulta de la colmena: OK FALLÓ: la ...
¿Qué aspecto tiene hive-site.xml incluido en $ SPARK_HOME?
Soy un principiante en la colmena, algo sucedió (no puedo encontrar la tabla) cuando comienzo el trabajo de chispa y leo los datos de la colmena. No configuro hive-site.xml en $ SPARK_HOME / conf? enviar el comando de trabajo chispa está ...
¿Cuándo son los archivos "divisibles"?
Cuando uso spark, a veces me encuentro con un archivo enorme en unCOLMENAtabla, y a veces intento procesar muchos archivos más pequeños en una tabla HIVE. Entiendo que al ajustar trabajos de chispa, cómo funciona depende de si los archivos son o ...
¿Qué es el archivo de secuencia en hadoop?
Soy nuevo en Map-reduce y quiero entender qué es la entrada de datos del archivo de secuencia. Estudié en el libro de Hadoop, pero me fue difícil de entender.