Resultados de la búsqueda a petición "hadoop"
Spark 1.6: no se pudo localizar el binario winutils en la ruta binaria hadoop
Sé que hay una publicación muy similar a esta (Error al localizar el binario winutils en la ruta binaria hadoop [https://stackoverflow.com/questions/19620642/failed-to-locate-the-winutils-binary-in-the-hadoop-binary-path] ), sin embargo, he ...
Número predeterminado de reductores
En Hadoop, si no hemos establecido el número de reductores, ¿cuántos número de reductores se crearán? Igual número de mapeadores depende de(tamaño total de datos) / (tamaño dividido de entrada), P.ej. si el tamaño de los datos es de 1 TB y el ...
Spark Ejecución de archivo TB en memoria
Supongamos que tengo un archivo de datos Tb. Cada memoria de nodo en el clúster de diez nodos es de 3 GB. Quiero procesar el archivo usando spark. Pero, ¿cómo encaja One TeraByte en la memoria? ¿Se perderá la memoria? ¿Como funciona?
iterador de manupulación en mapreduce
Estoy tratando de encontrar la suma de cualquier punto dado usando hadoop. El problema que tengo es obtener todos los valores de una clave dada en un solo reductor. Se parece a esto. Reductor: public static class Reduce extends MapReduceBase ...
Concat archivos Avro usando avro-tools
Estoy tratando de fusionar archivos avro en un archivo grande, el problema esconcat el comando no acepta el comodín hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avroYo obtengo: Excepción en el hilo "main" ...
MultipleOutputFormat en hadoop
Soy un novato en Hadoop. Estoy probando el programa Wordcount. Ahora para probar varios archivos de salida, usoMultipleOutputFormat. Este enlace me ayudó a ...
Cómo conectarse a Hadoop / Hive desde .NET
Estoy trabajando en una solución en la que tendré un clúster de Hadoop con Hive ejecutándose y quiero enviar trabajos y consultas de colmena desde una aplicación .NET para procesar y recibir una notificación cuando terminen. No puedo encontrar ...
Conéctese a Impala usando el cliente impyla con autenticación Kerberos
Estoy en una máquina W8, donde uso Python (Anacondadistribución) para conectarse aImpalaen nuestroHadoopclúster utilizando elImpilapaquete. Nuestro clúster hadoop está asegurado a través deKerberos. He seguido elREFERENCIA ...
¿Cómo obtener todas las definiciones de tabla en una base de datos en Hive?
Estoy buscando obtener todas las definiciones de tabla en Hive. Sé que para la definición de una sola tabla puedo usar algo como: describe <<table_name>> describe extended <<table_name>>Pero, no pude encontrar una manera de obtener todas las ...
Query Hive Meta Store
Quiero saber cómo consultar la base de datos de metastore de la colmena y obtener algunas propiedades clave que incluyen: Fecha de CreaciónÚltima Fecha de Actualizaciónúltima fecha de accesoAcabo de aprender un comando de la colmenashow table ...