Resultados de la búsqueda a petición "hadoop"
¿Cómo cargar datos CSV encerrados entre comillas dobles y separados por tabulación en la tabla HIVE?
Estoy tratando de cargar datos de un archivo csv en el que los valores están encerrados entre comillas dobles '"' y separadas por tabulaciones '\ t'. Pero cuando trato de cargar eso en la colmena no arroja ningún error y los datos se cargan sin ...
No se puede cargar correctamente los datos avro de twitter en la tabla de la colmena
¡Necesito tu ayuda! Estoy intentando un ejercicio trivial de obtener los datos de Twitter y luego cargarlos en Hive para su análisis. Aunque puedo obtener datos en HDFS usando flume (usando Twitter 1% Firehose Source) y también puedo cargar los ...
Chispa en problemas de carga de tarros
Estoy tratando de ejecutar un programa simple Map / Reduce java usando spark over yarn (Cloudera Hadoop 5.2 en CentOS). He intentado esto de 2 maneras diferentes. La primera forma es la ...
salida de un programa mapreduce como entrada a otro programa mapreduce
Estoy probando un ejemplo simple, en el que la salida de un trabajo MapReduce debe ser la entrada de otro trabajo MapReduce. El flujo debería ser así:Mapper1 --> Reducer1 --> Mapper2 --> Reducer2 (La salida de Mapper1 debe ser la entrada de ...
Requisitos para convertir el marco de datos de Spark en el marco de datos de Pandas / R
Estoy ejecutando Spark en HADOop's YARN. ¿Cómo funciona esta conversión? ¿Se realiza un collect () antes de la conversión? ¿También necesito instalar Python y R en cada nodo esclavo para que la conversión funcione? Estoy luchando por encontrar ...
chispa + localidad de datos hadoop
Obtuve un RDD de nombres de archivo, así que un RDD [String]. Lo consigo paralelizando una lista de nombres de archivo (de archivos dentro de hdfs). Ahora mapeo este rdd y mi código abre una secuencia de hadoop usando FileSystem.open (ruta). ...
Hadoop en Windows. YARN no puede comenzar con java.lang.UnsatisfiedLinkError
He instalado / configurado Hadoop en Windows hadoop-2.7.0 Podría iniciar correctamente el comando de ejecución "sbin \ start-dfs". DataNode y NameNode comenzaron. Podría crear un directorio, agregar un archivo al sistema hadoop. Pero ahora, ...
fusionar múltiples archivos pequeños en unos pocos archivos más grandes en Spark
Estoy usando la colmena a través de Spark. Tengo una consulta Insertar en tabla particionada en mi código de chispa. Los datos de entrada están en 200 + gb. Cuando Spark está escribiendo en una tabla particionada, está escupiendo archivos muy ...
Permiso denegado (publickey, gssapi-keyex, gssapi-with-mic, contraseña) durante la instalación de ambari hadoop
Estoy tratando de implementar un clúster de hadoop usando ambari, pero cuando selecciono los nombres de host con FQDN y procedo a configurar, obtengo el error de permiso denegado para ssh. PASOS: 1. generó la clave rsa usando ssh-keygen como ...
¿Diferencia entre Application Manager y Application Master en YARN?
Comprendí cómo funciona MRv1. Ahora estoy tratando de entender MRv2 ... ¿cuál es la diferencia entre Application Manager y Application Master en YARN?