Resultados de la búsqueda a petición "bigdata"
No se puede inicializar la excepción de clúster mientras se ejecuta el trabajo en Hadoop 2
La pregunta está vinculada a mi pregunta anterior. Todos los demonios se están ejecutando, jps muestra:
usando clojure-csv.core para analizar un enorme archivo csv
Hasta ahora tengo:
¿Cuántas particiones crea Spark cuando se carga un archivo desde el bucket de S3?
Si el archivo se carga desde HDFS de forma predeterminada, spark crea una partición por bloque. Pero, ¿cómo decide chispa las particiones cuando se carga un archivo desde el depósito S3?
Hadoop 2 IOException solo cuando se intenta abrir supuestos archivos de caché
He actualizado recientemente a hadoop 2.2 (usando este tutorialaquí).Mi clase de trabajo principal se ve así, y lanza una excepción IOException:
Límites de memoria en la tabla de datos: no se permiten vectores de longitud negativa
Tengo una tabla de datos con varios usuarios de redes sociales y sus seguidores. La tabla de datos original tiene el siguiente formato: X.USERID FOLLOWERS 1081 4053807021,2476584389,4713715543, ...Por lo tanto, cada fila contiene un usuario ...