Resultados de la búsqueda a petición "yarn"
solo se pudo replicar en 0 nodos en lugar de minReplication (= 1). Hay 4 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
No sé cómo solucionar este error: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, ...
FetchFailedException o MetadataFetchFailedException al procesar grandes conjuntos de datos
Cuando ejecuto el código de análisis con un conjunto de datos de 1 GB, se completa sin ningún error. Pero, cuando intento 25 gb de datos a la vez, obtengo los siguientes errores. Estoy tratando de entender cómo puedo evitar los siguientes fallos. ...
Enviar la aplicación de chispa como un trabajo de hilo desde Eclipse y Spark Context
Ya puedo enviarlocal trabajos de chispa (escritos en Scala) desde mi IDE de Eclipse. Sin embargo, me gustaría modificar mi contexto de Spark (dentro de mi aplicación) para que cuando 'Ejecute' la aplicación (dentro de Eclipse), el trabajo se ...
Spark Streaming: ¿Cómo puedo agregar más particiones a mi DStream?
Tengo una aplicación de transmisión por chispa que se ve así: val message = KafkaUtils.createStream(...).map(_._2) message.foreachRDD( rdd => { if (!rdd.isEmpty){ val kafkaDF = sqlContext.read.json(rdd) kafkaDF.foreachPartition( i =>{ ...
spark - problema de espacio de almacenamiento dinámico de Java - ExecutorLostFailure - contenedor salido con estado 143
Estoy leyendo la cadena que tiene una longitud de más de 100k bytes y estoy dividiendo las columnas según el ancho. Tengo cerca de 16K columnas que dividí de la cadena anterior en función del ancho. pero mientras escribo en el parquet estoy ...
¿Cómo ejecutar 2 EMR Spark Step al mismo tiempo?
Estoy intentando que 2 pasos se ejecuten simultáneamente en EMR. Sin embargo, siempre obtengo el primer paso en ejecución y el segundo pendiente. a parte de mi configuración de hilo es la siguiente: { "Classification": "capacity-scheduler", ...
¿Cómo arreglo "El archivo solo se puede replicar a 0 nodos en lugar de minReplication (= 1)"?
Hice una pregunta similar hace un tiempo [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] , y pensé que había resuelto este problema, pero resultó que ...