Resultados de la búsqueda a petición "mapreduce"
Por qué es necesario el método setMapOutputKeyClass en el trabajo mapreduce
Cuando escribo el programa mapreduce, a menudo escribo el código como job1.setMapOutputKeyClass(Text.class);Pero, ¿por qué deberíamos especificar MapOutputKeyClass explícitamente? Ya lo hemos spicificado en la clase mapper como public static ...
Spark java.lang.StackOverflowError
Estoy usando chispa para calcular el pagerank de las reseñas de los usuarios, pero sigo recibiendo Sparkjava.lang.StackOverflowError cuando ejecuto mi código en un gran conjunto de datos (40k entradas). Sin embargo, cuando ejecuta el código en ...
Cómo serializar objetos en hadoop (en HDFS)
Tengo un HashMap <String, ArrayList <Integer>>. Quiero serializar mi objeto HashMap (hmap) a la ubicación HDFS y luego deserializarlo en Mapper and Reducers para usarlo. Para serializar mi objeto HashMap en HDFS, utilicé el código de ...
IllegalAccessError al StopWatch de guayaba de org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus
Estoy tratando de ejecutar una pequeña aplicación de chispa y obtengo la siguiente excepción: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from ...
¿Cuál es la forma más eficiente de hacer una reducción ordenada en PySpark?
Estoy analizando a tiempo los registros de rendimiento de los vuelos nacionales de EE. UU. Desde 2015. Necesito agrupar por número de cola y almacenar una lista ordenada por fecha de todos los vuelos para cada número de cola en una base de datos, ...
Cambiar el prefijo de nombre de archivo de salida para DataFrame.write ()
Los archivos de salida generados a través del método Spark SQL DataFrame.write () comienzan con el prefijo de nombre base "parte". p.ej. DataFrame sample_07 = ...
¿Cómo agrupar mongodb - salida mapReduce?
Tengo una consulta sobre el marco mapReduce en mongodb, por lo que tengo un resultado del par de valores clave de la función mapReduce, ahora quiero ejecutar la consulta en esta salida de mapReduce. Así que estoy usando mapReduce para averiguar ...
Resultados inesperados en Spark MapReduce
Soy nuevo en Spark y quiero entender cómo se hace MapReduce debajo del capó para asegurarme de que lo uso correctamente.Esta publicación [https://stackoverflow.com/a/32520848/5880417]proporcionó una gran respuesta, pero mis resultados no parecen ...
Número predeterminado de reductores
En Hadoop, si no hemos establecido el número de reductores, ¿cuántos número de reductores se crearán? Igual número de mapeadores depende de(tamaño total de datos) / (tamaño dividido de entrada), P.ej. si el tamaño de los datos es de 1 TB y el ...
Oozie: ¿Lanzar Mapa-Reducir desde la acción Ojazie <java>?
Estoy tratando de ejecutar una tarea Map-Reduce en un flujo de trabajo de Oozie usando un<java> acción. O'Reilley'sApache Oozie (Islam and Srinivasan 2015) señala que: Si bien no se recomienda, la acción de Java se puede utilizar para ...