Resultados de la búsqueda a petición "mapreduce"
El contenedor se está ejecutando más allá de los límites de memoria
En Hadoop v1, asigné 7 ranuras de asignador y reductor con un tamaño de 1 GB, mis asignadores y reductores funcionan bien. Mi máquina tiene 8G de memoria, 8 ...
Cómo serializar objetos en hadoop (en HDFS)
Tengo un HashMap <String, ArrayList <Integer>>. Quiero serializar mi objeto HashMap (hmap) a la ubicación HDFS y luego deserializarlo en Mapper and Reducers para usarlo. Para serializar mi objeto HashMap en HDFS, utilicé el código de ...
Por qué es necesario el método setMapOutputKeyClass en el trabajo mapreduce
Cuando escribo el programa mapreduce, a menudo escribo el código como job1.setMapOutputKeyClass(Text.class);Pero, ¿por qué deberíamos especificar MapOutputKeyClass explícitamente? Ya lo hemos spicificado en la clase mapper como public static ...
¿Cómo puedo obtener un resultado de mapa / reducción que se ordena en orden descendente del valor de "valor"? Si también se puede lograr eso con la función de lista.
Tengo ver mapa y reducir así: Mapa: function(doc) { if(doc.type){ var usersLength = doc.users.length; for (var i = 0; i < usersLength ; i++) { emit([doc.users[i].userid,doc.Service.ownId], 1); } } }Reducir: function(keys, values, rereduce) { ...
¿Cómo implementar el cálculo del valor propio con MapReduce / Hadoop?
Es posible porque PageRank era una forma de valor propio y por eso se introdujo MapReduce. Pero parece que hay problemas en la implementación real, como que cada computadora esclava tiene que mantener una copia de la matriz.
Únete a dos colecciones con MapReduce en MongoDB
Ya sé que MongoDB no admite operaciones de combinación, pero tengo que simular un$lookup (del marco de agregación) con elmapReduce paradigma. Mis dos colecciones son: // Employees sample { "_id" : "1234", "first_name" : "John", "last_name" ...
Equivalente de procedimiento almacenado MongoDB
Tengo un archivo CSV grande que contiene una lista de tiendas, en la que uno de los campos es ZipCode. Tengo una base de datos MongoDB separada llamada ZipCodes, que almacena la latitud y la longitud de cualquier código postal. En SQL Server, ...