Resultados de la búsqueda a petición "cluster-computing"
YarnException: solicitud no autorizada para iniciar el contenedor
He configurado hadoop2.2.0 en 3 grupos. Todo va bien. NodeManager y Datanode se inician en cada grupo. Pero, cuando ejecuto el ejemplo de wordcount, se reali...
Balanceo de carga WebLogic
Actualmente estoy desarrollando un proyecto soportado en un entorno agrupado de WebLogic. He configurado con éxito el clúster, pero ahora quiero una solución...
Manera fácil de usar opciones paralelas de funciones scikit-learn en HPC
En muchas funciones de scikit-learn se implementó una paralelización fácil de usar. Por ejemplo ensklearn.cross_validation.cross_val_score solo pasa el número deseado de trabajos computacionales enn_jobs argumento. Y para PC con ...
¿Cómo saber el modo de implementación de la aplicación PySpark?
Estoy tratando de solucionar un problema con la falta de memoria y quiero saber si necesito cambiar esta configuración en el archivo de configuraciones predeterminado (spark-defaults.conf) en la carpeta de inicio de spark. O, si puedo ...
¿Cómo ejecutar automáticamente un script bash cuando mis trabajos qsub están terminados en un servidor?
Me gustaría ejecutar un script cuando todos los trabajos que he enviado a un servidor están terminados. por ejemplo, yo envío ssh server "for i in config*; do qsub ./run 1 $i; done"Y recupero una lista de los trabajos que se iniciaron. Me ...
¿Diferencia entre la chispa independiente y el modo local?
¿Cuál es la diferencia entre Spark autónomo y modo local?
Mensaje de tamaño variable en MPI
¿Hay una llamada a la biblioteca que permita enviar / recibir mensajes de tamaño variable usando MPI? Una solución sería enviar el tamaño de los datos en el primer mensaje y seguirlo con la carga útil real, pero me preguntaba si había una ...
Compartir sesiones entre instancias de tomcat (sin usar sesiones fijas)
Voy a tener 3 servidores Tomcat y un Load Balancer que despacha las solicitudes sin usar 'sesiones pegajosas [http://dev.fyicenter.com/Interview-Questions/JavaScript/What_does_the_term_sticky_session_mean_in_a_web_.html] '. Quiero compartir los ...
¿Cómo se distribuyen las tareas dentro de un clúster de Spark?
Entonces tengo una entrada que consiste en un conjunto de datos y varios algoritmos de ML (con ajuste de parámetros) usando scikit-learn. He intentado bastantes intentos sobre cómo ejecutar esto de la manera más eficiente posible, pero en este ...
Configuración de un clúster informático de alto rendimiento en servidores que ejecutan diferentes sistemas operativos
En mi laboratorio, tenemos varios servidores utilizados para los programas de simulación, pero funcionan de manera independiente. Ahora quiero combinarlos para convertirlos en un clúster usando MPICH para que se comuniquen. Pero existe un ...