Tantas opciones y tan poco tiempo para probarlas todas ... Me pregunto si alguien tiene experiencia con sistemas de archivos distribuidos para transmisión de video y almacenamiento / codificación.

Tengo muchos archivos de video enormes (50GB a 250GB) que necesito almacenar en algún lugar, poder codificarlos en mp4 y transmitirlos desde varios servidores Adobe FMS. La única forma de manejar todo esto es con un sistema de archivos distribuido, pero ahora la pregunta es ¿cuál?

Mi investigación hasta ahora me dice:

Lustr: solución probada madura, utilizada por muchas grandes empresas, la mejor con archivos> 10G es un controlador de kernel. Gluster: nuevo, menos maduro, basado en FUSE que significa fácil de instalar pero quizás más lento debido a la sobrecarga de FUSE. Es mejor manejar una gran cantidad de archivos más pequeños ~ 1GB MogileFS: parece ser solo para archivos pequeños ~ MB, ¿utiliza HTTP para acceder? posible FUSIBLE vinculante en el futuro.

Hasta ahora Luster parece el ganador, pero me gustaría escuchar experiencias reales para la aplicación particular que tengo.

También Hadoop, Redhat GFS, Coda y Windows DFS suenan como opciones, por lo que cualquier experiencia es bienvenida. Si alguien tiene puntos de referencia, comparta.

Después de una experiencia real, esto es lo que he aprendido:

LustrePerformance: ¡increíblemente rápido! Puedo afirmar que Lustre puede servir muchas transmisiones y que la velocidad de codificación no se ve afectada al acceder a los archivos a través de Lustre.ompatibilidad con @POXIS: ¡Muy bien! No es necesario modificar las aplicaciones para usar lustre.Replication, Load Balancing y Fail Over: ¡Muy mal !. Para el equilibrio de la carga de replicación, y en caso de falla, debemos confiar en otro software, como IP virtuales y DRDB.Instalación: ¡Lo peor! Imposible de instalar por simples mortales. Requiere una combinación muy específica de kernel, parches de brillo y ajustes para que funcione. Y los parches de brillo actuales generalmente funcionan con núcleos antiguos que son incompatibles con el nuevo hardware / software.MogileFS:Performance: Bueno para archivos pequeños pero no utilizable para archivos medianos a grandes. Esto se debe principalmente a la sobrecarga de HTTP, ya que todos los archivos se envían / reciben a través de solicitudes HTTP que codifican todos los datos en base64, agregando una sobrecarga del 33% a cada archivo.a compatibilidad con @POXIX no existe. Todas las aplicaciones requieren ser modificadas para usar mogilefs que lo hace inútil para la transmisión / codificación ya que la mayoría de los servidores de transmisión y herramientas de codificación no entienden el protocolo MogileFS.a replicación y la conmutación por error fuera de la caja y el equilibrio de carga se pueden implementar en la aplicación accediendo a más de un rastreador a la vez.Installation es relativamente fácil y existen paquetes listos para usar en la mayoría de las distribuciones. La única dificultad que encontré fue configurar la base de datos maestro-esclavo para eliminar el único punto de falla.Gluster: Rendimiento: muy malo para la transmisión. No puedo alcanzar más de unos pocos Mbps en una red de 10 Gbps. Los clientes y la CPU del servidor se disparan en escrituras pesadas. Para la codificación funciona porque la CPU está saturada antes que la red y la E / S.POXIS: casi compatible. Las herramientas que uso pueden acceder a los montajes de Gluster como carpetas normales en el disco, pero en algunos casos extremos las cosas comienzan a causar problemas. Consulte las listas de correo de Gluster y verá que hay muchos problemas. Replicación, conmutación por error y equilibrio de carga: ¡Lo mejor! si realmente funcionaran Gluster es muy nuevo y tiene muchos errores y problemas de rendimiento. La instalación es demasiado fácil. La línea de comando de administración es sorprendente y establecer volúmenes replicados, divididos y distribuidos entre varios servidores no puede ser más fácil.

Conclusión final

amentablemente, la conclusión es "No hay una sola bala de plata".

Actualmente tenemos nuestros archivos multimedia en Gluster3.2 en un volumen replicado para almacenamiento y transcodificación. Mientras no tenga muchos servidores, evite la replicación geográfica y los volúmenes de bandas, todo funcionará bien.

Cuando vamos a transmitir los archivos multimedia, los copiamos a un volumen de brillo que se replica en un segundo volumen de brillo a través de DR: DB. El servidor wowza luego lee los archivos multimedia de los volúmenes de brillo.

Y finalmente usamos MogileFS para servir las miniaturas en nuestros servidores de aplicaciones web.