Formación en múltiples GPU con un tamaño de lote pequeño

Estoy ejecutando TensorFlow en una máquina que tiene dos GPU, cada una con 3 GB de memoria. El tamaño de mi lote es de solo 2 GB, por lo que puede caber en una GPU. ¿Hay algún punto en el entrenamiento con ambas GPU (usandoCUDA_VISIBLE_DEVICES)? Si lo hiciera, ¿cómo distribuiría TensorFlow la capacitación?

Respuestas a la pregunta(1)

Su respuesta a la pregunta