Treinamento em várias GPUs com um pequeno tamanho de lote

Estou executando o TensorFlow em uma máquina com duas GPUs, cada uma com 3 GB de memória. Meu tamanho de lote é de apenas 2 GB e, portanto, pode caber em uma GPU. Existe algum sentido em treinar com as duas GPUs (usandoCUDA_VISIBLE_DEVICES)? Se sim, como o TensorFlow distribuiria o treinamento?

questionAnswers(1)

yourAnswerToTheQuestion