Cómo determinar el tamaño de lote máximo para un modelo de entrenamiento RNN de tensorflow seq2seq

Actualmente, estoy usando el 64 predeterminado como el tamaño de lote para el modelo seq2seq tensorflow. ¿Cuál es el tamaño máximo de lote, el tamaño de la capa, etc. Puedo usar una sola GPU Titan X con 12 GB de RAM con Haswell-E xeon 128 GB de RAM. Los datos de entrada se convierten en incrustaciones. Los siguientes son algunos parámetros útiles que estoy usando, parece que el tamaño de entrada de la celda es 1024:

encoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
 decoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
 tf.app.flags.DEFINE_integer("size", 1024, "Size of each model layer.")

Entonces, según mi hardware, ¿cuál es el tamaño máximo de lote, las capas y el tamaño de entrada que puedo usar? Actualmente, la GPU muestra que el 99% de la memoria está ocupada.