Как определить максимальный размер партии для обучающей модели RNN с тензорным потоком seq2seq
В настоящее время я использую значение по умолчанию 64 в качестве размера пакета для модели тензорного потока seq2seq. Каков максимальный размер пакета, размер слоя и т. Д. Я могу использовать один графический процессор Titan X с 12 ГБ оперативной памяти и Haswell-E xeon 128 ГБ. Входные данные преобразуются в вложения. Ниже приведены некоторые полезные параметры, которые я использую, кажется, размер ячейки 1024:
encoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
decoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
tf.app.flags.DEFINE_integer("size", 1024, "Size of each model layer.")
Итак, исходя из моего оборудования, какой максимальный размер пакета, слои, размер ввода я могу использовать? В настоящее время графический процессор показывает, что 99% памяти занято.