Como determinar o tamanho máximo do lote para um modelo de treinamento RNN seq2seq tensorflow

Question

Feb 03, 2016, 08:57 AM

gpu-programming machine-learning tensorflow recurrent-neural-network

Como determinar o tamanho máximo do lote para um modelo de treinamento RNN seq2seq tensorflow

Atualmente, estou usando o 64 padrão como o tamanho do lote para o modelo de fluxo tensor seq2seq. Qual é o tamanho máximo do lote, o tamanho da camada, etc. Posso usar uma única GPU Titan X com 12 GB de RAM e Haswell-E xeon 128 GB de RAM. Os dados de entrada são convertidos em incorporação. A seguir estão alguns parâmetros úteis que estou usando, parece que o tamanho da entrada da célula é 1024:

encoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
 decoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
 tf.app.flags.DEFINE_integer("size", 1024, "Size of each model layer.")

Então, com base no meu hardware, qual é o tamanho máximo de lote, as camadas e o tamanho de entrada que posso usar? Atualmente, a GPU mostra que 99% de memória está ocupada.