Учитывая обученную модель LSTM, я хочу выполнить вывод для единичных временных шагов, т.е.seq_length = 1 в примере ниже. После каждого временного шага необходимо запоминать внутренние состояния LSTM (память и скрытые) для следующего «пакета». Для самого начала вывода внутренние LSTM состоянияinit_c, init_h вычисляются с учетом ввода. Затем они хранятся вLSTMStateTuple объект, который передается в LSTM. Во время тренировки это состояние обновляется каждый раз. Однако для вывода я хочуstate чтобы быть сохраненным между пакетами, то есть, начальные состояния должны быть вычислены только в самом начале, и после этого состояния LSTM должны сохраняться после каждого «пакета» (n = 1).

Я нашел этот связанный вопрос StackOverflow:Tensorflow, лучший способ сохранить состояние в RNNs?, Однако это работает только еслиstate_is_tuple=False, но это поведение скоро будет признано устаревшим из-за TensorFlow (см.rnn_cell.py). Кажется, у Кераса есть хорошая оберткаStateful Возможны LSTM, но я не знаю лучшего способа добиться этого в TensorFlow. Эта проблема на TensorFlow GitHub также связана с моим вопросом:https://github.com/tensorflow/tensorflow/issues/2838

Есть ли хорошие предложения для построения модели LSTM с сохранением состояния?

inputs  = tf.placeholder(tf.float32, shape=[None, seq_length, 84, 84], name="inputs")
targets = tf.placeholder(tf.float32, shape=[None, seq_length], name="targets")

num_lstm_layers = 2

with tf.variable_scope("LSTM") as scope:

    lstm_cell  = tf.nn.rnn_cell.LSTMCell(512, initializer=initializer, state_is_tuple=True)
    self.lstm  = tf.nn.rnn_cell.MultiRNNCell([lstm_cell] * num_lstm_layers, state_is_tuple=True)

    init_c = # compute initial LSTM memory state using contents in placeholder 'inputs'
    init_h = # compute initial LSTM hidden state using contents in placeholder 'inputs'
    self.state = [tf.nn.rnn_cell.LSTMStateTuple(init_c, init_h)] * num_lstm_layers

    outputs = []

    for step in range(seq_length):

        if step != 0:
            scope.reuse_variables()

        # CNN features, as input for LSTM
        x_t = # ... 

        # LSTM step through time
        output, self.state = self.lstm(x_t, self.state)
        outputs.append(output)