He creado un modelo LSTM multicapa que utiliza la regresión para predecir los valores de los datos del próximo fotograma. El modelo termina después de 20 épocas. Luego obtengo algunas predicciones y las comparo con mis valores de verdad básicos. Como puede ver en la imagen de arriba, las predicciones convergen a un valor constante. No sé por qué sucede esto. Aquí está mi modelo hasta ahora:

from keras.models import Sequential
from keras.layers.core import Dense, Activation, Dropout
from keras.layers import LSTM, BatchNormalization
from tensorflow.python.keras.initializers import RandomUniform

init = RandomUniform(minval=-0.05, maxval= 0.05)

model = Sequential()

model.add(LSTM(kernel_initializer=init, activation='relu', return_sequences=True, units=800, dropout=0.5, recurrent_dropout=0.2, input_shape=(x_train.shape[1], x_train.shape[2]) ))
model.add(LSTM(kernel_initializer=init, activation='relu', return_sequences=False, units=500, dropout=0.5, recurrent_dropout=0.2 ))

model.add(Dense(1024, activation='linear', kernel_initializer=init))
model.add(BatchNormalization())
model.add(Dropout(0.5))
model.add(Dense(1, activation='linear', kernel_initializer= 'normal'))

model.compile(loss='mean_squared_error', optimizer='rmsprop' )
model.summary()

EDIT1: Disminuí las épocas de 20 a 3. Los resultados son los siguientes:

l comparar 2 imágenes, puedo concluir que cuando aumenta el número de épocas, es más probable que las predicciones converjan a algún valor específico que esté alrededor de -0.1.