Я только начал изучать глубокое обучение. Я застрял, когда дело дошло до градиентного спуска. Я знаю, как реализовать пакетный градиентный спуск. Я знаю, как это работает, как мини-пакетный и стохастический градиентный спуск работает в теории. Но на самом деле не могу понять, как реализовать в коде.

import numpy as np
X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
alpha,hidden_dim = (0.5,4)
synapse_0 = 2*np.random.random((3,hidden_dim)) - 1
synapse_1 = 2*np.random.random((hidden_dim,1)) - 1
for j in xrange(60000):
    layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))
    layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))
    layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))
    layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))
    synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))
    synapse_0 -= (alpha * X.T.dot(layer_1_delta))

Это пример кода из блога ANDREW TRASK. Это маленький и легкий для понимания. В этом коде реализован пакетный градиентный спуск, но я бы хотел реализовать мини-пакетный и стохастический градиентный спуск в этом примере. Как я мог это сделать? Что я должен добавить / изменить в этом коде для реализации мини-пакетного и стохастического градиентного спуска соответственно? Ваша помощь мне очень поможет. Заранее спасибо. (Я знаю, что в этом примере кода мало примеров, в то время как мне нужно разбить большой набор данных на мини-пакеты. Но я хотел бы знать, как его реализовать)