Как добавить регуляризации в TensorFlow?
Во многих доступных кодах нейронной сети, реализованных с использованием TensorFlow, я обнаружил, что условия регуляризации часто реализуются путем добавления дополнительного члена к значению потерь вручную.
Мои вопросы:
Есть ли более элегантный или рекомендуемый способ регуляризации, чем делать это вручную?
Я также считаю, чтоget_variable
есть аргументregularizer
, Как это должно быть использовано? По моим наблюдениям, если мы передаем регуляризатор к нему (например,tf.contrib.layers.l2_regularizer
тензор, представляющий регуляризованный член, будет вычислен и добавлен в коллекцию графов с именемtf.GraphKeys.REGULARIZATOIN_LOSSES
, Будет ли эта коллекция автоматически использоваться TensorFlow (например, используется оптимизаторами при обучении)? Или ожидается, что я должен использовать эту коллекцию сам?