емы классификации, такие как логистическая регрессия или полиномиальная логистическая регрессия, оптимизируюткросс-энтропии потеря. Обычно слой кросс-энтропии следуетSoftMax слой, который производит распределение вероятностей.

В тензорном потоке есть как минимумдюжина различных функций кросс-энтропийной потери:

tf.losses.softmax_cross_entropytf.losses.sparse_softmax_cross_entropytf.losses.sigmoid_cross_entropytf.contrib.losses.softmax_cross_entropytf.contrib.losses.sigmoid_cross_entropytf.nn.softmax_cross_entropy_with_logitstf.nn.sigmoid_cross_entropy_with_logits...

Какие из них работают только для бинарной классификации, а какие подходят для многоклассовых задач? Когда вы должны использоватьsigmoid вместоsoftmax? Какsparse функции отличаются от других и почему это толькоsoftmax?

Связанное (более ориентированное на математику) обсуждение:кросс-энтропийные джунгли.