Я хотел бы посчитать, сколько флопов на каждом слое LeNet-5 (бумага) нуждается. Некоторые документы дают в общей сложности FLOP для других архитектур (1, 2, 3) Тем не менее, эти документы не дают подробностей о том, как вычислить количество FLOP, и я не знаю, сколько FLOP необходимо для нелинейных функций активации. Например, сколько FLOP необходимо для расчетаtanh(x)?

Я думаю, что это будет реализация и, вероятно, также зависит от оборудования. Тем не менее, я в основном заинтересован в получении порядка. Мы говорим о 10 флопах? 100 флапов? 1000 флопов? Так что выбирайте любую архитектуру / реализацию, которую хотите для своего ответа. (Хотя я был бы признателен за ответы, близкие к «обычным» настройкам, таким как Intel i5 / nvidia GPU / Tensorflow)