Sé que es posible congelar capas individuales en una red, por ejemplo, para entrenar solo las últimas capas de un modelo previamente entrenado. Lo que estoy buscando es una forma de aplicar ciertas tasas de aprendizaje a diferentes capas.

Entonces, por ejemplo, una tasa de aprendizaje muy baja de 0.000001 para la primera capa y luego aumentar la tasa de aprendizaje gradualmente para cada una de las siguientes capas. Para que la última capa termine con una tasa de aprendizaje de 0.01 más o menos.

¿Es esto posible en pytorch? ¿Alguna idea de cómo puedo archivar esto?