Quiero crear una capa de pérdida personalizada para la segmentación semántica en caffe que requiera múltiples entradas. Deseo que esta función de pérdida tenga un factor de entrada adicional para penalizar la detección de fallas en objetos pequeños.

Para ello, he creado una imagen GT que contiene para cada píxel un peso. Si el píxel pertenece a un objeto pequeño, el peso es alto.

Soy novato en caffe y no sé cómo alimentar mi red con tres señales 2-D al mismo tiempo (imagen, gt-mask y los pesos por píxel). Tengo dudas sobre cómo está haciendo cafe la correspondencia entre los datos rgb y los datos gt.
Quiero expandir esto para tener 2 gt, uno para la imagen de etiqueta de clase y el otro para poner este factor en la función de pérdida.

¿Puedes dar alguna pista para lograr eso?

Gracias,