Para segmentaciones semánticas, generalmente terminas siendo la última capa algo así como

output = Conv2D(num_classes, (1, 1), activation='softmax')

Mi pregunta es, ¿cómo preparo las etiquetas para esto? Por ejemplo, si tengo 10 clases para identificar, cada una con un color diferente. Para cada imagen de etiqueta, ¿necesito aplicar un enmascaramiento para un color en particular, convertir esto en una imagen en escala de grises para poder comparar con 1 filtro de la salida del modelo? ¿O hay una manera de pasar una imagen RGB completa como etiqueta?