Para segmentações semânticas, geralmente a última camada é algo como

output = Conv2D(num_classes, (1, 1), activation='softmax')

Minha pergunta é: como preparo os rótulos para isso? Por exemplo, se eu tiver 10 classes para identificar, cada uma com uma cor diferente. Para cada imagem de etiqueta, preciso aplicar mascaramento para uma cor específica, transformar isso em imagem em escala de cinza para que eu possa comparar com 1 filtro da saída do modelo? Ou existe uma maneira de passar uma imagem RGB completa como o rótulo?