Estendendo um modelo pré-treinado Keras a imagens com canais ou bandas adicionais
Eu só esperava esclarecer algumas informações sobre um post anterior que discute como um modelo pré-treinado pela Keras como VGG ou InceptionV3 pode ser estendido para imagens de tamanhos diferentes. Meu problema é que tenho algumas imagens de satélite que vêm em 8 bandas. Portanto, uma imagem pode ser650x650x8
em vez das imagens usuais da banda RBG 3. Eu queria saber se posso usar um modelo pré-treinado Keras em imagens com 8 bandas em vez de 3 bandas.
Agora, há um post original e lida com algo semelhante a isso. O post de referência era sobre a aplicação de um modelo pré-treinado Keras VGG a uma imagem de tamanho diferente. Então a VGG foi treinada em224x224x3
e o usuário quis usar esse modelo contra uma imagem de160x320x3
.
Aqui está o post original:Alterar o formato do tensor de entrada para aplicação VGG16
Aqui está o código da postagem original:
from keras.models import Model
from keras.layers import Dense,Flatten
from keras.applications import vgg16
from keras import backend as K
model = vgg16.VGG16(weights='imagenet', include_top=False, input_shape=(160,320,3))
model.summary(line_length=150)
flatten = Flatten()
new_layer2 = Dense(10, activation='softmax', name='my_dense_2')
inp2 = model.input
out2 = new_layer2(flatten(model.output))
model2 = Model(inp2, out2)
model2.summary(line_length=150)
Então, se eu fosse substituir a sexta linha por algo como:
model = vgg16.VGG16(weights='imagenet', include_top=False, input_shape=(650,650,8))
Isso funcionaria ou o modelo pré-treinado não aceitaria um aumento de canais, pois aceitaria uma alteração na altura ou largura da imagem?
Além disso, eu precisaria realizar um treinamento adicional sobre o modelo com os canais extras. Mas eu não aprendi como o modelo pré-treinado realmente implementa essa extensão. Os pesos dos nós adicionados estão definidos como 0 ou algum tipo de peso determinado pelo inicializador? Estou tentando avaliar quanto treinamento extra eu precisaria fazer.
Obrigado por todas as dicas ou sugestões.