Нейронные сети для мультиспектральных изображений - довольно активная тема исследования, но я боюсь, что есть немного готовых решений, таких как сети, предварительно обученные на imagenet. Вы можете попробовать метод уменьшения размерности, такой как PCA, чтобы сжать ваши изображения до трех каналов. Или обучите пользовательской архитектуре, которая принимает 8-канальные изображения в качестве входных данных.
сто надеялся прояснить некоторую информацию о предыдущем посте, в котором обсуждается, как предварительно обученную модель Keras, такую как VGG или InceptionV3, можно распространить на изображения разных размеров. Моя проблема в том, что у меня есть несколько спутниковых изображений, которые поступают в 8 полосах. Таким образом, изображение может быть650x650x8 вместо обычных RBG 3 полосных изображения. Я хотел знать, могу ли я использовать предварительно обученную модель Keras на изображениях с 8 полосами вместо 3 полос.
Сейчас есть оригинальный пост и посвящен чему-то похожему на это. В справочном посте речь шла о применении предварительно обученной модели Keras VGG к изображению другого размера. Так что VGG прошел обучение224x224x3 и пользователь хотел использовать эту модель против изображения160x320x3.
Вот оригинальный пост:Изменить форму входного тензора для приложения VGG16
Вот код из исходного поста:
from keras.models import Model
from keras.layers import Dense,Flatten
from keras.applications import vgg16
from keras import backend as K
model = vgg16.VGG16(weights='imagenet', include_top=False, input_shape=(160,320,3))
model.summary(line_length=150)
flatten = Flatten()
new_layer2 = Dense(10, activation='softmax', name='my_dense_2')
inp2 = model.input
out2 = new_layer2(flatten(model.output))
model2 = Model(inp2, out2)
model2.summary(line_length=150)
Так что, если бы я должен был заменить 6-ю строку чем-то вроде:
model = vgg16.VGG16(weights='imagenet', include_top=False, input_shape=(650,650,8))
Будет ли это работать, или предварительно обученная модель не примет увеличение каналов, так как примет изменение высоты или ширины изображения?
Также мне пришлось бы провести дополнительное обучение по модели с дополнительными каналами. Но я так и не понял, как предварительно обученная модель фактически реализует это расширение. Веса для добавленных узлов просто установлены на 0 или весы, определенные инициализатором? Я пытаюсь понять, сколько дополнительной подготовки мне нужно сделать.
Спасибо за любые советы или предложения.