Спасибо за вашу помощь. @MiniQuark @ Олдрим
анные обучения сохраняются в 3 файлах, каждый файл слишком велик и не может поместиться в памяти. Для каждого примера обучения данные имеют две размерности (2805 строк и 222 столбца, 222-й столбец для метки) и являются числовыми значениями. Я хотел бы нормализовать данные перед подачей в модели для обучения. Ниже приведен мой код для input_pipeline, и данные не были нормализованы до создания набора данных. Есть ли в тензорном потоке некоторые функции, которые могут сделать нормализацию для моего случая?
dataset = tf.data.TextLineDataset([file1, file2, file3])
# combine 2805 lines into a single example
dataset = dataset.batch(2805)
def parse_example(line_batch):
record_defaults = [[1.0] for col in range(0, 221)]
record_defaults.append([1])
content = tf.decode_csv(line_batch, record_defaults = record_defaults, field_delim = '\t')
features = tf.stack(content[0:221])
features = tf.transpose(features)
label = content[-1][-1]
label = tf.one_hot(indices = tf.cast(label, tf.int32), depth = 2)
return features, label
dataset = dataset.map(parse_example)
dataset = dataset.shuffle(1000)
# batch multiple examples
dataset = dataset.batch(batch_size)
dataset = dataset.repeat(num_epochs)
iterator = dataset.make_one_shot_iterator()
data_batch, label_batch = iterator.get_next()