Чтение данных из памяти в Vowpal Wabbit?
Есть ли способ отправить данные для обучения модели в Vowpal Wabbit, не записывая их на диск?
Вот что я пытаюсь сделать. У меня есть относительно большой набор данных в CSV (около 2 ГБ), который без проблем помещается в памяти. Я загружаю его в R в кадр данных, и у меня есть функция для преобразования данных в этом кадре в формат VW.
Теперь, чтобы обучить модель, мне нужно сначала записать преобразованные данные в файл, а затем передать этот файл в VW. И запись на диск занимает слишком много времени, особенно потому, что я хочу попробовать разные модели с различными преобразованиями функций, и поэтому мне приходится записывать данные на диск несколько раз.
Итак, если я могу создать символьный вектор в R, в котором каждый элемент представляет собой строку данных в формате VW, как я могу передать это в VW, не записывая его на диск?
Я подумал об использовании режима демона и записи вектора символов в соединение с локальным хостом, но я не мог заставить VWпоезд в режиме демона - я не уверен, что это даже возможно.
Я готов использовать c ++ (через пакет Rcpp), если это необходимо.
Заранее большое спасибо.
ОБНОВИТЬ:
Спасибо всем за вашу помощь. В случае, если кому-то интересно, я просто передал вывод в VW, как предложено в ответе, примерно так:
# Two sample rows of data
datarows <- c("1 |name 1:1 2:4 4:1", "-1 |name 1:1 4:1")
# Open connection to VW
con <- pipe("vw -f my_model.vw")
# Write to connection and close
writeLines(datarows, con)
close(con)