logstash +asticsearch: перезагружает те же данные
Удалось получить logstash (1.3.1) для отправки данных вasticsearch (0.9.5).
Моя настройка файла logstash conf
input {
file {
path => ["D:/apache-tomcat-7.0.5/logs/*.*"]
}
}
output {
stdout { }
elasticsearch_http {
host => "localhost"
port => 9200
}
}
Данные хранятся в ES под индексом logstash-2013.12.xx
Однако, если я перезапущу logstash, скажем, на следующий день - те же данные загружаются в новый индекс. Даже если я перезапущу снова, количество документов в индексе удваивается.
Похоже, logstash перечитывает данные, а ES также дублирует документы.
Есть ли способ не перезагружать в logstash или не дублировать в ES или сделать ОБА.