как использовать sincedb в logstash?
У меня есть тысячи файлов журналов, и он загружается каждый день. Я использую logstash и ElasticSearch для анализа, индексации и поиска.
Теперь я использую плагин ввода файлов для чтения загруженных файлов и их анализа. Я не поставилsincedb_path
так что его хранение в$HOME
, Но проблема в том, что он читает файлы журналов всего за один день. Вот моя конфигурация для ввода:
input {
file {
path => "/logs/downloads/apacheLogs/env1/**/*"
type => "env1"
exclude => "*.gz"
start_position => "beginning"
}
file {
path => "/logs/downloads/appLogs/env2/**/*"
type => "env2"
exclude => "*.gz"
start_position => "beginning"
}
}