Logstash: como usar o filtro para corresponder ao nome do arquivo ao usar s3
Eu sou novo no logstash. Eu tenho alguns logs armazenados no AWS S3 e posso importá-los para o logstash. Minha pergunta é: é possível usar o filtro grok para adicionar tags com base nos nomes dos arquivos? Eu tento usar:
grok {
match => {"path" => "%{GREEDYDATA}/%{GREEDYDATA:bitcoin}.err.log"}
add_tag => ["bitcoin_err"]
}
Isto não está a funcionar. Eu acho que o motivo é "caminho" apenas trabalhando com entradas de arquivo.
Aqui está a estrutura dos meus buckets S3:
my_buckets
----A
----2014-07-02
----a.log
----b.log
----B
----2014-07-02
----a.log
----b.log
Estou usando essas entradas conf:
s3 {
bucket => "my_buckets"
region => "us-west-1"
credentials => ["XXXXXX","XXXXXXX"]
}
O que eu quero é que, para qualquer mensagem de log em:
"A / 2014-07-02 / a.log": eles terão a tag ["A", "a"].
"A / 2014-07-02 / b.log": eles terão a tag ["A", "b"].
"B / 2014-07-02 / a.log": eles terão a tag ["B", "a"].
"B / 2014-07-02 / b.log": eles terão a tag ["B", "b"].
Desculpe meu ingles....