Como devo usar sql_last_value no logstash?
Não sei bem o quesql_last_value
faz quando dou minha declaração como tal:
statement => "SELECT * from mytable where id > :sql_last_value"
Eu posso entender um pouco a razão de usá-lo, onde ele não navega por toda a tabela db para atualizar os campos, mas apenas atualiza os registros que foram adicionados recentemente. Corrija-me se eu estiver errado.
Então, o que estou tentando fazer é criar o índice usandologstash
assim sendo:
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://hostmachine:3306/db"
jdbc_user => "root"
jdbc_password => "root"
jdbc_validate_connection => true
jdbc_driver_library => "/path/mysql_jar/mysql-connector-java-5.1.39-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
schedule => "* * * * *"
statement => "SELECT * from mytable where id > :sql_last_value"
use_column_value => true
tracking_column => id
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
}
}
output {
elasticsearch {
#protocol => http
index => "myindex"
document_type => "message_logs"
document_id => "%{id}"
action => index
hosts => ["http://myhostmachine:9402"]
}
}
Depois que faço isso, os documentos não são carregados no índice. Onde eu estou errando?
Qualquer ajuda pode ser apreciada.