Я изучаю стек EKL и сталкиваюсь с проблемой.

Я сгенерировал журналы, переправил журналы в logstash, журналы в формате JSON, поэтому они помещаются непосредственно в ES с использованием только фильтра JSON в конфигурации Logstash, подключаются и запускаются Kibana, указывающие на ES.

Logstash Config:

 filter {
  json {
    source => "message"
  }

Теперь у меня есть индексы, созданные для журнала за каждый день, и Кибана с радостью показывает все журналы по всем индексам.

Моя проблема: в журналах есть много полей, которые не включены / не проиндексированы для фильтрации в Kibana. Когда я пытаюсь добавить их в файл в Кибане, он говорит"неиндексированные поля не могут быть найдены".

Примечание: это не журнал sys / apache. Есть пользовательские журналы в формате JSON.

Формат журнала:

{"message":"ResponseDetails","@version":"1","@timestamp":"2015-05-23T03:18:51.782Z","type":"myGateway","file":"/tmp/myGatewayy.logstash","host":"localhost","offset":"1072","data":"text/javascript","statusCode":200,"correlationId":"a017db4ebf411edd3a79c6f86a3c0c2f","docType":"myGateway","level":"info","timestamp":"2015-05-23T03:15:58.796Z"}

поля типа 'statusCode', 'correlationId' не индексируются. Есть причина почему?

Нужно ли отдавать файл сопоставления в ES, чтобы он индексировал все или заданные поля?