Tengo una especie de pila ELK, con fluentd en lugar de logstash, ejecutándose como DaemonSet en un clúster de Kubernetes y enviando todos los registros de todos los contenedores, en formato logstash, a un servidor Elasticsearch.

De los muchos contenedores que se ejecutan en el clúster de Kubernetes, algunos son contenedores nginx que generan registros del siguiente formato:

121.29.251.188 - [16/Feb/2017:09:31:35 +0000] host="subdomain.site.com" req="GET /data/schedule/update?date=2017-03-01&type=monthly&blocked=0 HTTP/1.1" status=200 body_bytes=4433 referer="https://subdomain.site.com/schedule/2589959/edit?location=23092&return=monthly" user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0" time=0.130 hostname=webapp-3188232752-ly36o

Los campos visibles en Kibana son según esta captura de pantalla:

¿Es posible extraer campos de este tipo de registro después de que se indexó?

El fluentd collector está configurado con la siguiente fuente, que maneja todos los contenedores, por lo que no es posible aplicar un formato en esta etapa debido a las muy diferentes salidas de diferentes contenedores:

<source>
  type tail
  path /var/log/containers/*.log
  pos_file /var/log/es-containers.log.pos
  time_format %Y-%m-%dT%H:%M:%S.%NZ
  tag kubernetes.*
  format json
  read_from_head true
</source>

En una situación ideal, me gustaría enriquecer los campos visibles en la captura de pantalla anterior con los metacampos en el campo "log", como "host", "req", "status", etc.