Eliminar campo del evento por patrón

Entonces, estoy usando una pila ELK estándar para analizar los registros de acceso de Apache, que funciona bien, pero estoy buscando separar los parámetros de URL como campos, usando el filtro KV, para permitirme escribir mejores consultas.

Mi problema es que esa aplicación que estoy analizando tiene parámetros generados dinámicamente 'que revientan la caché', lo que conduce a decenas de miles de 'campos', cada uno de los cuales ocurre una vez. ElasticSearch parece tener graves problemas con esto y no tienen ningún valor para mí, por lo que me gustaría eliminarlos. A continuación se muestra un ejemplo del patrón.

GET /page?rand123PQY=ABC&other_var=something GET /page?rand987ZDQ=DEF&other_var=something

En el ejemplo anterior, los parámetros que quiero eliminar comienzan 'rand'. Actualmente mi logstash.conf usa grok para extraer campos de los registros de acceso, seguido de kv para extraer los parámetros de la cadena de consulta:

filter { grok { path => "/var/log/apache/access.log" type => "apache-access" } kv { field_split => "&?" } } ¿Hay alguna manera de filtrar los campos que coincidan con el patrón?rand[A-Z0-9]*=[A-Z0-9]*? La mayoría de los ejemplos que he visto son campos de orientación por nombre exacto, que no puedo usar. Me preguntaba si volver a expresar el campo de solicitud en un nuevo campo, ejecutar KV en eso y luego eliminarlo. Funcionaría eso?

Respuestas a la pregunta(2)

Su respuesta a la pregunta