Intenté usar apache-drill para ejecutar una simple consulta de unión agregada y la velocidad no fue realmente buena. mi consulta de prueba fue:

SELECT p.Product_Category, SUM(f.sales)
FROM facts f
JOIN Product p on f.pkey = p.pkey
GROUP BY p.Product_Category

Donde los hechos tienen aproximadamente 422,000 filas y el producto tiene 600 filas. la agrupación vuelve con 4 filas.

Primero probé esta consulta en SqlServer y obtuve un resultado en aproximadamente 150 ms.

Con el ejercicio, primero intenté conectarme directamente a SqlServer y ejecutar la consulta, pero eso fue lento (aproximadamente 5 segundos).

Luego intenté guardar las tablas en archivos json y leerlas, pero eso fue aún más lento, así que probé los archivos de parquet.

Obtuve el resultado en la primera ejecución en aproximadamente 3 segundos. La siguiente ejecución fue de unos 900 ms y luego se estabilizó a unos 500 ms.

Al leer, esto no tiene sentido y ¡el ejercicio debería ser más rápido! Intenté "Actualizar tabla de metadatos", pero la velocidad no cambió.

Estaba ejecutando esto en Windows, a través de la línea de comando de perforación.

¿Alguna idea si necesito alguna configuración adicional o algo?

¡Gracias!