apache bohren schlechte Leistung

Ich habe versucht, mit Apache-Drill eine einfache Join-Aggregat-Abfrage auszuführen, und die Geschwindigkeit war nicht wirklich gut. meine testabfrage war:

SELECT p.Product_Category, SUM(f.sales)
FROM facts f
JOIN Product p on f.pkey = p.pkey
GROUP BY p.Product_Category

Wo Tatsachen ungefähr 422.000 Reihen und Produkt hat 600 Reihen. Die Gruppierung wird mit 4 Zeilen zurückgegeben.

Zunächst habe ich diese Abfrage auf SqlServer getestet und in etwa 150 ms ein Ergebnis erhalten.

Mit dem Drill habe ich zuerst versucht, eine direkte Verbindung zu SqlServer herzustellen und die Abfrage auszuführen, aber das war langsam (ungefähr 5 Sekunden).

Dann habe ich versucht, die Tabellen in JSON-Dateien zu speichern und von ihnen zu lesen, aber das war noch langsamer, also habe ich versucht, Parkettdateien zu erstellen.

Ich habe das Ergebnis im ersten Lauf in ungefähr 3 Sekunden zurückbekommen. Der nächste Lauf dauerte ungefähr 900 ms und war dann ungefähr 500 ms lang.

Vom Herumlesen macht das keinen Sinn und der Drill sollte schneller sein! Ich habe "REFRESH TABLE METADATA" ausprobiert, aber die Geschwindigkeit hat sich nicht geändert.

Ich habe dies unter Windows über die Drill-Befehlszeile ausgeführt.

Kann ich eine Idee haben, ob ich eine zusätzliche Konfiguration benötige?

Vielen Dank

Antworten auf die Frage(4)

Ihre Antwort auf die Frage