Ich möchte überlappende Zeitdauern aus CSV-Daten entfernen, die mit U-SQL in Azure Data Lake Store abgelegt wurden, und diese Zeilen kombinieren. Der Datensatz enthält die Start- und Endzeit mit mehreren anderen Attributen für jeden Datensatz. Hier ist ein Beispiel

Start Time - End Time - Usar Name
5:00 AM - 6:00 AM - ABC
5:00 AM - 6:00 AM - XYZ
8:00 AM - 9:00 AM - ABC
8:00 AM - 10:00 AM - ABC
10:00 AM - 2:00 PM - ABC
7:00 AM - 11:00 AM - ABC
9:00 AM - 11:00 AM - ABC
11:00 AM - 11:30 AM - ABC

Nach dem Entfernen der Überlappung sieht der Ausgabedatensatz folgendermaßen aus:

Start Time - End Time - Usar Name
5:00 AM - 6:00 AM - ABC
5:00 AM - 6:00 AM - XYZ
7:00 AM - 2:00 PM - ABC

Beachten Sie, dass CSV enorme Datenmengen enthält und aus mehreren GB besteht. Ich versuche dieses Problem zu lösen, habe aber kein Glück. Ich möchte U-SQL-Benutzerdefinierte Operatoren für Azure Data Lake Analytics-Jobs vermeiden und in U-SQL nach einer effizienten Lösung suchen.