Quiero eliminar la duración del tiempo superpuesto de los datos CSV colocados en Azure Data Lake Store usando U-SQL y combinar esas filas. El conjunto de datos contiene la hora de inicio y la hora de finalización con varios otros atributos para cada registro. Aquí hay un ejemplo:

Start Time - End Time - Usar Name
5:00 AM - 6:00 AM - ABC
5:00 AM - 6:00 AM - XYZ
8:00 AM - 9:00 AM - ABC
8:00 AM - 10:00 AM - ABC
10:00 AM - 2:00 PM - ABC
7:00 AM - 11:00 AM - ABC
9:00 AM - 11:00 AM - ABC
11:00 AM - 11:30 AM - ABC

Después de eliminar la superposición, el conjunto de datos de salida se verá así:

Start Time - End Time - Usar Name
5:00 AM - 6:00 AM - ABC
5:00 AM - 6:00 AM - XYZ
7:00 AM - 2:00 PM - ABC

Tenga en cuenta que CSV contiene una enorme cantidad de datos y consta de varios GB de tamaño. Estoy tratando de resolver este problema pero no tuve suerte. Quiero evitar los operadores definidos por el usuario de U-SQL para los trabajos de Azure Data Lake Analytics y buscar alguna solución eficiente desde U-SQL.