Desejo remover a duração do tempo de sobreposição dos dados CSV colocados no Azure Data Lake Store usando U-SQL e combinar essas linhas. O conjunto de dados contém a hora de início e a hora de término com vários outros atributos para cada registro. Aqui está um exemplo:

Start Time - End Time - Usar Name
5:00 AM - 6:00 AM - ABC
5:00 AM - 6:00 AM - XYZ
8:00 AM - 9:00 AM - ABC
8:00 AM - 10:00 AM - ABC
10:00 AM - 2:00 PM - ABC
7:00 AM - 11:00 AM - ABC
9:00 AM - 11:00 AM - ABC
11:00 AM - 11:30 AM - ABC

Após remover a sobreposição, o conjunto de dados de saída será semelhante a:

Start Time - End Time - Usar Name
5:00 AM - 6:00 AM - ABC
5:00 AM - 6:00 AM - XYZ
7:00 AM - 2:00 PM - ABC

Observe que o CSV contém uma quantidade enorme de dados e consiste em vários GB de tamanho. Estou tentando resolver este problema, mas sem sorte. Desejo evitar operadores U-SQL definidos pelo usuário para trabalhos do Azure Data Lake Analytics e procurar alguma solução eficiente no U-SQL.