Spark Dataset API - присоединяйтесь
Я пытаюсь использовать искруDataset API, но у меня есть некоторые проблемы при простом объединении.
Допустим, у меня есть два набора данных с полями:date | value
то в случаеDataFrame
мое объединение будет выглядеть так:
val dfA : DataFrame
val dfB : DataFrame
dfA.join(dfB, dfB("date") === dfA("date") )
Однако дляDataset
Здесь.joinWith
Метод, но тот же подход не работает:
val dfA : Dataset
val dfB : Dataset
dfA.joinWith(dfB, ? )
Какой аргумент требуется.joinWith
?