Estoy tratando de usar la chispaConjunto de datos API pero tengo algunos problemas para hacer una unión simple.

Digamos que tengo dos conjuntos de datos con campos:date | value, entonces en el caso deDataFrame mi unión se vería así:

val dfA : DataFrame
val dfB : DataFrame

dfA.join(dfB, dfB("date") === dfA("date") )

Sin embargo paraDataset ahí está el.joinWith método, pero el mismo enfoque no funciona:

val dfA : Dataset
val dfB : Dataset

dfA.joinWith(dfB, ? )

¿Cuál es el argumento requerido por.joinWith ?