да, это работает, я хотел сначала опубликовать этот ответ, но думаю, что он не будет полным, потому что, если столбцы в df1 и df2 имеют разные имена?

ел бы динамически объединить два фрейма данных spark-scala в нескольких столбцах. Я бы хотел избежать жесткого сравнения имен столбцов, как показано в следующих статьях;

val joinRes = df1.join(df2, df1("col1") == df2("col1") and df1("col2") == df2("col2"))

Решение для этого запроса уже существует в версии pyspark - предоставлено по следующей ссылкеPySpark DataFrame - динамически объединяет несколько столбцов

Я хотел бы закодировать тот же код, используя spark-scala

Ответы на вопрос(1)

Ваш ответ на вопрос