Фильтровать фрейм данных spark / scala, если в наборе присутствует столбец
Я использую Spark 1.4.0, это то, что я до сих пор:
data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))
Функцияосвещенный преобразует литерал в столбец.
В идеале я бы положил свои A, B, C в набор и проверил бы так:
val validValues = Set("A", "B", "C", ...)
data.filter($"myColumn".in(validValues))
Какой правильный синтаксис? Есть ли альтернативные лаконичные решения?