Filtre el marco de datos de chispa / escala si la columna está presente en el conjunto
Estoy usando Spark 1.4.0, esto es lo que tengo hasta ahora:
data.filter($"myColumn".in(lit("A"), lit("B"), lit("C"), ...))
La funcióniluminado Convierte un literal en una columna.
Idealmente, pondría mi A, B, C en un conjunto y verificaría así:
val validValues = Set("A", "B", "C", ...)
data.filter($"myColumn".in(validValues))
¿Cuál es la sintaxis correcta? ¿Hay alguna solución concisa alternativa?