Como passar Array [Seq [String]] para apache spark udf? (Erro: não aplicável)
Eu tenho o seguinte apache spark udf no scala:
val myFunc = udf {
(userBias: Float, otherBiases: Map[Long, Float],
userFactors: Seq[Float], context: Seq[String]) =>
var result = Float.NaN
if (userFactors != null) {
var contexBias = 0f
for (cc <- context) {
contexBias += otherBiases(contextMapping(cc))
}
// definition of result
// ...
}
result
}
Agora quero passar parâmetros para esta função, porém sempre recebo a mensagem Não aplicável devido ao parâmetrocontext
. Eu sei que funções definidas pelo usuário recebem entradas por linhas e essa função é executada se eu excluircontext
... Como resolver este problema? Por que não lê linhas deArray[Seq[String]]
, ou seja, decontext
? Como alternativa, seria aceitável passarcontext
ComoDataFrame
ou algo semelhante.
// context is Array[Seq[String]]
val a = sc.parallelize(Seq((1,2),(3,4))).toDF("a", "b")
val context = a.collect.map(_.toSeq.map(_.toString))
// userBias("bias"), otherBias("biases") and userFactors("features")
// have a type Column, while userBias... are DataFrames
myDataframe.select(dataset("*"),
myFunc(userBias("bias"),
otherBias("biases"),
userFactors("features"),
context)
.as($(newCol)))
ATUALIZAR:
Tentei a solução indicada na resposta dezero323
, no entanto, ainda existe um pequeno problema comcontext: Array[Seq[String]]
. Em particular, o problema está em fazer um loop sobre essa matrizfor (cc <- context) { contexBias += otherBiases(contextMapping(cc)) }
. Eu deveria passar uma String paracontextMapping
, não umSeq[String]
:
def myFunc(context: Array[Seq[String]]) = udf {
(userBias: Float, otherBiases: Map[Long, Float],
userFactors: Seq[Float]) =>
var result = Float.NaN
if (userFactors != null) {
var contexBias = 0f
for (cc <- context) {
contexBias += otherBiases(contextMapping(cc))
}
// estimation of result
}
result
}
Agora eu chamo da seguinte forma:
myDataframe.select(dataset("*"),
myFunc(context)(userBias("bias"),
otherBias("biases"),
userFactors("features"))
.as($(newCol)))