Portanto, outra pergunta do SO me levou a tentar o seguinte:

object Foo{
  def f = 1
}

sc.parallelize(List(1)).map(x=>{
  val myF = Foo.f _
  x + myF()
}

O que funciona, mas o seguinte não:

object Foo{
  def f = 1
  def run(rdd: org.apache.spark.rdd.RDD[Int]) = rdd.map(x=>{
    val myF = Foo.f _
    x + myF()
  }
}

Foo.run(sc.parallelize(List(1)))

Analisarei mais profundamente a pilha de serialização amanhã, quando eu puder remover a bagunça da saída REPL. Mas, isso deve ser a mesma coisa. Por que uma maneira grita e a outra não.