Eu tenho 2 funções (1 delas é parcial) definidas da mesma forma em um objeto:

  val partialFn: scala.PartialFunction[String, Int] =
    new AbstractPartialFunction[String, Int] {

      override def isDefinedAt(v: String): Boolean = {
        counter += 1
        if (v == "abc") true
        else false
      }

      override def applyOrElse[A1 <: String, B1 >: Int](v: A1, default: A1 => B1): B1 = {
        counter += 1
        if (v == "abc") {
          v.length
        }
        else {
          default(v)
        }
      }
    }

  val optionFn: (String) => Option[Int] = {
    (v: String) => {
      counter += 1
      if (v == "abc") {
        Some(v.length)
      }
      else {
        None
      }
    }
  }

Quando ambos estão envolvidos em uma opção (definitivamente serializável) e sendo serializados / desserializados, um deles falha:

java.io.NotSerializableException: ***.extractors.ExtractorSuite$anon$1
Serialization stack:
    - object not serializable (class: ***.extractors.ExtractorSuite$anon$1, value: <function1>)
    - field (class: scala.Some, name: x, type: class java.lang.Object)
    - object (class scala.Some, Some(<function1>))
    at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)
    at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:47)
    at org.apache.spark.serializer.JavaSerializerInstance.serialize(JavaSerializer.scala:101)
    at ***.tests.TestMixin$anonfun$assertSerializable$1.apply(TestMixin.scala:61)

...

Alguma idéia de por que existe uma diferença tão grande entre PartialFunction e função comum?