Diferença entre org.apache.spark.ml.classification e org.apache.spark.mllib.classification

Estou escrevendo um aplicativo spark e gostaria de usar algoritmos no MLlib. No documento da API, encontrei duas classes diferentes para o mesmo algoritmo.

Por exemplo, há um LogisticRegression em org.apache.spark.ml.classification e também LogisticRegressionwithSGD em org.apache.spark.mllib.classification.

A única diferença que posso encontrar é que a do org.apache.spark.ml é herdada do Estimator e pôde ser usada na validação cruzada. Fiquei bastante confuso que eles são colocados em pacotes diferentes. Alguém sabe o motivo disso? Obrigado!

questionAnswers(2)

yourAnswerToTheQuestion