Wie speichere ich Modelle von der ML-Pipeline in S3 oder HDFS?

Ich versuche, Tausende von Modellen zu retten, die von ML Pipeline hergestellt wurden. Wie in der Antwort @ angegebHie können die Modelle wie folgt gespeichert werden:

import java.io._

def saveModel(name: String, model: PipelineModel) = {
  val oos = new ObjectOutputStream(new FileOutputStream(s"/some/path/$name"))
  oos.writeObject(model)
  oos.close
}

schools.zip(bySchoolArrayModels).foreach{
  case (name, model) => saveModel(name, Model)
}

Ich habe versucht mits3://some/path/$name und/user/hadoop/some/path/$name wie ich möchte, dass die modelle irgendwann auf amazon s3 gespeichert werden, aber beide scheitern mit meldungen, dass der pfad nicht gefunden werden kann.

Wie speichere ich Modelle in Amazon S3?

Antworten auf die Frage(6)

Ihre Antwort auf die Frage