Resultados da pesquisa a pedido "scala"
Spark scala: SELECT em um loop foreach retorna java.lang.NullPointerException
Eu preciso iterar sobre o conteúdo de um DF com várias instruções SELECT dentro de um loop foreach, escrevendo a saída em arquivos de texto. Qualquer instrução SELECT dentro do loop foreach retorna uma NullPointerException. Eu sou incapaz de ver ...
Maneira correta de usar o YouTube.Builder
Eu preciso obter vídeos do usuário do youtube. Aqui está o meu código, que apenas tenta obter canais do usuário no youtube. Mas isso não funciona - depois de escolher a conta,loadYoutubeChannels sempre lança erros. Eu li ...
Scala recuperar ou recuperarCom
Estamos desenvolvendo alguns sistemas em nossa empresa em Scala e temos algumas dúvidas. Estávamos discutindo sobre como mapear as exceções futuras e não sabemos quando devemos usar a opção 1 ou a opção 2. val created: Future[...] = ???Opção ...
Qual é o motivo por trás das cláusulas do Pacote Encadeado no Scala?
A cláusula de pacote encadeado foi introduzida no Scala 2.8, conforme descrito por Martin Odersky no Scalalocal [http://www.scala-lang.org/docu/files/package-clauses/packageclauses.html]. Não entendo bem a intuição por trás disso. A seguir, foi ...
Inicie o HiveThriftServer programaticamente em Python
No spark-shell (scala), importamos org.apache.spark.sql.hive.thriftserver._ para iniciar o servidor Hive Thrift programaticamente para um contexto de seção específico como HiveThriftServer2.startWithContext (hiveContext) para expor uma tabela ...
Como armazenar objetos personalizados no conjunto de dados?
De acordo comApresentando conjuntos de dados Spark [https://databricks.com/blog/2016/01/04/introducing-spark-datasets.html]: Como esperamos ansiosamente pelo Spark 2.0, planejamos algumas melhorias interessantes para conjuntos de dados, ...
Conversão DataFrame para RDD [Map] em Scala
Eu quero converter uma matriz criada como: case class Student(name: String, age: Int) val dataFrame: DataFrame = sql.createDataFrame(sql.sparkContext.parallelize(List(Student("Torcuato", 27), Student("Rosalinda", 34))))Quando eu coleciono os ...
Como modificar um Spark Dataframe com uma estrutura aninhada complexa?
Eu tenho uma estrutura complexa de DataFrame e gostaria de anular uma coluna facilmente. Criei classes implícitas que conectam funcionalidade e abordam facilmente estruturas 2D DataFrame, mas uma vez que o DataFrame se torna mais complicado com ...
Número de CPUs por tarefa no Spark
Eu não entendospark.task.cpus parâmetro. Parece-me que uma "tarefa" corresponde a um "encadeamento" ou "processo", se você desejar, dentro do executor. Suponha que eu defina "spark.task.cpus" como 2. Como um thread pode utilizar duas CPUs ...
Como converter a opção [Try [_]] para Try [Option [_]]?
Costumo usar a função abaixo para converterOption[Try[_]] paraTry[Option[_]] mas parece errado. Essa funcionalidade pode ser expressa de maneira mais idiomática? def swap[T](optTry: Option[Try[T]]): Try[Option[T]] = { optTry match { ...