Resultados da pesquisa a pedido "scala"
Não é possível declarar acumulador do tipo String
Estou tentando definir uma variável acumuladora do tipo String no shell Scala (driver), mas continuo recebendo o seguinte erro: - scala> val myacc = sc.accumulator("Test") <console>:21: error: could not find implicit value for parameter param: ...
Como criar um DataFrame vazio com um esquema especificado?
Eu quero criar emDataFrame com um esquema especificado no Scala. Tentei usar a leitura JSON (refiro-me à leitura de arquivos vazios), mas não acho que seja a melhor prática.
Obter todo o corpo do HttpResponse como uma String com o Akka-Streams HTTP
Estou tentando entender como usar o novoakka.http biblioteca. Gostaria de enviar uma solicitação http para um servidor e ler todo o corpo da resposta como uma única String para produzir umSource[String,?]. Aqui está a melhor solução que consegui ...
Como imprimir variável de acumulador de dentro da tarefa (parece "funcionar" sem chamar o método de valor)?
Eu sei que as variáveis do acumulador são 'somente gravação' do ponto de vista das tarefas, quando estão em execução nos nós do trabalhador. Eu estava testando isso e percebi que sou capaz de imprimir o valor do acumulador na tarefa. Aqui estou ...
Como usar o Joda DateTime com o Play Json
Estou desenvolvendo um aplicativo Play e estou tentando usar um objeto Joda DateTime na minha classe de caso. package model import org.joda.time.DateTime import play.api.libs.json._ case class User(name: String, created: DateTime) object User { ...
Uso do método spark as DataFrame “as”
estou olhando paraspark.sql.DataFrame [https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrame] documentação. Há sim def as(alias: String): DataFrame Returns a new DataFrame with an alias set. Since 1.3.0Qual é ...
Mesclar dois RDDs no Spark Scala
Eu tenho dois RDDs. rdd1 = (String, String) key1, value11 key2, value12 key3, value13rdd2 = (String, String) key2, value22 key3, value23 key4, value24Preciso formar outro RDD com linhas mescladas de rdd1 e rdd2, a saída deve se parecer ...
erro: não encontrado: valor sc
Eu sou novo no Scala e estou tentando codificar a leitura de um arquivo usando o código a seguir scala> val textFile = sc.textFile("README.md") scala> textFile.count()Mas continuo recebendo o seguinte erro error: not found: value scEu tentei de ...
Como adicionar uma nova coluna Struct a um DataFrame
Atualmente, estou tentando extrair um banco de dados do MongoDB e usar o Spark para inserir no ElasticSearch comgeo_points. O banco de dados Mongo possui valores de latitude e longitude, mas o ElasticSearch exige que eles sejam convertidos ...
Conversão RDD para LabeledPoint
Se eu tiver um RDD com cerca de 500 colunas e 200 milhões de linhas, eRDD.columns.indexOf("target", 0) mostraInt = 77 que indica que minha variável dependente direcionada está na coluna número 77. Mas não tenho conhecimento suficiente sobre como ...