Resultados da pesquisa a pedido "scala"
Adicionando parte da coluna Esquema pai ao filho no json aninhado no quadro de dados do spark
Eu tenho abaixo xml que eu estou tentando carregar para desencadear quadro de dados. <?xml version="1.0"?> <env:ContentEnvelope xsi:schemaLocation="http"> <env:Header> ...
udf Nenhum TypeTag disponível para o tipo string
Eu não entendo um comportamento de faísca. Crio um udf que retorna um número inteiro como abaixo import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} object Show { def main(args: Array[String]): Unit = { ...
Qual é a maneira correta de usar o scala.io.Source?
Em muitos exemplos, é des, descrito que você pode usar o scala.io.Source para ler um arquivo inteiro como este: val str = scala.io.Source.fromFile("test.txt").mkString()Mas o fechamento do fluxo subjacente não é mencionado. Por que o Scala não ...
Parâmetro de conversão HTTP Scala Akka como java.time.ZonedDateTime
Estou trabalhando em um serviço REST usando o Akka HTTP (em Scala). Eu gostaria que um parâmetro que fosse passado para uma solicitação http get fosse convertido no tipo ZonedDateTime. O código funciona bem se eu tentar usar String ou Int, mas ...
Spark Structured Streaming com integração Hbase
Estamos fazendo streaming de dados kafka que estão sendo coletados no MySQL. Agora que todas as análises estiverem concluídas, quero salvar meus dados diretamente no Hbase. Passei pelo documento de streaming estruturado do spark, mas não consegui ...
Por que o cache de chamada demora muito tempo em um conjunto de dados Spark?
Estou carregando grandes conjuntos de dados e, em seguida, armazenando-os em cache para referência em todo o meu código. O código se parece com isso: val conversations = sqlContext.read .format("com.databricks.spark.redshift") .option("url", ...
Como usar o COGROUP para grandes conjuntos de dados
Eu tenho doisrdd's nomeadamenteval tab_a: RDD[(String, String)] eval tab_b: RDD[(String, String)] estou a usarcogroup para esses conjuntos de dados como: val tab_c = tab_a.cogroup(tab_b).collect.toArray val updated = tab_c.map { x => { ...
Digite Incompatibilidade no Scala para Compreensão
Por que essa construção causa um erro de incompatibilidade de tipo no Scala? for (first <- Some(1); second <- List(1,2,3)) yield (first,second) <console>:6: error: type mismatch; found : List[(Int, Int)] required: Option[?] for (first ...
Como posso ver o conteúdo de uma solicitação MultipartForm?
Estou usando o Apache HTTPClient 4. Estou fazendo coisas de várias partes muito normais como esta: val entity = new MultipartEntity(HttpMultipartMode.BROWSER_COMPATIBLE); entity.addPart("filename", new FileBody(new ...
Quadros de dados Spark (scala) - Verifique se as strings na coluna contêm itens de um conjunto
Eu sou muito novo no scala and spark e tenho tentado encontrar uma solução para esse problema o dia todo - isso está me afetando. Tentei 20 variações diferentes do código a seguir e continuo recebendotype mismatch erros quando tento ...