Resultados da pesquisa a pedido "scala"
filtrar e relatar vários predicados
Esse é um tipo de pergunta cosmética sobre o Scala. Uma lista com objetos precisa ser filtrada nos atributos dos objetos. Preciso relatar se a primeira verificação no atributo resulta em uma lista vazia. Código simplificado: case class Account ...
Spark UDF para StructType / Row
Eu tenho uma coluna "StructType" no Spark Dataframe que possui uma matriz e uma string como subcampos. Gostaria de modificar a matriz e retornar a nova coluna do mesmo tipo. Posso processá-lo com UDF? Ou quais são as alternativas? import ...
Como criar SparkSession a partir do SparkContext existente
Eu tenho um aplicativo Spark que usando a nova API Spark 2.0 comSparkSession. Estou construindo esse aplicativo em cima de outro aplicativo que está usandoSparkContext. Eu gostaria de passarSparkContext para o meu aplicativo ...
Sintaxe de curry na escala
A sintaxe do curry no scala é, por exemplo, def f(x: Int, b: Int) = x + y é def f(x: Int)(b: Int) = x + y E currying de soma para soma para determinado intervalo aeb é def sum(f: Int => Int, a: Int, b: Int) = { ... } sum(x=>x, 3, 6) // ...
Como filtrar registros duplicados com várias chaves no Spark Dataframe?
Eu tenho dois quadros de dados. Desejo excluir alguns registros no Data Frame-A com base em alguns valores de coluna comuns no Data Frame-B. Por exemplo: Quadro de dados A: A B C D 1 2 3 4 3 4 5 7 4 7 9 6 2 5 7 9 Quadro de Dados-B: A B C D 1 2 ...
Enumerações de Scala com objetos Singleton como elementos de enumeração e uma possibilidade de iterar sobre eles?
Eu já olhei para oPergunta Scala sobre a emulação de Javaenum [https://stackoverflow.com/questions/1321745/scala-doesnt-have-enums-what-to-use-instead-of-an-enum] eclasses de caso x ...
Como criar um esquema a partir do arquivo CSV e persistir / salvar esse esquema em um arquivo?
Eu tenho arquivo CSV com 10 colunas. Half String e half são Inteiros. Qual é o código Scala para: Criar (inferir) o esquemaSalve esse esquema em um arquivoEu tenho isso até agora: import org.apache.spark.sql.SQLContext val sqlContext = new ...
Exceção de valor nulo do conjunto de dados Spark 2
Obtendo este erro nulo no spark Dataset.filter CSV de entrada: name,age,stat abc,22,m xyz,,sCódigo de trabalho: case class Person(name: String, age: Long, stat: String) val peopleDS = spark.read.option("inferSchema","true") ...
Como ler registros no formato JSON do Kafka usando o Structured Streaming?
Estou tentando usarabordagem de streaming estruturado [http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html] usando o Spark-Streaming com base na API DataFrame / Dataset para carregar um fluxo de dados do Kafka. Eu ...
Partição Scala / Uso de Coleta
É possível usar uma chamada paracollect fazer 2 novas listas? Caso contrário, como posso fazer isso usandopartition?