Resultados da pesquisa a pedido "scala"
Como forçar a avaliação do DataFrame no Spark
Às vezes (por exemplo, para teste e bechmarking) eu quero forçar a execução das transformações definidas em um DataFrame. AFAIK chamando uma ação comocount não garante que todosColumns são realmente computados,show pode computar apenas ...
Tipo de entendimento Parâmetros no Scala
Estou tentando entender os parâmetros de tipo no Scala. Vejamos o seguinte exemplo geral: def func1[T](a : T) : T = aEu entendo que func1 leva 1 parâmetro de qualquer tipo e retorna esse parâmetro do mesmo tipo. O que eu não entendo é o ...
Como converter um WrappedArray [WrappedArray [Float]] para Array [Array [Float]] em faísca (scala)
Estou usando o Spark 2.0. Eu tenho uma coluna do meu dataframe contendo umWrappedArray de WrappedArrays of Float. Um exemplo de uma linha seria: [[1.0 2.0 2.0][6.0 5.0 2.0][4.0 2.0 3.0]]Estou tentando transformar esta coluna em ...
Spark SQL datado em segundos
Eu tenho o seguinte código: table.select(datediff(table.col("Start Time"), table.col("End Time"))).show()O formato da data é2016-05-19 09:23:28 (YYYY-MM-DD HH:mm:SS) Funçãodatediffcalcule a diferença em dias. Mas eu gostaria de ter a diferença ...
Left Anti ingressar no Spark?
Eu defini duas tabelas como esta: val tableName = "table1" val tableName2 = "table2" val format = new SimpleDateFormat("yyyy-MM-dd") val data = List( List("mike", 26, true), List("susan", 26, false), List("john", 33, true) ) val data2 = ...
Por que o erro "não foi possível encontrar implícito" no Scala + Intellij + ScalaTest + Scalactic, mas não no sbt
Eu tenho esse código que étrabalhando 100% de sbtexecutandosbt test mas gere um erro de compilação no Intellij Idea. import org.scalatest.{BeforeAndAfter, FunSuite, GivenWhenThen} class SimpleTest extends FunSuite with GivenWhenThen with ...
Como usar a digitação do Scala, tipos abstratos etc. para implementar um tipo Self?
Não consegui encontrar a resposta para isso em nenhuma outra pergunta. Suponha que eu tenha uma superclasse abstrata Abstract0 com duas subclasses, Concrete1 e Concrete1. Eu quero ser capaz de definir no Abstract0 algo como def setOption(...): ...
Grupo de Dataframe do Apache Spark por agg () para várias colunas
eu tenho umDataFrame com 3 colunas, ou seja,Id, First Name, Last Name Eu quero aplicarGroupBy com base emId e quer colecionarFirst Name, Last Name coluna como lista. Exemplo: - Eu tenho um DF como este +---+-------+--------+ |id |fName |lName ...
Como implementar a primeira pesquisa de largura no Scala com FP
Eu estou querendo saber como implementar umPesquisa pela primeira vez [https://en.wikipedia.org/wiki/Breadth-first_search]em Scala, usando programação funcional. Aqui está o meu primeiro código impuro: def bfs[S](init: S, f: S => Seq[S], ...
Como classificamos o dataframe?
Eu tenho o dataframe de amostra como abaixo: i / p accountNumber assetValue A100 1000 A100 500 B100 600 B100 200o / p AccountNumber assetValue Rank A100 1000 1 A100 500 2 B100 600 1 B100 200 2Agora, minha pergunta é como adicionamos essa ...