Resultados da pesquisa a pedido "scala"
Diferença entre filtro e onde no scala spark sql
Eu tentei os dois, mas funciona da mesma forma exemplo val items = List(1, 2, 3)usando filtro employees.filter($"emp_id".isin(items:_*)).showusando onde employees.where($"emp_id".isin(items:_*)).showO resultado é o mesmo para os ...
Como selecionar a primeira linha de cada grupo?
Eu tenho um DataFrame gerado da seguinte maneira: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc))Os resultados são parecidos com: +----+--------+----------+ |Hour|Category|TotalValue| ...
Tarefa SBT sourceGenerators - executar apenas se um arquivo for alterado
No meu projeto SBT, tenho um arquivo de entradasrc/main/greeting/Greeting.txt com o seguinte conteúdo: Hello, world!Este é meubuild.sbt que gera a fonte Scala a partir doGreeting.txt Arquivo: sourceGenerators in Compile += Def.task{ ...
Como definir uma função de agregação personalizada para somar uma coluna de vetores?
Eu tenho um DataFrame de duas colunas,ID do tipoInt eVec do tipoVector (org.apache.spark.mllib.linalg.Vector) O DataFrame é semelhante a seguir: ID,Vec 1,[0,0,5] 1,[4,0,1] 1,[1,2,1] 2,[7,5,0] 2,[3,3,4] 3,[0,8,1] 3,[0,0,1] 3,[7,7,7] ....Eu ...
Como integrar o Spark ao projeto Scala no IntelliJ IDE?
Estou usando o IntelliJ IDE para jogar com Scala e Spark. Nesse IDE, criei um projeto Scala com um objeto Scala (veja a figura). [/imgs/rO0F8.jpg] Eu usei o código de regressão de amostra destelocal na rede ...
Como passar uma variável de sessão de um objeto para outro em Gatling?
Estou extraindo variável de sessão no ObjectA e gostaria de passá-lo ao ObjectB, qual é a melhor maneira de conseguir isso? object ObjectA { val foo = exec(jsfPost("Request1", "/something.xhtml") .formParam("SUBMIT", "1") ...
Scala - agrupando em um iterador ordenado preguiçosamente
eu tenho umIterator[Record] que é pedido emrecord.id deste jeito: record.id=1 record.id=1 ... record.id=1 record.id=2 record.id=2 .. record.id=2Os registros de um ID específico podem ocorrer várias vezes, por isso quero escrever uma função que ...
Configure o sbt para não utilizar o diretório inicial do usuário
Na semana passada, tivemos as permissões do diretório de usuários alteradas em nossos servidores de IC e não temos mais acesso de gravação ao diretório inicial do usuário. Portanto, o sbt falha ao inicializar porque não pode gravar em~/.ivy etc ...
Como filtrar por período no Spark SQL
Estou tentando filtrar o período dos seguintes dados usando blocos de dados, que retorna nulo como resposta. Meus dados csv se parecem com: ID, Desc, Week_Ending_Date 100, AAA, 13-06-2015 101, BBB, 11-07-2015 102, CCC, 15-08-2015 103, DDD, ...
LabelledGeneric para obter o nome da classe
Eu sou relativamente novo em Shapeless, como se deduzirá da minha pergunta. Dada uma instância deLabelledGeneric, como obtenho o nome da classe que ela representa. Posso obter as informações do nome do campo emKeys, então suponho que preciso de ...