Resultados da pesquisa a pedido "scala"
FPgrowth computing association em pyspark vs scala
Usando : http://spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.html [http://spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.html] Código Python: from pyspark.mllib.fpm import FPGrowth model = ...
Como desativar os Scalatests marcados como "Lentos" por padrão, permitir a execução com a opção?
Desejo desativar certos testes automatizados marcados como "Lentos" por padrão, mas permitir que o usuário ative sua execução com uma linha de comando simples. Eu imagino que este seja um caso de uso muito comum. Dado este conjunto de ...
Spark ML VectorAssembler retorna uma saída estranha
Estou experimentando um comportamento muito estranho deVectorAssembler e eu queria saber se mais alguém viu isso. Meu cenário é bem direto. Eu analiso dados de umCSV arquivo onde eu tenho algum padrãoInt eDouble campos e também calculo algumas ...
O Spark não imprime saídas no console na função map
Eu tenho um aplicativo Spark simples em execução no modo de cluster. val funcGSSNFilterHeader = (x: String) => { println(!x.contains("servedMSISDN") !x.contains("servedMSISDN") } val ssc = new StreamingContext(sc, Seconds(batchIntervalSeconds)) ...
Processamento JSON sem ruído com o Scala
Estou vindo de uma terra dotnet, mas recentemente estive analisando as possibilidades de linguagens de programação alternativas. Nada realmente sério, apenas alguns pedaços aqui e ali. Recentemente descobri o Scala e sou bastante fascinado por ...
Extraindo lift-json em uma classe de caso com um limite superior
Passei o último dia pesquisando e lendo vários sites e artigos para tentar encontrar a resposta para essa pergunta e não encontrei nada que o ajudasse. Eu nem tenho certeza se isso é viável. Meu problema é que estou tentando analisar e extrair ...
Você poderia compartilhar um link para uma implementação de análise de URL?
Tanto quanto eu entendo, um URL consiste nos seguintes campos: Protocolo (http, https, ftp etc.)Nome de usuárioSenha do usuárioEndereço do host (um endereço IP ou um FQDN DNS)Porta (que pode ser implícita)Caminho para um documento dentro da raiz ...
Iterar um RDD e atualizar uma coleção mutável retorna uma coleção vazia
Eu sou novo no Scala e no Spark e gostaria de alguma ajuda para entender por que o código abaixo não está produzindo o resultado desejado. Estou comparando duas tabelas Meu esquema de saída desejado é: case class ...
Spark UDF chamado mais de uma vez por registro quando o DF tiver muitas colunas
Estou usando o Spark 1.6.1 e encontrando um comportamento estranho: estou executando um UDF com algumas computações pesadas (simulações de física) em um dataframe contendo alguns dados de entrada e construindo um resultado - Dataframe contendo ...
NLineInputFormat não funciona no Spark
O que eu quero é basicamente ter cada elemento de dados composto por 10 linhas. No entanto, com o código a seguir, cada elemento ainda é uma linha. Que erro estou cometendo aqui? val conf = new SparkConf().setAppName("MyApp") ...