Resultados da pesquisa a pedido "apache-spark-ml"
Servir previsões em tempo real com o modelo Spark ML treinado [duplicado]
Esta pergunta já tem uma resposta aqui: Como servir um modelo Spark MLlib? [/questions/40533582/how-to-serve-a-spark-mllib-model] 3 respostasNo momento, estamos testando um mecanismo de previsão baseado na implementação do LDA do Spark em ...
Como imprimir o caminho / regras de decisão usados para prever a amostra de uma linha específica no PySpark?
Como imprimir o caminho de decisão de uma amostra específica em um Spark DataFrame? Spark Version: '2.3.1'O código abaixo imprime o caminho de decisão de todo o modelo. Como fazê-lo imprimir um caminho de decisão de uma amostra específica? Por ...
Aplicando IndexToString ao vetor de recursos no Spark
Contexto:Eu tenho um quadro de dados onde todos os valores categóricos foram indexados usando StringIndexer. val categoricalColumns = df.schema.collect { case StructField(name, StringType, nullable, meta) => name } val categoryIndexers = ...
Como dividir Vector em colunas - usando PySpark
Contexto:eu tenho umDataFrame com 2 colunas: palavra e vetor. Onde o tipo de coluna de "vetor" éVectorUDT. Um exemplo: word | vector assert | [435,323,324,212...] ,E eu quero conseguir isso: word | v1 | v2 | v3 | v4 | v5 | v6 ...... assert | ...
Spark ML - Save OneVsRestModel
Estou refatorando meu código para tirar proveito deQuadros de dados, estimadores e pipelines [http://spark.apache.org/docs/latest/ml-guide.html]. Eu estava usando originalmenteMLlib Multiclass ...
Qual é a diferença entre os pacotes Spark ML e MLLIB
Notei que existem doisLinearRegressionModel classes no SparkML, uma na ML e outra naMLLib pacote. Esses dois são implementados de maneira bastante diferente - por exemplo, o deMLLib implementaSerializable, enquanto o outro não. By the way ame é ...
Como alterar os metadados da coluna no pyspark?
Como posso atualizar os metadados da coluna no PySpark? Tenho valores de metadados correspondentes à codificação nominal de recursos categóricos (string) e gostaria de decodificá-los novamente de maneira automatizada. A gravação dos metadados na ...
Spark Scala: Como converter Dataframe [vetor] para DataFrame [f1: Duplo,…, fn: Duplo)]
Acabei de usar o Standard Scaler para normalizar meus recursos para um aplicativo ML. Depois de selecionar os recursos dimensionados, desejo convertê-lo novamente em um quadro de dados de Doubles, embora o comprimento dos meus vetores seja ...
Como avaliar o modelo spark.ml sem DataFrames / SparkContext?
Com o Spark MLLib, eu construí um modelo (comoRandomForest) e, em seguida, foi possível avaliá-lo fora do Spark, carregando o modelo e usandopredict nele passando um vetor de recursos. Parece que com o Spark ML,predict agora é chamadotransform e ...
O Pipeline Spark ML com RandomForest leva muito tempo no conjunto de dados de 20 MB
Estou usando o Spark ML para executar algumas experiências de ML e em um pequeno conjunto de dados de 20 MB (Conjunto de dados de poker [http://archive.ics.uci.edu/ml/machine-learning-databases/poker/poker-hand-testing.data] ) e uma Floresta ...