Resultados de la búsqueda a petición "apache-spark-ml"
Codificar y ensamblar múltiples funciones en PySpark
Tengo una clase de Python que estoy usando para cargar y procesar algunos datos en Spark. Entre varias cosas que debo hacer, estoy generando una lista de variables ficticias derivadas de varias columnas en un marco de datos de Spark. Mi problema ...
¿Cómo puedo declarar una columna como una característica categórica en un DataFrame para usar en ml
¿Cómo puedo declarar que una columna dada en miDataFrame contiene información categórica? Tengo un Spark SQLDataFrame que cargué de una base de datos. Muchas de las columnas en esteDataFrame tienen información categórica, pero están ...
Parámetros de ajuste para el modelo de factorización de matriz ALS pyspark.ml implícito a través de pyspark.ml CrossValidator
Estoy tratando de ajustar los parámetros de un modelo de factorización de matriz ALS que usa datos implícitos. Para esto, estoy tratando de usar pyspark.ml.tuning.CrossValidator para ejecutar una cuadrícula de parámetros y seleccionar el mejor ...
Encajar un marco de datos en randomForest pyspark
tengo unDataFrame que se parece a esto: +--------------------+------------------+ | features| labels | +--------------------+------------------+ |[-0.38475, 0.568...]| label1 | |[0.645734, 0.699...]| label2 | | ..... | ... ...
¿Cómo encontrar la media de las columnas vectoriales agrupadas en Spark SQL?
He creado unRelationalGroupedDataset llamandoinstances.groupBy(instances.col("property_name")): val x = instances.groupBy(instances.col("property_name"))¿Cómo compongo unfunción agregada definida por el ...
Une dos tuberías Spark mllib juntas
Tengo dos separadosDataFrames que tienen varias etapas de procesamiento diferentes que usomllib transformadores en una tubería para manejar. Ahora quiero unir estas dos tuberías juntas, manteniendo las características (columnas) de ...
spark.ml StringIndexer arroja 'Etiqueta invisible' en fit ()
Estoy preparando un juguetespark.ml ejemplo.Spark version 1.6.0, corriendo encima deOracle JDK version 1.8.0_65, pyspark, cuaderno de ipython. Primero, casi no tiene nada que ver conSpark, ML, StringIndexer: manejo de etiquetas ...
¿Cómo cambiar los metadatos de la columna en pyspark?
¿Cómo puedo actualizar los metadatos de columna en PySpark? Tengo valores de metadatos que corresponden a la codificación nominal de características categóricas (cadenas) y me gustaría decodificarlos de forma automática. Escribir los metadatos en ...
Sirva predicciones en tiempo real con el modelo entrenado Spark ML [duplicado]
Esta pregunta ya tiene una respuesta aquí: ¿Cómo servir un modelo Spark MLlib? [/questions/40533582/how-to-serve-a-spark-mllib-model] 3 respuestasActualmente estamos probando un motor de predicción basado en la implementación de LDA por Spark en ...
¿Cómo establecer parámetros para un Transformador PySpark personalizado una vez que es una etapa en una Tubería ML ajustada?
He escrito un ML Pipeline personalizadoEstimator yTransformer para mi propio algoritmo Python siguiendo el patrón que se muestraaquí [https://stackoverflow.com/a/37279526/1843329]. Sin embargo, en ese ejemplo, todos los parámetros necesarios ...