sparkR 1.6: Cómo predecir la probabilidad al modelar con glm (familia binomial)
Acabo de instalar sparkR 1.6.1 en CentOS y no estoy usando hadoop. Mi código para modelar datos con valores discretos 'TARGET' es el siguiente:
# 'tr' is a R data frame with 104 numeric columns and one TARGET column
# TARGET column is either 0 or 1
# Convert 'tr' to spark data frame
train <- createDataFrame(sqlContext, tr)
# test is an R dataframe without TARGET column
# Convert 'test' to spark Data frame
te<-createDataFrame(sqlContext,test)
# Using sparkR's glm model to model data
model <- glm(TARGET ~ . , data = train, family = "binomial")
# Make predictions
predictions <- predict(model, newData = te )
Puedo evaluar el éxito o el fracaso de la siguiente manera (espero estar en lo correcto):
modelPrediction <- select(predictions, "prediction")
head(modelPrediction)
prediction
1 0
2 0
3 0
4 0
5 0
6 0
Pero cuando quiero evaluar la probabilidad, obtengo el resultado de la siguiente manera:
modelPrediction <- select(predictions, "probability")
head(modelPrediction)
probability
1 <environment: 0x6188e1c0>
2 <environment: 0x61894b88>
3 <environment: 0x6189a620>
4 <environment: 0x618a00b8>
5 <environment: 0x618a5b50>
6 <environment: 0x618ac550>
Por favor, ayúdenme a obtener valores de probabilidad de eventos de prueba. Gracias.