sparkR 1.6: Como prever probabilidade ao modelar com glm (família binomial)
Acabei de instalar o sparkR 1.6.1 no CentOS e não estou usando o hadoop. Meu código para modelar dados com valores discretos 'TARGET' é o seguinte:
# 'tr' is a R data frame with 104 numeric columns and one TARGET column
# TARGET column is either 0 or 1
# Convert 'tr' to spark data frame
train <- createDataFrame(sqlContext, tr)
# test is an R dataframe without TARGET column
# Convert 'test' to spark Data frame
te<-createDataFrame(sqlContext,test)
# Using sparkR's glm model to model data
model <- glm(TARGET ~ . , data = train, family = "binomial")
# Make predictions
predictions <- predict(model, newData = te )
Consigo avaliar o sucesso ou o fracasso da seguinte forma (espero estar certo):
modelPrediction <- select(predictions, "prediction")
head(modelPrediction)
prediction
1 0
2 0
3 0
4 0
5 0
6 0
Mas quando eu quero avaliar a probabilidade, obtenho o resultado da seguinte maneira:
modelPrediction <- select(predictions, "probability")
head(modelPrediction)
probability
1 <environment: 0x6188e1c0>
2 <environment: 0x61894b88>
3 <environment: 0x6189a620>
4 <environment: 0x618a00b8>
5 <environment: 0x618a5b50>
6 <environment: 0x618ac550>
Por favor, me ajude a obter valores de probabilidade de eventos de teste. Obrigado.