Это дает истинную картину относительно ваших случаев специфичности и чувствительности, а также
создания модели с помощьюh2o.randomForest
, затем с помощью:
perf <- h2o.performance(model, test)
print(perf)
Я получаю следующую информацию (значениеH2OModelMetrics
объект)
H2OBinomialMetrics: drf
MSE: 0.1353948
RMSE: 0.3679604
LogLoss: 0.4639761
Mean Per-Class Error: 0.3733908
AUC: 0.6681437
Gini: 0.3362873
Confusion Matrix (vertical: actual; across: predicted)
for F1-optimal threshold:
0 1 Error Rate
0 2109 1008 0.323388 =1008/3117
1 257 350 0.423394 =257/607
Totals 2366 1358 0.339689 =1265/3724
Maximum Metrics: Maximum metrics at their respective thresholds
metric threshold value idx
1 max f1 0.080124 0.356234 248
2 max f2 0.038274 0.515566 330
3 max f0point5 0.173215 0.330006 131
4 max accuracy 0.288168 0.839957 64
5 max precision 0.941437 1.000000 0
6 max recall 0.002550 1.000000 397
7 max specificity 0.941437 1.000000 0
8 max absolute_mcc 0.113838 0.201161 195
9 max min_per_class_accuracy 0.071985 0.621087 262
10 max mean_per_class_accuracy 0.078341 0.626921 251
Gains/Lift Table: Extract with `h2o.gainsLift(<model>, <data>)`
or `h2o.gainsLift(<model>, valid=<T/F>, xval=<T/F>)`
Я использую, чтобы смотреть на чувствительность (отзыв) и специфичность для сравнения качества моей модели прогнозирования, но с предоставленной информацией я не в состоянии понять с точки зрения таких метрик. Основываясь на приведенной выше информации, как я могу оценить качество моего прогноза?
Если я вычисляю такие метрики, используя матрицу путаницы, я получаю:sens=0.58
, spec=0.68
это отличается от предоставленной информации.
Если есть какой-то способ получить такие значения, как мы использовалиconfusionMatrix
отcaret
пакет?
Для меня это более интуитивный показатель:
чемlogLoss
Метрика.