Это дает истинную картину относительно ваших случаев специфичности и чувствительности, а также

создания модели с помощьюh2o.randomForest, затем с помощью:

perf <- h2o.performance(model, test)
print(perf)

Я получаю следующую информацию (значениеH2OModelMetrics объект)

H2OBinomialMetrics: drf

MSE:  0.1353948
RMSE:  0.3679604
LogLoss:  0.4639761
Mean Per-Class Error:  0.3733908
AUC:  0.6681437
Gini:  0.3362873

Confusion Matrix (vertical: actual; across: predicted) 
for F1-optimal threshold:
          0    1    Error        Rate
0      2109 1008 0.323388  =1008/3117
1       257  350 0.423394    =257/607
Totals 2366 1358 0.339689  =1265/3724

Maximum Metrics: Maximum metrics at their respective thresholds
                        metric threshold    value idx
1                       max f1  0.080124 0.356234 248
2                       max f2  0.038274 0.515566 330
3                 max f0point5  0.173215 0.330006 131
4                 max accuracy  0.288168 0.839957  64
5                max precision  0.941437 1.000000   0
6                   max recall  0.002550 1.000000 397
7              max specificity  0.941437 1.000000   0
8             max absolute_mcc  0.113838 0.201161 195
9   max min_per_class_accuracy  0.071985 0.621087 262
10 max mean_per_class_accuracy  0.078341 0.626921 251

Gains/Lift Table: Extract with `h2o.gainsLift(<model>, <data>)` 
or `h2o.gainsLift(<model>, valid=<T/F>, xval=<T/F>)`

Я использую, чтобы смотреть на чувствительность (отзыв) и специфичность для сравнения качества моей модели прогнозирования, но с предоставленной информацией я не в состоянии понять с точки зрения таких метрик. Основываясь на приведенной выше информации, как я могу оценить качество моего прогноза?

Если я вычисляю такие метрики, используя матрицу путаницы, я получаю:sens=0.58, spec=0.68это отличается от предоставленной информации.

Если есть какой-то способ получить такие значения, как мы использовалиconfusionMatrix отcaret пакет?

Для меня это более интуитивный показатель:

чемlogLoss Метрика.

Ответы на вопрос(2)

Ваш ответ на вопрос