Я знаю зону AUC / ROC (http://weka.wikispaces.com/Area+under+the+curve) в weka основан на статистике Манна Уитни (http://en.wikipedia.org/wiki/Mann-Whitney_U)

Но я сомневаюсь, что если у меня есть 10 помеченных экземпляров (Y или N, двоичный целевой атрибут), применив алгоритм (то есть J48) к набору данных, то в этих 10 экземплярах будет 10 предсказанных меток. Тогда что именно я должен использовать для вычисления AUC_Y, AUC_N и AUC_Avg? Используйте ранжированный ярлык прогноза Y и N или фактический ярлык (Y 'и N')? Или мне нужно рассчитать ставку TP и FP?

Может ли кто-нибудь дать мне небольшой пример и указать, какие данные я должен использовать для расчета AUC на основе статистического подхода Манна Уитни? Заранее спасибо.

Пример данных:

inst#    actual predicted  error   PrY     PrN
1        1:y        1:y          *0.973   0.027
2        1:y        1:y          *0.999   0.001
3        2:n        1:y      +   *0.568   0.432
4        2:n        2:n           0.382  *0.618
5        1:y        2:n      +    0.421  *0.579
6        2:n        2:n           0.146  *0.854
7        1:y        1:y          *1       0    
8        1:y        1:y          *0.999   0.001
9        2:n        2:n           0.11   *0.89 
10       1:y        2:n      +    0.377  *0.623