Znam obszar AUC / ROC (http://weka.wikispaces.com/Area+under+the+curve) weka opiera się na statystyce e Mann Whitney (http://en.wikipedia.org/wiki/Mann-Whitney_U)

Ale wątpię, czy jeśli mam 10 oznakowanych instancji (Y lub N, binarny atrybut docelowy), stosując algorytm (tj. J48) do zbioru danych, to jest 10 przewidywanych etykiet na tych 10 instancjach. Następnie, co dokładnie powinienem użyć do obliczenia AUC_Y, AUC_N i AUC_Avg? Użyj oznaczonej w rankingu etykiety Y i N lub rzeczywistej etykiety (Y 'i N')? Albo muszę obliczyć stawkę TP i stawkę FP?

Czy ktoś może podać mi mały przykład i wskazać, jakie dane należy wykorzystać do obliczenia AUC na podstawie podejścia statystycznego Manna Whitneya? Z góry dziękuję.

Przykładowe dane:

inst#    actual predicted  error   PrY     PrN
1        1:y        1:y          *0.973   0.027
2        1:y        1:y          *0.999   0.001
3        2:n        1:y      +   *0.568   0.432
4        2:n        2:n           0.382  *0.618
5        1:y        2:n      +    0.421  *0.579
6        2:n        2:n           0.146  *0.854
7        1:y        1:y          *1       0    
8        1:y        1:y          *0.999   0.001
9        2:n        2:n           0.11   *0.89 
10       1:y        2:n      +    0.377  *0.623