Conozco el área AUC / ROC (http://weka.wikispaces.com/Area+under+the+curve) en weka se basa en la estadística e Mann Whitney (http://en.wikipedia.org/wiki/Mann-Whitney_U)

Pero mi duda es que si tengo 10 instancias etiquetadas (Y o N, atributo de destino binario), aplicando un algoritmo (es decir, J48) en el conjunto de datos, entonces hay 10 etiquetas predichas en estas 10 instancias. Entonces, ¿qué debo usar para calcular AUC_Y, AUC_N y AUC_Avg? ¿Usar la etiqueta clasificada Y y N de la predicción o la etiqueta real (Y 'y N')? ¿O necesito calcular la tasa de TP y la tasa de FP?

¿Puede alguien darme un pequeño ejemplo y señalarme qué datos debo usar para calcular las AUC según el enfoque estadístico de Mann Whitney? Gracias de antemano.

Data de muestra:

inst#    actual predicted  error   PrY     PrN
1        1:y        1:y          *0.973   0.027
2        1:y        1:y          *0.999   0.001
3        2:n        1:y      +   *0.568   0.432
4        2:n        2:n           0.382  *0.618
5        1:y        2:n      +    0.421  *0.579
6        2:n        2:n           0.146  *0.854
7        1:y        1:y          *1       0    
8        1:y        1:y          *0.999   0.001
9        2:n        2:n           0.11   *0.89 
10       1:y        2:n      +    0.377  *0.623