Мне просто интересно, если это законный способ расчета точности классификации:

получить точные пороги отзывадля каждого порога бинаризовать непрерывный y_scoresрассчитать их точность из таблицы сопряженности (матрица путаницы)

вернуть среднюю точность для порогов

recall, precision, thresholds = precision_recall_curve(np.array(np_y_true), np.array(np_y_scores))
accuracy = 0
for threshold in thresholds:
    contingency_table = confusion_matrix(np_y_true, binarize(np_y_scores, threshold=threshold)[0])
    accuracy += (float(contingency_table[0][0]) + float(contingency_table[1][1]))/float(np.sum(contingency_table))

print "Classification accuracy is: {}".format(accuracy/len(thresholds))