Weka: результаты каждого сгиба в 10-кратном резюме

Для Weka Explorer (GUI), когда мы делаем 10-кратное резюме для любого данногоARFF файл, то, что предоставляет Weka Explorer (насколько я вижу), является средним результатом для всех 10 сгибов.

Q. Есть ли способ получить результаты каждого сгиба? Например, мне нужны коэффициенты ошибок (неправильно идентифицированные экземпляры) для каждого сгиба.

Помощь приветствуется.

 iinception02 июн. 2012 г., 23:04
почему вы не используете Weka API вместо этого? Это позволит вам намного лучше контролировать.
 Rushdi Shams03 июн. 2012 г., 16:33
@iinception, просто хотел увидеть некоторые данные (тест на здравомыслие). Итак, пытаясь сэкономить несколько раз кодирования на этом этапе.

Ответы на вопрос(2)

Решение Вопроса

я думаю этоis возможно с помощью графического интерфейса Weka. Вы должны использовать Экспериментатор, хотя вместо Проводника. Вот шаги:

Open the Experimenter from the GUI Chooser Create a new experiment (New button @ top-right) [optional] Enter a filename and location in the Results Destination to save the results to Set the Number of (cross-validation) folds to your liking (start experimenting with 2 folds for easy results) Add your dataset (if your dataset needs preprocessing then you should do this in the Explorer first and then save the preprocessed dataset) Set the Number of repetitions (I recommend 1 to start of with) Add the algorithm(s) you want to test (again start easy, start with one algorithm) Go to the Run tab and Start the experiment and wait till it finishes Go to the Analyse tab and import the experiment results by clicking Experiment (top-right) For Row select: Fold For Column select: Percent_incorrect or Number_incorrect (or any other measure you want to see) You now see the specified results for each fold
 Rushdi Shams03 июн. 2012 г., 15:27
Большой! Это действительно работает отлично! Спасибо! У меня все еще есть несколько вопросов: (1) что означает значение в управлении итерациями? (2) Что означают сначала наборы данных опций / сначала алгоритм? (3) Как запустить тест значимости на вкладке анализа? Мне жаль, если я перегружен вопросами здесь. знак равно
 29 янв. 2014 г., 16:06
@Astrid Я бы порекомендовал задать этот вопрос как новый вопрос (возможно, ссылку на этот вопрос / ответ).
 29 янв. 2014 г., 00:40
Есть идеи, как заставить работать этот вывод из командной строки WEKA? Так что, если бы я хотел запустить 10-кратную перекрестную проверку из командной строки, а затем взять файл результатов и просмотреть его, как вы описали, как это сделать?
 Rushdi Shams03 июн. 2012 г., 16:22
Прекрасно! Любая идея оstackoverflow.com/questions/10868233/…? Спасибо.
 03 июн. 2012 г., 16:08
Приятно слышать, что это работает.Number of repetitions просто проводит эксперимент несколько раз, обеспечивая более стабильные результаты (10 повторений и 10 сгибов перекрестной проверки, таким образом, означают 100 прогонов). Вы можете увидеть результаты каждого повторения, выбравRun вRow/Column,data/algo first Выбор может быть полезен, если вы хотите, чтобы все алгоритмы запускались сначала для каждого набора данных или наоборот (запустите все наборы данных по первому алгоритму, затем по второму алгоритму и т. д.). Тест значимости просто запускается, загружая законченный эксперимент и затем нажимаяPerform test, Больше информации здесь:is.gd/5CWmfv

бов при использовании опции перекрестной проверки, есть некоторые обходные пути. Если вы явно не хотите изменять какой-либо код, вам нужно немного поиграть вручную, но я думаю, что это дает более или менее то, что вы хотите

Instead of Cross-validation, select Percentage split and set it to 90% Start classifier Click More options... and change the Random seed for XVal / % Split value to something you haven't used before. Repeat ten times.

Это не совсем эквивалентно 10-кратной перекрестной проверке, так как псевдо-сгибы, которые вы делаете таким образом, могут перекрываться.

Альтернативой, которая эквивалентна перекрестной проверке, но более громоздкой, было бы сделать 10 сгибов вручную, используя неконтролируемый фильтр экземпляров.RemoveFolds или жеRemoveRange. Generate and save 10 training sets and 10 test sets. Then for every fold, load the training set, select Supplied test set на вкладке классификации и выберите соответствующий тестовый сгиб.

Ваш ответ на вопрос