Eu quero verificar alguns arquivos de log externos após cada teste, se houver erros ary durante a execução. Lançando uma exceção em umAfterMethod não funciona, porque é tratado de forma diferente pelo TestNG: ele só irá falhar o método de configuração e não o teste anterior.

Minha abordagem seria assim:

@AfterMethod(alwaysRun = true)
protected void tearDown(ITestResult result) {
    if (thereWasAProblemDuringTestExecution()) {
        result.setStatus(ITestResult.FAILURE);
        result.setThrowable(getSomeThrowableSomebodyStoredAnywhere());
    }

    // doing other cleanUp-tasks
}

Mas ainda assim, meu plugin do Eclipse TestNG diz que o teste foi aprovado.

É possível (e como) falhar um teste (e não apenas um método de configuração) em um método de configuração?