Log4Net LevelEvaluator Ignorado quando bufferSize maior que 1 para SmtpAppender

Eu configurei o log4net com um RollingLogFileAppender e um SmtpAppender, com a intenção de registrar o nível DEBUG para o RollingLogFileAppender e FATAL somente para o SmtpAppender:

<appender name="SmtpAppender" type="log4net.Appender.SmtpAppender">
  <to value="test@test.com" />
  <from value="test@test.com" />
  <subject value="Fatal Error" />
  <smtpHost value="smtp.test.com" />
  <SMTPPort value="366"/>
  <Username value="test@test.com"/>
  <Password value="password"/>      
  <bufferSize value="1" />
  <lossy value="true" />
  <evaluator type="log4net.Core.LevelEvaluator">
    <threshold value="FATAL"/>
  </evaluator>      
  <layout type="log4net.Layout.PatternLayout">
  <conversionPattern value="%date [%thread] %-5level %logger [%ndc] - %message%newline"                             />
  </layout>
</appender>

<root>
  <level value="DEBUG" />
  <appender-ref ref="RollingLogFileAppender" />
  <appender-ref ref="SmtpAppender" />
</root>

Isso funciona perfeitamente até eu aumentar o bufferSize. Quando faço isso, todos os níveis são enviados por email e o log4net.Core.LevelEvaluator parece ser ignorado. Eu também tentei usar LevelRangeFilter e LevelMatchFilter, mas com estes configurados eu pareço não receber e-mails.