Desempenho de contagem de SQL (*)

Eu tenho uma tabela de SQL BookChapters com mais de 20 milhões de linhas. Ele tem uma chave primária em cluster (bookChapterID) e não possui outras chaves ou índices. Demora milissegundos para executar a seguinte consulta

if (select count(*) from BookChapters) = 0
...

No entanto, leva mais de 10 minutos quando eu mudei assim

if (select count(*) from BookChapters) = 1
...

ou

if (select count(*) from BookChapters) > 1
...

Por que é que? Como posso obterselect count(*) executar mais rápido?

questionAnswers(5)

yourAnswerToTheQuestion