Pergunta, questão: Como você exclui todos os arquivos em um diretório, exceto os 3 mais recentes?

Encontrar os três arquivos mais recentes é simples:

ls -t | head -3

Mas preciso encontrar todos os arquivos, exceto os três arquivos mais recentes. Como faço isso e como excluo esses arquivos na mesma linha sem criar um loop for desnecessário para isso?

Estou usando o Debian Wheezy e scripts bash para isso.