Remova todos os arquivos em um diretório

Tentar remover todos os arquivos em um determinado diretório me dá o seguinte erro:

OSError: [Errno 2] No such file or directory: '/home/me/test/*'

O código que estou executando é:

import os
test = "/home/me/test/*"
os.remove(test)