Modelos de administração personalizados do django não funcionam

Eu tenho tentado obter modelos personalizados para a página de administração do Django funcionando, mas não obtive sucesso. Eu li a documentação do django e vários blogs que explicam como sendo um passo tão fácil, que eu assumi que era.

A partir de agora, a página de administração funciona, mas minha própria reescrita do CSS ou dos modelos não está funcionando. Minha configuração é a seguinte

/project_folder/
      manage.py
      settings.py
      urls.py
      __init__.py
      /app/
          views.py
          models.py
          __init__.py
          /templates/
                /admin/
                    base_site.html

No urls.py eu tenho

(r'^admin/', include(admin.site.urls)),

O que funciona desde que eu não consigo logar, etc. Então, eu estou supondo que o /admin/base_site.html iria sobrescrever o padrão, mas não está fazendo nada.

Alguém sabe o que está acontecendo aqui? Eu segui os tutoriais / guias do Django e entrei em alguns blogs para ver se eles tinham respostas, mas todos disseram a mesma coisa.

Editar 1: Eu tenho minha configuração de diretório de modelos corretamente.

TEMPLATE_DIRS = (
    os.path.join(PROJECT_PATH, 'templates/'),
)

Isso funciona corretamente, pois tenho o restante do meu site trabalhando com um diretório de mídia para CSS, etc. A única coisa que não parece 'aceitar' os modelos é a seção admin.