restringir o acesso ao URL do administrador por ip no django com nginx e gunicorn

Estou tentando restringir o acesso à seção admin do meu aplicativo django usando um controle de acesso simples baseado em host no nginx. Infelizmente, o nginx parece não cumprir a solicitação de configuração:

esta é a minha configuração para esta seção específica no nginx:

# gunicorn setup
location / {
    proxy_pass http://127.0.0.1:8000;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 }


 location /admin/ { # restrict access to admin section
    allow 192.168.0.1;
    deny all;
 }

Isso ainda bloqueia meu ip 192.168.0.1. O que estou fazendo errado? Existe outra maneira de bloquear o acesso à seção / admin / de um aplicativo django?