FYI, eu tenho a versão de 64 bits do Python 2.7 e seguia instrução de instalação pycuda para instalar o pycuda.

E eu não tenho nenhum problema em seguir o script.

import pycuda.driver as cuda
import pycuda.autoinit
from pycuda.compiler import SourceModule
import numpy
a = numpy.random.randn(4,4)
a = a.astype(numpy.float32)
a_gpu = cuda.mem_alloc(a.nbytes)
cuda.memcpy_htod(a_gpu,a)

Mas depois disso, ao executar esta declaração,

mod = SourceModule("""
__global__ void doublify(float *a)
{
int idx = threadIdx.x + threadIdx.y * 4;
a[idx] *= 2;
}
""")

Recebi as mensagens de erro

CompileError: a compilação nvcc de c: \ users \ xxxx \ appdata \ local \ temp \ tmpaoxt97 \ kernel.cu falhou [comando: nvcc --cubin -arch sm_21 -m64 -Ic: \ python27 \ lib \ site-packages \ pycuda \ cuda kernel.cu] [stderr: nvcc: erro fatal: nvcc não pode encontrar uma versão suportada do Microsoft Visual Studio. Apenas as versões 2008, 2010 e 2012 são suportadas

Mas eu tenho VS 2008 e VS 2010 instalado na máquina e definir caminho e perfil nvcc como instruído. Alguém me diz o que está acontecendo?

UPDATE1Como cgohike apontou, executar as seguintes declarações antes da declaração problemática resolverá o problema.

import os
os.system("vcvarsamd64.bat")