E se sim porque? O que o X faz por mim além de canalizar meus comandos de renderização para o driver da placa gráfica?

Eu não estou claro sobre o relacionamento X - OpenGL. Eu procurei na internet, mas não consegui encontrar uma resposta concisa.

Se isso importa, assumindo uma distribuição moderna mínima, como uma máquina sem o Ubuntu 13.