Eu tenho o seguinte erro:

ssh: connect to host git.limeworks.eu port 22: Connection refused
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

Agora, a configuração que tenho no meu arquivo local .ssh / config é:

host limeworks
    user git
    port 6565
    hostname git.limeworks.eu;

e no gitlab.yml remoto:

  gitlab:
    ## Web server settings
    host: git.limeworks.eu
    port: 6565

Além disso, aqui está a configuração do nginx (/ sites-enabled / gitlab):

server {
  listen 80;         # e.g., listen 192.168.1.1:80; In most cases *:80 is a good idea
  server_name git.limeworks.eu;     # e.g., server_name source.example.com;
...

Eu reiniciei os serviços gitlab e nginx após cada modificação, mas nada funciona!

Edit: Também vale a pena notar aqui alguns trechos do sshd_config do servidor remoto

Port 9595
AllowUsers rrw git