Quais podem ser os motivos de erros de conexão recusada?

Estou tentando escrever um programa de servidor em C, usando outro cliente, recebo esse erro ao tentar conectar-me através da porta 2080, por exemplo.

connection refused

Quais podem ser as razões desse erro?