Vamos dizer que esta é a estrutura do banco de dados:

SELECT * FROM `pms` where id_to = 1 or id_from = 1

Isso retornaria todas as mensagens que ele recebeu ou enviou,

Então, como posso recuperar a última mensagem decada conversa que o usuário 1 pode ter?

PD: Eu chamo de conversa quando há uma ou mais mensagens entre dois usuários

-editar-

Então, dado este conteúdo do banco de dados:

Queremos obter id 4 e 6