Agrupando linhas de matriz em termos de uma coluna

Primeiro de tudo, é realmente difícil descrever o problema muito bem, mas vou tentar.

Diga que temos a matriz A

A = [23 1;
     45 1
     78 1
     86 1
     98 2
     1  2
     23 2
     14 3
     15 4
     85 4]

O que eu quero como saída é

    B{1} = [23,45,78,86]
    B{2} = [98,1,23]
    B{3} = [14]
    B{4} = [15,85]

Tenha em mente que o original A é uma enorme matriz, e eu não quero fazer isso com loops forçados. Eu gostaria de usar funções que usam processamento paralelo.