Melhor maneira de criar um hashmap de arraylist

Eu tenho um milhão de linhas de dados no formato .txt. o formato é muito simples. Para cada linha:

user1,value1
user2,value2
user3,value3
user1,value4
...

Você sabe o que eu quero dizer. Para cada usuário, ele pode aparecer várias vezes ou aparecer apenas uma vez (nunca se sabe). Eu preciso descobrir todos os valores para cada usuário. Como o usuário pode aparecer aleatoriamente, usei o Hashmap para fazer isso. Ou seja: HashMap (chave: String, valor: ArrayList). Mas para adicionar dados ao arrayList, eu tenho que constantemente usar o HashMap get (key) para obter o arrayList, adicionar valor a ele, então colocá-lo de volta no HashMap. Eu sinto que não é muito eficiente. Alguém sabe uma maneira melhor de fazer isso?

questionAnswers(9)

yourAnswerToTheQuestion