La mejor manera de crear un hashmap de arraylist

Tengo un millón de filas de datos en formato .txt. El formato es muy simple. Por cada fila:

user1,value1
user2,value2
user3,value3
user1,value4
...

Sabes a lo que me refiero. Para cada usuario, podría aparecer muchas veces, o aparecer solo una vez (nunca se sabe). Necesito averiguar todos los valores para cada usuario. Debido a que el usuario puede aparecer al azar, usé Hashmap para hacerlo. Es decir: HashMap (clave: Cadena, valor: ArrayList). Pero para agregar datos a arrayList, tengo que usar constantemente HashMap get (key) para obtener arrayList, agregarle valor y luego volver a ponerlo en HashMap. Siento que no es tan eficiente. ¿Alguien sabe una mejor manera de hacer eso?

Respuestas a la pregunta(9)

Su respuesta a la pregunta