Criando um dicionário a partir de cada linha em um arquivo

Estou tentando criar um dicionário a partir desse arquivo: com a chave sendo a primeira palavra e os valores sendo todas as palavras posteriormente.

andrew fred
fred
judy andrew fred
george judy andrew
john george

Este é o código que tenho:

follows_file = open("C:\\Users\\Desktop\\Python\\follows.txt")
followers = {}
for line in follows_file:   #==> [Judy Andrew Fred]
    users = line.split(' ')     #==> [Judy, andrew, Fred, ....]
    follower = users[0]     #==> [Judy]
    followed_by = users[1:] #==> [Andrew, Fred]

    for user in followed_by:
        # Add the 'follower to the list of followers user
        if user not in followers:
            followers[user] = []
        followers[user].append(follower)
print(followers.items())

Quando imprimo oseguidor eSeguido por variável, eles estão corretos, mas estou tendo problemas para adicioná-los ao dicionário corretamente; sendo esta a saída

dict_items([('fred\n', ['andrew', 'judy']), ('andrew', ['judy']), ('judy' ['george']), ('andrew\n', ['george']), ('george', ['john'])])

Minha saída desejada seria

(Andrew[Fred])(Fred[])(judy[Andrew Fred])(George[Judy Fred])(john[george])

Qualquer ajuda é muito apreciada!