ggplot usa pequenos gráficos de pizza como pontos com geom_point

Eu gostaria de fazer um gráfico com ggplot como mostrado abaixo. A ideia é traçar "combinações de porcentagem" entre duas variáveis ​​categóricas. É fácil chegar perto alterando o tamanho dos pontos, mas me perguntei se é possível fazer esses pequenos gráficos de pizza ...

Um código de exemplo para traçar isso com o tamanho dos pontos como uma medida da pontuação.

temp <- data.frame(Exercise=c(1, 1, 1, 2, 2, 2), 
    Name=c(1, 2, 3, 1, 2, 3), Score=c(0.2, 0.5, 0.3, 0.9, 1.0, 0.6))
ggplot(temp) + geom_point(aes(Exercise, Name, size=Score))

Como esse código pode ser alterado para dar algo próximo da figura abaixo?

questionAnswers(2)

yourAnswerToTheQuestion