Estou tentando converter o dicionário

{0: {0: 173, 1: 342, 2: 666, 3: 506, 4: 94},
 1: {0: 13, 1: 2171, 2: 1915, 3: 3075, 4: 630},
 2: {0: 0, 1: 265, 2: 5036, 3: 508, 4: 11},
 3: {0: 0, 1: 3229, 2: 2388, 3: 3649, 4: 193},
 4: {0: 3, 1: 151, 2: 591, 3: 1629, 4: 410}}

para matriz numpy

array([[ 173,  342,  666,  506,   94],
       [  13, 2171, 1915, 3075,  630],
       [   0,  265, 5036,  508,   11],
       [   0, 3229, 2388, 3649,  193],
       [   3,  151,  591, 1629,  410]])

Alguma idéia de como fazê-lo com eficiênci