Ler o conteúdo de um arquivo como hexadecimal em C

Eu tenho um arquivo com valores hexadecimais salvos comohex.txt que tem

9d ff d5 3c 06 7c 0a

Agora eu preciso convertê-lo para uma matriz de caracteres como

unsigned char hex[] = {0x9d,0xff,0xd5,0x3c,0x06,0x7c,0x0a}

Como eu faço isso ?