Como crio uma matriz numpy a partir de string?

Eu tenho um leitor de arquivos que lên bytes de um arquivo e retorna uma sequência de caracteres representando esses dados (binários). Eu quero lern bytes em uma matriz numpy de números e execute uma FFT nela, mas estou tendo problemas para criar uma matriz a partir de uma string. Algumas linhas de exemplo seriam incríveis.

Editar: Estou lendo dados binários brutos e, portanto, a string recebida parece'\x01\x05\x03\xff'.... Eu quero que isso se torne[1, 5, 3, 255].

questionAnswers(3)

yourAnswerToTheQuestion