Dentroeste exemplo da MS, você notará que, depois de lermos um byte do fluxo de memória, ele entra em um int que deve ser convertido em byte. Parece-me estranho que uma função como.ReadByte() não retorna um byte em primeiro lugar. Existe uma razão pela qual a MS fez dessa maneira?

// Read the remaining bytes, byte by byte.
while(count < memStream.Length)
{
    byteArray[count++] =
        Convert.ToByte(memStream.ReadByte());
}

m pensamento me ocorreu. Talvez isso se deva ao uso. PossivelmenteReadByte() é frequentemente usado para recuperar comprimentos curtos, que subsequentes são consumidos na recuperação através da variedade de comprimentos

int length=ms.ReadByte();
ms.Read(buf,0,lenth);

i.e. você pode usar o comprimento sem gesso. Essa é uma razão boa o suficiente?