Use um método de extensão para converter matrizes flutuantes em matrizes de bytes:

public static unsafe byte[] ToByteArray(this float[] floatArray, int count)
{
    int arrayLength = floatArray.Length > count ? count : floatArray.Length;
    byte[] byteArray = new byte[4 * arrayLength];
    fixed (float* floatPointer = floatArray)
    {
        fixed (byte* bytePointer = byteArray)
        {
            float* read = floatPointer;
            float* write = (float*)bytePointer;
            for (int i = 0; i < arrayLength; i++)
            {
                *write++ = *read++;
            }
        }
    }
    return byteArray;
}

Entendo que uma matriz é um ponteiro para a memória associado a informações sobre o tipo e o número de elementos. Além disso, parece-me que não há como fazer uma conversão de e para uma matriz de bytes sem copiar os dados como acima.

Eu entendi isso? Seria impossível escrever IL para criar uma matriz a partir de um ponteiro, tipo e comprimento sem copiar dados?

EDITAR Obrigado pelas respostas, aprendi alguns fundamentos e tentei novos truques!

pós aceitar inicialmente a resposta de Davy Landman, descobri que, embora seu brilhante hack do StructLayout converta matrizes de bytes em matrizes flutuantes, ele não funciona de maneira inversa. Para demonstrar

[StructLayout(LayoutKind.Explicit)]
struct UnionArray
{
    [FieldOffset(0)]
    public Byte[] Bytes;

    [FieldOffset(0)]
    public float[] Floats;
}

static void Main(string[] args)
{
    // From bytes to floats - works
    byte[] bytes = { 0, 1, 2, 4, 8, 16, 32, 64 };
    UnionArray arry = new UnionArray { Bytes = bytes };
    for (int i = 0; i < arry.Bytes.Length / 4; i++)
        Console.WriteLine(arry.Floats[i]);

    // From floats to bytes - index out of range
    float[] floats = { 0.1f, 0.2f, 0.3f };
    arry = new UnionArray { Floats = floats };
    for (int i = 0; i < arry.Floats.Length * 4; i++)
        Console.WriteLine(arry.Bytes[i]);
}

Parece que o CLR vê as duas matrizes como tendo o mesmo comprimento. Se a estrutura é criada a partir de dados flutuantes, o comprimento da matriz de bytes é muito curt