Estou trabalhando com o protocolo TCP e leio a partir do soquete e escrevo os dados em um array byte [].
Aqui está um exemplo dos meus dados:

94 39 E5 D9 32 83
D8 5D 4C B1 CB 99 
08 00 45 00 00 98 
41 9F 40 00 6C 06 
9C 46 26 50 48 7D 
C0 A8 01 05 03 28

Eu criei uma matriz byte [] com tamanho de 1024. Agora eu uso esse método para remover índices nulos dele:

public void Decode(byte[] packet)
{
    byte[] temp;
    int c = 0;
    foreach(byte x in packet)
        if (x != 0)
            c++;
    temp = new byte[c];
    for (int i = 0; i < c; i++)
        temp[i] = packet[i];
    MessageBox.Show(temp.Length.ToString());
}

Mas também remove 0x00 índices que talvez dados úteis ...
Como posso remover os 0s que não são empacotados com dados diferentes de zero (0s finais)?