Buffer.BlockCopy.

Создайте короткий массив в половине размера байтового массива и скопируйте байтовые данные в:

short[] sdata = new short[(int)Math.Ceiling(data.Length / 2)];
Buffer.BlockCopy(data, 0, sdata, 0, data.Length);

Это самый быстрый метод на сегодняшний день.

файл как настоящие шорты, тогда эти преобразования неверны. Вы должны использовать два байта, чтобы получить истинное короткое значение, используя что-то вроде:

short s = (short)(bytes[0] | (bytes[1] << 8))

При преобразовании последовательности байтов в последовательность шортов, я бы сделал это так, как сделал @Peter

short s = (short)(bytes[0] | (bytes[1] << 8))

или же

short s = (short)((bytes[0] << 8) | bytes[1])

в зависимости от порядка байтов в файле.

Но ОП не упомянул его использование шорт или определение шорт в файле. В его случае не имело бы смысла преобразовывать байтовый массив в короткий массив, потому что это заняло бы вдвое больше памяти, и я сомневаюсь, что байт понадобится для преобразования в короткий при использовании в другом месте.

short value = BitConverter.ToInt16(bytes, index);

byte[] bytes;
var shorts = bytes.Select(n => System.Convert.ToInt16(n)).ToArray();

 short[] wordArray = Array.ConvertAll(byteArray, (b) => (short)b);