¿Cómo identificar doc, docx, pdf, xls y xlsx en función del encabezado del archivo en C #? No quiero confiar en las extensiones de archivo ni MimeMapping.GetMimeMapping para esto, ya que cualquiera de los dos puede ser manipulado.

Sé cómo leer el encabezado, pero no sé qué combinación de bytes puede decir si un archivo es un documento, docx, pdf, xls o xlsx. ¿Alguna idea?