Nas especificações HTTP / 1.1, recebo isso quando se trata de definir cabeçalhos:

cabeçalho da mensagem = nome do campo ":" [valor do campo]

[...]

valor do campo = * (conteúdo do campo | LWS)

field-contet = <os OCTETs que compõem o valor do campo e consistem em * TEXT ou combinações de token, separadores e string entre aspas>

e a definição para OCTET e TEXT é:

OCTET = <qualquer sequência de dados de 8 bits>

TEXTO = <qualquer OCTET, exceto CTLs, mas incluindo LWS>; onde CTL se refere a caracteres de controle do conjunto de caracteres US-ASCII.

Pergunta, questão: Agora, quando se trata de nomes de cabeçalho (chamadosnomes de campo na definição), a codificação usada é US-ASCII (especificada nas especificações HTTP / 1.1), mas como um aplicativo de servidor saberia qual codificação usar para valores de cabeçalho?

Nota: Eu acho que é normal ser codificado em US-ASCII, mas a definição permite espaço suficiente para situações diferentes.