Considere o seguinte exemplo simplificado (pronto para rolar no LinqPad, conta elevada requerida):

void Main()
{
    Go();
    Thread.Sleep(100000);
}
async void Go()
{
    TcpListener listener = new TcpListener(IPAddress.Any, 6666);
    try
    {
        cts.Token.Register(() => Console.WriteLine("Token was canceled"));
        listener.Start();
        using(TcpClient client = await listener.AcceptTcpClientAsync()
                                               .ConfigureAwait(false))
        using(var cts = new CancellationTokenSource(TimeSpan.FromSeconds(5)))
        {
            var stream=client.GetStream();
            var buffer=new byte[64];
            try
            {
                var amtRead = await stream.ReadAsync(buffer,
                                                     0,
                                                     buffer.Length,
                                                     cts.Token);
                Console.WriteLine("finished");
            }
            catch(TaskCanceledException)
            {
                Console.WriteLine("boom");
            }
        }
    }
    finally
    {
        listener.Stop();
    }
}

Se eu conectar um cliente telnetlocalhost:6666 e ficar sentado sem fazer nada por 5 segundos, por que vejo "Token foi cancelado" mas nunca vejo "boom" (ou "terminado")?

Este NetworkStream não respeitará o cancelamento?

Eu posso contornar isso com uma combinação deTask.Delay() eTask.WhenAny, mas eu prefiro que funcione como esperado.

Por outro lado, o seguinte exemplo de cancelamento:

async void Go(CancellationToken ct)
{
    using(var cts=new CancellationTokenSource(TimeSpan.FromSeconds(5)))
    {
        try
        {
            await Task.Delay(TimeSpan.FromSeconds(10),cts.Token)
                                        .ConfigureAwait(false);
        }
        catch(TaskCanceledException)
        {
            Console.WriteLine("boom");
        }
    }
}

Imprime "boom", como esperado. O que está acontecendo?