C # aguarda evento e tempo limite na comunicação da porta serial

Oi, eu tenho uma comunicação simples na porta serial, bem, tudo está de acordo com o livro e a documentação, portanto o método da porta aberta se parece com o seguinte:

    public SerialPort OpenPort(string portName)
    {
        Port = new SerialPort(portName, BaudRate);
        try
        {
            Port.Open();
            Port.DtrEnable = true;
            Port.RtsEnable = true;

            Port.DataReceived += DataReceivedEvent;
        }
        catch (Exception e)
        {
            Console.WriteLine($"ERRROR: {e.Message}");
        }

        return Port;
    }

Aqui temos um evento sobre leitura de dados:

    private async void DataReceivedEvent(object sender, SerialDataReceivedEventArgs e)
    {
        var data = new byte[Port.BytesToRead];
        await Port.BaseStream.ReadAsync(data, 0, data.Length);

        Response = data;

        isFinished = true;
    }

Bem, está tudo bem e elegante, mas agora quero enviar uma mensagem sob demanda e armazenar resposta em uma propriedade, também quero adicionar um token de cancelamento ao tempo limite da tarefa. Então, eu vim com este método:

        public async Task SendMessenge(byte[] messange)
    {
        var cancellationTokenSource = new CancellationTokenSource();
        CancellationToken token = cancellationTokenSource.Token;
        cancellationTokenSource.CancelAfter(5000);
        token.ThrowIfCancellationRequested();

        isFinished = false;
        try
        {
            Task worker = Task.Run(() =>
            {
                while (!isFinished)
                {
                }
            }, token);

            await Port.BaseStream.WriteAsync(messange, 0, messange.Length, token);
            await worker;
        }
        catch (OperationCanceledException e)
        {
            throw new OperationCanceledException(e.Message, e, token);
        }
    }

@Problem está com esse loop while, se for uma tarefa que entra em loop infinito e não captura o token de tempo limite, se eu colocá-lo fora de uma tarefa e remover o trabalhador que funciona, mas perdendo o token de cancelamento. Eu acho que eu poderia fazer uma contagem regressiva manual como:

double WaitTimeout = Timeout + DateAndTime.Now.TimeOfDay.TotalMilliseconds;
while (!(DateAndTime.Now.TimeOfDay.TotalMilliseconds >= WaitTimeout)|| !isFalse) 

Mas parece feio.

Então, acho que minha pergunta básica é como aguardar efetivamente a resposta do evento e obter um tempo limit

questionAnswers(1)

yourAnswerToTheQuestion