Свойство KeyPreview моей формы включено.

Private Sub KeyHandling(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyEventArgs) Handles Me.KeyDown
    Select Case e.KeyCode
      Case Keys.Left
        btnPrev.PerformClick()
      Case Keys.Right
        btnNext.PerformClick()
      Case Keys.Up
        btnFirst.PerformClick()
      Case Keys.Down
        btnLast.PerformClick()
    End Select
End Sub

Проблема:

Этот код ничего не сделает, кроме случаев, когда я держу клавишу управления. Кто-нибудь может объяснить это? :)

Это связано с тем, что клавиши курсора перехватываются раньше, чем происходит событие KeyDown. Winforms использует его для перемещения фокуса, как Tab. Когда вы удерживаете нажатой клавишу Ctrl, она больше не является навигационной клавишей, и ваше событие KeyDown может ее видеть.