У меня есть огромный файл, который я должен анализировать построчно. Скорость имеет значение.

Пример строки:

Token-1   Here-is-the-Next-Token      Last-Token-on-Line
      ^                        ^
   Current                 Position
   Position              after GetToken

Вызывается метод GetToken, возвращающий «Here-is-the-Next-Token» и устанавливающий CurrentPosition в положение последнего символа токена, чтобы он был готов к следующему вызову GetToken. Токены разделены одним или несколькими пробелами.

Предположим, что файл уже находится в StringList в памяти. Он легко помещается в памяти, скажем, 200 МБ.

Меня беспокоит только время выполнения разбора. Какой код будет производить абсолютно быстрое выполнение в Delphi (Pascal)?