cript имеет сложную грамматику для анализа. Прямая косая черта может означать несколько разных вещей: оператор деления, литерал регулярного выражения, ввод комментария или ввод комментария строки. Последние два легко различить: если за косой чертой следует звезда, начинается многострочный комментарий. Если за косой чертой следует еще одна косая черта, это комментарий к строке.

Но правила устранения двусмысленности букв и регулярных выражений ускользают от меня. Я не могу найти это вСтандарт ECMAScript, Там лексическая грамматика явно разделена на две части, InputElementDiv и InputElementRegExp, в зависимости от того, что будет означать косая черта. Но нет ничего, объясняющего, когда использовать какой.

И, конечно, страшные правила вставки точек с запятой усложняют все.

У кого-нибудь есть пример ясного кода для лексинга Javascript, на который есть ответ?