Привет. Играюсь с лексером и появился вопрос. Если кто-нибудь этим
занимался, вы тоже обрабатывали код посимвольно и на самой первой стадии обработки у вас получался массив символов вперемешку с токенами, из которого на следующей стадии вы собирали литералы или может быть выходными данными первой же обработки у вас был набор токенов?