Fix an error recovery routine that seems to not run often

Make the yy_group_element() routine in the skeleton for pilex --element --groups --python not construct the element until after the text and children are known

Make some notes in /ndcode/pilex/nfa.py after reverse-engineering the algorithm

Modify text_to_python() to handle stray whitespace on otherwise blank line

Add /fix_bootstrap.sh and run it due to reserved ast and _ast in recent python3

Get non-groups Python skeleton working, seems it wasn't tested at all before

Pass python flag into AST.post_process(), to generate correct default actions

Fix a typo in non-groups Python skeleton (introduced with last commit), remove some prints in that skeleton, fix missing default-rule group in flex generation

Fix scanning bug of adding extra text to matched string

Option to build python lexer without groups (simpler skeleton, more like flex)

Move everything into ndcode/pilex/, import from ndcode.pilex, add packaging

Convert generate_flex.py to new element class, reinstate the C based tests, fix a bug which misnumbered the EOB action leading to improper scanner startup

Add YY_USER_ACTION() hook for location tracking in Python generator/skeletons

Freeze compiled pitree.git commit 71dd736 into bootstrap_pitree, reinstate use

Update to pitree.git commit 71dd736

Update to pitree.git commit e4f3cdd

Update to pitree.git commit 350e5a9 (first cut)

Update to pitree.git commit b3b2036

Update to pitree.git commit 5cba525 (don't use bootstrap_pitree for now)

Use regex.t and tests_ast/cal_py.t, get rid of old AST generator and stripper

Freeze compiled pilex.git commit 767c103, pitree.git commit 3daa8a6, piyacc.git commit bc19b4a, into bootstrap_*, use pilex.t and t_def.py instead of ast.py

Add or update license in every file

Remove obsolete work.py module

Remove obsolete __repr__() and repr_serialize() on AST elements, change spacing

Remove obsolete way of initializing AST elements with serialized (string) data

Make element groups also behave as numbered groups (so that element constructor can access the text spanned by the group), make named and numbered groups always adopt the text, so that the nearest text (to right) is always available, and so that if the group captures multiple times, the FIRST not the LAST will be kept

Minor consistency fixes wrt. piyacc.git commit 6558f0b

Allow yylex() caller to specify factory for yy_element_space, yy_element_token

Streamline markup_push()/markup_pop() to call factory earlier and avoid copying

Make pilex.py standalone, fix accidentally deleted line of code which made the '(?E{' sequence not parse correctly, add tests_ast/cal_py.l tests to catch this

Add element-based Python scanner/parser in root of repository which builds AST directly, and n.sh test script to check same result as bootstrap/ scanner/parser

Rationalize option sense handling, fix a few bugs and typos

Fix some missing spots to use markup stack, move code lines, add a syntax error

Implement a stack of position markers to delay the insertion of an opening tag until just before the corresponding closing tag, add an optional second SECTEND

Remove double EOF and fix places where token injects text before the next token

Modify the parser/scanner interface to remove markup_action(), markup_option()

Add bootstrap/n.sh test script

Minor change to bootstrap/Makefile to simplify relative path to ../pilex.py

Implement state flags and fix minor trailing context/bracketing macros issue

Fix several bugs to get Python scanner/parser basically working, processes ../tests/cal.l correctly, minor differences for ../../boostrap_flex.git/src/scan.l

Add Python version of bootstrap_flex.git parser (adds markup to *.l file), doesn't work yet because Python parser is always batch, calls flexscan() too eagerly

Remove some compiler warnings in calculator test (needed since Linux Mint 19)

Add Python version of bootstrap_flex.git scanner (adds markup to *.l file)

Fix FlexDFA generation bug introduced in commit 166f431 with DFA.to_flex_dfa()

Implement BOL detection in Python skeleton (for ^ operator) and various other functions such as BEGIN() similar to the C macros, reinstate generate_flex.py flex scanner generation which was broken since user-defined groups were implemented

Change file reading to not re-attempt read from any stream once EOF is reached

Implement element groups with support from pilex (not via user code)

Update skel_py_element.py, implement tests_ast directory which defines AST_Num(_Mantissa|_Fraction)? elements and builds yy_element_token using action groups

Implement numbered and named groups with support from pilex (not via user code)

Rearrange so that group actions don't need any arguments, implement group names

Implement action groups (extension syntax), use this to make a private implementation of numbered groups in cal_py.l, extract parts of floating point by groups

Move Rule.post_process() code into EOFRule, FLexRule to avoid isinstance() test

Set tag name for yy_element_(space|token) to something sensible, we use 'root'

First cut at automatic AST generation with pilex.py --element switch

Improve the Python skeleton to implement REJECT(), unput(), yyless() and so on

Rename plex to pilex, rename PLex object and prefix to AST

Add --python switch, skel/skel_py.py template, and tests/cal_py.l test scanner

Rename skeleton to skel_flex.c, include skel_flex.c in repository instead of requiring bootstrap_flex, fix a bug defining 'yy' prefix in wrong place in ast.py

Move FlexDFA generation into DFA.to_flex_dfa() consistent with other generators, and skeleton filling code from flex_dfa.py to generate_flex.py

Minor fixes to yywrap and how prefixes and outfiles are handled

Improve handling of %option and %array/%pointer, implement %option prefix=, improve skeleton/patching (more features, removes #line directives before patching)

Add continued actions and %option nodefault, make acclist generation slightly more robust, reinstate test code in regex.py which is invoked when run standalone

Change numpy.int16 to numpy.uint16 and flex_int16_t to flex_uint16_t everywhere

Make packing of states generate a list of candidates for first slot via numpy

Use a heap to speed up the minimum spanning tree generation

Implement %option caseless, also accept and ignore other options used in scan.l

Fix a bug in start condition handling, tidy, fix skeleton, add progress reports

Encode states in reverse order (larger distances first)

Add Prim's minimal spanning tree algorithm to encode states in an optimal order

Tidying up

Compute all state-to-state distances ahead of time then refer to them

Make better use of numpy.nonzero in compression step, borrowing from pyacc2.git

Introduce PLex.Section2.Rule.FLexRule which is always a pair of (expr, trailing context) rather than the old scheme which had an optional BOLRule inserted in

Implement compound rules

Change entries from a list of nxt, chk pairs to a numpy array

Tidying up

Change states from a list of base, def pairs to a numpy array

Change states_accept (as list of lists) to acclist and accept (as numpy arrays)

Rename full_entries to transition_table, do compression step after construction

Remove useless state_to_flex_base_def (can't reuse base, def due to yy_chk[])

Change the semantic analysis pass to only index the rules applicable to each start condition instead of generating the regex per start condition immediately, allows the semantic analysis result to be serialized without reparenting regexes

Introduce the PLex.Text.get_text() method, and rearrange class hierarchy a bit

Get latest regex.py and other modules (since it has been split up) from pyacc2.git commit 740dcdb, fix some bugs where dfa/nfa required a leading underscore

Add https://github.com/gautamkmr/Compiler-Lab- examples

Minor improvements to how test programs are built

Change bracketing of action text so that delimiters are captured within markup

Move CodeBlocks class inside new Section1Or2 class (formerly SectionCodeBlocks), also implement %option noyywrap and update the cal test progarm to not use -ll

Add degenerate.py, to strip out generated code and thus make the logic readable

Move Flex DFA generation into its own module, makes bootstrap_flex.py trivial

Further rearrangement to put everything inside the PLex class, and move the entire source file processing into the post_process() routine, leaves a serialized copy of the regular expression recognized in each start condition in PLex object

Rearrange AST class structure to use inner class definitions

Change how start conditions are represented in the syntax tree

Add start conditions (AT&T style only), improve EOF rules, add default action

Add BOL and EOF rules, not well tested yet

Fix issue with transitions/threads and issue with duplicate states (but the generated tables are definitely suboptimal, need to merge indistinguishable states)

Minor bug fixes to get it to scan something, enhance test program to print flex state machine progression (for comparison against our generated state machine)

First cut at generating state machines compatible with a generic flex skeleton