Implement element groups with support from pilex (not via user code)

Update skel_py_element.py, implement tests_ast directory which defines AST_Num(_Mantissa|_Fraction)? elements and builds yy_element_token using action groups

Implement numbered and named groups with support from pilex (not via user code)

Rearrange so that group actions don't need any arguments, implement group names

Implement action groups (extension syntax), use this to make a private implementation of numbered groups in cal_py.l, extract parts of floating point by groups

Move Rule.post_process() code into EOFRule, FLexRule to avoid isinstance() test

Set tag name for yy_element_(space|token) to something sensible, we use 'root'

First cut at automatic AST generation with pilex.py --element switch

Improve the Python skeleton to implement REJECT(), unput(), yyless() and so on

Rename plex to pilex, rename PLex object and prefix to AST

Add --python switch, skel/skel_py.py template, and tests/cal_py.l test scanner

Rename skeleton to skel_flex.c, include skel_flex.c in repository instead of requiring bootstrap_flex, fix a bug defining 'yy' prefix in wrong place in ast.py

Move FlexDFA generation into DFA.to_flex_dfa() consistent with other generators, and skeleton filling code from flex_dfa.py to generate_flex.py

Minor fixes to yywrap and how prefixes and outfiles are handled

Improve handling of %option and %array/%pointer, implement %option prefix=, improve skeleton/patching (more features, removes #line directives before patching)

Add continued actions and %option nodefault, make acclist generation slightly more robust, reinstate test code in regex.py which is invoked when run standalone

Change numpy.int16 to numpy.uint16 and flex_int16_t to flex_uint16_t everywhere

Make packing of states generate a list of candidates for first slot via numpy

Use a heap to speed up the minimum spanning tree generation

Implement %option caseless, also accept and ignore other options used in scan.l

Fix a bug in start condition handling, tidy, fix skeleton, add progress reports

Encode states in reverse order (larger distances first)

Add Prim's minimal spanning tree algorithm to encode states in an optimal order

Tidying up

Compute all state-to-state distances ahead of time then refer to them

Make better use of numpy.nonzero in compression step, borrowing from pyacc2.git

Introduce PLex.Section2.Rule.FLexRule which is always a pair of (expr, trailing context) rather than the old scheme which had an optional BOLRule inserted in

Implement compound rules

Change entries from a list of nxt, chk pairs to a numpy array

Tidying up

Change states from a list of base, def pairs to a numpy array

Change states_accept (as list of lists) to acclist and accept (as numpy arrays)

Rename full_entries to transition_table, do compression step after construction

Remove useless state_to_flex_base_def (can't reuse base, def due to yy_chk[])

Change the semantic analysis pass to only index the rules applicable to each start condition instead of generating the regex per start condition immediately, allows the semantic analysis result to be serialized without reparenting regexes

Introduce the PLex.Text.get_text() method, and rearrange class hierarchy a bit

Get latest regex.py and other modules (since it has been split up) from pyacc2.git commit 740dcdb, fix some bugs where dfa/nfa required a leading underscore

Add https://github.com/gautamkmr/Compiler-Lab- examples

Minor improvements to how test programs are built

Change bracketing of action text so that delimiters are captured within markup

Move CodeBlocks class inside new Section1Or2 class (formerly SectionCodeBlocks), also implement %option noyywrap and update the cal test progarm to not use -ll

Add degenerate.py, to strip out generated code and thus make the logic readable

Move Flex DFA generation into its own module, makes bootstrap_flex.py trivial

Further rearrangement to put everything inside the PLex class, and move the entire source file processing into the post_process() routine, leaves a serialized copy of the regular expression recognized in each start condition in PLex object

Rearrange AST class structure to use inner class definitions

Change how start conditions are represented in the syntax tree

Add start conditions (AT&T style only), improve EOF rules, add default action

Add BOL and EOF rules, not well tested yet

Fix issue with transitions/threads and issue with duplicate states (but the generated tables are definitely suboptimal, need to merge indistinguishable states)

Minor bug fixes to get it to scan something, enhance test program to print flex state machine progression (for comparison against our generated state machine)

First cut at generating state machines compatible with a generic flex skeleton