Minor consistency changes for latest pilex.git/bootstrap Python scanner

Fix minor case inversion issue in the XML marked up output

Fix an old-style function definition to ANSI C

Improve whitespace handling before <, ^, <<EOF>>, update for later system flex

Add aclocal, etc instructions to n.sh, rerun with automake 1.15

Change action groups, (?{code}expr) to (?A{code}expr), to match (?E{code}expr)

Add element groups, uniquify the internal tokens for action and element groups

Implement un-numbered, numbered, named and action groups (extension syntax)

Rename plex to pilex, rename PLex object and prefix to AST

Tidying up

Similarly, move most piece_* stuff from parse.c.patch into parse.y, and tidy up

Tidy up the piece_*() functions, make flush() a function piece_flush(size_t n)

Move as much as possible out of scan.c.patch and stage1scan.c.patch into scan.l

Improve handling of %option and %array/%pointer, implement %option prefix=

Add extra bootstrapping step in src/o.sh where bootstrap_pyacc.py builds flex

Add extra bootstrapping step in src/n.sh where bootstrap_plex.py builds flex

Add continued actions, fix bogus definitions of [[:blank:]] and [[:space:]]

Changes for caseless scanners, allow build system to rebuild texinfo/manpage

Introduce PLex.Section2.Rule.FLexRule which is always a pair of (expr, trailing context) rather than the old scheme which had an optional BOLRule inserted in

Change char_set="..." to character_set="...", for use with the latest regex.py

Improve markup of %{ %} actions and codeblocks, fix some minor related bugs

Change bracketing of action text so that delimiters are captured within markup

Move CodeBlocks class inside new Section1Or2 class (formerly SectionCodeBlocks)

Further rearrangement to put everything inside the PLex class

Rearrange AST class structure to use inner class definitions

Change how start conditions are represented in the syntax tree

Fix minor bugs (missing/misplaced markup)

Remove RegexGroup markup around the expression to be matched, so that we simply generate two expressions, the expression to be matched and the trailing context

Change inner loops to use int not YY_CHAR, removing need for separate NUL table

Change the generated output, to make it readable by element.deserialize(), etc

Tighten up <Rule>...</Rule> so it does not pull in the inter-token space before

Implement proper options markup, tidy up <Rule>...<Action>...</Action</Rule>

Modify so that the scanner inserts the <SectN>...</SectN> markup, make sect 3 have proper markup, and update the markup system from latest bootstrap_bison.git

Fix a bug of including extra yytext after isolated action (blank/comment line)

Fix a bug in code that executes when <token value="NNN">...</token> is disabled

Add a forgotten section of src/Makefile.patch

First cut at modified flex that operates normally but also writes a scanned, parsed and marked up version of the input file to stderr in XML format (had to run autogen.sh for some reason so the configure, Makefile.in etc have also changed)

Implement ./n.sh instead of ./configure which will auto-patch src/Makefile

Make it buffer the pieces in memory (in a stack) and reduce it down to a single piece in the parser stage, so that the parser stage can also insert XML tags

Make it add markup around code: <CodeBlock>, <Action> and <PercentBraceAction>

Modified flex-2.6.4 to output XML to stderr showing token values and boundaries

Pristine copy of flex-2.6.4