Make syntax error call yyerror() rather than raising a Python exception

In /ndcode/piyacc/generate_py.py, remove a workaround that set yylval, yylloc before yychar = lex_yy.yylex(), as the relevant code is meant to match the yychar = lex_yy.yylex() call in the skeleton which doesn't have th workaround anymore

Fix location tracking bugs (i) cursor was not initialized with input file name, (ii) id_loc and other places were corrupted by taking a reference to y_tab.yylloc rather than a copy, (iii) lex_yy.scanner_cursor was not put back when putting back text in state SC_AFTER_IDENTIFIER, (iv) line and column should be 1-based

Fix location for one error message

Modify ast_text_to_python() to handle stray whitespace on otherwise blank line

Add /fix_bootstrap.sh and run it due to reserved ast and _ast in recent python3

Remove /tests_ast as it now has its own repository picalc.git

Replace EQUAL, PIPE and SEMICOLON tokens with their ASCII values

Further work on documentation, now have doc/index.rst and separate doc/*.rst file for each ndcode/piyacc/*.py file (extra design documentation goes in here)

First cut at sphinx documentation (pretty rough)

Move everything into ndcode/piyacc/, import from ndcode.piyacc, add packaging

Update hacky hard coded paths to pilex/pitree, fix a bug in skel_py_element.py

Tidy up Python skeleton stack usage so there is only one dummy element, at the start for Bison compatibility (so that default location can be taken from before start of file when first action is reducing an empty production), use this to remove the dummy element formerly placed at the end just before calling an action

Convert generate_bison.py to new element class, reinstate the C based tests

Add port of Bison location tracking, rudimentary error message showing location

Add YYLLOC_DEFAULT() hook for location tracking in Python generator/skeletons

Freeze compiled pitree.git commit 71dd736 into bootstrap_pitree, reinstate use

Update to pitree.git commit 71dd736

Update to pitree.git commit e4f3cdd

Update to pitree.git commit 350e5a9 (first cut)

Update to pitree.git commit b3b2036

Update to pitree.git commit 5cba525 (don't use bootstrap_pitree for now)

Use tests_ast/cal_py.t, get rid of old AST generator and stripper

Freeze compiled pilex.git commit 767c103, pitree.git commit 3daa8a6, piyacc.git commit bc19b4a, into bootstrap_*, use piyacc.t and t_def.py instead of ast.py

Add or update license in every file

Remove obsolete work.py module, and accidental generation of b.xml diagnostic

Remove obsolete __repr__() and repr_serialize() on AST elements, change spacing

Remove obsolete way of initializing AST elements with serialized (string) data

Make piyacc.py standalone

Get direct AST generation working properly, does not exactly match bootstrap_bison.git and bootstrap/ parser because of a small whitespace issue with %code { }

Implement a stack of position markers to delay the insertion of an opening tag until just before the corresponding closing tag, update scan-gram.l in root also

Add element-based Python scanner/parser in root of repository which builds AST directly (but for now, only scan-code.l builds AST directly, then converts back to text), and n.sh test script to check same result as bootstrap/ scanner/parser

Tidy scan-code.l, fix bug in scan-gram.l not setting yylval for element groups

Allow value and stack references in action text of (?{...}...) element groups, add tests_ast/cal_py.y tests which use action text (but not value or stack references, need another test later), update yytoken to yychar in generate_py.py

Improve error handling in Python parser

Add bootstrap/n.sh test script, fix ../../bootstrap_bison.git/src/parse-gram.y

Implement re-scanning of action text to insert ValueReference, StackReference etc, processes ../tests/cal.y and ../../boostrap_flex.git/src/parse.y correctly

Add Python version of bootstrap_bison.git parser (adds markup to *.y file)

Make non-element scanner ignore take_space_left which is always True for empty production, change yytoken (which was private to flex) to yychar, add YYEMPTY

Make --element parser capture final space before EOF

Add LICENSE and README.md, add license information to every source file

Implement %space, which controls how element groups capture inter-token space

Implement element groups with support from piyacc (not via user code)

Add element groups into the AST and post processing, currently they're ignored

Make tests_ast directory use element groups and store mantissa/fraction in AST

Update skel_py_element.py and tests_ast directory to pilex.git commit dd0c364

Extend calculator example to build an AST and re-calculate expressions from it

First cut at automatic AST generation with piyacc.py --element switch

Add interactive parser ability, tidy up the Python test and skeleton slightly

Rename pyacc to piyacc, rename PYACC object and prefix to AST

Add --python switch, skel/skel_py.py template, and tests/cal_py.y test parser

Rename skeleton to skel_bison.c, include skel_bison.c in repository instead of requiring bootstrap_bison, fix skeleton patches that were not applying properly

Move BisonLR1DFA generation into LR1DFA.to_bison_lr1dfa() consistent with other generators, and skeleton filling code from bison_lr1dfa.py to generate_bison.py

Put PYACC.Text inside PYACC.BracedCode excluding the braces, except for the action text where this is too difficult (so we'll work around it in ast.py for now)

Hack to fix $$ from yyval to yylval, @$ from yyloc to yylloc in initial action

Add %initial-action, and add some forgotten location handling code in skeleton

Egregious hacks, and fix a genuine bug in the #ifdef YYLTYPE_IS_DECLARED stuff

Implement %define api.prefix and %name-prefix (nearly the same but not quite)

Remove %<flag> stuff in favour of explicit Section1.Debug|Locations|PureParser, implement %debug (AKA api.parse_trace) and %error-verbose (parse.error verbose)

Implement %locations (inserts code that ensures YYLTYPE_IS_DECLARED is defined)

Fix missing #defines for tokens bug in y.tab.h, generate YYSTYPE not just union

Implement %define api.pure (sets #define YYPURE to 0=false, 1=true, 2=full)

Minor tweaks for building bison (now works, but don't have %define api.XXX yet)

Fix bug with  reference offset for mid-rule actions, ensure all symbols typed

Get rid of set_code_props() in favour of the ordinary post_process(), fix union

Put a PYACC.SymbolRef inside PYACC.Production.SymbolRef to do the heavy lifting, and eliminate symbol attribute from the inner one in favour of a direct return

Combine PYACC.TerminalRef and PYACC.NonterminalRef into PYACC.SymbolRef (relying on information passed in from the surrounding context to set the symbol type)

Get rid of TaggedSymbols, just put tags/symbols inside Section1.Type or similar

Make *_to_symbol contain symbol index rather than positive terminal index or negative nonterminal index, get rid of pyacc.terminals[] and pyacc.nonterminals[]

Implement pyacc.symbols instead of pyacc.(non)terminals, combine PYACC.Terminal and PYACC.Nonterminal into PYACC.Symbol with a _type field to say whether terminal or nonterminal, make the external interface with bison_lr1dfa.py use these

First cut at making the semantic analysis accept what it needs to build bison

Fix --defines command line option and fix escaping of "'\"'", for building flex

Remove split out versions of regex.py, nfa.py, dfa.py, grammar.py since they are now safely in regex.git commit bb6ca2e with fixes, minor renaming in bison_lr1dfa.py for the sake of consistency with flex_dfa.py in plex2.git commit 88d529f

Implement %union/<tag>, add https://github.com/gautamkmr/Compiler-Lab- examples

Implement midrule actions, and fix bug which suppressed actions not using 12660/

Improve how production lengths are tracked and subtracted from StackReferences

Remove PYACC.Section base class and make PYACC.Section1Or2 the direct parent

Rationalize PYACC.Text so it occurs only once inside containers like PYACC.Char, and so that embedded references like PYACC.Escape now become PYACC.Text.Escape and occur inside PYACC.Text instead of being interspersed with PYACC.Text nodes

Fix serialization so that nodes (e.g. PYACC.Production) can be parented within the main document and also be referenced (e.g. from the list PYACC.productions)

Change 'utf-8' encoding back to 'unicode' since xml.etree uses this to decide whether the stream is text or binary, change (first|start)_nonterminal and (last|precedence)_terminal usage again so that we can see it in the serialized output

Split out PYACC.Symbol into PYACC.Terminal and PYACC.Nonterminal with no precedence on the latter, rename PYACC.Production.Symbol to PYACC.Production.SymbolRef

Tidy up handling of associativities by adding an extra table which is indexed by the precedence, instead of using (precedence, associativity) pairs everywhere

Get precedences working in the YACC/Bison way where both terminals and productions have precedences, done this by removing the priority field in lr1.productions and instead adding a new field lr1.precedences containing (terminal_breaks, terminal_prec, nonterminal_breaks, nonterminal_prec) similar to action/goto tables

Improve how first_nonterminal and last_terminal are handled (may be overridden)

Split out PYACC.Section1Or2.Symbol into PYACC.TerminalRef, PYACC.NonterminalRef

Partially revert commit 8494a18, since the LR1DFA itself does not need the compressed token numbering by virtue of how it uses bisect maps (to support unicode)

Change group_bounds per-production field of LR1 and LR1DFA to generic ref_data, comment out the parser code which treats it as group_bounds for now, and use ref_data field to hold PYACC.BracedCode to execute when the production is reduced

Avoid use of the Grammar and Grammar.Production objects, instead merge Grammar logic directly into the PYACC object and rename Section2.Rules.RHS to Production

Rework token numbering so that the LR1DFA is generated using the internal numbering for the terminals, and characters/user token numbers are supported properly

Rework how tag/symbol lists from the parser are handled, collect precedence and associativity data per symbol, create explicit terminal symbols for characters (to hold the precedence and associativity), currently leaves gaps in numbering

Change lookahead_item_shift() to lookahead_item_set_action() to reflect that it returns a set of reductions as well as a description of the state after shiting

Split out regex.py module into regexes, NFAs, DFAs, grammars, LR1s and LR1DFAs

Decouple Regex and LR1 by defining a new Grammar.Production.Symbol class, simplifies the handling of separate terminal and nonterminals sets, but means that symbols in a production can no longer be grouped (Nick's advanced feature) for now

Fix default reduction offset by 2 issue, parser now avoids useless lookahead

Fix EOF action and other things to get parser working, still lookahead problem

Much improved version with proper handling for tokens, actions and so on

First cut at table generation and packing, almost OK but doesn't compile yet

Store nonterminal symbols in a separate array so that the position in this array gives a unique numeric index per nonterminal symbol, as opposed to the character_set which is non-unique as it refers to a set of indices in productions array

Renaming a number of variables in regex.py for consistency (no other changes)

Implement semantic analysis pass to build a regex.Grammar object, then LR1, etc