Improve whitespace handling before <, ^, <<EOF>>, update for later system flex
authorNick Downing <nick@ndcode.org>
Sat, 12 Jan 2019 13:08:45 +0000 (00:08 +1100)
committerNick Downing <nick@ndcode.org>
Sat, 12 Jan 2019 13:08:45 +0000 (00:08 +1100)
src/scan.c
src/scan.c.patch
src/scan.l

index 6ffadc6..69d7115 100644 (file)
@@ -7,8 +7,8 @@
 
 #define FLEX_SCANNER
 #define YY_FLEX_MAJOR_VERSION 2
-#define YY_FLEX_MINOR_VERSION 5
-#define YY_FLEX_SUBMINOR_VERSION 35
+#define YY_FLEX_MINOR_VERSION 6
+#define YY_FLEX_SUBMINOR_VERSION 4
 #if YY_FLEX_SUBMINOR_VERSION > 0
 #define FLEX_BETA
 #endif
@@ -83,60 +83,48 @@ typedef unsigned int flex_uint32_t;
 #define UINT32_MAX             (4294967295U)
 #endif
 
+#ifndef SIZE_MAX
+#define SIZE_MAX               (~(size_t)0)
+#endif
+
 #endif /* ! C99 */
 
 #endif /* ! FLEXINT_H */
 
-#ifdef __cplusplus
-
-/* The "const" storage-class-modifier is valid. */
-#define YY_USE_CONST
-
-#else  /* ! __cplusplus */
-
-/* C99 requires __STDC__ to be defined as 1. */
-#if defined (__STDC__)
+/* begin standard C++ headers. */
 
-#define YY_USE_CONST
-
-#endif /* defined (__STDC__) */
-#endif /* ! __cplusplus */
-
-#ifdef YY_USE_CONST
+/* TODO: this is always defined, so inline it */
 #define yyconst const
+
+#if defined(__GNUC__) && __GNUC__ >= 3
+#define yynoreturn __attribute__((__noreturn__))
 #else
-#define yyconst
+#define yynoreturn
 #endif
 
 /* Returned upon end-of-file. */
 #define YY_NULL 0
 
-/* Promotes a possibly negative, possibly signed char to an unsigned
- * integer for use as an array index.  If the signed char is negative,
- * we want to instead treat it as an 8-bit unsigned char, hence the
- * double cast.
+/* Promotes a possibly negative, possibly signed char to an
+ *   integer in range [0..255] for use as an array index.
  */
-#define YY_SC_TO_UI(c) ((unsigned int) (unsigned char) c)
+#define YY_SC_TO_UI(c) ((YY_CHAR) (c))
 
 /* Enter a start condition.  This macro really ought to take a parameter,
  * but we do it the disgusting crufty way forced on us by the ()-less
  * definition of BEGIN.
  */
 #define BEGIN (yy_start) = 1 + 2 *
-
 /* Translate the current start state into a value that can be later handed
  * to BEGIN to return to the state.  The YYSTATE alias is for lex
  * compatibility.
  */
 #define YY_START (((yy_start) - 1) / 2)
 #define YYSTATE YY_START
-
 /* Action number for EOF rule of a given start state. */
 #define YY_STATE_EOF(state) (YY_END_OF_BUFFER + state + 1)
-
 /* Special action meaning "start processing a new file". */
-#define YY_NEW_FILE yyrestart(yyin  )
-
+#define YY_NEW_FILE yyrestart( yyin  )
 #define YY_END_OF_BUFFER_CHAR 0
 
 /* Size of default input buffer. */
@@ -161,6 +149,11 @@ typedef unsigned int flex_uint32_t;
 typedef struct yy_buffer_state *YY_BUFFER_STATE;
 #endif
 
+#ifndef YY_TYPEDEF_YY_SIZE_T
+#define YY_TYPEDEF_YY_SIZE_T
+typedef size_t yy_size_t;
+#endif
+
 extern int yyleng;
 
 extern FILE *yyin, *yyout;
@@ -168,8 +161,9 @@ extern FILE *yyin, *yyout;
 #define EOB_ACT_CONTINUE_SCAN 0
 #define EOB_ACT_END_OF_FILE 1
 #define EOB_ACT_LAST_MATCH 2
-
+    
     #define YY_LESS_LINENO(n)
+    #define YY_LINENO_REWIND_TO(ptr)
     
 /* Return all but the first "n" matched characters back to the input stream. */
 #define yyless(n) \
@@ -184,7 +178,6 @@ extern FILE *yyin, *yyout;
                YY_DO_BEFORE_ACTION; /* set up yytext again */ \
                } \
        while ( 0 )
-
 #if 1
 #define unput(c) \
  do { \
@@ -196,11 +189,6 @@ extern FILE *yyin, *yyout;
 #define unput(c) yyunput( c, (yytext_ptr)  )
 #endif
 
-#ifndef YY_TYPEDEF_YY_SIZE_T
-#define YY_TYPEDEF_YY_SIZE_T
-typedef size_t yy_size_t;
-#endif
-
 #ifndef YY_STRUCT_YY_BUFFER_STATE
 #define YY_STRUCT_YY_BUFFER_STATE
 struct yy_buffer_state
@@ -213,7 +201,7 @@ struct yy_buffer_state
        /* Size of input buffer in bytes, not including room for EOB
         * characters.
         */
-       yy_size_t yy_buf_size;
+       int yy_buf_size;
 
        /* Number of characters read into yy_ch_buf, not including EOB
         * characters.
@@ -241,7 +229,7 @@ struct yy_buffer_state
 
     int yy_bs_lineno; /**< The line count. */
     int yy_bs_column; /**< The column count. */
-    
+
        /* Whether to try to fill the input buffer when we reach the
         * end of it.
         */
@@ -269,7 +257,7 @@ struct yy_buffer_state
 /* Stack of input buffers. */
 static size_t yy_buffer_stack_top = 0; /**< index of top of stack. */
 static size_t yy_buffer_stack_max = 0; /**< capacity of stack. */
-static YY_BUFFER_STATE * yy_buffer_stack = 0; /**< Stack as an array. */
+static YY_BUFFER_STATE * yy_buffer_stack = NULL; /**< Stack as an array. */
 
 /* We provide macros for accessing buffer states in case in the
  * future we want to put the buffer states in a more general
@@ -280,7 +268,6 @@ static YY_BUFFER_STATE * yy_buffer_stack = 0; /**< Stack as an array. */
 #define YY_CURRENT_BUFFER ( (yy_buffer_stack) \
                           ? (yy_buffer_stack)[(yy_buffer_stack_top)] \
                           : NULL)
-
 /* Same as previous macro, but useful when we know that the buffer stack is not
  * NULL or when we need an lvalue. For internal use only.
  */
@@ -292,7 +279,7 @@ static int yy_n_chars;              /* number of characters read into yy_ch_buf */
 int yyleng;
 
 /* Points to current character in buffer. */
-static char *yy_c_buf_p = (char *) 0;
+static char *yy_c_buf_p = NULL;
 static int yy_init = 0;                /* whether we need to initialize */
 static int yy_start = 0;       /* start state number */
 
@@ -301,83 +288,78 @@ static int yy_start = 0;  /* start state number */
  */
 static int yy_did_buffer_switch_on_eof;
 
-void yyrestart (FILE *input_file  );
-void yy_switch_to_buffer (YY_BUFFER_STATE new_buffer  );
-YY_BUFFER_STATE yy_create_buffer (FILE *file,int size  );
-void yy_delete_buffer (YY_BUFFER_STATE b  );
-void yy_flush_buffer (YY_BUFFER_STATE b  );
-void yypush_buffer_state (YY_BUFFER_STATE new_buffer  );
-void yypop_buffer_state (void );
+void yyrestart ( FILE *input_file  );
+void yy_switch_to_buffer ( YY_BUFFER_STATE new_buffer  );
+YY_BUFFER_STATE yy_create_buffer ( FILE *file, int size  );
+void yy_delete_buffer ( YY_BUFFER_STATE b  );
+void yy_flush_buffer ( YY_BUFFER_STATE b  );
+void yypush_buffer_state ( YY_BUFFER_STATE new_buffer  );
+void yypop_buffer_state ( void );
 
-static void yyensure_buffer_stack (void );
-static void yy_load_buffer_state (void );
-static void yy_init_buffer (YY_BUFFER_STATE b,FILE *file  );
+static void yyensure_buffer_stack ( void );
+static void yy_load_buffer_state ( void );
+static void yy_init_buffer ( YY_BUFFER_STATE b, FILE *file  );
+#define YY_FLUSH_BUFFER yy_flush_buffer( YY_CURRENT_BUFFER )
 
-#define YY_FLUSH_BUFFER yy_flush_buffer(YY_CURRENT_BUFFER )
+YY_BUFFER_STATE yy_scan_buffer ( char *base, yy_size_t size  );
+YY_BUFFER_STATE yy_scan_string ( const char *yy_str  );
+YY_BUFFER_STATE yy_scan_bytes ( const char *bytes, int len  );
 
-YY_BUFFER_STATE yy_scan_buffer (char *base,yy_size_t size  );
-YY_BUFFER_STATE yy_scan_string (yyconst char *yy_str  );
-YY_BUFFER_STATE yy_scan_bytes (yyconst char *bytes,int len  );
-
-void *yyalloc (yy_size_t  );
-void *yyrealloc (void *,yy_size_t  );
-void yyfree (void *  );
+void *yyalloc ( yy_size_t  );
+void *yyrealloc ( void *, yy_size_t  );
+void yyfree ( void *  );
 
 #define yy_new_buffer yy_create_buffer
-
 #define yy_set_interactive(is_interactive) \
        { \
        if ( ! YY_CURRENT_BUFFER ){ \
         yyensure_buffer_stack (); \
                YY_CURRENT_BUFFER_LVALUE =    \
-            yy_create_buffer(yyin,YY_BUF_SIZE ); \
+            yy_create_buffer( yyin, YY_BUF_SIZE ); \
        } \
        YY_CURRENT_BUFFER_LVALUE->yy_is_interactive = is_interactive; \
        }
-
 #define yy_set_bol(at_bol) \
        { \
        if ( ! YY_CURRENT_BUFFER ){\
         yyensure_buffer_stack (); \
                YY_CURRENT_BUFFER_LVALUE =    \
-            yy_create_buffer(yyin,YY_BUF_SIZE ); \
+            yy_create_buffer( yyin, YY_BUF_SIZE ); \
        } \
        YY_CURRENT_BUFFER_LVALUE->yy_at_bol = at_bol; \
        }
-
 #define YY_AT_BOL() (YY_CURRENT_BUFFER_LVALUE->yy_at_bol)
 
 /* Begin user sect3 */
+typedef flex_uint8_t YY_CHAR;
 
-typedef unsigned char YY_CHAR;
-
-FILE *yyin = (FILE *) 0, *yyout = (FILE *) 0;
+FILE *yyin = NULL, *yyout = NULL;
 
 typedef int yy_state_type;
 
 extern int yylineno;
-
 int yylineno = 1;
 
 extern char *yytext;
+#ifdef yytext_ptr
+#undef yytext_ptr
+#endif
 #define yytext_ptr yytext
 
-static yy_state_type yy_get_previous_state (void );
-static yy_state_type yy_try_NUL_trans (yy_state_type current_state  );
-static int yy_get_next_buffer (void );
-static void yy_fatal_error (yyconst char msg[]  );
+static yy_state_type yy_get_previous_state ( void );
+static yy_state_type yy_try_NUL_trans ( yy_state_type current_state  );
+static int yy_get_next_buffer ( void );
+static void yynoreturn yy_fatal_error ( const char* msg  );
 
 /* Done after the current pattern has been matched and before the
  * corresponding action - sets up yytext.
  */
 #define YY_DO_BEFORE_ACTION \
        (yytext_ptr) = yy_bp; \
-       (yytext_ptr) -= (yy_more_len); \
-       yyleng = (size_t) (yy_cp - (yytext_ptr)); \
+       yyleng = (int) (yy_cp - yy_bp); \
        (yy_hold_char) = *yy_cp; \
        *yy_cp = '\0'; \
        (yy_c_buf_p) = yy_cp;
-
 #define YY_NUM_RULES 271
 #define YY_END_OF_BUFFER 272
 /* This struct is not used in this scanner,
@@ -387,7 +369,7 @@ struct yy_trans_info
        flex_int32_t yy_verify;
        flex_int32_t yy_nxt;
        };
-static yyconst flex_int16_t yy_accept[1159] =
+static const flex_int16_t yy_accept[1159] =
     {   0,
         0,    0,    0,    0,    0,    0,  250,  250,   40,   40,
         0,    0,    0,    0,    0,    0,    0,    0,    0,    0,
@@ -518,7 +500,7 @@ static yyconst flex_int16_t yy_accept[1159] =
       129,  129,   67,  129,  129,   80,   59,    0
     } ;
 
-static yyconst flex_int32_t yy_ec[256] =
+static const YY_CHAR yy_ec[256] =
     {   0,
         1,    1,    1,    1,    1,    1,    1,    1,    2,    3,
         4,    4,    5,    1,    1,    1,    1,    1,    1,    1,
@@ -550,7 +532,7 @@ static yyconst flex_int32_t yy_ec[256] =
         1,    1,    1,    1,    1
     } ;
 
-static yyconst flex_int32_t yy_meta[85] =
+static const YY_CHAR yy_meta[85] =
     {   0,
         1,    1,    2,    1,    3,    4,    1,    1,    5,    6,
         1,    7,    8,    9,    1,   10,    1,   11,   12,   12,
@@ -563,7 +545,7 @@ static yyconst flex_int32_t yy_meta[85] =
        16,   21,    1,   22
     } ;
 
-static yyconst flex_int16_t yy_base[1284] =
+static const flex_int16_t yy_base[1284] =
     {   0,
         0,   84,  167,  250,  171,  184,  135,  142,  220,  231,
       196,  200,  334,    0, 3827, 3824,  211,  416,  203,  212,
@@ -708,7 +690,7 @@ static yyconst flex_int16_t yy_base[1284] =
      5005, 5025, 5047
     } ;
 
-static yyconst flex_int16_t yy_def[1284] =
+static const flex_int16_t yy_def[1284] =
     {   0,
      1158, 1158, 1159, 1159, 1160, 1161, 1162, 1162, 1163, 1163,
      1164, 1164, 1158,   13, 1165, 1165, 1166, 1166, 1167, 1167,
@@ -853,7 +835,7 @@ static yyconst flex_int16_t yy_def[1284] =
      1158, 1158, 1158
     } ;
 
-static yyconst flex_int16_t yy_nxt[5155] =
+static const flex_int16_t yy_nxt[5155] =
     {   0,
        64,   65,   66,   64,   67,   64,   64,   64,   64,   64,
        64,   64,   64,   64,   64,   64,   64,   64,   64,   64,
@@ -1424,7 +1406,7 @@ static yyconst flex_int16_t yy_nxt[5155] =
      1158, 1158, 1158, 1158
     } ;
 
-static yyconst flex_int16_t yy_chk[5155] =
+static const flex_int16_t yy_chk[5155] =
     {   0,
         1,    1,    1,    1,    1,    1,    1,    1,    1,    1,
         1,    1,    1,    1,    1,    1,    1,    1,    1,    1,
@@ -2005,10 +1987,8 @@ int yy_flex_debug = 0;
  * any uses of REJECT which flex missed.
  */
 #define REJECT reject_used_but_not_detected
-static int yy_more_flag = 0;
-static int yy_more_len = 0;
-#define yymore() ((yy_more_flag) = 1)
-#define YY_MORE_ADJ (yy_more_len)
+#define yymore() yymore_used_but_not_detected
+#define YY_MORE_ADJ 0
 #define YY_RESTORE_YY_MORE_OFFSET
 char *yytext;
 #line 1 "scan.l"
@@ -2157,18 +2137,11 @@ void piece_pack();
 static void markup_action(const char *text);
 static void markup_option(const char *name, int sense);
 
-
-
-
-
-
-
-
-
+#line 2132 "scan.c"
 
 /* Nick extra rules for action groups */
 
-#line 2163 "scan.c"
+#line 2136 "scan.c"
 
 #define INITIAL 0
 #define SECT2 1
@@ -2214,36 +2187,36 @@ static void markup_option(const char *name, int sense);
 #define YY_EXTRA_TYPE void *
 #endif
 
-static int yy_init_globals (void );
+static int yy_init_globals ( void );
 
 /* Accessor methods to globals.
    These are made visible to non-reentrant scanners for convenience. */
 
-int yylex_destroy (void );
+int yylex_destroy ( void );
 
-int yyget_debug (void );
+int yyget_debug ( void );
 
-void yyset_debug (int debug_flag  );
+void yyset_debug ( int debug_flag  );
 
-YY_EXTRA_TYPE yyget_extra (void );
+YY_EXTRA_TYPE yyget_extra ( void );
 
-void yyset_extra (YY_EXTRA_TYPE user_defined  );
+void yyset_extra ( YY_EXTRA_TYPE user_defined  );
 
-FILE *yyget_in (void );
+FILE *yyget_in ( void );
 
-void yyset_in  (FILE * in_str  );
+void yyset_in  ( FILE * _in_str  );
 
-FILE *yyget_out (void );
+FILE *yyget_out ( void );
 
-void yyset_out  (FILE * out_str  );
+void yyset_out  ( FILE * _out_str  );
 
-int yyget_leng (void );
+                       int yyget_leng ( void );
 
-char *yyget_text (void );
+char *yyget_text ( void );
 
-int yyget_lineno (void );
+int yyget_lineno ( void );
 
-void yyset_lineno (int line_number  );
+void yyset_lineno ( int _line_number  );
 
 /* Macros after this point can all be overridden by user definitions in
  * section 1.
@@ -2251,28 +2224,31 @@ void yyset_lineno (int line_number  );
 
 #ifndef YY_SKIP_YYWRAP
 #ifdef __cplusplus
-extern "C" int yywrap (void );
+extern "C" int yywrap ( void );
 #else
-extern int yywrap (void );
+extern int yywrap ( void );
 #endif
 #endif
 
-    static void yyunput (int c,char *buf_ptr  );
+#ifndef YY_NO_UNPUT
     
+    static void yyunput ( int c, char *buf_ptr  );
+    
+#endif
+
 #ifndef yytext_ptr
-static void yy_flex_strncpy (char *,yyconst char *,int );
+static void yy_flex_strncpy ( char *, const char *, int );
 #endif
 
 #ifdef YY_NEED_STRLEN
-static int yy_flex_strlen (yyconst char * );
+static int yy_flex_strlen ( const char * );
 #endif
 
 #ifndef YY_NO_INPUT
-
 #ifdef __cplusplus
-static int yyinput (void );
+static int yyinput ( void );
 #else
-static int input (void );
+static int input ( void );
 #endif
 
 #endif
@@ -2281,9 +2257,9 @@ static int input (void );
         static int yy_start_stack_depth = 0;
         static int *yy_start_stack = NULL;
     
-    static void yy_push_state (int new_state );
+    static void yy_push_state ( int _new_state );
     
-    static void yy_pop_state (void );
+    static void yy_pop_state ( void );
     
 /* Amount of stuff to slurp up with each read. */
 #ifndef YY_READ_BUF_SIZE
@@ -2300,7 +2276,7 @@ static int input (void );
 /* This used to be an fputs(), but since the string might contain NUL's,
  * we now use fwrite().
  */
-#define ECHO do { if (fwrite( yytext, yyleng, 1, yyout )) {} } while (0)
+#define ECHO do { if (fwrite( yytext, (size_t) yyleng, 1, yyout )) {} } while (0)
 #endif
 
 /* Gets input and stuffs it into "buf".  number of characters read, or YY_NULL,
@@ -2311,7 +2287,7 @@ static int input (void );
        if ( YY_CURRENT_BUFFER_LVALUE->yy_is_interactive ) \
                { \
                int c = '*'; \
-               size_t n; \
+               int n; \
                for ( n = 0; n < max_size && \
                             (c = getc( yyin )) != EOF && c != '\n'; ++n ) \
                        buf[n] = (char) c; \
@@ -2324,7 +2300,7 @@ static int input (void );
        else \
                { \
                errno=0; \
-               while ( (result = fread(buf, 1, max_size, yyin))==0 && ferror(yyin)) \
+               while ( (result = (int) fread(buf, 1, (yy_size_t) max_size, yyin)) == 0 && ferror(yyin)) \
                        { \
                        if( errno != EINTR) \
                                { \
@@ -2379,7 +2355,7 @@ extern int yylex (void);
 
 /* Code executed at the end of each rule. */
 #ifndef YY_BREAK
-#define YY_BREAK break;
+#define YY_BREAK /*LINTED*/break;
 #endif
 
 #define YY_RULE_SETUP \
@@ -2392,23 +2368,10 @@ extern int yylex (void);
  */
 YY_DECL
 {
-       register yy_state_type yy_current_state;
-       register char *yy_cp, *yy_bp;
-       register int yy_act;
+       yy_state_type yy_current_state;
+       char *yy_cp, *yy_bp;
+       int yy_act;
     
-#line 186 "scan.l"
-
-       static int bracelevel, didadef, indented_code;
-       static int doing_rule_action = false;
-       static int option_sense;
-
-       int doing_codeblock = false;
-       int brace_depth=0, brace_start_line=0;
-       char nmdef[MAXLINE];
-
-
-#line 2402 "scan.c"
-
        if ( !(yy_init) )
                {
                (yy_init) = 1;
@@ -2429,25 +2392,34 @@ YY_DECL
                if ( ! YY_CURRENT_BUFFER ) {
                        yyensure_buffer_stack ();
                        YY_CURRENT_BUFFER_LVALUE =
-                               yy_create_buffer(yyin,YY_BUF_SIZE );
+                               yy_create_buffer( yyin, YY_BUF_SIZE );
                }
 
-               yy_load_buffer_state( );
+               yy_load_buffer_state(  );
                }
 
+       {
+#line 186 "scan.l"
+
+#line 188 "scan.l"
+       static int bracelevel, didadef, indented_code;
+       static int doing_rule_action = false;
+       static int option_sense;
+
+       int doing_codeblock = false;
+       int brace_depth=0, brace_start_line=0;
+       char nmdef[MAXLINE];
+
+
+#line 2406 "scan.c"
+
 #if 1
  /* we do this so that "continue;" in an action works correctly */
  for (; ; piece_escape(yytext, yy_c_buf_p - yytext))
 #else
-       while ( 1 )             /* loops until end-of-file is reached */
+       while ( /*CONSTCOND*/1 )                /* loops until end-of-file is reached */
 #endif
                {
-               (yy_more_len) = 0;
-               if ( (yy_more_flag) )
-                       {
-                       (yy_more_len) = (yy_c_buf_p) - (yytext_ptr);
-                       (yy_more_flag) = 0;
-                       }
                yy_cp = (yy_c_buf_p);
 
                /* Support of yytext. */
@@ -2463,7 +2435,7 @@ YY_DECL
 yy_match:
                do
                        {
-                       register YY_CHAR yy_c = yy_ec[YY_SC_TO_UI(*yy_cp)];
+                       YY_CHAR yy_c = yy_ec[YY_SC_TO_UI(*yy_cp)] ;
                        if ( yy_accept[yy_current_state] )
                                {
                                (yy_last_accepting_state) = yy_current_state;
@@ -2473,9 +2445,9 @@ yy_match:
                                {
                                yy_current_state = (int) yy_def[yy_current_state];
                                if ( yy_current_state >= 1159 )
-                                       yy_c = yy_meta[(unsigned int) yy_c];
+                                       yy_c = yy_meta[yy_c];
                                }
-                       yy_current_state = yy_nxt[yy_base[yy_current_state] + (unsigned int) yy_c];
+                       yy_current_state = yy_nxt[yy_base[yy_current_state] + yy_c];
                        ++yy_cp;
                        }
                while ( yy_base[yy_current_state] != 5070 );
@@ -2504,39 +2476,39 @@ do_action:      /* This label is used only to access EOF actions. */
 
 case 1:
 YY_RULE_SETUP
-#line 197 "scan.l"
+#line 198 "scan.l"
 START_CODEBLOCK(true); piece_append("<AST_Text>");
        YY_BREAK
 case 2:
 YY_RULE_SETUP
-#line 198 "scan.l"
+#line 199 "scan.l"
 add_action("/*[""["); yy_push_state( COMMENT );
        YY_BREAK
 case 3:
 YY_RULE_SETUP
-#line 199 "scan.l"
+#line 200 "scan.l"
 yy_push_state( LINEDIR );
        YY_BREAK
 case 4:
 YY_RULE_SETUP
-#line 200 "scan.l"
+#line 201 "scan.l"
 return SCDECL;
        YY_BREAK
 case 5:
 YY_RULE_SETUP
-#line 201 "scan.l"
+#line 202 "scan.l"
 return XSCDECL;
        YY_BREAK
 case 6:
 /* rule 6 can match eol */
 YY_RULE_SETUP
-#line 202 "scan.l"
+#line 203 "scan.l"
 START_CODEBLOCK(false); piece_flush(strlen(yytext)); piece_append("<AST_Text>");
        YY_BREAK
 case 7:
 /* rule 7 can match eol */
 YY_RULE_SETUP
-#line 203 "scan.l"
+#line 204 "scan.l"
 {
                 brace_start_line = linenum;
                 ++linenum;
@@ -2547,17 +2519,17 @@ YY_RULE_SETUP
        YY_BREAK
 case 8:
 YY_RULE_SETUP
-#line 211 "scan.l"
+#line 212 "scan.l"
 synerr( _("malformed '%top' directive") );
        YY_BREAK
 case 9:
 YY_RULE_SETUP
-#line 213 "scan.l"
+#line 214 "scan.l"
 /* discard */
        YY_BREAK
 case 10:
 YY_RULE_SETUP
-#line 215 "scan.l"
+#line 216 "scan.l"
 {
                        sectnum = 2;
                        bracelevel = 0;
@@ -2579,42 +2551,42 @@ YY_RULE_SETUP
 case 11:
 /* rule 11 can match eol */
 YY_RULE_SETUP
-#line 233 "scan.l"
+#line 234 "scan.l"
 yytext_is_array = false; ++linenum; piece_append("<AST_Section1_Options><AST_Section1_Options_Array>"); piece_flush(strlen(yytext) - 1); piece_append("</AST_Section1_Options_Array></AST_Section1_Options>"); 
        YY_BREAK
 case 12:
 /* rule 12 can match eol */
 YY_RULE_SETUP
-#line 234 "scan.l"
+#line 235 "scan.l"
 yytext_is_array = true; ++linenum; piece_append("<AST_Section1_Options><AST_Section1_Options_Array value=\"true\">"); piece_flush(strlen(yytext) - 1); piece_append("</AST_Section1_Options_Array></AST_Section1_Options>");
        YY_BREAK
 case 13:
 YY_RULE_SETUP
-#line 236 "scan.l"
+#line 237 "scan.l"
 BEGIN(OPTION); return TOK_OPTION;
        YY_BREAK
 case 14:
 /* rule 14 can match eol */
 YY_RULE_SETUP
-#line 238 "scan.l"
+#line 239 "scan.l"
 ++linenum; /* ignore */
        YY_BREAK
 case 15:
 /* rule 15 can match eol */
 YY_RULE_SETUP
-#line 239 "scan.l"
+#line 240 "scan.l"
 ++linenum;     /* ignore */
        YY_BREAK
 /* xgettext: no-c-format */
 case 16:
 /* rule 16 can match eol */
 YY_RULE_SETUP
-#line 242 "scan.l"
+#line 243 "scan.l"
 synerr( _( "unrecognized '%' directive" ) );
        YY_BREAK
 case 17:
 YY_RULE_SETUP
-#line 244 "scan.l"
+#line 245 "scan.l"
 {
                        if(yyleng < MAXLINE)
                         {
@@ -2632,51 +2604,51 @@ YY_RULE_SETUP
        YY_BREAK
 case 18:
 YY_RULE_SETUP
-#line 259 "scan.l"
+#line 260 "scan.l"
 RETURNNAME;
        YY_BREAK
 case 19:
 /* rule 19 can match eol */
 YY_RULE_SETUP
-#line 260 "scan.l"
+#line 261 "scan.l"
 ++linenum; /* allows blank lines in section 1 */
        YY_BREAK
 case 20:
 /* rule 20 can match eol */
 YY_RULE_SETUP
-#line 261 "scan.l"
+#line 262 "scan.l"
 ACTION_ECHO; ++linenum; /* maybe end of comment line */
        YY_BREAK
 
 /* */
 case 21:
 YY_RULE_SETUP
-#line 266 "scan.l"
+#line 267 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 22:
 YY_RULE_SETUP
-#line 267 "scan.l"
+#line 268 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 23:
 /* rule 23 can match eol */
 YY_RULE_SETUP
-#line 269 "scan.l"
+#line 270 "scan.l"
 ++linenum; ACTION_ECHO;
        YY_BREAK
 
 
 case 24:
 YY_RULE_SETUP
-#line 272 "scan.l"
+#line 273 "scan.l"
 add_action("*/]""]"); yy_pop_state();
        YY_BREAK
 
 
 case 25:
 YY_RULE_SETUP
-#line 275 "scan.l"
+#line 276 "scan.l"
 ACTION_ECHO; yy_pop_state();
        YY_BREAK
 
@@ -2684,41 +2656,41 @@ ACTION_ECHO; yy_pop_state();
 /* This is the same as COMMENT, but is discarded rather than output. */
 case 26:
 YY_RULE_SETUP
-#line 280 "scan.l"
+#line 281 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 27:
 YY_RULE_SETUP
-#line 281 "scan.l"
+#line 282 "scan.l"
 ;
        YY_BREAK
 case 28:
 YY_RULE_SETUP
-#line 282 "scan.l"
+#line 283 "scan.l"
 ;
        YY_BREAK
 case 29:
 /* rule 29 can match eol */
 YY_RULE_SETUP
-#line 283 "scan.l"
+#line 284 "scan.l"
 ++linenum;
        YY_BREAK
 
 
 case 30:
 YY_RULE_SETUP
-#line 287 "scan.l"
+#line 288 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 31:
 YY_RULE_SETUP
-#line 288 "scan.l"
+#line 289 "scan.l"
 ;
        YY_BREAK
 case 32:
 /* rule 32 can match eol */
 YY_RULE_SETUP
-#line 289 "scan.l"
+#line 290 "scan.l"
 ++linenum;
        YY_BREAK
 
@@ -2726,17 +2698,17 @@ YY_RULE_SETUP
 case 33:
 /* rule 33 can match eol */
 YY_RULE_SETUP
-#line 293 "scan.l"
+#line 294 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 34:
 YY_RULE_SETUP
-#line 294 "scan.l"
+#line 295 "scan.l"
 linenum = myctoi( yytext );
        YY_BREAK
 case 35:
 YY_RULE_SETUP
-#line 296 "scan.l"
+#line 297 "scan.l"
 {
                        free(infilename);
                        infilename = xstrdup(yytext + 1);
@@ -2745,19 +2717,19 @@ YY_RULE_SETUP
        YY_BREAK
 case 36:
 YY_RULE_SETUP
-#line 301 "scan.l"
+#line 302 "scan.l"
 /* ignore spurious characters */
        YY_BREAK
 
 
 case 37:
 YY_RULE_SETUP
-#line 304 "scan.l"
+#line 305 "scan.l"
 ACTION_ECHO_QSTART;
        YY_BREAK
 case 38:
 YY_RULE_SETUP
-#line 305 "scan.l"
+#line 306 "scan.l"
 ACTION_ECHO_QEND;
        YY_BREAK
 
@@ -2765,23 +2737,23 @@ ACTION_ECHO_QEND;
 case 39:
 /* rule 39 can match eol */
 YY_RULE_SETUP
-#line 309 "scan.l"
+#line 310 "scan.l"
 ++linenum; piece_append("</AST_Text>"); piece_flush(strlen(yytext)); END_CODEBLOCK;
        YY_BREAK
 case 40:
 YY_RULE_SETUP
-#line 310 "scan.l"
+#line 311 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 41:
 YY_RULE_SETUP
-#line 311 "scan.l"
+#line 312 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 42:
 /* rule 42 can match eol */
 YY_RULE_SETUP
-#line 312 "scan.l"
+#line 313 "scan.l"
 {
                        ++linenum;
                        ACTION_ECHO;
@@ -2792,7 +2764,7 @@ YY_RULE_SETUP
 
 case 43:
 YY_RULE_SETUP
-#line 320 "scan.l"
+#line 321 "scan.l"
 {
                 if( --brace_depth == 0){
                     /* TODO: Matched. */
@@ -2803,7 +2775,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 44:
 YY_RULE_SETUP
-#line 328 "scan.l"
+#line 329 "scan.l"
 {
                 brace_depth++;
                 buf_strnappend(&top_buf, yytext, yyleng);
@@ -2812,7 +2784,7 @@ YY_RULE_SETUP
 case 45:
 /* rule 45 can match eol */
 YY_RULE_SETUP
-#line 333 "scan.l"
+#line 334 "scan.l"
 {
                 ++linenum;
                 buf_strnappend(&top_buf, yytext, yyleng);
@@ -2820,23 +2792,23 @@ YY_RULE_SETUP
        YY_BREAK
 case 46:
 YY_RULE_SETUP
-#line 338 "scan.l"
+#line 339 "scan.l"
 buf_strnappend(&top_buf, escaped_qstart, (int) strlen(escaped_qstart));
        YY_BREAK
 case 47:
 YY_RULE_SETUP
-#line 339 "scan.l"
+#line 340 "scan.l"
 buf_strnappend(&top_buf, escaped_qend, (int) strlen(escaped_qend));
        YY_BREAK
 case 48:
 YY_RULE_SETUP
-#line 340 "scan.l"
+#line 341 "scan.l"
 {
        buf_strnappend(&top_buf, yytext, yyleng);
     }
        YY_BREAK
 case YY_STATE_EOF(CODEBLOCK_MATCH_BRACE):
-#line 344 "scan.l"
+#line 345 "scan.l"
 {
                 linenum = brace_start_line;
                 synerr(_("Unmatched '{'"));
@@ -2847,12 +2819,12 @@ case YY_STATE_EOF(CODEBLOCK_MATCH_BRACE):
 
 case 49:
 YY_RULE_SETUP
-#line 353 "scan.l"
+#line 354 "scan.l"
 /* separates name and definition */
        YY_BREAK
 case 50:
 YY_RULE_SETUP
-#line 355 "scan.l"
+#line 356 "scan.l"
 {
                        if(yyleng < MAXLINE)
                         {
@@ -2878,7 +2850,7 @@ YY_RULE_SETUP
 case 51:
 /* rule 51 can match eol */
 YY_RULE_SETUP
-#line 377 "scan.l"
+#line 378 "scan.l"
 {
                        if ( ! didadef )
                                synerr( _( "incomplete name definition" ) );
@@ -2891,42 +2863,42 @@ YY_RULE_SETUP
 case 52:
 /* rule 52 can match eol */
 YY_RULE_SETUP
-#line 387 "scan.l"
+#line 388 "scan.l"
 ++linenum; BEGIN(INITIAL);
        YY_BREAK
 case 53:
 YY_RULE_SETUP
-#line 388 "scan.l"
+#line 389 "scan.l"
 option_sense = true;
        YY_BREAK
 case 54:
 YY_RULE_SETUP
-#line 390 "scan.l"
+#line 391 "scan.l"
 return '=';
        YY_BREAK
 case 55:
 YY_RULE_SETUP
-#line 392 "scan.l"
+#line 393 "scan.l"
 option_sense = ! option_sense;
        YY_BREAK
 case 56:
 YY_RULE_SETUP
-#line 394 "scan.l"
+#line 395 "scan.l"
 csize = option_sense ? 128 : 256; markup_option("SevenBit", option_sense);
        YY_BREAK
 case 57:
 YY_RULE_SETUP
-#line 395 "scan.l"
+#line 396 "scan.l"
 csize = option_sense ? 256 : 128; markup_option("SevenBit", !option_sense);
        YY_BREAK
 case 58:
 YY_RULE_SETUP
-#line 397 "scan.l"
+#line 398 "scan.l"
 long_align = option_sense; markup_option("Align", option_sense);
        YY_BREAK
 case 59:
 YY_RULE_SETUP
-#line 398 "scan.l"
+#line 399 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_ALWAYS_INTERACTIVE", option_sense );
             interactive = option_sense;
@@ -2935,27 +2907,27 @@ YY_RULE_SETUP
        YY_BREAK
 case 60:
 YY_RULE_SETUP
-#line 403 "scan.l"
+#line 404 "scan.l"
 yytext_is_array = option_sense; markup_option("Array", option_sense);
        YY_BREAK
 case 61:
 YY_RULE_SETUP
-#line 404 "scan.l"
+#line 405 "scan.l"
 backing_up_report = option_sense; markup_option("Backup", option_sense);
        YY_BREAK
 case 62:
 YY_RULE_SETUP
-#line 405 "scan.l"
+#line 406 "scan.l"
 interactive = ! option_sense; markup_option("Interactive", !option_sense);
        YY_BREAK
 case 63:
 YY_RULE_SETUP
-#line 406 "scan.l"
+#line 407 "scan.l"
 bison_bridge_lval = option_sense; markup_option("BisonBridge", option_sense);
        YY_BREAK
 case 64:
 YY_RULE_SETUP
-#line 407 "scan.l"
+#line 408 "scan.l"
 { if((bison_bridge_lloc = option_sense))
                             bison_bridge_lval = true;
  markup_option("BisonLocations", option_sense);
@@ -2963,37 +2935,37 @@ YY_RULE_SETUP
        YY_BREAK
 case 65:
 YY_RULE_SETUP
-#line 411 "scan.l"
+#line 412 "scan.l"
 C_plus_plus = option_sense; markup_option("CPlusPlus", option_sense);
        YY_BREAK
 case 66:
 YY_RULE_SETUP
-#line 412 "scan.l"
+#line 413 "scan.l"
 sf_set_case_ins(!option_sense); markup_option("Caseless", !option_sense);
        YY_BREAK
 case 67:
 YY_RULE_SETUP
-#line 413 "scan.l"
+#line 414 "scan.l"
 sf_set_case_ins(option_sense); markup_option("Caseless", option_sense);
        YY_BREAK
 case 68:
 YY_RULE_SETUP
-#line 414 "scan.l"
+#line 415 "scan.l"
 ddebug = option_sense; markup_option("Debug", option_sense);
        YY_BREAK
 case 69:
 YY_RULE_SETUP
-#line 415 "scan.l"
+#line 416 "scan.l"
 spprdflt = ! option_sense; markup_option("Default", option_sense);
        YY_BREAK
 case 70:
 YY_RULE_SETUP
-#line 416 "scan.l"
+#line 417 "scan.l"
 useecs = option_sense; markup_option("ECS", option_sense);
        YY_BREAK
 case 71:
 YY_RULE_SETUP
-#line 417 "scan.l"
+#line 418 "scan.l"
 {
                        useecs = usemecs = false;
                        use_read = fullspd = true;
@@ -3002,7 +2974,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 72:
 YY_RULE_SETUP
-#line 422 "scan.l"
+#line 423 "scan.l"
 {
                        useecs = usemecs = false;
                        use_read = fulltbl = true;
@@ -3011,32 +2983,32 @@ YY_RULE_SETUP
        YY_BREAK
 case 73:
 YY_RULE_SETUP
-#line 427 "scan.l"
+#line 428 "scan.l"
 ACTION_IFDEF("YY_NO_INPUT", ! option_sense); markup_option("Input", option_sense);
        YY_BREAK
 case 74:
 YY_RULE_SETUP
-#line 428 "scan.l"
+#line 429 "scan.l"
 interactive = option_sense; markup_option("Interactive", option_sense);
        YY_BREAK
 case 75:
 YY_RULE_SETUP
-#line 429 "scan.l"
+#line 430 "scan.l"
 lex_compat = option_sense; markup_option("LexCompat", option_sense);
        YY_BREAK
 case 76:
 YY_RULE_SETUP
-#line 430 "scan.l"
+#line 431 "scan.l"
 posix_compat = option_sense; markup_option("PosixCompat", option_sense);
        YY_BREAK
 case 77:
 YY_RULE_SETUP
-#line 431 "scan.l"
+#line 432 "scan.l"
 gen_line_dirs = option_sense; markup_option("Line", option_sense);
        YY_BREAK
 case 78:
 YY_RULE_SETUP
-#line 432 "scan.l"
+#line 433 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_MAIN", option_sense);
             /* Override yywrap */
@@ -3047,12 +3019,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 79:
 YY_RULE_SETUP
-#line 439 "scan.l"
+#line 440 "scan.l"
 usemecs = option_sense; markup_option("MetaECS", option_sense);
        YY_BREAK
 case 80:
 YY_RULE_SETUP
-#line 440 "scan.l"
+#line 441 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_NEVER_INTERACTIVE", option_sense );
             interactive = !option_sense;
@@ -3061,237 +3033,237 @@ YY_RULE_SETUP
        YY_BREAK
 case 81:
 YY_RULE_SETUP
-#line 445 "scan.l"
+#line 446 "scan.l"
 performance_report += option_sense ? 1 : -1; markup_option("PerfReport", option_sense);
        YY_BREAK
 case 82:
 YY_RULE_SETUP
-#line 446 "scan.l"
+#line 447 "scan.l"
 yytext_is_array = ! option_sense; markup_option("Array", !option_sense);
        YY_BREAK
 case 83:
 YY_RULE_SETUP
-#line 447 "scan.l"
+#line 448 "scan.l"
 use_read = option_sense; markup_option("Read", option_sense);
        YY_BREAK
 case 84:
 YY_RULE_SETUP
-#line 448 "scan.l"
+#line 449 "scan.l"
 reentrant = option_sense; markup_option("Reentrant", option_sense);
        YY_BREAK
 case 85:
 YY_RULE_SETUP
-#line 449 "scan.l"
+#line 450 "scan.l"
 reject_really_used = option_sense; markup_option("Reject", option_sense);
        YY_BREAK
 case 86:
 YY_RULE_SETUP
-#line 450 "scan.l"
+#line 451 "scan.l"
 ACTION_M4_IFDEF( "M4""_YY_STACK_USED", option_sense ); markup_option("Stack", option_sense);
        YY_BREAK
 case 87:
 YY_RULE_SETUP
-#line 451 "scan.l"
+#line 452 "scan.l"
 do_stdinit = option_sense; markup_option("StdInit", option_sense);
        YY_BREAK
 case 88:
 YY_RULE_SETUP
-#line 452 "scan.l"
+#line 453 "scan.l"
 use_stdout = option_sense; markup_option("StdOut", option_sense);
        YY_BREAK
 case 89:
 YY_RULE_SETUP
-#line 453 "scan.l"
+#line 454 "scan.l"
 ACTION_IFDEF("YY_NO_UNISTD_H", ! option_sense); markup_option("UniStd", option_sense);
        YY_BREAK
 case 90:
 YY_RULE_SETUP
-#line 454 "scan.l"
+#line 455 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_UNPUT", ! option_sense); markup_option("Unput", option_sense);
        YY_BREAK
 case 91:
 YY_RULE_SETUP
-#line 455 "scan.l"
+#line 456 "scan.l"
 printstats = option_sense; markup_option("Verbose", option_sense);
        YY_BREAK
 case 92:
 YY_RULE_SETUP
-#line 456 "scan.l"
+#line 457 "scan.l"
 nowarn = ! option_sense; markup_option("Warn", option_sense);
        YY_BREAK
 case 93:
 YY_RULE_SETUP
-#line 457 "scan.l"
+#line 458 "scan.l"
 do_yylineno = option_sense; ACTION_M4_IFDEF("M4""_YY_USE_LINENO", option_sense); markup_option("YYLineNo", option_sense);
        YY_BREAK
 case 94:
 YY_RULE_SETUP
-#line 458 "scan.l"
+#line 459 "scan.l"
 yymore_really_used = option_sense; markup_option("YYMore", option_sense);
        YY_BREAK
 case 95:
 YY_RULE_SETUP
-#line 459 "scan.l"
+#line 460 "scan.l"
 do_yywrap = option_sense; markup_option("YYWrap", option_sense);
        YY_BREAK
 case 96:
 YY_RULE_SETUP
-#line 461 "scan.l"
+#line 462 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_PUSH_STATE", ! option_sense); markup_option("YYPushState", option_sense);
        YY_BREAK
 case 97:
 YY_RULE_SETUP
-#line 462 "scan.l"
+#line 463 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_POP_STATE", ! option_sense); markup_option("YYPopState", option_sense);
        YY_BREAK
 case 98:
 YY_RULE_SETUP
-#line 463 "scan.l"
+#line 464 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_TOP_STATE", ! option_sense); markup_option("YYTopState", option_sense);
        YY_BREAK
 case 99:
 YY_RULE_SETUP
-#line 465 "scan.l"
+#line 466 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_BUFFER", ! option_sense); markup_option("YYScanBuffer", option_sense);
        YY_BREAK
 case 100:
 YY_RULE_SETUP
-#line 466 "scan.l"
+#line 467 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_BYTES", ! option_sense); markup_option("YYScanBytes", option_sense);
        YY_BREAK
 case 101:
 YY_RULE_SETUP
-#line 467 "scan.l"
+#line 468 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_STRING", ! option_sense); markup_option("YYScanString", option_sense);
        YY_BREAK
 case 102:
 YY_RULE_SETUP
-#line 469 "scan.l"
+#line 470 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_ALLOC", ! option_sense); markup_option("YYAlloc", option_sense);
        YY_BREAK
 case 103:
 YY_RULE_SETUP
-#line 470 "scan.l"
+#line 471 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_REALLOC", ! option_sense); markup_option("YYRealloc", option_sense);
        YY_BREAK
 case 104:
 YY_RULE_SETUP
-#line 471 "scan.l"
+#line 472 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_FREE", ! option_sense); markup_option("YYFree", option_sense);
        YY_BREAK
 case 105:
 YY_RULE_SETUP
-#line 473 "scan.l"
+#line 474 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_DEBUG", ! option_sense); markup_option("YYGetDebug", option_sense);
        YY_BREAK
 case 106:
 YY_RULE_SETUP
-#line 474 "scan.l"
+#line 475 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_DEBUG", ! option_sense); markup_option("YYSetDebug", option_sense);
        YY_BREAK
 case 107:
 YY_RULE_SETUP
-#line 475 "scan.l"
+#line 476 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_EXTRA", ! option_sense); markup_option("YYGetExtra", option_sense);
        YY_BREAK
 case 108:
 YY_RULE_SETUP
-#line 476 "scan.l"
+#line 477 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_EXTRA", ! option_sense); markup_option("YYSetExtra", option_sense);
        YY_BREAK
 case 109:
 YY_RULE_SETUP
-#line 477 "scan.l"
+#line 478 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LENG", ! option_sense); markup_option("YYGetLeng", option_sense);
        YY_BREAK
 case 110:
 YY_RULE_SETUP
-#line 478 "scan.l"
+#line 479 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_TEXT", ! option_sense); markup_option("YYGetText", option_sense);
        YY_BREAK
 case 111:
 YY_RULE_SETUP
-#line 479 "scan.l"
+#line 480 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LINENO", ! option_sense); markup_option("YYGetLineNo", option_sense);
        YY_BREAK
 case 112:
 YY_RULE_SETUP
-#line 480 "scan.l"
+#line 481 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LINENO", ! option_sense); markup_option("YYSetLineNo", option_sense);
        YY_BREAK
 case 113:
 YY_RULE_SETUP
-#line 481 "scan.l"
+#line 482 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_IN", ! option_sense); markup_option("YYGetIn", option_sense);
        YY_BREAK
 case 114:
 YY_RULE_SETUP
-#line 482 "scan.l"
+#line 483 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_IN", ! option_sense); markup_option("YYSetIn", option_sense);
        YY_BREAK
 case 115:
 YY_RULE_SETUP
-#line 483 "scan.l"
+#line 484 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_OUT", ! option_sense); markup_option("YYGetOut", option_sense);
        YY_BREAK
 case 116:
 YY_RULE_SETUP
-#line 484 "scan.l"
+#line 485 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_OUT", ! option_sense); markup_option("YYSetOut", option_sense);
        YY_BREAK
 case 117:
 YY_RULE_SETUP
-#line 485 "scan.l"
+#line 486 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LVAL", ! option_sense); markup_option("YYGetLVal", option_sense);
        YY_BREAK
 case 118:
 YY_RULE_SETUP
-#line 486 "scan.l"
+#line 487 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LVAL", ! option_sense); markup_option("YYSetLVal", option_sense);
        YY_BREAK
 case 119:
 YY_RULE_SETUP
-#line 487 "scan.l"
+#line 488 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LLOC", ! option_sense); markup_option("YYGetLLoc", option_sense);
        YY_BREAK
 case 120:
 YY_RULE_SETUP
-#line 488 "scan.l"
+#line 489 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LLOC", ! option_sense); markup_option("YYSetLLoc", option_sense);
        YY_BREAK
 case 121:
 YY_RULE_SETUP
-#line 490 "scan.l"
+#line 491 "scan.l"
 return TOK_EXTRA_TYPE;
        YY_BREAK
 case 122:
 YY_RULE_SETUP
-#line 491 "scan.l"
+#line 492 "scan.l"
 return TOK_OUTFILE;
        YY_BREAK
 case 123:
 YY_RULE_SETUP
-#line 492 "scan.l"
+#line 493 "scan.l"
 return TOK_PREFIX;
        YY_BREAK
 case 124:
 YY_RULE_SETUP
-#line 493 "scan.l"
+#line 494 "scan.l"
 return TOK_YYCLASS;
        YY_BREAK
 case 125:
 YY_RULE_SETUP
-#line 494 "scan.l"
+#line 495 "scan.l"
 return TOK_HEADER_FILE;
        YY_BREAK
 case 126:
 YY_RULE_SETUP
-#line 495 "scan.l"
+#line 496 "scan.l"
 return TOK_TABLES_FILE;
        YY_BREAK
 case 127:
 YY_RULE_SETUP
-#line 496 "scan.l"
+#line 497 "scan.l"
 {
                     tablesverify = option_sense;
                     if(!tablesext && option_sense)
@@ -3301,7 +3273,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 128:
 YY_RULE_SETUP
-#line 504 "scan.l"
+#line 505 "scan.l"
 {
                        if(yyleng-1 < MAXLINE)
                         {
@@ -3327,7 +3299,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 129:
 YY_RULE_SETUP
-#line 527 "scan.l"
+#line 528 "scan.l"
 {
                        format_synerr( _( "unrecognized %%option: %s" ),
                                yytext );
@@ -3338,28 +3310,28 @@ YY_RULE_SETUP
 case 130:
 /* rule 130 can match eol */
 YY_RULE_SETUP
-#line 534 "scan.l"
+#line 535 "scan.l"
 ++linenum; BEGIN(INITIAL);
        YY_BREAK
 
 case 131:
 YY_RULE_SETUP
-#line 538 "scan.l"
+#line 539 "scan.l"
 ++bracelevel; yyless( 2 );     /* eat only %{ */
        YY_BREAK
 case 132:
 YY_RULE_SETUP
-#line 539 "scan.l"
+#line 540 "scan.l"
 --bracelevel; yyless( 2 );     /* eat only %} */
        YY_BREAK
 case 133:
 YY_RULE_SETUP
-#line 541 "scan.l"
+#line 542 "scan.l"
 START_CODEBLOCK(true); piece_append("<AST_Text>"); /* indented code in prolog */
        YY_BREAK
 case 134:
 YY_RULE_SETUP
-#line 543 "scan.l"
+#line 544 "scan.l"
 {
         /* non-indented code */
                if ( bracelevel <= 0 ) {
@@ -3376,17 +3348,17 @@ YY_RULE_SETUP
        YY_BREAK
 case 135:
 YY_RULE_SETUP
-#line 557 "scan.l"
+#line 558 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 136:
 /* rule 136 can match eol */
 YY_RULE_SETUP
-#line 558 "scan.l"
+#line 559 "scan.l"
 ++linenum; ACTION_ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT2PROLOG):
-#line 560 "scan.l"
+#line 561 "scan.l"
 {
                        mark_prolog();
                        sectnum = 0;
@@ -3405,12 +3377,12 @@ case YY_STATE_EOF(SECT2PROLOG):
 case 137:
 /* rule 137 can match eol */
 YY_RULE_SETUP
-#line 575 "scan.l"
+#line 576 "scan.l"
 ++linenum; /* allow blank lines in section 2 */
        YY_BREAK
 case 138:
 YY_RULE_SETUP
-#line 577 "scan.l"
+#line 578 "scan.l"
 {
                        indented_code = false;
                        doing_codeblock = true;
@@ -3424,22 +3396,24 @@ YY_RULE_SETUP
        YY_BREAK
 case 139:
 YY_RULE_SETUP
-#line 588 "scan.l"
+#line 589 "scan.l"
 {
                         /* Allow "<" to appear in (?x) patterns. */
                         if (!sf_skip_ws())
                             BEGIN(SC);
+ /* here we know yytext is not used by parser, so OK to destroy it */
+ piece_flush(strlen(yytext) - 1);
                         return '<';
                     }
        YY_BREAK
 case 140:
 YY_RULE_SETUP
-#line 594 "scan.l"
-return '^';
+#line 597 "scan.l"
+/* here we know yytext is not used by parser, so OK to destroy it */ piece_flush(strlen(yytext) - 1); return '^';
        YY_BREAK
 case 141:
 YY_RULE_SETUP
-#line 595 "scan.l"
+#line 598 "scan.l"
 BEGIN(QUOTE); return '"';
        YY_BREAK
 case 142:
@@ -3447,7 +3421,7 @@ case 142:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 596 "scan.l"
+#line 599 "scan.l"
 {
                        BEGIN(NUM);
                        if ( lex_compat || posix_compat )
@@ -3459,15 +3433,16 @@ YY_RULE_SETUP
 case 143:
 /* rule 143 can match eol */
 *yy_cp = (yy_hold_char); /* undo effects of setting up yytext */
+YY_LINENO_REWIND_TO(yy_bp + 1);
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 603 "scan.l"
+#line 606 "scan.l"
 return '$';
        YY_BREAK
 case 144:
 YY_RULE_SETUP
-#line 605 "scan.l"
+#line 608 "scan.l"
 {
                        bracelevel = 1;
                        BEGIN(PERCENT_BRACE_ACTION);
@@ -3499,7 +3474,7 @@ YY_RULE_SETUP
 case 145:
 /* rule 145 can match eol */
 YY_RULE_SETUP
-#line 632 "scan.l"
+#line 635 "scan.l"
 {
                         if (sf_skip_ws()){
                             /* We're in the middle of a (?x: ) pattern. */
@@ -3530,7 +3505,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 146:
 YY_RULE_SETUP
-#line 660 "scan.l"
+#line 663 "scan.l"
 {
 
                 if (sf_skip_ws()){
@@ -3547,12 +3522,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 147:
 YY_RULE_SETUP
-#line 674 "scan.l"
+#line 677 "scan.l"
 /* allow indented rules */ ;
        YY_BREAK
 case 148:
 YY_RULE_SETUP
-#line 676 "scan.l"
+#line 679 "scan.l"
 {
             if (sf_skip_ws()){
                 /* We're in the middle of a (?x: ) pattern. */
@@ -3586,7 +3561,7 @@ YY_RULE_SETUP
 case 149:
 /* rule 149 can match eol */
 YY_RULE_SETUP
-#line 706 "scan.l"
+#line 709 "scan.l"
 {
             if (sf_skip_ws()){
                 /* We're in the middle of a (?x: ) pattern. */
@@ -3620,15 +3595,15 @@ YY_RULE_SETUP
                        }
        YY_BREAK
 case 150:
-#line 739 "scan.l"
+#line 742 "scan.l"
 case 151:
 YY_RULE_SETUP
-#line 739 "scan.l"
-return EOF_OP;
+#line 742 "scan.l"
+/* here we know yytext is not used by parser, so OK to destroy it */ piece_flush(strlen(yytext) - 7); return EOF_OP;
        YY_BREAK
 case 152:
 YY_RULE_SETUP
-#line 741 "scan.l"
+#line 744 "scan.l"
 {
                        sectnum = 3;
                        BEGIN(no_section3_escape ? SECT3_NOESCAPE : SECT3);
@@ -3648,7 +3623,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 153:
 YY_RULE_SETUP
-#line 758 "scan.l"
+#line 761 "scan.l"
 {
                        int cclval;
 
@@ -3698,12 +3673,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 154:
 YY_RULE_SETUP
-#line 804 "scan.l"
+#line 807 "scan.l"
 return CCL_OP_DIFF;
        YY_BREAK
 case 155:
 YY_RULE_SETUP
-#line 805 "scan.l"
+#line 808 "scan.l"
 return CCL_OP_UNION;
        YY_BREAK
 /* Check for :space: at the end of the rule so we don't
@@ -3713,7 +3688,7 @@ return CCL_OP_UNION;
 case 156:
 /* rule 156 can match eol */
 YY_RULE_SETUP
-#line 812 "scan.l"
+#line 815 "scan.l"
 {
                        char *nmdefptr;
             int end_is_ws, end_ch;
@@ -3772,7 +3747,7 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
        YY_BREAK
 case 157:
 YY_RULE_SETUP
-#line 868 "scan.l"
+#line 871 "scan.l"
 {
                     if (sf_skip_ws())
                         yy_push_state(COMMENT_DISCARD);
@@ -3785,7 +3760,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 158:
 YY_RULE_SETUP
-#line 878 "scan.l"
+#line 881 "scan.l"
 {
                     if (lex_compat || posix_compat){
                         /* Push back the "?#" and treat it like a normal parens. */
@@ -3799,7 +3774,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 159:
 YY_RULE_SETUP
-#line 888 "scan.l"
+#line 891 "scan.l"
 {
                     sf_push();
                     if (lex_compat || posix_compat)
@@ -3812,12 +3787,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 160:
 YY_RULE_SETUP
-#line 897 "scan.l"
+#line 900 "scan.l"
 sf_push(); return '(';
        YY_BREAK
 case 161:
 YY_RULE_SETUP
-#line 898 "scan.l"
+#line 901 "scan.l"
 {
                     if (_sf_top_ix > 0) {
                         sf_pop();
@@ -3828,17 +3803,17 @@ YY_RULE_SETUP
        YY_BREAK
 case 162:
 YY_RULE_SETUP
-#line 906 "scan.l"
+#line 909 "scan.l"
 return (unsigned char) yytext[0];
        YY_BREAK
 case 163:
 YY_RULE_SETUP
-#line 907 "scan.l"
+#line 910 "scan.l"
 RETURNCHAR;
        YY_BREAK
 /* Nick added this rule for consistency with rest of scanner */
 case YY_STATE_EOF(SECT2):
-#line 910 "scan.l"
+#line 913 "scan.l"
 {
                        sectnum = 0;
 #if 1
@@ -3856,17 +3831,17 @@ case YY_STATE_EOF(SECT2):
 case 164:
 /* rule 164 can match eol */
 YY_RULE_SETUP
-#line 925 "scan.l"
+#line 928 "scan.l"
 ++linenum;     /* Allow blank lines & continuations */
        YY_BREAK
 case 165:
 YY_RULE_SETUP
-#line 926 "scan.l"
+#line 929 "scan.l"
 return (unsigned char) yytext[0];
        YY_BREAK
 case 166:
 YY_RULE_SETUP
-#line 927 "scan.l"
+#line 930 "scan.l"
 BEGIN(SECT2); return '>';
        YY_BREAK
 case 167:
@@ -3874,17 +3849,17 @@ case 167:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 928 "scan.l"
+#line 931 "scan.l"
 BEGIN(CARETISBOL); return '>';
        YY_BREAK
 case 168:
 YY_RULE_SETUP
-#line 929 "scan.l"
+#line 932 "scan.l"
 RETURNNAME;
        YY_BREAK
 case 169:
 YY_RULE_SETUP
-#line 930 "scan.l"
+#line 933 "scan.l"
 {
                        format_synerr( _( "bad <start condition>: %s" ),
                                yytext );
@@ -3893,24 +3868,24 @@ YY_RULE_SETUP
 
 case 170:
 YY_RULE_SETUP
-#line 936 "scan.l"
+#line 939 "scan.l"
 BEGIN(SECT2); return '^';
        YY_BREAK
 
 case 171:
 YY_RULE_SETUP
-#line 940 "scan.l"
+#line 943 "scan.l"
 RETURNCHAR;
        YY_BREAK
 case 172:
 YY_RULE_SETUP
-#line 941 "scan.l"
+#line 944 "scan.l"
 BEGIN(SECT2); return '"';
        YY_BREAK
 case 173:
 /* rule 173 can match eol */
 YY_RULE_SETUP
-#line 943 "scan.l"
+#line 946 "scan.l"
 {
                        synerr( _( "missing quote" ) );
                        BEGIN(SECT2);
@@ -3922,10 +3897,10 @@ YY_RULE_SETUP
 
 /* Nick extra rules for named groups */
 case 174:
-#line 954 "scan.l"
+#line 957 "scan.l"
 case 175:
 YY_RULE_SETUP
-#line 954 "scan.l"
+#line 957 "scan.l"
 {
                 BEGIN(SECT2);
 #if 1
@@ -3946,7 +3921,7 @@ YY_RULE_SETUP
 /* Nick extra rules for action groups */
 case 176:
 YY_RULE_SETUP
-#line 971 "scan.l"
+#line 974 "scan.l"
 {
                 BEGIN(SECT2);
                 yy_push_state(ACTION_GROUP);
@@ -3957,7 +3932,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 177:
 YY_RULE_SETUP
-#line 978 "scan.l"
+#line 981 "scan.l"
 {
                 BEGIN(SECT2);
                 yy_push_state(ELEMENT_GROUP);
@@ -3968,49 +3943,49 @@ YY_RULE_SETUP
        YY_BREAK
 case 178:
 YY_RULE_SETUP
-#line 985 "scan.l"
+#line 988 "scan.l"
 BEGIN(SECT2); return ':'; /* Nick added return, unnumbered group */
        YY_BREAK
 case 179:
 YY_RULE_SETUP
-#line 986 "scan.l"
+#line 989 "scan.l"
 BEGIN(GROUP_MINUS_PARAMS);
        YY_BREAK
 case 180:
 YY_RULE_SETUP
-#line 987 "scan.l"
+#line 990 "scan.l"
 sf_set_case_ins(1);
        YY_BREAK
 case 181:
 YY_RULE_SETUP
-#line 988 "scan.l"
+#line 991 "scan.l"
 sf_set_dot_all(1);
        YY_BREAK
 case 182:
 YY_RULE_SETUP
-#line 989 "scan.l"
+#line 992 "scan.l"
 sf_set_skip_ws(1);
        YY_BREAK
 
 
 case 183:
 YY_RULE_SETUP
-#line 992 "scan.l"
+#line 995 "scan.l"
 BEGIN(SECT2); return ':'; /* Nick added return, unnumbered group */
        YY_BREAK
 case 184:
 YY_RULE_SETUP
-#line 993 "scan.l"
+#line 996 "scan.l"
 sf_set_case_ins(0);
        YY_BREAK
 case 185:
 YY_RULE_SETUP
-#line 994 "scan.l"
+#line 997 "scan.l"
 sf_set_dot_all(0);
        YY_BREAK
 case 186:
 YY_RULE_SETUP
-#line 995 "scan.l"
+#line 998 "scan.l"
 sf_set_skip_ws(0);
        YY_BREAK
 
@@ -4020,7 +3995,7 @@ case 187:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 999 "scan.l"
+#line 1002 "scan.l"
 BEGIN(CCL); return '^';
        YY_BREAK
 case 188:
@@ -4028,12 +4003,12 @@ case 188:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 1000 "scan.l"
+#line 1003 "scan.l"
 return '^';
        YY_BREAK
 case 189:
 YY_RULE_SETUP
-#line 1001 "scan.l"
+#line 1004 "scan.l"
 BEGIN(CCL); RETURNCHAR;
        YY_BREAK
 
@@ -4043,23 +4018,23 @@ case 190:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 1005 "scan.l"
+#line 1008 "scan.l"
 return '-';
        YY_BREAK
 case 191:
 YY_RULE_SETUP
-#line 1006 "scan.l"
+#line 1009 "scan.l"
 RETURNCHAR;
        YY_BREAK
 case 192:
 YY_RULE_SETUP
-#line 1007 "scan.l"
+#line 1010 "scan.l"
 BEGIN(SECT2); return ']';
        YY_BREAK
 case 193:
 /* rule 193 can match eol */
 YY_RULE_SETUP
-#line 1008 "scan.l"
+#line 1011 "scan.l"
 {
                        synerr( _( "bad character class" ) );
                        BEGIN(SECT2);
@@ -4070,127 +4045,127 @@ YY_RULE_SETUP
 
 case 194:
 YY_RULE_SETUP
-#line 1016 "scan.l"
+#line 1019 "scan.l"
 BEGIN(CCL); return CCE_ALNUM;
        YY_BREAK
 case 195:
 YY_RULE_SETUP
-#line 1017 "scan.l"
+#line 1020 "scan.l"
 BEGIN(CCL); return CCE_ALPHA;
        YY_BREAK
 case 196:
 YY_RULE_SETUP
-#line 1018 "scan.l"
+#line 1021 "scan.l"
 BEGIN(CCL); return CCE_BLANK;
        YY_BREAK
 case 197:
 YY_RULE_SETUP
-#line 1019 "scan.l"
+#line 1022 "scan.l"
 BEGIN(CCL); return CCE_CNTRL;
        YY_BREAK
 case 198:
 YY_RULE_SETUP
-#line 1020 "scan.l"
+#line 1023 "scan.l"
 BEGIN(CCL); return CCE_DIGIT;
        YY_BREAK
 case 199:
 YY_RULE_SETUP
-#line 1021 "scan.l"
+#line 1024 "scan.l"
 BEGIN(CCL); return CCE_GRAPH;
        YY_BREAK
 case 200:
 YY_RULE_SETUP
-#line 1022 "scan.l"
+#line 1025 "scan.l"
 BEGIN(CCL); return CCE_LOWER;
        YY_BREAK
 case 201:
 YY_RULE_SETUP
-#line 1023 "scan.l"
+#line 1026 "scan.l"
 BEGIN(CCL); return CCE_PRINT;
        YY_BREAK
 case 202:
 YY_RULE_SETUP
-#line 1024 "scan.l"
+#line 1027 "scan.l"
 BEGIN(CCL); return CCE_PUNCT;
        YY_BREAK
 case 203:
 YY_RULE_SETUP
-#line 1025 "scan.l"
+#line 1028 "scan.l"
 BEGIN(CCL); return CCE_SPACE;
        YY_BREAK
 case 204:
 YY_RULE_SETUP
-#line 1026 "scan.l"
+#line 1029 "scan.l"
 BEGIN(CCL); return CCE_UPPER;
        YY_BREAK
 case 205:
 YY_RULE_SETUP
-#line 1027 "scan.l"
+#line 1030 "scan.l"
 BEGIN(CCL); return CCE_XDIGIT;
        YY_BREAK
 case 206:
 YY_RULE_SETUP
-#line 1029 "scan.l"
+#line 1032 "scan.l"
 BEGIN(CCL); return CCE_NEG_ALNUM;
        YY_BREAK
 case 207:
 YY_RULE_SETUP
-#line 1030 "scan.l"
+#line 1033 "scan.l"
 BEGIN(CCL); return CCE_NEG_ALPHA;
        YY_BREAK
 case 208:
 YY_RULE_SETUP
-#line 1031 "scan.l"
+#line 1034 "scan.l"
 BEGIN(CCL); return CCE_NEG_BLANK;
        YY_BREAK
 case 209:
 YY_RULE_SETUP
-#line 1032 "scan.l"
+#line 1035 "scan.l"
 BEGIN(CCL); return CCE_NEG_CNTRL;
        YY_BREAK
 case 210:
 YY_RULE_SETUP
-#line 1033 "scan.l"
+#line 1036 "scan.l"
 BEGIN(CCL); return CCE_NEG_DIGIT;
        YY_BREAK
 case 211:
 YY_RULE_SETUP
-#line 1034 "scan.l"
+#line 1037 "scan.l"
 BEGIN(CCL); return CCE_NEG_GRAPH;
        YY_BREAK
 case 212:
 YY_RULE_SETUP
-#line 1035 "scan.l"
+#line 1038 "scan.l"
 BEGIN(CCL); return CCE_NEG_LOWER;
        YY_BREAK
 case 213:
 YY_RULE_SETUP
-#line 1036 "scan.l"
+#line 1039 "scan.l"
 BEGIN(CCL); return CCE_NEG_PRINT;
        YY_BREAK
 case 214:
 YY_RULE_SETUP
-#line 1037 "scan.l"
+#line 1040 "scan.l"
 BEGIN(CCL); return CCE_NEG_PUNCT;
        YY_BREAK
 case 215:
 YY_RULE_SETUP
-#line 1038 "scan.l"
+#line 1041 "scan.l"
 BEGIN(CCL); return CCE_NEG_SPACE;
        YY_BREAK
 case 216:
 YY_RULE_SETUP
-#line 1039 "scan.l"
+#line 1042 "scan.l"
 BEGIN(CCL); return CCE_NEG_UPPER;
        YY_BREAK
 case 217:
 YY_RULE_SETUP
-#line 1040 "scan.l"
+#line 1043 "scan.l"
 BEGIN(CCL); return CCE_NEG_XDIGIT;
        YY_BREAK
 case 218:
 YY_RULE_SETUP
-#line 1041 "scan.l"
+#line 1044 "scan.l"
 {
                        format_synerr(
                                _( "bad character class expression: %s" ),
@@ -4202,7 +4177,7 @@ YY_RULE_SETUP
 
 case 219:
 YY_RULE_SETUP
-#line 1050 "scan.l"
+#line 1053 "scan.l"
 {
                        yylval = myctoi( yytext );
                        return NUMBER;
@@ -4210,12 +4185,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 220:
 YY_RULE_SETUP
-#line 1055 "scan.l"
+#line 1058 "scan.l"
 return ',';
        YY_BREAK
 case 221:
 YY_RULE_SETUP
-#line 1056 "scan.l"
+#line 1059 "scan.l"
 {
                        BEGIN(SECT2);
                        if ( lex_compat || posix_compat )
@@ -4226,7 +4201,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 222:
 YY_RULE_SETUP
-#line 1064 "scan.l"
+#line 1067 "scan.l"
 {
                        synerr( _( "bad character inside {}'s" ) );
                        BEGIN(SECT2);
@@ -4236,7 +4211,7 @@ YY_RULE_SETUP
 case 223:
 /* rule 223 can match eol */
 YY_RULE_SETUP
-#line 1070 "scan.l"
+#line 1073 "scan.l"
 {
                        synerr( _( "missing }" ) );
                        BEGIN(SECT2);
@@ -4248,18 +4223,18 @@ YY_RULE_SETUP
 
 case 224:
 YY_RULE_SETUP
-#line 1080 "scan.l"
+#line 1083 "scan.l"
 bracelevel = 0; piece_append("</AST_Text>");
        YY_BREAK
 case 225:
 YY_RULE_SETUP
-#line 1082 "scan.l"
+#line 1085 "scan.l"
 ACTION_ECHO; yy_push_state( CODE_COMMENT );
        YY_BREAK
 
 case 226:
 YY_RULE_SETUP
-#line 1085 "scan.l"
+#line 1088 "scan.l"
 {
             ACTION_ECHO;
             CHECK_REJECT(yytext);
@@ -4267,7 +4242,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 227:
 YY_RULE_SETUP
-#line 1089 "scan.l"
+#line 1092 "scan.l"
 {
             ACTION_ECHO;
             CHECK_YYMORE(yytext);
@@ -4276,13 +4251,13 @@ YY_RULE_SETUP
 
 case 228:
 YY_RULE_SETUP
-#line 1095 "scan.l"
+#line 1098 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 229:
 /* rule 229 can match eol */
 YY_RULE_SETUP
-#line 1096 "scan.l"
+#line 1099 "scan.l"
 {
                ++linenum;
                ACTION_ECHO;
@@ -4305,43 +4280,43 @@ YY_RULE_SETUP
 
 case 230:
 YY_RULE_SETUP
-#line 1117 "scan.l"
+#line 1120 "scan.l"
 ACTION_ECHO; ++bracelevel;
        YY_BREAK
 case 231:
 YY_RULE_SETUP
-#line 1118 "scan.l"
+#line 1121 "scan.l"
 ACTION_ECHO; --bracelevel;
        YY_BREAK
 case 232:
 YY_RULE_SETUP
-#line 1119 "scan.l"
+#line 1122 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 233:
 YY_RULE_SETUP
-#line 1120 "scan.l"
+#line 1123 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 234:
 YY_RULE_SETUP
-#line 1121 "scan.l"
+#line 1124 "scan.l"
 ACTION_ECHO; /* character constant */
        YY_BREAK
 case 235:
 YY_RULE_SETUP
-#line 1122 "scan.l"
+#line 1125 "scan.l"
 ACTION_ECHO; BEGIN(CHARACTER_CONSTANT);
        YY_BREAK
 case 236:
 YY_RULE_SETUP
-#line 1123 "scan.l"
+#line 1126 "scan.l"
 ACTION_ECHO; BEGIN(ACTION_STRING);
        YY_BREAK
 case 237:
 /* rule 237 can match eol */
 YY_RULE_SETUP
-#line 1124 "scan.l"
+#line 1127 "scan.l"
 {
                 ++linenum;
                 ACTION_ECHO;
@@ -4360,31 +4335,31 @@ YY_RULE_SETUP
        YY_BREAK
 case 238:
 YY_RULE_SETUP
-#line 1139 "scan.l"
+#line 1142 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 
 
 case 239:
 YY_RULE_SETUP
-#line 1143 "scan.l"
+#line 1146 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 240:
 YY_RULE_SETUP
-#line 1144 "scan.l"
+#line 1147 "scan.l"
 ACTION_ECHO; BEGIN(ACTION);
        YY_BREAK
 
 
 case 241:
 YY_RULE_SETUP
-#line 1147 "scan.l"
+#line 1150 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 242:
 YY_RULE_SETUP
-#line 1148 "scan.l"
+#line 1151 "scan.l"
 ACTION_ECHO; BEGIN(ACTION);
        YY_BREAK
 
@@ -4392,24 +4367,24 @@ ACTION_ECHO; BEGIN(ACTION);
 case 243:
 /* rule 243 can match eol */
 YY_RULE_SETUP
-#line 1151 "scan.l"
+#line 1154 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 244:
 /* rule 244 can match eol */
 YY_RULE_SETUP
-#line 1152 "scan.l"
+#line 1155 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 245:
 /* rule 245 can match eol */
 YY_RULE_SETUP
-#line 1153 "scan.l"
+#line 1156 "scan.l"
 ++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); piece_flush(strlen(yytext)); if (doing_rule_action) markup_action("</AST_Text></AST_Section2_Rule_Action>"); } else { BEGIN(ACTION); }
        YY_BREAK
 case 246:
 YY_RULE_SETUP
-#line 1154 "scan.l"
+#line 1157 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 
@@ -4425,7 +4400,7 @@ case YY_STATE_EOF(ACTION_GROUP):
 case YY_STATE_EOF(ELEMENT_GROUP):
 case YY_STATE_EOF(DOUBLE_QUOTED):
 case YY_STATE_EOF(SINGLE_QUOTED):
-#line 1159 "scan.l"
+#line 1162 "scan.l"
 {
                        synerr( _( "EOF encountered inside an action" ) );
                        yyterminate();
@@ -4434,7 +4409,7 @@ case YY_STATE_EOF(SINGLE_QUOTED):
 case YY_STATE_EOF(EXTENDED_COMMENT):
 case YY_STATE_EOF(GROUP_WITH_PARAMS):
 case YY_STATE_EOF(GROUP_MINUS_PARAMS):
-#line 1164 "scan.l"
+#line 1167 "scan.l"
 {
                        synerr( _( "EOF encountered inside pattern" ) );
                        yyterminate();
@@ -4442,7 +4417,7 @@ case YY_STATE_EOF(GROUP_MINUS_PARAMS):
        YY_BREAK
 case 247:
 YY_RULE_SETUP
-#line 1169 "scan.l"
+#line 1172 "scan.l"
 {
                        yylval = myesc( (unsigned char *) yytext );
 
@@ -4455,27 +4430,27 @@ YY_RULE_SETUP
 
 case 248:
 YY_RULE_SETUP
-#line 1179 "scan.l"
+#line 1182 "scan.l"
 fputs(escaped_qstart, yyout);
        YY_BREAK
 case 249:
 YY_RULE_SETUP
-#line 1180 "scan.l"
+#line 1183 "scan.l"
 fputs(escaped_qend, yyout);
        YY_BREAK
 case 250:
 /* rule 250 can match eol */
 YY_RULE_SETUP
-#line 1181 "scan.l"
+#line 1184 "scan.l"
 ECHO;
        YY_BREAK
 case 251:
 YY_RULE_SETUP
-#line 1182 "scan.l"
+#line 1185 "scan.l"
 ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT3):
-#line 1183 "scan.l"
+#line 1186 "scan.l"
 {
         sectnum = 0;
 #if 1
@@ -4492,27 +4467,27 @@ case YY_STATE_EOF(SECT3):
 
 case 252:
 YY_RULE_SETUP
-#line 1196 "scan.l"
+#line 1199 "scan.l"
 fprintf(yyout, "[""[%s]""]", escaped_qstart);
        YY_BREAK
 case 253:
 YY_RULE_SETUP
-#line 1197 "scan.l"
+#line 1200 "scan.l"
 fprintf(yyout, "[""[%s]""]", escaped_qend);
        YY_BREAK
 case 254:
 /* rule 254 can match eol */
 YY_RULE_SETUP
-#line 1198 "scan.l"
+#line 1201 "scan.l"
 ECHO;
        YY_BREAK
 case 255:
 YY_RULE_SETUP
-#line 1199 "scan.l"
+#line 1202 "scan.l"
 ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT3_NOESCAPE):
-#line 1200 "scan.l"
+#line 1203 "scan.l"
 {
        sectnum = 0;
 #if 1
@@ -4530,14 +4505,14 @@ case YY_STATE_EOF(SECT3_NOESCAPE):
 
 case 256:
 YY_RULE_SETUP
-#line 1215 "scan.l"
+#line 1218 "scan.l"
 ++bracelevel;
        YY_BREAK
 
 
 case 257:
 YY_RULE_SETUP
-#line 1218 "scan.l"
+#line 1221 "scan.l"
 {
                            if (--bracelevel == 0) {
                                yy_pop_state();
@@ -4550,7 +4525,7 @@ YY_RULE_SETUP
 
 case 258:
 YY_RULE_SETUP
-#line 1227 "scan.l"
+#line 1230 "scan.l"
 {
                            if (--bracelevel == 0) {
                                yy_pop_state();
@@ -4563,41 +4538,41 @@ YY_RULE_SETUP
 
 case 259:
 YY_RULE_SETUP
-#line 1236 "scan.l"
+#line 1239 "scan.l"
 yy_push_state(SINGLE_QUOTED);
        YY_BREAK
 case 260:
 YY_RULE_SETUP
-#line 1237 "scan.l"
+#line 1240 "scan.l"
 yy_push_state(DOUBLE_QUOTED);
        YY_BREAK
 case 261:
 YY_RULE_SETUP
-#line 1238 "scan.l"
+#line 1241 "scan.l"
 yy_push_state(COMMENT_DISCARD);
        YY_BREAK
 
 
 case 262:
 YY_RULE_SETUP
-#line 1241 "scan.l"
+#line 1244 "scan.l"
 
        YY_BREAK
 case 263:
 YY_RULE_SETUP
-#line 1242 "scan.l"
+#line 1245 "scan.l"
 yy_pop_state();
        YY_BREAK
 
 
 case 264:
 YY_RULE_SETUP
-#line 1245 "scan.l"
+#line 1248 "scan.l"
 
        YY_BREAK
 case 265:
 YY_RULE_SETUP
-#line 1246 "scan.l"
+#line 1249 "scan.l"
 yy_pop_state();
        YY_BREAK
 
@@ -4605,13 +4580,13 @@ yy_pop_state();
 case 266:
 /* rule 266 can match eol */
 YY_RULE_SETUP
-#line 1249 "scan.l"
+#line 1252 "scan.l"
 
        YY_BREAK
 case 267:
 /* rule 267 can match eol */
 YY_RULE_SETUP
-#line 1250 "scan.l"
+#line 1253 "scan.l"
 
        YY_BREAK
 
@@ -4619,27 +4594,27 @@ YY_RULE_SETUP
 case 268:
 /* rule 268 can match eol */
 YY_RULE_SETUP
-#line 1253 "scan.l"
+#line 1256 "scan.l"
 ++linenum;
        YY_BREAK
 case 269:
 YY_RULE_SETUP
-#line 1254 "scan.l"
+#line 1257 "scan.l"
 
        YY_BREAK
 
 case 270:
 /* rule 270 can match eol */
 YY_RULE_SETUP
-#line 1257 "scan.l"
+#line 1260 "scan.l"
 format_synerr( _( "bad character: %s" ), yytext );
        YY_BREAK
 case 271:
 YY_RULE_SETUP
-#line 1259 "scan.l"
+#line 1262 "scan.l"
 YY_FATAL_ERROR( "flex scanner jammed" );
        YY_BREAK
-#line 4629 "scan.c"
+#line 4604 "scan.c"
 case YY_STATE_EOF(INITIAL):
 case YY_STATE_EOF(CODEBLOCK):
 case YY_STATE_EOF(PICKUPDEF):
@@ -4729,7 +4704,7 @@ case YY_STATE_EOF(LINEDIR):
                                {
                                (yy_did_buffer_switch_on_eof) = 0;
 
-                               if ( yywrap( ) )
+                               if ( yywrap(  ) )
                                        {
                                        /* Note: because we've taken care in
                                         * yy_get_next_buffer() to have set up
@@ -4782,6 +4757,7 @@ case YY_STATE_EOF(LINEDIR):
                        "fatal flex scanner internal error--no action found" );
        } /* end of action switch */
                } /* end of scanning one token */
+       } /* end of user's declarations */
 } /* end of yylex */
 
 /* yy_get_next_buffer - try to read in a new buffer
@@ -4793,9 +4769,9 @@ case YY_STATE_EOF(LINEDIR):
  */
 static int yy_get_next_buffer (void)
 {
-       register char *dest = YY_CURRENT_BUFFER_LVALUE->yy_ch_buf;
-       register char *source = (yytext_ptr);
-       register int number_to_move, i;
+       char *dest = YY_CURRENT_BUFFER_LVALUE->yy_ch_buf;
+       char *source = (yytext_ptr);
+       int number_to_move, i;
        int ret_val;
 
        if ( (yy_c_buf_p) > &YY_CURRENT_BUFFER_LVALUE->yy_ch_buf[(yy_n_chars) + 1] )
@@ -4824,7 +4800,7 @@ static int yy_get_next_buffer (void)
        /* Try to read more data. */
 
        /* First move last chars to start of buffer. */
-       number_to_move = (int) ((yy_c_buf_p) - (yytext_ptr)) - 1;
+       number_to_move = (int) ((yy_c_buf_p) - (yytext_ptr) - 1);
 
        for ( i = 0; i < number_to_move; ++i )
                *(dest++) = *(source++);
@@ -4844,7 +4820,7 @@ static int yy_get_next_buffer (void)
                        { /* Not enough room in the buffer - grow it. */
 
                        /* just a shorter name for the current buffer */
-                       YY_BUFFER_STATE b = YY_CURRENT_BUFFER;
+                       YY_BUFFER_STATE b = YY_CURRENT_BUFFER_LVALUE;
 
                        int yy_c_buf_p_offset =
                                (int) ((yy_c_buf_p) - b->yy_ch_buf);
@@ -4860,11 +4836,12 @@ static int yy_get_next_buffer (void)
 
                                b->yy_ch_buf = (char *)
                                        /* Include room in for 2 EOB chars. */
-                                       yyrealloc((void *) b->yy_ch_buf,b->yy_buf_size + 2  );
+                                       yyrealloc( (void *) b->yy_ch_buf,
+                                                        (yy_size_t) (b->yy_buf_size + 2)  );
                                }
                        else
                                /* Can't grow it, we don't own it. */
-                               b->yy_ch_buf = 0;
+                               b->yy_ch_buf = NULL;
 
                        if ( ! b->yy_ch_buf )
                                YY_FATAL_ERROR(
@@ -4882,7 +4859,7 @@ static int yy_get_next_buffer (void)
 
                /* Read in more data. */
                YY_INPUT( (&YY_CURRENT_BUFFER_LVALUE->yy_ch_buf[number_to_move]),
-                       (yy_n_chars), (size_t) num_to_read );
+                       (yy_n_chars), num_to_read );
 
                YY_CURRENT_BUFFER_LVALUE->yy_n_chars = (yy_n_chars);
                }
@@ -4892,7 +4869,7 @@ static int yy_get_next_buffer (void)
                if ( number_to_move == YY_MORE_ADJ )
                        {
                        ret_val = EOB_ACT_END_OF_FILE;
-                       yyrestart(yyin  );
+                       yyrestart( yyin  );
                        }
 
                else
@@ -4906,12 +4883,15 @@ static int yy_get_next_buffer (void)
        else
                ret_val = EOB_ACT_CONTINUE_SCAN;
 
-       if ((yy_size_t) ((yy_n_chars) + number_to_move) > YY_CURRENT_BUFFER_LVALUE->yy_buf_size) {
+       if (((yy_n_chars) + number_to_move) > YY_CURRENT_BUFFER_LVALUE->yy_buf_size) {
                /* Extend the array by 50%, plus the number we really need. */
-               yy_size_t new_size = (yy_n_chars) + number_to_move + ((yy_n_chars) >> 1);
-               YY_CURRENT_BUFFER_LVALUE->yy_ch_buf = (char *) yyrealloc((void *) YY_CURRENT_BUFFER_LVALUE->yy_ch_buf,new_size  );
+               int new_size = (yy_n_chars) + number_to_move + ((yy_n_chars) >> 1);
+               YY_CURRENT_BUFFER_LVALUE->yy_ch_buf = (char *) yyrealloc(
+                       (void *) YY_CURRENT_BUFFER_LVALUE->yy_ch_buf, (yy_size_t) new_size  );
                if ( ! YY_CURRENT_BUFFER_LVALUE->yy_ch_buf )
                        YY_FATAL_ERROR( "out of dynamic memory in yy_get_next_buffer()" );
+               /* "- 2" to take care of EOB's */
+               YY_CURRENT_BUFFER_LVALUE->yy_buf_size = (int) (new_size - 2);
        }
 
        (yy_n_chars) += number_to_move;
@@ -4927,15 +4907,15 @@ static int yy_get_next_buffer (void)
 
     static yy_state_type yy_get_previous_state (void)
 {
-       register yy_state_type yy_current_state;
-       register char *yy_cp;
+       yy_state_type yy_current_state;
+       char *yy_cp;
     
        yy_current_state = (yy_start);
        yy_current_state += YY_AT_BOL();
 
        for ( yy_cp = (yytext_ptr) + YY_MORE_ADJ; yy_cp < (yy_c_buf_p); ++yy_cp )
                {
-               register YY_CHAR yy_c = (*yy_cp ? yy_ec[YY_SC_TO_UI(*yy_cp)] : 1);
+               YY_CHAR yy_c = (*yy_cp ? yy_ec[YY_SC_TO_UI(*yy_cp)] : 1);
                if ( yy_accept[yy_current_state] )
                        {
                        (yy_last_accepting_state) = yy_current_state;
@@ -4945,9 +4925,9 @@ static int yy_get_next_buffer (void)
                        {
                        yy_current_state = (int) yy_def[yy_current_state];
                        if ( yy_current_state >= 1159 )
-                               yy_c = yy_meta[(unsigned int) yy_c];
+                               yy_c = yy_meta[yy_c];
                        }
-               yy_current_state = yy_nxt[yy_base[yy_current_state] + (unsigned int) yy_c];
+               yy_current_state = yy_nxt[yy_base[yy_current_state] + yy_c];
                }
 
        return yy_current_state;
@@ -4960,10 +4940,10 @@ static int yy_get_next_buffer (void)
  */
     static yy_state_type yy_try_NUL_trans  (yy_state_type yy_current_state )
 {
-       register int yy_is_jam;
-       register char *yy_cp = (yy_c_buf_p);
+       int yy_is_jam;
+       char *yy_cp = (yy_c_buf_p);
 
-       register YY_CHAR yy_c = 1;
+       YY_CHAR yy_c = 1;
        if ( yy_accept[yy_current_state] )
                {
                (yy_last_accepting_state) = yy_current_state;
@@ -4973,17 +4953,19 @@ static int yy_get_next_buffer (void)
                {
                yy_current_state = (int) yy_def[yy_current_state];
                if ( yy_current_state >= 1159 )
-                       yy_c = yy_meta[(unsigned int) yy_c];
+                       yy_c = yy_meta[yy_c];
                }
-       yy_current_state = yy_nxt[yy_base[yy_current_state] + (unsigned int) yy_c];
+       yy_current_state = yy_nxt[yy_base[yy_current_state] + yy_c];
        yy_is_jam = (yy_current_state == 1158);
 
-       return yy_is_jam ? 0 : yy_current_state;
+               return yy_is_jam ? 0 : yy_current_state;
 }
 
-    static void yyunput (int c, register char * yy_bp )
+#ifndef YY_NO_UNPUT
+
+    static void yyunput (int c, char * yy_bp )
 {
-       register char *yy_cp;
+       char *yy_cp;
     
     yy_cp = (yy_c_buf_p);
 
@@ -4993,10 +4975,10 @@ static int yy_get_next_buffer (void)
        if ( yy_cp < YY_CURRENT_BUFFER_LVALUE->yy_ch_buf + 2 )
                { /* need to shift things up to make room */
                /* +2 for EOB chars. */
-               register int number_to_move = (yy_n_chars) + 2;
-               register char *dest = &YY_CURRENT_BUFFER_LVALUE->yy_ch_buf[
+               int number_to_move = (yy_n_chars) + 2;
+               char *dest = &YY_CURRENT_BUFFER_LVALUE->yy_ch_buf[
                                        YY_CURRENT_BUFFER_LVALUE->yy_buf_size + 2];
-               register char *source =
+               char *source =
                                &YY_CURRENT_BUFFER_LVALUE->yy_ch_buf[number_to_move];
 
                while ( source > YY_CURRENT_BUFFER_LVALUE->yy_ch_buf )
@@ -5005,7 +4987,7 @@ static int yy_get_next_buffer (void)
                yy_cp += (int) (dest - source);
                yy_bp += (int) (dest - source);
                YY_CURRENT_BUFFER_LVALUE->yy_n_chars =
-                       (yy_n_chars) = YY_CURRENT_BUFFER_LVALUE->yy_buf_size;
+                       (yy_n_chars) = (int) YY_CURRENT_BUFFER_LVALUE->yy_buf_size;
 
                if ( yy_cp < YY_CURRENT_BUFFER_LVALUE->yy_ch_buf + 2 )
                        YY_FATAL_ERROR( "flex scanner push-back overflow" );
@@ -5018,6 +5000,8 @@ static int yy_get_next_buffer (void)
        (yy_c_buf_p) = yy_cp;
 }
 
+#endif
+
 #ifndef YY_NO_INPUT
 #ifdef __cplusplus
     static int yyinput (void)
@@ -5042,7 +5026,7 @@ static int yy_get_next_buffer (void)
 
                else
                        { /* need more input */
-                       int offset = (yy_c_buf_p) - (yytext_ptr);
+                       int offset = (int) ((yy_c_buf_p) - (yytext_ptr));
                        ++(yy_c_buf_p);
 
                        switch ( yy_get_next_buffer(  ) )
@@ -5059,14 +5043,14 @@ static int yy_get_next_buffer (void)
                                         */
 
                                        /* Reset buffer status. */
-                                       yyrestart(yyin );
+                                       yyrestart( yyin );
 
                                        /*FALLTHROUGH*/
 
                                case EOB_ACT_END_OF_FILE:
                                        {
-                                       if ( yywrap( ) )
-                                               return EOF;
+                                       if ( yywrap(  ) )
+                                               return 0;
 
                                        if ( ! (yy_did_buffer_switch_on_eof) )
                                                YY_NEW_FILE;
@@ -5105,11 +5089,11 @@ static int yy_get_next_buffer (void)
        if ( ! YY_CURRENT_BUFFER ){
         yyensure_buffer_stack ();
                YY_CURRENT_BUFFER_LVALUE =
-            yy_create_buffer(yyin,YY_BUF_SIZE );
+            yy_create_buffer( yyin, YY_BUF_SIZE );
        }
 
-       yy_init_buffer(YY_CURRENT_BUFFER,input_file );
-       yy_load_buffer_state( );
+       yy_init_buffer( YY_CURRENT_BUFFER, input_file );
+       yy_load_buffer_state(  );
 }
 
 /** Switch to a different input buffer.
@@ -5137,7 +5121,7 @@ static int yy_get_next_buffer (void)
                }
 
        YY_CURRENT_BUFFER_LVALUE = new_buffer;
-       yy_load_buffer_state( );
+       yy_load_buffer_state(  );
 
        /* We don't actually know whether we did this switch during
         * EOF (yywrap()) processing, but the only time this flag
@@ -5165,7 +5149,7 @@ static void yy_load_buffer_state  (void)
 {
        YY_BUFFER_STATE b;
     
-       b = (YY_BUFFER_STATE) yyalloc(sizeof( struct yy_buffer_state )  );
+       b = (YY_BUFFER_STATE) yyalloc( sizeof( struct yy_buffer_state )  );
        if ( ! b )
                YY_FATAL_ERROR( "out of dynamic memory in yy_create_buffer()" );
 
@@ -5174,13 +5158,13 @@ static void yy_load_buffer_state  (void)
        /* yy_ch_buf has to be 2 characters longer than the size given because
         * we need to put in 2 end-of-buffer characters.
         */
-       b->yy_ch_buf = (char *) yyalloc(b->yy_buf_size + 2  );
+       b->yy_ch_buf = (char *) yyalloc( (yy_size_t) (b->yy_buf_size + 2)  );
        if ( ! b->yy_ch_buf )
                YY_FATAL_ERROR( "out of dynamic memory in yy_create_buffer()" );
 
        b->yy_is_our_buffer = 1;
 
-       yy_init_buffer(b,file );
+       yy_init_buffer( b, file );
 
        return b;
 }
@@ -5199,15 +5183,11 @@ static void yy_load_buffer_state  (void)
                YY_CURRENT_BUFFER_LVALUE = (YY_BUFFER_STATE) 0;
 
        if ( b->yy_is_our_buffer )
-               yyfree((void *) b->yy_ch_buf  );
+               yyfree( (void *) b->yy_ch_buf  );
 
-       yyfree((void *) b  );
+       yyfree( (void *) b  );
 }
 
-#ifndef __cplusplus
-extern int isatty (int );
-#endif /* __cplusplus */
-    
 /* Initializes or reinitializes a buffer.
  * This function is sometimes called more than once on the same buffer,
  * such as during a yyrestart() or at EOF.
@@ -5217,7 +5197,7 @@ extern int isatty (int );
 {
        int oerrno = errno;
     
-       yy_flush_buffer(b );
+       yy_flush_buffer( b );
 
        b->yy_input_file = file;
        b->yy_fill_buffer = 1;
@@ -5260,7 +5240,7 @@ extern int isatty (int );
        b->yy_buffer_status = YY_BUFFER_NEW;
 
        if ( b == YY_CURRENT_BUFFER )
-               yy_load_buffer_state( );
+               yy_load_buffer_state(  );
 }
 
 /** Pushes the new state onto the stack. The new state becomes
@@ -5291,7 +5271,7 @@ void yypush_buffer_state (YY_BUFFER_STATE new_buffer )
        YY_CURRENT_BUFFER_LVALUE = new_buffer;
 
        /* copied from yy_switch_to_buffer. */
-       yy_load_buffer_state( );
+       yy_load_buffer_state(  );
        (yy_did_buffer_switch_on_eof) = 1;
 }
 
@@ -5310,7 +5290,7 @@ void yypop_buffer_state (void)
                --(yy_buffer_stack_top);
 
        if (YY_CURRENT_BUFFER) {
-               yy_load_buffer_state( );
+               yy_load_buffer_state(  );
                (yy_did_buffer_switch_on_eof) = 1;
        }
 }
@@ -5320,7 +5300,7 @@ void yypop_buffer_state (void)
  */
 static void yyensure_buffer_stack (void)
 {
-       int num_to_alloc;
+       yy_size_t num_to_alloc;
     
        if (!(yy_buffer_stack)) {
 
@@ -5328,15 +5308,15 @@ static void yyensure_buffer_stack (void)
                 * scanner will even need a stack. We use 2 instead of 1 to avoid an
                 * immediate realloc on the next call.
          */
-               num_to_alloc = 1;
+      num_to_alloc = 1; /* After all that talk, this was set to 1 anyways... */
                (yy_buffer_stack) = (struct yy_buffer_state**)yyalloc
                                                                (num_to_alloc * sizeof(struct yy_buffer_state*)
                                                                );
                if ( ! (yy_buffer_stack) )
                        YY_FATAL_ERROR( "out of dynamic memory in yyensure_buffer_stack()" );
-                                                                 
+
                memset((yy_buffer_stack), 0, num_to_alloc * sizeof(struct yy_buffer_state*));
-                               
+
                (yy_buffer_stack_max) = num_to_alloc;
                (yy_buffer_stack_top) = 0;
                return;
@@ -5345,7 +5325,7 @@ static void yyensure_buffer_stack (void)
        if ((yy_buffer_stack_top) >= ((yy_buffer_stack_max)) - 1){
 
                /* Increase the buffer to prepare for a possible push. */
-               int grow_size = 8 /* arbitrary grow size */;
+               yy_size_t grow_size = 8 /* arbitrary grow size */;
 
                num_to_alloc = (yy_buffer_stack_max) + grow_size;
                (yy_buffer_stack) = (struct yy_buffer_state**)yyrealloc
@@ -5365,7 +5345,7 @@ static void yyensure_buffer_stack (void)
  * @param base the character buffer
  * @param size the size in bytes of the character buffer
  * 
- * @return the newly allocated buffer state object. 
+ * @return the newly allocated buffer state object.
  */
 YY_BUFFER_STATE yy_scan_buffer  (char * base, yy_size_t  size )
 {
@@ -5375,23 +5355,23 @@ YY_BUFFER_STATE yy_scan_buffer  (char * base, yy_size_t  size )
             base[size-2] != YY_END_OF_BUFFER_CHAR ||
             base[size-1] != YY_END_OF_BUFFER_CHAR )
                /* They forgot to leave room for the EOB's. */
-               return 0;
+               return NULL;
 
-       b = (YY_BUFFER_STATE) yyalloc(sizeof( struct yy_buffer_state )  );
+       b = (YY_BUFFER_STATE) yyalloc( sizeof( struct yy_buffer_state )  );
        if ( ! b )
                YY_FATAL_ERROR( "out of dynamic memory in yy_scan_buffer()" );
 
-       b->yy_buf_size = size - 2;      /* "- 2" to take care of EOB's */
+       b->yy_buf_size = (int) (size - 2);      /* "- 2" to take care of EOB's */
        b->yy_buf_pos = b->yy_ch_buf = base;
        b->yy_is_our_buffer = 0;
-       b->yy_input_file = 0;
+       b->yy_input_file = NULL;
        b->yy_n_chars = b->yy_buf_size;
        b->yy_is_interactive = 0;
        b->yy_at_bol = 1;
        b->yy_fill_buffer = 0;
        b->yy_buffer_status = YY_BUFFER_NEW;
 
-       yy_switch_to_buffer(b  );
+       yy_switch_to_buffer( b  );
 
        return b;
 }
@@ -5404,10 +5384,10 @@ YY_BUFFER_STATE yy_scan_buffer  (char * base, yy_size_t  size )
  * @note If you want to scan bytes that may contain NUL values, then use
  *       yy_scan_bytes() instead.
  */
-YY_BUFFER_STATE yy_scan_string (yyconst char * yystr )
+YY_BUFFER_STATE yy_scan_string (const char * yystr )
 {
     
-       return yy_scan_bytes(yystr,strlen(yystr) );
+       return yy_scan_bytes( yystr, (int) strlen(yystr) );
 }
 
 /** Setup the input buffer state to scan the given bytes. The next call to yylex() will
@@ -5417,7 +5397,7 @@ YY_BUFFER_STATE yy_scan_string (yyconst char * yystr )
  * 
  * @return the newly allocated buffer state object.
  */
-YY_BUFFER_STATE yy_scan_bytes  (yyconst char * yybytes, int  _yybytes_len )
+YY_BUFFER_STATE yy_scan_bytes  (const char * yybytes, int  _yybytes_len )
 {
        YY_BUFFER_STATE b;
        char *buf;
@@ -5425,8 +5405,8 @@ YY_BUFFER_STATE yy_scan_bytes  (yyconst char * yybytes, int  _yybytes_len )
        int i;
     
        /* Get memory for full buffer, including space for trailing EOB's. */
-       n = _yybytes_len + 2;
-       buf = (char *) yyalloc(n  );
+       n = (yy_size_t) (_yybytes_len + 2);
+       buf = (char *) yyalloc( n  );
        if ( ! buf )
                YY_FATAL_ERROR( "out of dynamic memory in yy_scan_bytes()" );
 
@@ -5435,7 +5415,7 @@ YY_BUFFER_STATE yy_scan_bytes  (yyconst char * yybytes, int  _yybytes_len )
 
        buf[_yybytes_len] = buf[_yybytes_len+1] = YY_END_OF_BUFFER_CHAR;
 
-       b = yy_scan_buffer(buf,n );
+       b = yy_scan_buffer( buf, n );
        if ( ! b )
                YY_FATAL_ERROR( "bad buffer in yy_scan_bytes()" );
 
@@ -5447,20 +5427,21 @@ YY_BUFFER_STATE yy_scan_bytes  (yyconst char * yybytes, int  _yybytes_len )
        return b;
 }
 
-    static void yy_push_state (int  new_state )
+    static void yy_push_state (int  _new_state )
 {
        if ( (yy_start_stack_ptr) >= (yy_start_stack_depth) )
                {
                yy_size_t new_size;
 
                (yy_start_stack_depth) += YY_START_STACK_INCR;
-               new_size = (yy_start_stack_depth) * sizeof( int );
+               new_size = (yy_size_t) (yy_start_stack_depth) * sizeof( int );
 
                if ( ! (yy_start_stack) )
-                       (yy_start_stack) = (int *) yyalloc(new_size  );
+                       (yy_start_stack) = (int *) yyalloc( new_size  );
 
                else
-                       (yy_start_stack) = (int *) yyrealloc((void *) (yy_start_stack),new_size  );
+                       (yy_start_stack) = (int *) yyrealloc(
+                                       (void *) (yy_start_stack), new_size  );
 
                if ( ! (yy_start_stack) )
                        YY_FATAL_ERROR( "out of memory expanding start-condition stack" );
@@ -5468,7 +5449,7 @@ YY_BUFFER_STATE yy_scan_bytes  (yyconst char * yybytes, int  _yybytes_len )
 
        (yy_start_stack)[(yy_start_stack_ptr)++] = YY_START;
 
-       BEGIN(new_state);
+       BEGIN(_new_state);
 }
 
     static void yy_pop_state  (void)
@@ -5483,9 +5464,9 @@ YY_BUFFER_STATE yy_scan_bytes  (yyconst char * yybytes, int  _yybytes_len )
 #define YY_EXIT_FAILURE 2
 #endif
 
-static void yy_fatal_error (yyconst char* msg )
+static void yynoreturn yy_fatal_error (const char* msg )
 {
-       (void) fprintf( stderr, "%s\n", msg );
+                       fprintf( stderr, "%s\n", msg );
        exit( YY_EXIT_FAILURE );
 }
 
@@ -5513,7 +5494,7 @@ static void yy_fatal_error (yyconst char* msg )
  */
 int yyget_lineno  (void)
 {
-        
+    
     return yylineno;
 }
 
@@ -5551,29 +5532,29 @@ char *yyget_text  (void)
 }
 
 /** Set the current line number.
- * @param line_number
+ * @param _line_number line number
  * 
  */
-void yyset_lineno (int  line_number )
+void yyset_lineno (int  _line_number )
 {
     
-    yylineno = line_number;
+    yylineno = _line_number;
 }
 
 /** Set the input stream. This does not discard the current
  * input buffer.
- * @param in_str A readable stream.
+ * @param _in_str A readable stream.
  * 
  * @see yy_switch_to_buffer
  */
-void yyset_in (FILE *  in_str )
+void yyset_in (FILE *  _in_str )
 {
-        yyin = in_str ;
+        yyin = _in_str ;
 }
 
-void yyset_out (FILE *  out_str )
+void yyset_out (FILE *  _out_str )
 {
-        yyout = out_str ;
+        yyout = _out_str ;
 }
 
 int yyget_debug  (void)
@@ -5581,9 +5562,9 @@ int yyget_debug  (void)
         return yy_flex_debug;
 }
 
-void yyset_debug (int  bdebug )
+void yyset_debug (int  _bdebug )
 {
-        yy_flex_debug = bdebug ;
+        yy_flex_debug = _bdebug ;
 }
 
 static int yy_init_globals (void)
@@ -5592,10 +5573,10 @@ static int yy_init_globals (void)
      * This function is called from yylex_destroy(), so don't allocate here.
      */
 
-    (yy_buffer_stack) = 0;
+    (yy_buffer_stack) = NULL;
     (yy_buffer_stack_top) = 0;
     (yy_buffer_stack_max) = 0;
-    (yy_c_buf_p) = (char *) 0;
+    (yy_c_buf_p) = NULL;
     (yy_init) = 0;
     (yy_start) = 0;
 
@@ -5608,8 +5589,8 @@ static int yy_init_globals (void)
     yyin = stdin;
     yyout = stdout;
 #else
-    yyin = (FILE *) 0;
-    yyout = (FILE *) 0;
+    yyin = NULL;
+    yyout = NULL;
 #endif
 
     /* For future reference: Set errno on error, since we are called by
@@ -5624,7 +5605,7 @@ int yylex_destroy  (void)
     
     /* Pop the buffer stack, destroying each element. */
        while(YY_CURRENT_BUFFER){
-               yy_delete_buffer(YY_CURRENT_BUFFER  );
+               yy_delete_buffer( YY_CURRENT_BUFFER  );
                YY_CURRENT_BUFFER_LVALUE = NULL;
                yypop_buffer_state();
        }
@@ -5634,7 +5615,7 @@ int yylex_destroy  (void)
        (yy_buffer_stack) = NULL;
 
     /* Destroy the start condition stack. */
-        yyfree((yy_start_stack)  );
+        yyfree( (yy_start_stack)  );
         (yy_start_stack) = NULL;
 
     /* Reset the globals. This is important in a non-reentrant scanner so the next time
@@ -5649,18 +5630,19 @@ int yylex_destroy  (void)
  */
 
 #ifndef yytext_ptr
-static void yy_flex_strncpy (char* s1, yyconst char * s2, int n )
+static void yy_flex_strncpy (char* s1, const char * s2, int n )
 {
-       register int i;
+               
+       int i;
        for ( i = 0; i < n; ++i )
                s1[i] = s2[i];
 }
 #endif
 
 #ifdef YY_NEED_STRLEN
-static int yy_flex_strlen (yyconst char * s )
+static int yy_flex_strlen (const char * s )
 {
-       register int n;
+       int n;
        for ( n = 0; s[n]; ++n )
                ;
 
@@ -5670,11 +5652,12 @@ static int yy_flex_strlen (yyconst char * s )
 
 void *yyalloc (yy_size_t  size )
 {
-       return (void *) malloc( size );
+                       return malloc(size);
 }
 
 void *yyrealloc  (void * ptr, yy_size_t  size )
 {
+               
        /* The cast to (char *) in the following accommodates both
         * implementations that use char* generic pointers, and those
         * that use void* generic pointers.  It works with the latter
@@ -5682,18 +5665,17 @@ void *yyrealloc  (void * ptr, yy_size_t  size )
         * any pointer type to void*, and deal with argument conversions
         * as though doing an assignment.
         */
-       return (void *) realloc( (char *) ptr, size );
+       return realloc(ptr, size);
 }
 
 void yyfree (void * ptr )
 {
-       free( (char *) ptr );   /* see yyrealloc() for (char *) cast */
+                       free( (char *) ptr );   /* see yyrealloc() for (char *) cast */
 }
 
 #define YYTABLES_NAME "yytables"
 
-#line 1259 "scan.l"
-
+#line 1262 "scan.l"
 
 
 
index b6dd7c4..8793a13 100644 (file)
@@ -1,9 +1,9 @@
---- scan.c.orig        2018-07-26 11:01:28.498138436 +1000
-+++ scan.c     2018-07-26 11:03:23.706134386 +1000
-@@ -185,7 +185,16 @@
+--- scan.c.orig        2019-01-12 13:50:51.156721035 +1100
++++ scan.c     2019-01-12 13:51:58.098327910 +1100
+@@ -178,7 +178,16 @@
+               YY_DO_BEFORE_ACTION; /* set up yytext again */ \
                } \
        while ( 0 )
 +#if 1
 +#define unput(c) \
 + do { \
  #define unput(c) yyunput( c, (yytext_ptr)  )
 +#endif
  
- #ifndef YY_TYPEDEF_YY_SIZE_T
- #define YY_TYPEDEF_YY_SIZE_T
-@@ -8054,7 +8063,12 @@
-               yy_load_buffer_state( );
-               }
+ #ifndef YY_STRUCT_YY_BUFFER_STATE
+ #define YY_STRUCT_YY_BUFFER_STATE
+@@ -2404,7 +2413,12 @@
+ #line 2406 "scan.c"
  
 +#if 1
 + /* we do this so that "continue;" in an action works correctly */
 + for (; ; piece_escape(yytext, yy_c_buf_p - yytext))
 +#else
-       while ( 1 )             /* loops until end-of-file is reached */
+       while ( /*CONSTCOND*/1 )                /* loops until end-of-file is reached */
 +#endif
                {
-               (yy_more_len) = 0;
-               if ( (yy_more_flag) )
+               yy_cp = (yy_c_buf_p);
index e365e86..73e1b5f 100644 (file)
@@ -589,9 +589,11 @@ M4QEND      "]""]"
                         /* Allow "<" to appear in (?x) patterns. */
                         if (!sf_skip_ws())
                             BEGIN(SC);
+ /* here we know yytext is not used by parser, so OK to destroy it */
+ piece_flush(strlen(yytext) - 1);
                         return '<';
                     }
-       ^{OPTWS}"^"     return '^';
+       ^{OPTWS}"^"     /* here we know yytext is not used by parser, so OK to destroy it */ piece_flush(strlen(yytext) - 1); return '^';
        \"              BEGIN(QUOTE); return '"';
        "{"/[[:digit:]] {
                        BEGIN(NUM);
@@ -736,7 +738,7 @@ M4QEND      "]""]"
                        }
 
        ^{OPTWS}"<<EOF>>"       |
-       "<<EOF>>"       return EOF_OP;
+       "<<EOF>>"       /* here we know yytext is not used by parser, so OK to destroy it */ piece_flush(strlen(yytext) - 7); return EOF_OP;
 
        ^"%%".*         {
                        sectnum = 3;