Make it buffer the pieces in memory (in a stack) and reduce it down to a single piece...
authorNick Downing <downing.nick@gmail.com>
Tue, 12 Jun 2018 05:46:55 +0000 (15:46 +1000)
committerNick Downing <downing.nick@gmail.com>
Tue, 12 Jun 2018 06:46:14 +0000 (16:46 +1000)
.gitignore [new file with mode: 0644]
src/main.c
src/parse.c
src/parse.c.patch [new file with mode: 0644]
src/parse.h
src/parse.y
src/scan.c
src/scan.c.patch
src/scan.l

diff --git a/.gitignore b/.gitignore
new file mode 100644 (file)
index 0000000..9681d72
--- /dev/null
@@ -0,0 +1,29 @@
+*.a
+*.la
+*.lo
+*.o
+Makefile
+config.log
+config.status
+doc/Makefile
+examples/Makefile
+examples/fastwc/Makefile
+examples/manual/Makefile
+lib/.deps/
+libtool
+po/Makefile
+po/Makefile.in
+po/POTFILES
+src/.deps/
+src/.libs/
+src/Makefile
+src/config.h
+src/flex
+src/parse.c.orig
+src/scan.c.orig
+src/stage1flex
+src/stage1scan.c
+src/stamp-h1
+tests/.deps/
+tests/Makefile
+tools/Makefile
index e5eac44..e3fd3d4 100644 (file)
@@ -1476,6 +1476,13 @@ void readin (void)
                pinpoint_message (_("fatal parse error"));
                flexend (1);
        }
+#if 1
+ extern char *piece[];
+ extern int piece1;
+ int i;
+ for (i = 0; i < piece1; ++i)
+  fputs(piece[i], stderr);
+#endif
 
        if (syntaxerror)
                flexend (1);
index 32458e4..b4eee8b 100644 (file)
@@ -1,8 +1,8 @@
-/* A Bison parser, made by GNU Bison 3.0.4.  */
+/* A Bison parser, made by GNU Bison 3.0.2.  */
 
 /* Bison implementation for Yacc-like parsers in C
 
-   Copyright (C) 1984, 1989-1990, 2000-2015 Free Software Foundation, Inc.
+   Copyright (C) 1984, 1989-1990, 2000-2013 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
@@ -44,7 +44,7 @@
 #define YYBISON 1
 
 /* Bison version.  */
-#define YYBISON_VERSION "3.0.4"
+#define YYBISON_VERSION "3.0.2"
 
 /* Skeleton name.  */
 #define YYSKELETON_NAME "yacc.c"
@@ -592,16 +592,16 @@ static const yytype_uint8 yytranslate[] =
   /* YYRLINE[YYN] -- Source line where rule number YYN was defined.  */
 static const yytype_uint16 yyrline[] =
 {
-       0,   118,   118,   148,   155,   156,   157,   158,   162,   170,
-     173,   177,   180,   183,   187,   190,   191,   194,   199,   201,
-     205,   207,   209,   213,   215,   217,   221,   233,   269,   293,
-     316,   321,   324,   327,   345,   348,   350,   352,   356,   379,
-     435,   438,   481,   499,   505,   510,   537,   545,   548,   576,
-     590,   612,   619,   625,   631,   659,   673,   692,   726,   744,
-     754,   757,   760,   775,   776,   777,   782,   784,   791,   851,
-     869,   877,   885,   886,   887,   888,   889,   890,   891,   896,
-     897,   898,   899,   900,   906,   907,   908,   909,   910,   911,
-     912,   913,   914,   915,   916,   922,   930,   946
+       0,   118,   118,   154,   161,   162,   163,   164,   168,   176,
+     179,   183,   186,   189,   193,   196,   197,   200,   205,   207,
+     211,   213,   215,   219,   221,   223,   227,   239,   275,   299,
+     322,   327,   330,   333,   351,   354,   356,   358,   362,   385,
+     441,   444,   487,   505,   511,   516,   543,   551,   554,   582,
+     596,   618,   625,   631,   637,   665,   679,   698,   732,   750,
+     760,   763,   766,   781,   782,   783,   788,   790,   797,   857,
+     875,   883,   891,   892,   893,   894,   895,   896,   897,   902,
+     903,   904,   905,   906,   912,   913,   914,   915,   916,   917,
+     918,   919,   920,   921,   922,   928,   936,   952
 };
 #endif
 
@@ -1245,6 +1245,19 @@ int yynerrs;
 | yyparse.  |
 `----------*/
 
+extern char *piece[];
+extern int piece0, piece1;
+int piece2, piece3;
+static void insert_piece(int n, const char *str) {
+ n += piece2;
+ memmove(piece + n + 1, piece + n, (piece1 - n) * sizeof(char *));
+ piece[n] = strdup(str);
+ ++piece0;
+ ++piece1;
+ ++piece3;
+}
+#define insert_before(n, str) insert_piece((n) * 2, str);
+#define insert_after(n, str) insert_piece((n) * 2 + 1, str);
 int
 yyparse (void)
 {
@@ -1465,6 +1478,17 @@ yydefault:
 yyreduce:
   /* yyn is the number of a rule to reduce with.  */
   yylen = yyr2[yyn];
+ int n = ((int)(yyvsp - yyvsa) - yylen) * 2;
+ piece2 = n + 1;
+ piece3 = n + yylen * 2;
+ if (yylen == 0) {
+  memmove(piece + n + 2, piece + n, (piece1 - n) * sizeof(char *));
+  piece[n] = strdup("");
+  piece[n + 1] = strdup("");
+  piece3 = n + 2;
+  piece0 += 2;
+  piece1 += 2;
+ }
 
   /* If YYLEN is nonzero, implement the default value of the action:
      '$$ = $1'.
@@ -1507,121 +1531,127 @@ yyreduce:
                                add_action( "ECHO" );
 
                        add_action( ";\n\tYY_BREAK]]\n" );
+ insert_after(4, "</Document>");
+ insert_after(3, "</Sect2>");
+ insert_before(3, "<Sect2>");
+ insert_after(1, "</Sect1>");
+ insert_before(1, "<Sect1>");
+ insert_before(0, "<Document>");
                        }
-#line 1512 "parse.c" /* yacc.c:1646  */
+#line 1518 "parse.c" /* yacc.c:1646  */
     break;
 
   case 3:
-#line 148 "parse.y" /* yacc.c:1646  */
+#line 154 "parse.y" /* yacc.c:1646  */
     { /* initialize for processing rules */
 
                        /* Create default DFA start condition. */
                        scinstal( "INITIAL", false );
                        }
-#line 1522 "parse.c" /* yacc.c:1646  */
+#line 1528 "parse.c" /* yacc.c:1646  */
     break;
 
   case 7:
-#line 159 "parse.y" /* yacc.c:1646  */
+#line 165 "parse.y" /* yacc.c:1646  */
     { synerr( _("unknown error processing section 1") ); }
-#line 1528 "parse.c" /* yacc.c:1646  */
+#line 1534 "parse.c" /* yacc.c:1646  */
     break;
 
   case 8:
-#line 163 "parse.y" /* yacc.c:1646  */
+#line 169 "parse.y" /* yacc.c:1646  */
     {
                        check_options();
                        scon_stk = allocate_integer_array( lastsc + 1 );
                        scon_stk_ptr = 0;
                        }
-#line 1538 "parse.c" /* yacc.c:1646  */
+#line 1544 "parse.c" /* yacc.c:1646  */
     break;
 
   case 9:
-#line 171 "parse.y" /* yacc.c:1646  */
+#line 177 "parse.y" /* yacc.c:1646  */
     { xcluflg = false; }
-#line 1544 "parse.c" /* yacc.c:1646  */
+#line 1550 "parse.c" /* yacc.c:1646  */
     break;
 
   case 10:
-#line 174 "parse.y" /* yacc.c:1646  */
+#line 180 "parse.y" /* yacc.c:1646  */
     { xcluflg = true; }
-#line 1550 "parse.c" /* yacc.c:1646  */
+#line 1556 "parse.c" /* yacc.c:1646  */
     break;
 
   case 11:
-#line 178 "parse.y" /* yacc.c:1646  */
+#line 184 "parse.y" /* yacc.c:1646  */
     { scinstal( nmstr, xcluflg ); }
-#line 1556 "parse.c" /* yacc.c:1646  */
+#line 1562 "parse.c" /* yacc.c:1646  */
     break;
 
   case 12:
-#line 181 "parse.y" /* yacc.c:1646  */
+#line 187 "parse.y" /* yacc.c:1646  */
     { scinstal( nmstr, xcluflg ); }
-#line 1562 "parse.c" /* yacc.c:1646  */
+#line 1568 "parse.c" /* yacc.c:1646  */
     break;
 
   case 13:
-#line 184 "parse.y" /* yacc.c:1646  */
+#line 190 "parse.y" /* yacc.c:1646  */
     { synerr( _("bad start condition list") ); }
-#line 1568 "parse.c" /* yacc.c:1646  */
+#line 1574 "parse.c" /* yacc.c:1646  */
     break;
 
   case 17:
-#line 195 "parse.y" /* yacc.c:1646  */
+#line 201 "parse.y" /* yacc.c:1646  */
     {
                        outfilename = xstrdup(nmstr);
                        did_outfilename = 1;
                        }
-#line 1577 "parse.c" /* yacc.c:1646  */
+#line 1583 "parse.c" /* yacc.c:1646  */
     break;
 
   case 18:
-#line 200 "parse.y" /* yacc.c:1646  */
+#line 206 "parse.y" /* yacc.c:1646  */
     { extra_type = xstrdup(nmstr); }
-#line 1583 "parse.c" /* yacc.c:1646  */
+#line 1589 "parse.c" /* yacc.c:1646  */
     break;
 
   case 19:
-#line 202 "parse.y" /* yacc.c:1646  */
+#line 208 "parse.y" /* yacc.c:1646  */
     { prefix = xstrdup(nmstr);
                           if (strchr(prefix, '[') || strchr(prefix, ']'))
                               flexerror(_("Prefix must not contain [ or ]")); }
-#line 1591 "parse.c" /* yacc.c:1646  */
+#line 1597 "parse.c" /* yacc.c:1646  */
     break;
 
   case 20:
-#line 206 "parse.y" /* yacc.c:1646  */
+#line 212 "parse.y" /* yacc.c:1646  */
     { yyclass = xstrdup(nmstr); }
-#line 1597 "parse.c" /* yacc.c:1646  */
+#line 1603 "parse.c" /* yacc.c:1646  */
     break;
 
   case 21:
-#line 208 "parse.y" /* yacc.c:1646  */
+#line 214 "parse.y" /* yacc.c:1646  */
     { headerfilename = xstrdup(nmstr); }
-#line 1603 "parse.c" /* yacc.c:1646  */
+#line 1609 "parse.c" /* yacc.c:1646  */
     break;
 
   case 22:
-#line 210 "parse.y" /* yacc.c:1646  */
+#line 216 "parse.y" /* yacc.c:1646  */
     { tablesext = true; tablesfilename = xstrdup(nmstr); }
-#line 1609 "parse.c" /* yacc.c:1646  */
+#line 1615 "parse.c" /* yacc.c:1646  */
     break;
 
   case 23:
-#line 214 "parse.y" /* yacc.c:1646  */
+#line 220 "parse.y" /* yacc.c:1646  */
     { scon_stk_ptr = (yyvsp[-3]); }
-#line 1615 "parse.c" /* yacc.c:1646  */
+#line 1621 "parse.c" /* yacc.c:1646  */
     break;
 
   case 24:
-#line 216 "parse.y" /* yacc.c:1646  */
+#line 222 "parse.y" /* yacc.c:1646  */
     { scon_stk_ptr = (yyvsp[-3]); }
-#line 1621 "parse.c" /* yacc.c:1646  */
+#line 1627 "parse.c" /* yacc.c:1646  */
     break;
 
   case 26:
-#line 221 "parse.y" /* yacc.c:1646  */
+#line 227 "parse.y" /* yacc.c:1646  */
     {
                        /* Initialize for a parse of one rule. */
                        trlcontxt = variable_trail_rule = varlength = false;
@@ -1632,11 +1662,11 @@ yyreduce:
 
                        new_rule();
                        }
-#line 1636 "parse.c" /* yacc.c:1646  */
+#line 1642 "parse.c" /* yacc.c:1646  */
     break;
 
   case 27:
-#line 234 "parse.y" /* yacc.c:1646  */
+#line 240 "parse.y" /* yacc.c:1646  */
     {
                        pat = (yyvsp[0]);
                        finish_rule( pat, variable_trail_rule,
@@ -1671,11 +1701,11 @@ yyreduce:
                        "'^' operator results in sub-optimal performance" );
                                }
                        }
-#line 1675 "parse.c" /* yacc.c:1646  */
+#line 1681 "parse.c" /* yacc.c:1646  */
     break;
 
   case 28:
-#line 270 "parse.y" /* yacc.c:1646  */
+#line 276 "parse.y" /* yacc.c:1646  */
     {
                        pat = (yyvsp[0]);
                        finish_rule( pat, variable_trail_rule,
@@ -1698,11 +1728,11 @@ yyreduce:
                                                                pat );
                                }
                        }
-#line 1702 "parse.c" /* yacc.c:1646  */
+#line 1708 "parse.c" /* yacc.c:1646  */
     break;
 
   case 29:
-#line 294 "parse.y" /* yacc.c:1646  */
+#line 300 "parse.y" /* yacc.c:1646  */
     {
                        if ( scon_stk_ptr > 0 )
                                build_eof_action();
@@ -1724,29 +1754,29 @@ yyreduce:
                                        build_eof_action();
                                }
                        }
-#line 1728 "parse.c" /* yacc.c:1646  */
+#line 1734 "parse.c" /* yacc.c:1646  */
     break;
 
   case 30:
-#line 317 "parse.y" /* yacc.c:1646  */
+#line 323 "parse.y" /* yacc.c:1646  */
     { synerr( _("unrecognized rule") ); }
-#line 1734 "parse.c" /* yacc.c:1646  */
+#line 1740 "parse.c" /* yacc.c:1646  */
     break;
 
   case 31:
-#line 321 "parse.y" /* yacc.c:1646  */
+#line 327 "parse.y" /* yacc.c:1646  */
     { (yyval) = scon_stk_ptr; }
-#line 1740 "parse.c" /* yacc.c:1646  */
+#line 1746 "parse.c" /* yacc.c:1646  */
     break;
 
   case 32:
-#line 325 "parse.y" /* yacc.c:1646  */
+#line 331 "parse.y" /* yacc.c:1646  */
     { (yyval) = (yyvsp[-2]); }
-#line 1746 "parse.c" /* yacc.c:1646  */
+#line 1752 "parse.c" /* yacc.c:1646  */
     break;
 
   case 33:
-#line 328 "parse.y" /* yacc.c:1646  */
+#line 334 "parse.y" /* yacc.c:1646  */
     {
                        (yyval) = scon_stk_ptr;
 
@@ -1762,23 +1792,23 @@ yyreduce:
                                        scon_stk[++scon_stk_ptr] = i;
                                }
                        }
-#line 1766 "parse.c" /* yacc.c:1646  */
+#line 1772 "parse.c" /* yacc.c:1646  */
     break;
 
   case 34:
-#line 345 "parse.y" /* yacc.c:1646  */
+#line 351 "parse.y" /* yacc.c:1646  */
     { (yyval) = scon_stk_ptr; }
-#line 1772 "parse.c" /* yacc.c:1646  */
+#line 1778 "parse.c" /* yacc.c:1646  */
     break;
 
   case 37:
-#line 353 "parse.y" /* yacc.c:1646  */
+#line 359 "parse.y" /* yacc.c:1646  */
     { synerr( _("bad start condition list") ); }
-#line 1778 "parse.c" /* yacc.c:1646  */
+#line 1784 "parse.c" /* yacc.c:1646  */
     break;
 
   case 38:
-#line 357 "parse.y" /* yacc.c:1646  */
+#line 363 "parse.y" /* yacc.c:1646  */
     {
                        if ( (scnum = sclookup( nmstr )) == 0 )
                                format_pinpoint_message(
@@ -1799,11 +1829,11 @@ yyreduce:
                                        scon_stk[++scon_stk_ptr] = scnum;
                                }
                        }
-#line 1803 "parse.c" /* yacc.c:1646  */
+#line 1809 "parse.c" /* yacc.c:1646  */
     break;
 
   case 39:
-#line 380 "parse.y" /* yacc.c:1646  */
+#line 386 "parse.y" /* yacc.c:1646  */
     {
                        if ( transchar[lastst[(yyvsp[0])]] != SYM_EPSILON )
                                /* Provide final transition \now/ so it
@@ -1858,17 +1888,17 @@ yyreduce:
 
                        (yyval) = link_machines( (yyvsp[-1]), (yyvsp[0]) );
                        }
-#line 1862 "parse.c" /* yacc.c:1646  */
+#line 1868 "parse.c" /* yacc.c:1646  */
     break;
 
   case 40:
-#line 436 "parse.y" /* yacc.c:1646  */
+#line 442 "parse.y" /* yacc.c:1646  */
     { synerr( _("trailing context used twice") ); }
-#line 1868 "parse.c" /* yacc.c:1646  */
+#line 1874 "parse.c" /* yacc.c:1646  */
     break;
 
   case 41:
-#line 439 "parse.y" /* yacc.c:1646  */
+#line 445 "parse.y" /* yacc.c:1646  */
     {
                        headcnt = 0;
                        trailcnt = 1;
@@ -1910,11 +1940,11 @@ yyreduce:
                        (yyval) = link_machines( (yyvsp[-1]),
                                link_machines( eps, mkstate( '\n' ) ) );
                        }
-#line 1914 "parse.c" /* yacc.c:1646  */
+#line 1920 "parse.c" /* yacc.c:1646  */
     break;
 
   case 42:
-#line 482 "parse.y" /* yacc.c:1646  */
+#line 488 "parse.y" /* yacc.c:1646  */
     {
                        (yyval) = (yyvsp[0]);
 
@@ -1929,26 +1959,26 @@ yyreduce:
                                        trailcnt = rulelen;
                                }
                        }
-#line 1933 "parse.c" /* yacc.c:1646  */
+#line 1939 "parse.c" /* yacc.c:1646  */
     break;
 
   case 43:
-#line 500 "parse.y" /* yacc.c:1646  */
+#line 506 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
                        (yyval) = mkor( (yyvsp[-2]), (yyvsp[0]) );
                        }
-#line 1942 "parse.c" /* yacc.c:1646  */
+#line 1948 "parse.c" /* yacc.c:1646  */
     break;
 
   case 44:
-#line 506 "parse.y" /* yacc.c:1646  */
+#line 512 "parse.y" /* yacc.c:1646  */
     { (yyval) = (yyvsp[0]); }
-#line 1948 "parse.c" /* yacc.c:1646  */
+#line 1954 "parse.c" /* yacc.c:1646  */
     break;
 
   case 45:
-#line 511 "parse.y" /* yacc.c:1646  */
+#line 517 "parse.y" /* yacc.c:1646  */
     {
                        /* This rule is written separately so the
                         * reduction will occur before the trailing
@@ -1973,28 +2003,28 @@ yyreduce:
                        current_state_type = STATE_TRAILING_CONTEXT;
                        (yyval) = (yyvsp[-1]);
                        }
-#line 1977 "parse.c" /* yacc.c:1646  */
+#line 1983 "parse.c" /* yacc.c:1646  */
     break;
 
   case 46:
-#line 538 "parse.y" /* yacc.c:1646  */
+#line 544 "parse.y" /* yacc.c:1646  */
     {
                        /* This is where concatenation of adjacent patterns
                         * gets done.
                         */
                        (yyval) = link_machines( (yyvsp[-1]), (yyvsp[0]) );
                        }
-#line 1988 "parse.c" /* yacc.c:1646  */
+#line 1994 "parse.c" /* yacc.c:1646  */
     break;
 
   case 47:
-#line 546 "parse.y" /* yacc.c:1646  */
+#line 552 "parse.y" /* yacc.c:1646  */
     { (yyval) = (yyvsp[0]); }
-#line 1994 "parse.c" /* yacc.c:1646  */
+#line 2000 "parse.c" /* yacc.c:1646  */
     break;
 
   case 48:
-#line 549 "parse.y" /* yacc.c:1646  */
+#line 555 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
 
@@ -2021,11 +2051,11 @@ yyreduce:
                                        (yyval) = mkrep( (yyvsp[-5]), (yyvsp[-3]), (yyvsp[-1]) );
                                }
                        }
-#line 2025 "parse.c" /* yacc.c:1646  */
+#line 2031 "parse.c" /* yacc.c:1646  */
     break;
 
   case 49:
-#line 577 "parse.y" /* yacc.c:1646  */
+#line 583 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
 
@@ -2038,11 +2068,11 @@ yyreduce:
                        else
                                (yyval) = mkrep( (yyvsp[-4]), (yyvsp[-2]), INFINITE_REPEAT );
                        }
-#line 2042 "parse.c" /* yacc.c:1646  */
+#line 2048 "parse.c" /* yacc.c:1646  */
     break;
 
   case 50:
-#line 591 "parse.y" /* yacc.c:1646  */
+#line 597 "parse.y" /* yacc.c:1646  */
     {
                        /* The series could be something like "(foo)",
                         * in which case we have no idea what its length
@@ -2061,39 +2091,39 @@ yyreduce:
                                (yyval) = link_machines( (yyvsp[-3]),
                                                copysingl( (yyvsp[-3]), (yyvsp[-1]) - 1 ) );
                        }
-#line 2065 "parse.c" /* yacc.c:1646  */
+#line 2071 "parse.c" /* yacc.c:1646  */
     break;
 
   case 51:
-#line 613 "parse.y" /* yacc.c:1646  */
+#line 619 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
 
                        (yyval) = mkclos( (yyvsp[-1]) );
                        }
-#line 2075 "parse.c" /* yacc.c:1646  */
+#line 2081 "parse.c" /* yacc.c:1646  */
     break;
 
   case 52:
-#line 620 "parse.y" /* yacc.c:1646  */
+#line 626 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
                        (yyval) = mkposcl( (yyvsp[-1]) );
                        }
-#line 2084 "parse.c" /* yacc.c:1646  */
+#line 2090 "parse.c" /* yacc.c:1646  */
     break;
 
   case 53:
-#line 626 "parse.y" /* yacc.c:1646  */
+#line 632 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
                        (yyval) = mkopt( (yyvsp[-1]) );
                        }
-#line 2093 "parse.c" /* yacc.c:1646  */
+#line 2099 "parse.c" /* yacc.c:1646  */
     break;
 
   case 54:
-#line 632 "parse.y" /* yacc.c:1646  */
+#line 638 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
 
@@ -2120,11 +2150,11 @@ yyreduce:
                                        (yyval) = mkrep( (yyvsp[-5]), (yyvsp[-3]), (yyvsp[-1]) );
                                }
                        }
-#line 2124 "parse.c" /* yacc.c:1646  */
+#line 2130 "parse.c" /* yacc.c:1646  */
     break;
 
   case 55:
-#line 660 "parse.y" /* yacc.c:1646  */
+#line 666 "parse.y" /* yacc.c:1646  */
     {
                        varlength = true;
 
@@ -2137,11 +2167,11 @@ yyreduce:
                        else
                                (yyval) = mkrep( (yyvsp[-4]), (yyvsp[-2]), INFINITE_REPEAT );
                        }
-#line 2141 "parse.c" /* yacc.c:1646  */
+#line 2147 "parse.c" /* yacc.c:1646  */
     break;
 
   case 56:
-#line 674 "parse.y" /* yacc.c:1646  */
+#line 680 "parse.y" /* yacc.c:1646  */
     {
                        /* The singleton could be something like "(foo)",
                         * in which case we have no idea what its length
@@ -2159,11 +2189,11 @@ yyreduce:
                                (yyval) = link_machines( (yyvsp[-3]),
                                                copysingl( (yyvsp[-3]), (yyvsp[-1]) - 1 ) );
                        }
-#line 2163 "parse.c" /* yacc.c:1646  */
+#line 2169 "parse.c" /* yacc.c:1646  */
     break;
 
   case 57:
-#line 693 "parse.y" /* yacc.c:1646  */
+#line 699 "parse.y" /* yacc.c:1646  */
     {
                        if ( ! madeany )
                                {
@@ -2196,11 +2226,11 @@ yyreduce:
             else
                 (yyval) = mkstate( -ccldot );
                        }
-#line 2200 "parse.c" /* yacc.c:1646  */
+#line 2206 "parse.c" /* yacc.c:1646  */
     break;
 
   case 58:
-#line 727 "parse.y" /* yacc.c:1646  */
+#line 733 "parse.y" /* yacc.c:1646  */
     {
                                /* Sort characters for fast searching.
                                 */
@@ -2217,11 +2247,11 @@ yyreduce:
 
                        (yyval) = mkstate( -(yyvsp[0]) );
                        }
-#line 2221 "parse.c" /* yacc.c:1646  */
+#line 2227 "parse.c" /* yacc.c:1646  */
     break;
 
   case 59:
-#line 745 "parse.y" /* yacc.c:1646  */
+#line 751 "parse.y" /* yacc.c:1646  */
     {
                        ++rulelen;
 
@@ -2230,23 +2260,23 @@ yyreduce:
 
                        (yyval) = mkstate( -(yyvsp[0]) );
                        }
-#line 2234 "parse.c" /* yacc.c:1646  */
+#line 2240 "parse.c" /* yacc.c:1646  */
     break;
 
   case 60:
-#line 755 "parse.y" /* yacc.c:1646  */
+#line 761 "parse.y" /* yacc.c:1646  */
     { (yyval) = (yyvsp[-1]); }
-#line 2240 "parse.c" /* yacc.c:1646  */
+#line 2246 "parse.c" /* yacc.c:1646  */
     break;
 
   case 61:
-#line 758 "parse.y" /* yacc.c:1646  */
+#line 764 "parse.y" /* yacc.c:1646  */
     { (yyval) = (yyvsp[-1]); }
-#line 2246 "parse.c" /* yacc.c:1646  */
+#line 2252 "parse.c" /* yacc.c:1646  */
     break;
 
   case 62:
-#line 761 "parse.y" /* yacc.c:1646  */
+#line 767 "parse.y" /* yacc.c:1646  */
     {
                        ++rulelen;
 
@@ -2259,38 +2289,38 @@ yyreduce:
             else
                 (yyval) = mkstate( (yyvsp[0]) );
                        }
-#line 2263 "parse.c" /* yacc.c:1646  */
+#line 2269 "parse.c" /* yacc.c:1646  */
     break;
 
   case 63:
-#line 775 "parse.y" /* yacc.c:1646  */
+#line 781 "parse.y" /* yacc.c:1646  */
     { (yyval) = ccl_set_diff  ((yyvsp[-2]), (yyvsp[0])); }
-#line 2269 "parse.c" /* yacc.c:1646  */
+#line 2275 "parse.c" /* yacc.c:1646  */
     break;
 
   case 64:
-#line 776 "parse.y" /* yacc.c:1646  */
+#line 782 "parse.y" /* yacc.c:1646  */
     { (yyval) = ccl_set_union ((yyvsp[-2]), (yyvsp[0])); }
-#line 2275 "parse.c" /* yacc.c:1646  */
+#line 2281 "parse.c" /* yacc.c:1646  */
     break;
 
   case 66:
-#line 782 "parse.y" /* yacc.c:1646  */
+#line 788 "parse.y" /* yacc.c:1646  */
     { (yyval) = (yyvsp[-1]); }
-#line 2281 "parse.c" /* yacc.c:1646  */
+#line 2287 "parse.c" /* yacc.c:1646  */
     break;
 
   case 67:
-#line 785 "parse.y" /* yacc.c:1646  */
+#line 791 "parse.y" /* yacc.c:1646  */
     {
                        cclnegate( (yyvsp[-1]) );
                        (yyval) = (yyvsp[-1]);
                        }
-#line 2290 "parse.c" /* yacc.c:1646  */
+#line 2296 "parse.c" /* yacc.c:1646  */
     break;
 
   case 68:
-#line 792 "parse.y" /* yacc.c:1646  */
+#line 798 "parse.y" /* yacc.c:1646  */
     {
 
                        if (sf_case_ins())
@@ -2349,11 +2379,11 @@ yyreduce:
 
                        (yyval) = (yyvsp[-3]);
                        }
-#line 2353 "parse.c" /* yacc.c:1646  */
+#line 2359 "parse.c" /* yacc.c:1646  */
     break;
 
   case 69:
-#line 852 "parse.y" /* yacc.c:1646  */
+#line 858 "parse.y" /* yacc.c:1646  */
     {
                        ccladd( (yyvsp[-1]), (yyvsp[0]) );
                        cclsorted = cclsorted && ((yyvsp[0]) > lastchar);
@@ -2370,193 +2400,193 @@ yyreduce:
 
                        (yyval) = (yyvsp[-1]);
                        }
-#line 2374 "parse.c" /* yacc.c:1646  */
+#line 2380 "parse.c" /* yacc.c:1646  */
     break;
 
   case 70:
-#line 870 "parse.y" /* yacc.c:1646  */
+#line 876 "parse.y" /* yacc.c:1646  */
     {
                        /* Too hard to properly maintain cclsorted. */
                        cclsorted = false;
                        (yyval) = (yyvsp[-1]);
                        }
-#line 2384 "parse.c" /* yacc.c:1646  */
+#line 2390 "parse.c" /* yacc.c:1646  */
     break;
 
   case 71:
-#line 877 "parse.y" /* yacc.c:1646  */
+#line 883 "parse.y" /* yacc.c:1646  */
     {
                        cclsorted = true;
                        lastchar = 0;
                        currccl = (yyval) = cclinit();
                        }
-#line 2394 "parse.c" /* yacc.c:1646  */
+#line 2400 "parse.c" /* yacc.c:1646  */
     break;
 
   case 72:
-#line 885 "parse.y" /* yacc.c:1646  */
+#line 891 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(isalnum); }
-#line 2400 "parse.c" /* yacc.c:1646  */
+#line 2406 "parse.c" /* yacc.c:1646  */
     break;
 
   case 73:
-#line 886 "parse.y" /* yacc.c:1646  */
+#line 892 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(isalpha); }
-#line 2406 "parse.c" /* yacc.c:1646  */
+#line 2412 "parse.c" /* yacc.c:1646  */
     break;
 
   case 74:
-#line 887 "parse.y" /* yacc.c:1646  */
+#line 893 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(IS_BLANK); }
-#line 2412 "parse.c" /* yacc.c:1646  */
+#line 2418 "parse.c" /* yacc.c:1646  */
     break;
 
   case 75:
-#line 888 "parse.y" /* yacc.c:1646  */
+#line 894 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(iscntrl); }
-#line 2418 "parse.c" /* yacc.c:1646  */
+#line 2424 "parse.c" /* yacc.c:1646  */
     break;
 
   case 76:
-#line 889 "parse.y" /* yacc.c:1646  */
+#line 895 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(isdigit); }
-#line 2424 "parse.c" /* yacc.c:1646  */
+#line 2430 "parse.c" /* yacc.c:1646  */
     break;
 
   case 77:
-#line 890 "parse.y" /* yacc.c:1646  */
+#line 896 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(isgraph); }
-#line 2430 "parse.c" /* yacc.c:1646  */
+#line 2436 "parse.c" /* yacc.c:1646  */
     break;
 
   case 78:
-#line 891 "parse.y" /* yacc.c:1646  */
+#line 897 "parse.y" /* yacc.c:1646  */
     { 
                           CCL_EXPR(islower);
                           if (sf_case_ins())
                               CCL_EXPR(isupper);
                         }
-#line 2440 "parse.c" /* yacc.c:1646  */
+#line 2446 "parse.c" /* yacc.c:1646  */
     break;
 
   case 79:
-#line 896 "parse.y" /* yacc.c:1646  */
+#line 902 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(isprint); }
-#line 2446 "parse.c" /* yacc.c:1646  */
+#line 2452 "parse.c" /* yacc.c:1646  */
     break;
 
   case 80:
-#line 897 "parse.y" /* yacc.c:1646  */
+#line 903 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(ispunct); }
-#line 2452 "parse.c" /* yacc.c:1646  */
+#line 2458 "parse.c" /* yacc.c:1646  */
     break;
 
   case 81:
-#line 898 "parse.y" /* yacc.c:1646  */
+#line 904 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(isspace); }
-#line 2458 "parse.c" /* yacc.c:1646  */
+#line 2464 "parse.c" /* yacc.c:1646  */
     break;
 
   case 82:
-#line 899 "parse.y" /* yacc.c:1646  */
+#line 905 "parse.y" /* yacc.c:1646  */
     { CCL_EXPR(isxdigit); }
-#line 2464 "parse.c" /* yacc.c:1646  */
+#line 2470 "parse.c" /* yacc.c:1646  */
     break;
 
   case 83:
-#line 900 "parse.y" /* yacc.c:1646  */
+#line 906 "parse.y" /* yacc.c:1646  */
     {
                     CCL_EXPR(isupper);
                     if (sf_case_ins())
                         CCL_EXPR(islower);
                                }
-#line 2474 "parse.c" /* yacc.c:1646  */
+#line 2480 "parse.c" /* yacc.c:1646  */
     break;
 
   case 84:
-#line 906 "parse.y" /* yacc.c:1646  */
+#line 912 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(isalnum); }
-#line 2480 "parse.c" /* yacc.c:1646  */
+#line 2486 "parse.c" /* yacc.c:1646  */
     break;
 
   case 85:
-#line 907 "parse.y" /* yacc.c:1646  */
+#line 913 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(isalpha); }
-#line 2486 "parse.c" /* yacc.c:1646  */
+#line 2492 "parse.c" /* yacc.c:1646  */
     break;
 
   case 86:
-#line 908 "parse.y" /* yacc.c:1646  */
+#line 914 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(IS_BLANK); }
-#line 2492 "parse.c" /* yacc.c:1646  */
+#line 2498 "parse.c" /* yacc.c:1646  */
     break;
 
   case 87:
-#line 909 "parse.y" /* yacc.c:1646  */
+#line 915 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(iscntrl); }
-#line 2498 "parse.c" /* yacc.c:1646  */
+#line 2504 "parse.c" /* yacc.c:1646  */
     break;
 
   case 88:
-#line 910 "parse.y" /* yacc.c:1646  */
+#line 916 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(isdigit); }
-#line 2504 "parse.c" /* yacc.c:1646  */
+#line 2510 "parse.c" /* yacc.c:1646  */
     break;
 
   case 89:
-#line 911 "parse.y" /* yacc.c:1646  */
+#line 917 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(isgraph); }
-#line 2510 "parse.c" /* yacc.c:1646  */
+#line 2516 "parse.c" /* yacc.c:1646  */
     break;
 
   case 90:
-#line 912 "parse.y" /* yacc.c:1646  */
+#line 918 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(isprint); }
-#line 2516 "parse.c" /* yacc.c:1646  */
+#line 2522 "parse.c" /* yacc.c:1646  */
     break;
 
   case 91:
-#line 913 "parse.y" /* yacc.c:1646  */
+#line 919 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(ispunct); }
-#line 2522 "parse.c" /* yacc.c:1646  */
+#line 2528 "parse.c" /* yacc.c:1646  */
     break;
 
   case 92:
-#line 914 "parse.y" /* yacc.c:1646  */
+#line 920 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(isspace); }
-#line 2528 "parse.c" /* yacc.c:1646  */
+#line 2534 "parse.c" /* yacc.c:1646  */
     break;
 
   case 93:
-#line 915 "parse.y" /* yacc.c:1646  */
+#line 921 "parse.y" /* yacc.c:1646  */
     { CCL_NEG_EXPR(isxdigit); }
-#line 2534 "parse.c" /* yacc.c:1646  */
+#line 2540 "parse.c" /* yacc.c:1646  */
     break;
 
   case 94:
-#line 916 "parse.y" /* yacc.c:1646  */
+#line 922 "parse.y" /* yacc.c:1646  */
     { 
                                if ( sf_case_ins() )
                                        lwarn(_("[:^lower:] is ambiguous in case insensitive scanner"));
                                else
                                        CCL_NEG_EXPR(islower);
                                }
-#line 2545 "parse.c" /* yacc.c:1646  */
+#line 2551 "parse.c" /* yacc.c:1646  */
     break;
 
   case 95:
-#line 922 "parse.y" /* yacc.c:1646  */
+#line 928 "parse.y" /* yacc.c:1646  */
     {
                                if ( sf_case_ins() )
                                        lwarn(_("[:^upper:] ambiguous in case insensitive scanner"));
                                else
                                        CCL_NEG_EXPR(isupper);
                                }
-#line 2556 "parse.c" /* yacc.c:1646  */
+#line 2562 "parse.c" /* yacc.c:1646  */
     break;
 
   case 96:
-#line 931 "parse.y" /* yacc.c:1646  */
+#line 937 "parse.y" /* yacc.c:1646  */
     {
                        if ( (yyvsp[0]) == nlch )
                                rule_has_nl[num_rules] = true;
@@ -2570,19 +2600,35 @@ yyreduce:
 
                        (yyval) = link_machines( (yyvsp[-1]), (yyval));
                        }
-#line 2574 "parse.c" /* yacc.c:1646  */
+#line 2580 "parse.c" /* yacc.c:1646  */
     break;
 
   case 97:
-#line 946 "parse.y" /* yacc.c:1646  */
+#line 952 "parse.y" /* yacc.c:1646  */
     { (yyval) = mkstate( SYM_EPSILON ); }
-#line 2580 "parse.c" /* yacc.c:1646  */
+#line 2586 "parse.c" /* yacc.c:1646  */
     break;
 
 
-#line 2584 "parse.c" /* yacc.c:1646  */
+#line 2590 "parse.c" /* yacc.c:1646  */
       default: break;
     }
+ int i;
+ size_t j = 0;
+ for (i = piece2; i < piece3; ++i)
+  j += strlen(piece[i]);
+ char *q = malloc(j + 1);
+ j = 0;
+ for (i = piece2; i < piece3; ++i) {
+  size_t k = strlen(piece[i]);
+  memcpy(q + j, piece[i], k);
+  j += k;
+ }
+ q[j] = 0;
+ memmove(piece + piece2 + 1, piece + piece3, (piece1 - piece3) * sizeof(char *));
+ piece[piece2] = q;
+ piece0 += piece2 + 1 - piece3;
+ piece1 += piece2 + 1 - piece3;
   /* User semantic actions sometimes alter yychar, and that requires
      that yytoken be updated with the new translation.  We take the
      approach of translating immediately before every use of yytoken.
@@ -2808,7 +2854,7 @@ yyreturn:
 #endif
   return yyresult;
 }
-#line 949 "parse.y" /* yacc.c:1906  */
+#line 955 "parse.y" /* yacc.c:1906  */
 
 
 
diff --git a/src/parse.c.patch b/src/parse.c.patch
new file mode 100644 (file)
index 0000000..3334fe4
--- /dev/null
@@ -0,0 +1,63 @@
+--- parse.c.orig       2018-06-12 15:34:29.071320085 +1000
++++ parse.c    2018-06-12 15:41:06.839327876 +1000
+@@ -1245,6 +1245,19 @@
+ | yyparse.  |
+ `----------*/
++extern char *piece[];
++extern int piece0, piece1;
++int piece2, piece3;
++static void insert_piece(int n, const char *str) {
++ n += piece2;
++ memmove(piece + n + 1, piece + n, (piece1 - n) * sizeof(char *));
++ piece[n] = strdup(str);
++ ++piece0;
++ ++piece1;
++ ++piece3;
++}
++#define insert_before(n, str) insert_piece((n) * 2, str);
++#define insert_after(n, str) insert_piece((n) * 2 + 1, str);
+ int
+ yyparse (void)
+ {
+@@ -1465,6 +1478,17 @@
+ yyreduce:
+   /* yyn is the number of a rule to reduce with.  */
+   yylen = yyr2[yyn];
++ int n = ((int)(yyvsp - yyvsa) - yylen) * 2;
++ piece2 = n + 1;
++ piece3 = n + yylen * 2;
++ if (yylen == 0) {
++  memmove(piece + n + 2, piece + n, (piece1 - n) * sizeof(char *));
++  piece[n] = strdup("");
++  piece[n + 1] = strdup("");
++  piece3 = n + 2;
++  piece0 += 2;
++  piece1 += 2;
++ }
+   /* If YYLEN is nonzero, implement the default value of the action:
+      '$$ = $1'.
+@@ -2589,6 +2613,22 @@
+ #line 2590 "parse.c" /* yacc.c:1646  */
+       default: break;
+     }
++ int i;
++ size_t j = 0;
++ for (i = piece2; i < piece3; ++i)
++  j += strlen(piece[i]);
++ char *q = malloc(j + 1);
++ j = 0;
++ for (i = piece2; i < piece3; ++i) {
++  size_t k = strlen(piece[i]);
++  memcpy(q + j, piece[i], k);
++  j += k;
++ }
++ q[j] = 0;
++ memmove(piece + piece2 + 1, piece + piece3, (piece1 - piece3) * sizeof(char *));
++ piece[piece2] = q;
++ piece0 += piece2 + 1 - piece3;
++ piece1 += piece2 + 1 - piece3;
+   /* User semantic actions sometimes alter yychar, and that requires
+      that yytoken be updated with the new translation.  We take the
+      approach of translating immediately before every use of yytoken.
index 8d35287..68eaa56 100644 (file)
@@ -1,8 +1,8 @@
-/* A Bison parser, made by GNU Bison 3.0.4.  */
+/* A Bison parser, made by GNU Bison 3.0.2.  */
 
 /* Bison interface for Yacc-like parsers in C
 
-   Copyright (C) 1984, 1989-1990, 2000-2015 Free Software Foundation, Inc.
+   Copyright (C) 1984, 1989-1990, 2000-2013 Free Software Foundation, Inc.
 
    This program is free software: you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
index 5a07320..cf81a53 100644 (file)
@@ -141,6 +141,12 @@ goal               :  initlex sect1 sect1end sect2 initforrule
                                add_action( "ECHO" );
 
                        add_action( ";\n\tYY_BREAK]]\n" );
+ insert_after(4, "</Document>");
+ insert_after(3, "</Sect2>");
+ insert_before(3, "<Sect2>");
+ insert_after(1, "</Sect1>");
+ insert_before(1, "<Sect1>");
+ insert_before(0, "<Document>");
                        }
                ;
 
index c14881e..1a5b065 100644 (file)
 
 /* end standard C headers. */
 
+char piece_temp[100];
+char *piece[10000];
+int piece0;
+int piece1;
+
 /* flex integer type definitions */
 
 #ifndef FLEXINT_H
@@ -186,9 +191,14 @@ extern FILE *yyin, *yyout;
        while ( 0 )
 
 #if 1
+#define flush() \
+ do { \
+  piece_esc(yytext, yy_c_buf_p - yytext); \
+  yytext = yy_c_buf_p; \
+ } while (0)
 #define unput(c) \
  do { \
-  dump(yytext, yy_c_buf_p - yytext, stderr); \
+  piece_esc(yytext, yy_c_buf_p - yytext); \
   yyunput(c, (yytext_ptr)); \
   yytext = yy_c_buf_p; \
  } while (0)
@@ -1983,16 +1993,15 @@ extern const char *escaped_qstart, *escaped_qend;
     add_action(M4QSTART); \
     yy_push_state(CODEBLOCK); \
     if ((indented_code = x)) ACTION_ECHO; \
- dump(yytext, yy_c_buf_p - yytext, stderr); \
- yytext = yy_c_buf_p; \
- fprintf(stderr, "<CodeBlock>"); \
+ flush(); \
+ piece[piece1++] = strdup("<CodeBlock>"); \
 } while(0)
 
 #define END_CODEBLOCK do { \
     yy_pop_state();\
     add_action(M4QEND); \
     if (!indented_code) line_directive_out(NULL, 0);\
fprintf(stderr, "</CodeBlock>"); \
piece[piece1++] = strdup("</CodeBlock>"); \
 } while (0)
 
 
@@ -2004,7 +2013,7 @@ extern const char *escaped_qstart, *escaped_qend;
 
 
 
-#line 1999 "scan.c"
+#line 1998 "scan.c"
 
 #define INITIAL 0
 #define SECT2 1
@@ -2223,37 +2232,79 @@ extern int yylex (void);
 /** The main scanner function which does all the work.
  */
 static int real_yylex();
-static void dump(const char *p, size_t n, FILE *stream) {
- size_t i;
+static void piece_esc(const char *p, size_t n) {
+ size_t i, j = 0;
+ for (i = 0; i < n; ++i)
+  switch (p[i]) {
+  case '<':
+  case '>':
+   j += 4;
+   break;
+  case '&':
+   j += 5;
+   break;
+  default:
+   ++j;
+   break;
+  }
+ char *q = malloc(j + 1);
+ j = 0;
  for (i = 0; i < n; ++i)
   switch (p[i]) {
   case '<':
-   fputs("&lt;", stream);
+   memcpy(q + j, "&lt;", 4);
+   j += 4;
    break;
   case '>':
-   fputs("&gt;", stream);
+   memcpy(q + j, "&gt;", 4);
+   j += 4;
    break;
   case '&':
-   fputs("&amp;", stream);
+   memcpy(q + j, "&amp;", 5);
+   j += 5;
    break;
   default:
-   fputc(p[i], stream);
+   q[j++] = p[i];
    break;
   }
+ q[j] = 0;
+ piece[piece1++] = q;
 }
- YY_DECL
- {
+static void piece_pack() {
+ int i;
+ size_t j = 0;
+ for (i = piece0; i < piece1; ++i)
+  j += strlen(piece[i]);
+ char *q = malloc(j + 1);
+ j = 0;
+ for (i = piece0; i < piece1; ++i) {
+  int k = strlen(piece[i]);
+  memcpy(q + j, piece[i], k);
+  j += k;
+ }
+ q[j] = 0;
+ piece[piece0++] = q;
+ piece1 = piece0;
+}
+YY_DECL
+{
  int result = real_yylex();
  if (result < 0)
   return ~result;
+ piece_pack();
  size_t n = strlen(yytext);
  if (n) {
-  fprintf(stderr, "<token value=\"%d\">", result);
-  dump(yytext, n, stderr);
-  fputs("</token>", stderr);
+  sprintf(piece_temp, "<token value=\"%d\">", result);
+  piece[piece1++] = strdup(piece_temp);
+  piece_esc(yytext, n);
+  piece[piece1++] = strdup("</token>");
+  piece_pack();
+ }
+ else {
+  sprintf(piece_temp, "<token value=\"%d\" />", result);
+  piece[piece0++] = strdup(piece_temp);
+  piece1 = piece0;
  }
- else
-  fprintf(stderr, "<token value=\"%d\" />", result);
  return result;
 }
 static int real_yylex()
@@ -2262,7 +2313,7 @@ static int real_yylex()
        register char *yy_cp, *yy_bp;
        register int yy_act;
     
-#line 162 "scan.l"
+#line 161 "scan.l"
 
        static int bracelevel, didadef, indented_code;
        static int doing_rule_action = false;
@@ -2273,7 +2324,7 @@ static int real_yylex()
        char nmdef[MAXLINE];
 
 
-#line 2234 "scan.c"
+#line 2233 "scan.c"
 
        if ( !(yy_init) )
                {
@@ -2365,39 +2416,39 @@ do_action:      /* This label is used only to access EOF actions. */
 
 case 1:
 YY_RULE_SETUP
-#line 173 "scan.l"
+#line 172 "scan.l"
 START_CODEBLOCK(true);
        YY_BREAK
 case 2:
 YY_RULE_SETUP
-#line 174 "scan.l"
+#line 173 "scan.l"
 add_action("/*[""["); yy_push_state( COMMENT );
        YY_BREAK
 case 3:
 YY_RULE_SETUP
-#line 175 "scan.l"
+#line 174 "scan.l"
 yy_push_state( LINEDIR );
        YY_BREAK
 case 4:
 YY_RULE_SETUP
-#line 176 "scan.l"
+#line 175 "scan.l"
 return SCDECL;
        YY_BREAK
 case 5:
 YY_RULE_SETUP
-#line 177 "scan.l"
+#line 176 "scan.l"
 return XSCDECL;
        YY_BREAK
 case 6:
 /* rule 6 can match eol */
 YY_RULE_SETUP
-#line 178 "scan.l"
+#line 177 "scan.l"
 START_CODEBLOCK(false);
        YY_BREAK
 case 7:
 /* rule 7 can match eol */
 YY_RULE_SETUP
-#line 179 "scan.l"
+#line 178 "scan.l"
 {
                 brace_start_line = linenum;
                 ++linenum;
@@ -2408,17 +2459,17 @@ YY_RULE_SETUP
        YY_BREAK
 case 8:
 YY_RULE_SETUP
-#line 187 "scan.l"
+#line 186 "scan.l"
 synerr( _("malformed '%top' directive") );
        YY_BREAK
 case 9:
 YY_RULE_SETUP
-#line 189 "scan.l"
+#line 188 "scan.l"
 /* discard */
        YY_BREAK
 case 10:
 YY_RULE_SETUP
-#line 191 "scan.l"
+#line 190 "scan.l"
 {
                        sectnum = 2;
                        bracelevel = 0;
@@ -2431,42 +2482,42 @@ YY_RULE_SETUP
 case 11:
 /* rule 11 can match eol */
 YY_RULE_SETUP
-#line 200 "scan.l"
+#line 199 "scan.l"
 yytext_is_array = false; ++linenum;
        YY_BREAK
 case 12:
 /* rule 12 can match eol */
 YY_RULE_SETUP
-#line 201 "scan.l"
+#line 200 "scan.l"
 yytext_is_array = true; ++linenum;
        YY_BREAK
 case 13:
 YY_RULE_SETUP
-#line 203 "scan.l"
+#line 202 "scan.l"
 BEGIN(OPTION); return TOK_OPTION;
        YY_BREAK
 case 14:
 /* rule 14 can match eol */
 YY_RULE_SETUP
-#line 205 "scan.l"
+#line 204 "scan.l"
 ++linenum; /* ignore */
        YY_BREAK
 case 15:
 /* rule 15 can match eol */
 YY_RULE_SETUP
-#line 206 "scan.l"
+#line 205 "scan.l"
 ++linenum;     /* ignore */
        YY_BREAK
 /* xgettext: no-c-format */
 case 16:
 /* rule 16 can match eol */
 YY_RULE_SETUP
-#line 209 "scan.l"
+#line 208 "scan.l"
 synerr( _( "unrecognized '%' directive" ) );
        YY_BREAK
 case 17:
 YY_RULE_SETUP
-#line 211 "scan.l"
+#line 210 "scan.l"
 {
                        if(yyleng < MAXLINE)
                         {
@@ -2484,51 +2535,51 @@ YY_RULE_SETUP
        YY_BREAK
 case 18:
 YY_RULE_SETUP
-#line 226 "scan.l"
+#line 225 "scan.l"
 RETURNNAME;
        YY_BREAK
 case 19:
 /* rule 19 can match eol */
 YY_RULE_SETUP
-#line 227 "scan.l"
+#line 226 "scan.l"
 ++linenum; /* allows blank lines in section 1 */
        YY_BREAK
 case 20:
 /* rule 20 can match eol */
 YY_RULE_SETUP
-#line 228 "scan.l"
+#line 227 "scan.l"
 ACTION_ECHO; ++linenum; /* maybe end of comment line */
        YY_BREAK
 
 /* */
 case 21:
 YY_RULE_SETUP
-#line 233 "scan.l"
+#line 232 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 22:
 YY_RULE_SETUP
-#line 234 "scan.l"
+#line 233 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 23:
 /* rule 23 can match eol */
 YY_RULE_SETUP
-#line 236 "scan.l"
+#line 235 "scan.l"
 ++linenum; ACTION_ECHO;
        YY_BREAK
 
 
 case 24:
 YY_RULE_SETUP
-#line 239 "scan.l"
+#line 238 "scan.l"
 add_action("*/]""]"); yy_pop_state();
        YY_BREAK
 
 
 case 25:
 YY_RULE_SETUP
-#line 242 "scan.l"
+#line 241 "scan.l"
 ACTION_ECHO; yy_pop_state();
        YY_BREAK
 
@@ -2536,41 +2587,41 @@ ACTION_ECHO; yy_pop_state();
 /* This is the same as COMMENT, but is discarded rather than output. */
 case 26:
 YY_RULE_SETUP
-#line 247 "scan.l"
+#line 246 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 27:
 YY_RULE_SETUP
-#line 248 "scan.l"
+#line 247 "scan.l"
 ;
        YY_BREAK
 case 28:
 YY_RULE_SETUP
-#line 249 "scan.l"
+#line 248 "scan.l"
 ;
        YY_BREAK
 case 29:
 /* rule 29 can match eol */
 YY_RULE_SETUP
-#line 250 "scan.l"
+#line 249 "scan.l"
 ++linenum;
        YY_BREAK
 
 
 case 30:
 YY_RULE_SETUP
-#line 254 "scan.l"
+#line 253 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 31:
 YY_RULE_SETUP
-#line 255 "scan.l"
+#line 254 "scan.l"
 ;
        YY_BREAK
 case 32:
 /* rule 32 can match eol */
 YY_RULE_SETUP
-#line 256 "scan.l"
+#line 255 "scan.l"
 ++linenum;
        YY_BREAK
 
@@ -2578,17 +2629,17 @@ YY_RULE_SETUP
 case 33:
 /* rule 33 can match eol */
 YY_RULE_SETUP
-#line 260 "scan.l"
+#line 259 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 34:
 YY_RULE_SETUP
-#line 261 "scan.l"
+#line 260 "scan.l"
 linenum = myctoi( yytext );
        YY_BREAK
 case 35:
 YY_RULE_SETUP
-#line 263 "scan.l"
+#line 262 "scan.l"
 {
                        free(infilename);
                        infilename = xstrdup(yytext + 1);
@@ -2597,19 +2648,19 @@ YY_RULE_SETUP
        YY_BREAK
 case 36:
 YY_RULE_SETUP
-#line 268 "scan.l"
+#line 267 "scan.l"
 /* ignore spurious characters */
        YY_BREAK
 
 
 case 37:
 YY_RULE_SETUP
-#line 271 "scan.l"
+#line 270 "scan.l"
 ACTION_ECHO_QSTART;
        YY_BREAK
 case 38:
 YY_RULE_SETUP
-#line 272 "scan.l"
+#line 271 "scan.l"
 ACTION_ECHO_QEND;
        YY_BREAK
 
@@ -2617,34 +2668,34 @@ ACTION_ECHO_QEND;
 case 39:
 /* rule 39 can match eol */
 YY_RULE_SETUP
-#line 276 "scan.l"
+#line 275 "scan.l"
 ++linenum; END_CODEBLOCK;
        YY_BREAK
 case 40:
 YY_RULE_SETUP
-#line 277 "scan.l"
+#line 276 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 41:
 YY_RULE_SETUP
-#line 278 "scan.l"
+#line 277 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 42:
 /* rule 42 can match eol */
 YY_RULE_SETUP
-#line 279 "scan.l"
+#line 278 "scan.l"
 {
                        ++linenum;
                        ACTION_ECHO;
-                       if ( indented_code ) { dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; END_CODEBLOCK; }
+                       if ( indented_code ) { flush(); END_CODEBLOCK; }
                        }
        YY_BREAK
 
 
 case 43:
 YY_RULE_SETUP
-#line 287 "scan.l"
+#line 286 "scan.l"
 {
                 if( --brace_depth == 0){
                     /* TODO: Matched. */
@@ -2655,7 +2706,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 44:
 YY_RULE_SETUP
-#line 295 "scan.l"
+#line 294 "scan.l"
 {
                 brace_depth++;
                 buf_strnappend(&top_buf, yytext, yyleng);
@@ -2664,7 +2715,7 @@ YY_RULE_SETUP
 case 45:
 /* rule 45 can match eol */
 YY_RULE_SETUP
-#line 300 "scan.l"
+#line 299 "scan.l"
 {
                 ++linenum;
                 buf_strnappend(&top_buf, yytext, yyleng);
@@ -2672,23 +2723,23 @@ YY_RULE_SETUP
        YY_BREAK
 case 46:
 YY_RULE_SETUP
-#line 305 "scan.l"
+#line 304 "scan.l"
 buf_strnappend(&top_buf, escaped_qstart, (int) strlen(escaped_qstart));
        YY_BREAK
 case 47:
 YY_RULE_SETUP
-#line 306 "scan.l"
+#line 305 "scan.l"
 buf_strnappend(&top_buf, escaped_qend, (int) strlen(escaped_qend));
        YY_BREAK
 case 48:
 YY_RULE_SETUP
-#line 307 "scan.l"
+#line 306 "scan.l"
 {
        buf_strnappend(&top_buf, yytext, yyleng);
     }
        YY_BREAK
 case YY_STATE_EOF(CODEBLOCK_MATCH_BRACE):
-#line 311 "scan.l"
+#line 310 "scan.l"
 {
                 linenum = brace_start_line;
                 synerr(_("Unmatched '{'"));
@@ -2699,12 +2750,12 @@ case YY_STATE_EOF(CODEBLOCK_MATCH_BRACE):
 
 case 49:
 YY_RULE_SETUP
-#line 320 "scan.l"
+#line 319 "scan.l"
 /* separates name and definition */
        YY_BREAK
 case 50:
 YY_RULE_SETUP
-#line 322 "scan.l"
+#line 321 "scan.l"
 {
                        if(yyleng < MAXLINE)
                         {
@@ -2730,7 +2781,7 @@ YY_RULE_SETUP
 case 51:
 /* rule 51 can match eol */
 YY_RULE_SETUP
-#line 344 "scan.l"
+#line 343 "scan.l"
 {
                        if ( ! didadef )
                                synerr( _( "incomplete name definition" ) );
@@ -2743,42 +2794,42 @@ YY_RULE_SETUP
 case 52:
 /* rule 52 can match eol */
 YY_RULE_SETUP
-#line 354 "scan.l"
+#line 353 "scan.l"
 ++linenum; BEGIN(INITIAL);
        YY_BREAK
 case 53:
 YY_RULE_SETUP
-#line 355 "scan.l"
+#line 354 "scan.l"
 option_sense = true;
        YY_BREAK
 case 54:
 YY_RULE_SETUP
-#line 357 "scan.l"
+#line 356 "scan.l"
 return '=';
        YY_BREAK
 case 55:
 YY_RULE_SETUP
-#line 359 "scan.l"
+#line 358 "scan.l"
 option_sense = ! option_sense;
        YY_BREAK
 case 56:
 YY_RULE_SETUP
-#line 361 "scan.l"
+#line 360 "scan.l"
 csize = option_sense ? 128 : 256;
        YY_BREAK
 case 57:
 YY_RULE_SETUP
-#line 362 "scan.l"
+#line 361 "scan.l"
 csize = option_sense ? 256 : 128;
        YY_BREAK
 case 58:
 YY_RULE_SETUP
-#line 364 "scan.l"
+#line 363 "scan.l"
 long_align = option_sense;
        YY_BREAK
 case 59:
 YY_RULE_SETUP
-#line 365 "scan.l"
+#line 364 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_ALWAYS_INTERACTIVE", option_sense );
             interactive = option_sense;
@@ -2786,64 +2837,64 @@ YY_RULE_SETUP
        YY_BREAK
 case 60:
 YY_RULE_SETUP
-#line 369 "scan.l"
+#line 368 "scan.l"
 yytext_is_array = option_sense;
        YY_BREAK
 case 61:
 YY_RULE_SETUP
-#line 370 "scan.l"
+#line 369 "scan.l"
 backing_up_report = option_sense;
        YY_BREAK
 case 62:
 YY_RULE_SETUP
-#line 371 "scan.l"
+#line 370 "scan.l"
 interactive = ! option_sense;
        YY_BREAK
 case 63:
 YY_RULE_SETUP
-#line 372 "scan.l"
+#line 371 "scan.l"
 bison_bridge_lval = option_sense;
        YY_BREAK
 case 64:
 YY_RULE_SETUP
-#line 373 "scan.l"
+#line 372 "scan.l"
 { if((bison_bridge_lloc = option_sense))
                             bison_bridge_lval = true;
                      }
        YY_BREAK
 case 65:
 YY_RULE_SETUP
-#line 376 "scan.l"
+#line 375 "scan.l"
 C_plus_plus = option_sense;
        YY_BREAK
 case 66:
 YY_RULE_SETUP
-#line 377 "scan.l"
+#line 376 "scan.l"
 sf_set_case_ins(!option_sense);
        YY_BREAK
 case 67:
 YY_RULE_SETUP
-#line 378 "scan.l"
+#line 377 "scan.l"
 sf_set_case_ins(option_sense);
        YY_BREAK
 case 68:
 YY_RULE_SETUP
-#line 379 "scan.l"
+#line 378 "scan.l"
 ddebug = option_sense;
        YY_BREAK
 case 69:
 YY_RULE_SETUP
-#line 380 "scan.l"
+#line 379 "scan.l"
 spprdflt = ! option_sense;
        YY_BREAK
 case 70:
 YY_RULE_SETUP
-#line 381 "scan.l"
+#line 380 "scan.l"
 useecs = option_sense;
        YY_BREAK
 case 71:
 YY_RULE_SETUP
-#line 382 "scan.l"
+#line 381 "scan.l"
 {
                        useecs = usemecs = false;
                        use_read = fullspd = true;
@@ -2851,7 +2902,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 72:
 YY_RULE_SETUP
-#line 386 "scan.l"
+#line 385 "scan.l"
 {
                        useecs = usemecs = false;
                        use_read = fulltbl = true;
@@ -2859,32 +2910,32 @@ YY_RULE_SETUP
        YY_BREAK
 case 73:
 YY_RULE_SETUP
-#line 390 "scan.l"
+#line 389 "scan.l"
 ACTION_IFDEF("YY_NO_INPUT", ! option_sense);
        YY_BREAK
 case 74:
 YY_RULE_SETUP
-#line 391 "scan.l"
+#line 390 "scan.l"
 interactive = option_sense;
        YY_BREAK
 case 75:
 YY_RULE_SETUP
-#line 392 "scan.l"
+#line 391 "scan.l"
 lex_compat = option_sense;
        YY_BREAK
 case 76:
 YY_RULE_SETUP
-#line 393 "scan.l"
+#line 392 "scan.l"
 posix_compat = option_sense;
        YY_BREAK
 case 77:
 YY_RULE_SETUP
-#line 394 "scan.l"
+#line 393 "scan.l"
 gen_line_dirs = option_sense;
        YY_BREAK
 case 78:
 YY_RULE_SETUP
-#line 395 "scan.l"
+#line 394 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_MAIN", option_sense);
             /* Override yywrap */
@@ -2894,12 +2945,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 79:
 YY_RULE_SETUP
-#line 401 "scan.l"
+#line 400 "scan.l"
 usemecs = option_sense;
        YY_BREAK
 case 80:
 YY_RULE_SETUP
-#line 402 "scan.l"
+#line 401 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_NEVER_INTERACTIVE", option_sense );
             interactive = !option_sense;
@@ -2907,237 +2958,237 @@ YY_RULE_SETUP
        YY_BREAK
 case 81:
 YY_RULE_SETUP
-#line 406 "scan.l"
+#line 405 "scan.l"
 performance_report += option_sense ? 1 : -1;
        YY_BREAK
 case 82:
 YY_RULE_SETUP
-#line 407 "scan.l"
+#line 406 "scan.l"
 yytext_is_array = ! option_sense;
        YY_BREAK
 case 83:
 YY_RULE_SETUP
-#line 408 "scan.l"
+#line 407 "scan.l"
 use_read = option_sense;
        YY_BREAK
 case 84:
 YY_RULE_SETUP
-#line 409 "scan.l"
+#line 408 "scan.l"
 reentrant = option_sense;
        YY_BREAK
 case 85:
 YY_RULE_SETUP
-#line 410 "scan.l"
+#line 409 "scan.l"
 reject_really_used = option_sense;
        YY_BREAK
 case 86:
 YY_RULE_SETUP
-#line 411 "scan.l"
+#line 410 "scan.l"
 ACTION_M4_IFDEF( "M4""_YY_STACK_USED", option_sense );
        YY_BREAK
 case 87:
 YY_RULE_SETUP
-#line 412 "scan.l"
+#line 411 "scan.l"
 do_stdinit = option_sense;
        YY_BREAK
 case 88:
 YY_RULE_SETUP
-#line 413 "scan.l"
+#line 412 "scan.l"
 use_stdout = option_sense;
        YY_BREAK
 case 89:
 YY_RULE_SETUP
-#line 414 "scan.l"
+#line 413 "scan.l"
 ACTION_IFDEF("YY_NO_UNISTD_H", ! option_sense);
        YY_BREAK
 case 90:
 YY_RULE_SETUP
-#line 415 "scan.l"
+#line 414 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_UNPUT", ! option_sense);
        YY_BREAK
 case 91:
 YY_RULE_SETUP
-#line 416 "scan.l"
+#line 415 "scan.l"
 printstats = option_sense;
        YY_BREAK
 case 92:
 YY_RULE_SETUP
-#line 417 "scan.l"
+#line 416 "scan.l"
 nowarn = ! option_sense;
        YY_BREAK
 case 93:
 YY_RULE_SETUP
-#line 418 "scan.l"
+#line 417 "scan.l"
 do_yylineno = option_sense; ACTION_M4_IFDEF("M4""_YY_USE_LINENO", option_sense);
        YY_BREAK
 case 94:
 YY_RULE_SETUP
-#line 419 "scan.l"
+#line 418 "scan.l"
 yymore_really_used = option_sense;
        YY_BREAK
 case 95:
 YY_RULE_SETUP
-#line 420 "scan.l"
+#line 419 "scan.l"
 do_yywrap = option_sense;
        YY_BREAK
 case 96:
 YY_RULE_SETUP
-#line 422 "scan.l"
+#line 421 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_PUSH_STATE", ! option_sense);
        YY_BREAK
 case 97:
 YY_RULE_SETUP
-#line 423 "scan.l"
+#line 422 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_POP_STATE", ! option_sense);
        YY_BREAK
 case 98:
 YY_RULE_SETUP
-#line 424 "scan.l"
+#line 423 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_TOP_STATE", ! option_sense);
        YY_BREAK
 case 99:
 YY_RULE_SETUP
-#line 426 "scan.l"
+#line 425 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_BUFFER", ! option_sense);
        YY_BREAK
 case 100:
 YY_RULE_SETUP
-#line 427 "scan.l"
+#line 426 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_BYTES", ! option_sense);
        YY_BREAK
 case 101:
 YY_RULE_SETUP
-#line 428 "scan.l"
+#line 427 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_STRING", ! option_sense);
        YY_BREAK
 case 102:
 YY_RULE_SETUP
-#line 430 "scan.l"
+#line 429 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_ALLOC", ! option_sense);
        YY_BREAK
 case 103:
 YY_RULE_SETUP
-#line 431 "scan.l"
+#line 430 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_REALLOC", ! option_sense);
        YY_BREAK
 case 104:
 YY_RULE_SETUP
-#line 432 "scan.l"
+#line 431 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_FREE", ! option_sense);
        YY_BREAK
 case 105:
 YY_RULE_SETUP
-#line 434 "scan.l"
+#line 433 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_DEBUG", ! option_sense);
        YY_BREAK
 case 106:
 YY_RULE_SETUP
-#line 435 "scan.l"
+#line 434 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_DEBUG", ! option_sense);
        YY_BREAK
 case 107:
 YY_RULE_SETUP
-#line 436 "scan.l"
+#line 435 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_EXTRA", ! option_sense);
        YY_BREAK
 case 108:
 YY_RULE_SETUP
-#line 437 "scan.l"
+#line 436 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_EXTRA", ! option_sense);
        YY_BREAK
 case 109:
 YY_RULE_SETUP
-#line 438 "scan.l"
+#line 437 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LENG", ! option_sense);
        YY_BREAK
 case 110:
 YY_RULE_SETUP
-#line 439 "scan.l"
+#line 438 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_TEXT", ! option_sense);
        YY_BREAK
 case 111:
 YY_RULE_SETUP
-#line 440 "scan.l"
+#line 439 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LINENO", ! option_sense);
        YY_BREAK
 case 112:
 YY_RULE_SETUP
-#line 441 "scan.l"
+#line 440 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LINENO", ! option_sense);
        YY_BREAK
 case 113:
 YY_RULE_SETUP
-#line 442 "scan.l"
+#line 441 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_IN", ! option_sense);
        YY_BREAK
 case 114:
 YY_RULE_SETUP
-#line 443 "scan.l"
+#line 442 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_IN", ! option_sense);
        YY_BREAK
 case 115:
 YY_RULE_SETUP
-#line 444 "scan.l"
+#line 443 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_OUT", ! option_sense);
        YY_BREAK
 case 116:
 YY_RULE_SETUP
-#line 445 "scan.l"
+#line 444 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_OUT", ! option_sense);
        YY_BREAK
 case 117:
 YY_RULE_SETUP
-#line 446 "scan.l"
+#line 445 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LVAL", ! option_sense);
        YY_BREAK
 case 118:
 YY_RULE_SETUP
-#line 447 "scan.l"
+#line 446 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LVAL", ! option_sense);
        YY_BREAK
 case 119:
 YY_RULE_SETUP
-#line 448 "scan.l"
+#line 447 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LLOC", ! option_sense);
        YY_BREAK
 case 120:
 YY_RULE_SETUP
-#line 449 "scan.l"
+#line 448 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LLOC", ! option_sense);
        YY_BREAK
 case 121:
 YY_RULE_SETUP
-#line 451 "scan.l"
+#line 450 "scan.l"
 return TOK_EXTRA_TYPE;
        YY_BREAK
 case 122:
 YY_RULE_SETUP
-#line 452 "scan.l"
+#line 451 "scan.l"
 return TOK_OUTFILE;
        YY_BREAK
 case 123:
 YY_RULE_SETUP
-#line 453 "scan.l"
+#line 452 "scan.l"
 return TOK_PREFIX;
        YY_BREAK
 case 124:
 YY_RULE_SETUP
-#line 454 "scan.l"
+#line 453 "scan.l"
 return TOK_YYCLASS;
        YY_BREAK
 case 125:
 YY_RULE_SETUP
-#line 455 "scan.l"
+#line 454 "scan.l"
 return TOK_HEADER_FILE;
        YY_BREAK
 case 126:
 YY_RULE_SETUP
-#line 456 "scan.l"
+#line 455 "scan.l"
 return TOK_TABLES_FILE;
        YY_BREAK
 case 127:
 YY_RULE_SETUP
-#line 457 "scan.l"
+#line 456 "scan.l"
 {
                     tablesverify = option_sense;
                     if(!tablesext && option_sense)
@@ -3146,7 +3197,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 128:
 YY_RULE_SETUP
-#line 464 "scan.l"
+#line 463 "scan.l"
 {
                        if(yyleng-1 < MAXLINE)
                         {
@@ -3163,7 +3214,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 129:
 YY_RULE_SETUP
-#line 478 "scan.l"
+#line 477 "scan.l"
 {
                        format_synerr( _( "unrecognized %%option: %s" ),
                                yytext );
@@ -3174,28 +3225,28 @@ YY_RULE_SETUP
 case 130:
 /* rule 130 can match eol */
 YY_RULE_SETUP
-#line 485 "scan.l"
+#line 484 "scan.l"
 ++linenum; BEGIN(INITIAL);
        YY_BREAK
 
 case 131:
 YY_RULE_SETUP
-#line 489 "scan.l"
+#line 488 "scan.l"
 ++bracelevel; yyless( 2 );     /* eat only %{ */
        YY_BREAK
 case 132:
 YY_RULE_SETUP
-#line 490 "scan.l"
+#line 489 "scan.l"
 --bracelevel; yyless( 2 );     /* eat only %} */
        YY_BREAK
 case 133:
 YY_RULE_SETUP
-#line 492 "scan.l"
+#line 491 "scan.l"
 START_CODEBLOCK(true); /* indented code in prolog */
        YY_BREAK
 case 134:
 YY_RULE_SETUP
-#line 494 "scan.l"
+#line 493 "scan.l"
 {
         /* non-indented code */
                if ( bracelevel <= 0 ) {
@@ -3211,17 +3262,17 @@ YY_RULE_SETUP
        YY_BREAK
 case 135:
 YY_RULE_SETUP
-#line 507 "scan.l"
+#line 506 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 136:
 /* rule 136 can match eol */
 YY_RULE_SETUP
-#line 508 "scan.l"
+#line 507 "scan.l"
 ++linenum; ACTION_ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT2PROLOG):
-#line 510 "scan.l"
+#line 509 "scan.l"
 {
                        mark_prolog();
                        sectnum = 0;
@@ -3233,25 +3284,24 @@ case YY_STATE_EOF(SECT2PROLOG):
 case 137:
 /* rule 137 can match eol */
 YY_RULE_SETUP
-#line 518 "scan.l"
+#line 517 "scan.l"
 ++linenum; /* allow blank lines in section 2 */
        YY_BREAK
 case 138:
 YY_RULE_SETUP
-#line 520 "scan.l"
+#line 519 "scan.l"
 {
                        indented_code = false;
                        doing_codeblock = true;
                        bracelevel = 1;
                        BEGIN(PERCENT_BRACE_ACTION);
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<PercentBraceAction>");
+ flush();
+ piece[piece1++] = strdup("<PercentBraceAction>");
                        }
        YY_BREAK
 case 139:
 YY_RULE_SETUP
-#line 530 "scan.l"
+#line 528 "scan.l"
 {
                         /* Allow "<" to appear in (?x) patterns. */
                         if (!sf_skip_ws())
@@ -3261,12 +3311,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 140:
 YY_RULE_SETUP
-#line 536 "scan.l"
+#line 534 "scan.l"
 return '^';
        YY_BREAK
 case 141:
 YY_RULE_SETUP
-#line 537 "scan.l"
+#line 535 "scan.l"
 BEGIN(QUOTE); return '"';
        YY_BREAK
 case 142:
@@ -3274,7 +3324,7 @@ case 142:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 538 "scan.l"
+#line 536 "scan.l"
 {
                        BEGIN(NUM);
                        if ( lex_compat || posix_compat )
@@ -3289,12 +3339,12 @@ case 143:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 545 "scan.l"
+#line 543 "scan.l"
 return '$';
        YY_BREAK
 case 144:
 YY_RULE_SETUP
-#line 547 "scan.l"
+#line 545 "scan.l"
 {
                        bracelevel = 1;
                        BEGIN(PERCENT_BRACE_ACTION);
@@ -3304,17 +3354,19 @@ YY_RULE_SETUP
                                doing_rule_action = true;
                                in_rule = false;
 #if 1
- fprintf(stderr, "<token value=\"10\">");
- dump(yytext, strlen(yytext), stderr);
- fprintf(stderr, "</token><PercentBraceAction>");
+ piece_pack();
+ piece[piece1++] = strdup("<token value=\"10\">");
+ piece[piece1++] = strdup(yytext);
+ piece[piece1++] = strdup("</token>");
+ piece_pack();
+ piece[piece1++] = strdup("<PercentBraceAction>");
  return ~'\n';
 #else
                                return '\n';
 #endif
                                }
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<PercentBraceAction>");
+ flush();
+ piece[piece1++] = strdup("<PercentBraceAction>");
                        }
        YY_BREAK
 case 145:
@@ -3350,20 +3402,19 @@ YY_RULE_SETUP
                     bracelevel = 0;
                     continued_action = false;
                     BEGIN(ACTION);
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<Action>");
+ flush();
+ piece[piece1++] = strdup("<Action>");
                 }
                        }
        YY_BREAK
 case 147:
 YY_RULE_SETUP
-#line 600 "scan.l"
+#line 599 "scan.l"
 /* allow indented rules */ ;
        YY_BREAK
 case 148:
 YY_RULE_SETUP
-#line 602 "scan.l"
+#line 601 "scan.l"
 {
             if (sf_skip_ws()){
                 /* We're in the middle of a (?x: ) pattern. */
@@ -3382,24 +3433,26 @@ YY_RULE_SETUP
                     doing_rule_action = true;
                     in_rule = false;
 #if 1
- fprintf(stderr, "<token value=\"10\">");
- dump(yytext, strlen(yytext), stderr);
- fprintf(stderr, "</token><Action>");
+ piece_pack();
+ piece[piece1++] = strdup("<token value=\"10\">");
+ piece[piece1++] = strdup(yytext);
+ piece[piece1++] = strdup("</token>");
+ piece_pack();
+ piece[piece1++] = strdup("<Action>");
  return ~'\n';
 #else
                     return '\n';
 #endif
                     }
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<Action>");
+ flush();
+ piece[piece1++] = strdup("<Action>");
             }
                        }
        YY_BREAK
 case 149:
 /* rule 149 can match eol */
 YY_RULE_SETUP
-#line 634 "scan.l"
+#line 635 "scan.l"
 {
             if (sf_skip_ws()){
                 /* We're in the middle of a (?x: ) pattern. */
@@ -3416,30 +3469,32 @@ YY_RULE_SETUP
                     doing_rule_action = true;
                     in_rule = false;
 #if 1
- fprintf(stderr, "<token value=\"10\">");
- dump(yytext, strlen(yytext), stderr);
- fprintf(stderr, "</token><Action>");
+ piece_pack();
+ piece[piece1++] = strdup("<token value=\"10\">");
+ piece[piece1++] = strdup(yytext);
+ piece[piece1++] = strdup("</token>");
+ piece_pack();
+ piece[piece1++] = strdup("<Action>");
  return ~'\n';
 #else
                     return '\n';
 #endif
                     }
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<Action>");
+ flush();
+ piece[piece1++] = strdup("<Action>");
             }
                        }
        YY_BREAK
 case 150:
-#line 665 "scan.l"
+#line 668 "scan.l"
 case 151:
 YY_RULE_SETUP
-#line 665 "scan.l"
+#line 668 "scan.l"
 return EOF_OP;
        YY_BREAK
 case 152:
 YY_RULE_SETUP
-#line 667 "scan.l"
+#line 670 "scan.l"
 {
                        sectnum = 3;
                        BEGIN(no_section3_escape ? SECT3_NOESCAPE : SECT3);
@@ -3450,7 +3505,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 153:
 YY_RULE_SETUP
-#line 675 "scan.l"
+#line 678 "scan.l"
 {
                        int cclval;
 
@@ -3500,12 +3555,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 154:
 YY_RULE_SETUP
-#line 721 "scan.l"
+#line 724 "scan.l"
 return CCL_OP_DIFF;
        YY_BREAK
 case 155:
 YY_RULE_SETUP
-#line 722 "scan.l"
+#line 725 "scan.l"
 return CCL_OP_UNION;
        YY_BREAK
 /* Check for :space: at the end of the rule so we don't
@@ -3515,7 +3570,7 @@ return CCL_OP_UNION;
 case 156:
 /* rule 156 can match eol */
 YY_RULE_SETUP
-#line 729 "scan.l"
+#line 732 "scan.l"
 {
                        char *nmdefptr;
             int end_is_ws, end_ch;
@@ -3570,7 +3625,7 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
        YY_BREAK
 case 157:
 YY_RULE_SETUP
-#line 781 "scan.l"
+#line 784 "scan.l"
 {
                     if (sf_skip_ws())
                         yy_push_state(COMMENT_DISCARD);
@@ -3583,7 +3638,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 158:
 YY_RULE_SETUP
-#line 791 "scan.l"
+#line 794 "scan.l"
 {
                     if (lex_compat || posix_compat){
                         /* Push back the "?#" and treat it like a normal parens. */
@@ -3597,7 +3652,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 159:
 YY_RULE_SETUP
-#line 801 "scan.l"
+#line 804 "scan.l"
 {
                     sf_push();
                     if (lex_compat || posix_compat)
@@ -3610,12 +3665,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 160:
 YY_RULE_SETUP
-#line 810 "scan.l"
+#line 813 "scan.l"
 sf_push(); return '(';
        YY_BREAK
 case 161:
 YY_RULE_SETUP
-#line 811 "scan.l"
+#line 814 "scan.l"
 {
                     if (_sf_top_ix > 0) {
                         sf_pop();
@@ -3626,12 +3681,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 162:
 YY_RULE_SETUP
-#line 819 "scan.l"
+#line 822 "scan.l"
 return (unsigned char) yytext[0];
        YY_BREAK
 case 163:
 YY_RULE_SETUP
-#line 820 "scan.l"
+#line 823 "scan.l"
 RETURNCHAR;
        YY_BREAK
 
@@ -3639,17 +3694,17 @@ RETURNCHAR;
 case 164:
 /* rule 164 can match eol */
 YY_RULE_SETUP
-#line 825 "scan.l"
+#line 828 "scan.l"
 ++linenum;     /* Allow blank lines & continuations */
        YY_BREAK
 case 165:
 YY_RULE_SETUP
-#line 826 "scan.l"
+#line 829 "scan.l"
 return (unsigned char) yytext[0];
        YY_BREAK
 case 166:
 YY_RULE_SETUP
-#line 827 "scan.l"
+#line 830 "scan.l"
 BEGIN(SECT2); return '>';
        YY_BREAK
 case 167:
@@ -3657,17 +3712,17 @@ case 167:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 828 "scan.l"
+#line 831 "scan.l"
 BEGIN(CARETISBOL); return '>';
        YY_BREAK
 case 168:
 YY_RULE_SETUP
-#line 829 "scan.l"
+#line 832 "scan.l"
 RETURNNAME;
        YY_BREAK
 case 169:
 YY_RULE_SETUP
-#line 830 "scan.l"
+#line 833 "scan.l"
 {
                        format_synerr( _( "bad <start condition>: %s" ),
                                yytext );
@@ -3676,24 +3731,24 @@ YY_RULE_SETUP
 
 case 170:
 YY_RULE_SETUP
-#line 836 "scan.l"
+#line 839 "scan.l"
 BEGIN(SECT2); return '^';
        YY_BREAK
 
 case 171:
 YY_RULE_SETUP
-#line 840 "scan.l"
+#line 843 "scan.l"
 RETURNCHAR;
        YY_BREAK
 case 172:
 YY_RULE_SETUP
-#line 841 "scan.l"
+#line 844 "scan.l"
 BEGIN(SECT2); return '"';
        YY_BREAK
 case 173:
 /* rule 173 can match eol */
 YY_RULE_SETUP
-#line 843 "scan.l"
+#line 846 "scan.l"
 {
                        synerr( _( "missing quote" ) );
                        BEGIN(SECT2);
@@ -3705,49 +3760,49 @@ YY_RULE_SETUP
 
 case 174:
 YY_RULE_SETUP
-#line 852 "scan.l"
+#line 855 "scan.l"
 BEGIN(SECT2);
        YY_BREAK
 case 175:
 YY_RULE_SETUP
-#line 853 "scan.l"
+#line 856 "scan.l"
 BEGIN(GROUP_MINUS_PARAMS);
        YY_BREAK
 case 176:
 YY_RULE_SETUP
-#line 854 "scan.l"
+#line 857 "scan.l"
 sf_set_case_ins(1);
        YY_BREAK
 case 177:
 YY_RULE_SETUP
-#line 855 "scan.l"
+#line 858 "scan.l"
 sf_set_dot_all(1);
        YY_BREAK
 case 178:
 YY_RULE_SETUP
-#line 856 "scan.l"
+#line 859 "scan.l"
 sf_set_skip_ws(1);
        YY_BREAK
 
 
 case 179:
 YY_RULE_SETUP
-#line 859 "scan.l"
+#line 862 "scan.l"
 BEGIN(SECT2);
        YY_BREAK
 case 180:
 YY_RULE_SETUP
-#line 860 "scan.l"
+#line 863 "scan.l"
 sf_set_case_ins(0);
        YY_BREAK
 case 181:
 YY_RULE_SETUP
-#line 861 "scan.l"
+#line 864 "scan.l"
 sf_set_dot_all(0);
        YY_BREAK
 case 182:
 YY_RULE_SETUP
-#line 862 "scan.l"
+#line 865 "scan.l"
 sf_set_skip_ws(0);
        YY_BREAK
 
@@ -3757,7 +3812,7 @@ case 183:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 866 "scan.l"
+#line 869 "scan.l"
 BEGIN(CCL); return '^';
        YY_BREAK
 case 184:
@@ -3765,12 +3820,12 @@ case 184:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 867 "scan.l"
+#line 870 "scan.l"
 return '^';
        YY_BREAK
 case 185:
 YY_RULE_SETUP
-#line 868 "scan.l"
+#line 871 "scan.l"
 BEGIN(CCL); RETURNCHAR;
        YY_BREAK
 
@@ -3780,23 +3835,23 @@ case 186:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 872 "scan.l"
+#line 875 "scan.l"
 return '-';
        YY_BREAK
 case 187:
 YY_RULE_SETUP
-#line 873 "scan.l"
+#line 876 "scan.l"
 RETURNCHAR;
        YY_BREAK
 case 188:
 YY_RULE_SETUP
-#line 874 "scan.l"
+#line 877 "scan.l"
 BEGIN(SECT2); return ']';
        YY_BREAK
 case 189:
 /* rule 189 can match eol */
 YY_RULE_SETUP
-#line 875 "scan.l"
+#line 878 "scan.l"
 {
                        synerr( _( "bad character class" ) );
                        BEGIN(SECT2);
@@ -3807,127 +3862,127 @@ YY_RULE_SETUP
 
 case 190:
 YY_RULE_SETUP
-#line 883 "scan.l"
+#line 886 "scan.l"
 BEGIN(CCL); return CCE_ALNUM;
        YY_BREAK
 case 191:
 YY_RULE_SETUP
-#line 884 "scan.l"
+#line 887 "scan.l"
 BEGIN(CCL); return CCE_ALPHA;
        YY_BREAK
 case 192:
 YY_RULE_SETUP
-#line 885 "scan.l"
+#line 888 "scan.l"
 BEGIN(CCL); return CCE_BLANK;
        YY_BREAK
 case 193:
 YY_RULE_SETUP
-#line 886 "scan.l"
+#line 889 "scan.l"
 BEGIN(CCL); return CCE_CNTRL;
        YY_BREAK
 case 194:
 YY_RULE_SETUP
-#line 887 "scan.l"
+#line 890 "scan.l"
 BEGIN(CCL); return CCE_DIGIT;
        YY_BREAK
 case 195:
 YY_RULE_SETUP
-#line 888 "scan.l"
+#line 891 "scan.l"
 BEGIN(CCL); return CCE_GRAPH;
        YY_BREAK
 case 196:
 YY_RULE_SETUP
-#line 889 "scan.l"
+#line 892 "scan.l"
 BEGIN(CCL); return CCE_LOWER;
        YY_BREAK
 case 197:
 YY_RULE_SETUP
-#line 890 "scan.l"
+#line 893 "scan.l"
 BEGIN(CCL); return CCE_PRINT;
        YY_BREAK
 case 198:
 YY_RULE_SETUP
-#line 891 "scan.l"
+#line 894 "scan.l"
 BEGIN(CCL); return CCE_PUNCT;
        YY_BREAK
 case 199:
 YY_RULE_SETUP
-#line 892 "scan.l"
+#line 895 "scan.l"
 BEGIN(CCL); return CCE_SPACE;
        YY_BREAK
 case 200:
 YY_RULE_SETUP
-#line 893 "scan.l"
+#line 896 "scan.l"
 BEGIN(CCL); return CCE_UPPER;
        YY_BREAK
 case 201:
 YY_RULE_SETUP
-#line 894 "scan.l"
+#line 897 "scan.l"
 BEGIN(CCL); return CCE_XDIGIT;
        YY_BREAK
 case 202:
 YY_RULE_SETUP
-#line 896 "scan.l"
+#line 899 "scan.l"
 BEGIN(CCL); return CCE_NEG_ALNUM;
        YY_BREAK
 case 203:
 YY_RULE_SETUP
-#line 897 "scan.l"
+#line 900 "scan.l"
 BEGIN(CCL); return CCE_NEG_ALPHA;
        YY_BREAK
 case 204:
 YY_RULE_SETUP
-#line 898 "scan.l"
+#line 901 "scan.l"
 BEGIN(CCL); return CCE_NEG_BLANK;
        YY_BREAK
 case 205:
 YY_RULE_SETUP
-#line 899 "scan.l"
+#line 902 "scan.l"
 BEGIN(CCL); return CCE_NEG_CNTRL;
        YY_BREAK
 case 206:
 YY_RULE_SETUP
-#line 900 "scan.l"
+#line 903 "scan.l"
 BEGIN(CCL); return CCE_NEG_DIGIT;
        YY_BREAK
 case 207:
 YY_RULE_SETUP
-#line 901 "scan.l"
+#line 904 "scan.l"
 BEGIN(CCL); return CCE_NEG_GRAPH;
        YY_BREAK
 case 208:
 YY_RULE_SETUP
-#line 902 "scan.l"
+#line 905 "scan.l"
 BEGIN(CCL); return CCE_NEG_LOWER;
        YY_BREAK
 case 209:
 YY_RULE_SETUP
-#line 903 "scan.l"
+#line 906 "scan.l"
 BEGIN(CCL); return CCE_NEG_PRINT;
        YY_BREAK
 case 210:
 YY_RULE_SETUP
-#line 904 "scan.l"
+#line 907 "scan.l"
 BEGIN(CCL); return CCE_NEG_PUNCT;
        YY_BREAK
 case 211:
 YY_RULE_SETUP
-#line 905 "scan.l"
+#line 908 "scan.l"
 BEGIN(CCL); return CCE_NEG_SPACE;
        YY_BREAK
 case 212:
 YY_RULE_SETUP
-#line 906 "scan.l"
+#line 909 "scan.l"
 BEGIN(CCL); return CCE_NEG_UPPER;
        YY_BREAK
 case 213:
 YY_RULE_SETUP
-#line 907 "scan.l"
+#line 910 "scan.l"
 BEGIN(CCL); return CCE_NEG_XDIGIT;
        YY_BREAK
 case 214:
 YY_RULE_SETUP
-#line 908 "scan.l"
+#line 911 "scan.l"
 {
                        format_synerr(
                                _( "bad character class expression: %s" ),
@@ -3939,7 +3994,7 @@ YY_RULE_SETUP
 
 case 215:
 YY_RULE_SETUP
-#line 917 "scan.l"
+#line 920 "scan.l"
 {
                        yylval = myctoi( yytext );
                        return NUMBER;
@@ -3947,12 +4002,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 216:
 YY_RULE_SETUP
-#line 922 "scan.l"
+#line 925 "scan.l"
 return ',';
        YY_BREAK
 case 217:
 YY_RULE_SETUP
-#line 923 "scan.l"
+#line 926 "scan.l"
 {
                        BEGIN(SECT2);
                        if ( lex_compat || posix_compat )
@@ -3963,7 +4018,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 218:
 YY_RULE_SETUP
-#line 931 "scan.l"
+#line 934 "scan.l"
 {
                        synerr( _( "bad character inside {}'s" ) );
                        BEGIN(SECT2);
@@ -3973,7 +4028,7 @@ YY_RULE_SETUP
 case 219:
 /* rule 219 can match eol */
 YY_RULE_SETUP
-#line 937 "scan.l"
+#line 940 "scan.l"
 {
                        synerr( _( "missing }" ) );
                        BEGIN(SECT2);
@@ -3985,18 +4040,18 @@ YY_RULE_SETUP
 
 case 220:
 YY_RULE_SETUP
-#line 947 "scan.l"
+#line 950 "scan.l"
 bracelevel = 0;
        YY_BREAK
 case 221:
 YY_RULE_SETUP
-#line 949 "scan.l"
+#line 952 "scan.l"
 ACTION_ECHO; yy_push_state( CODE_COMMENT );
        YY_BREAK
 
 case 222:
 YY_RULE_SETUP
-#line 952 "scan.l"
+#line 955 "scan.l"
 {
             ACTION_ECHO;
             CHECK_REJECT(yytext);
@@ -4004,7 +4059,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 223:
 YY_RULE_SETUP
-#line 956 "scan.l"
+#line 959 "scan.l"
 {
             ACTION_ECHO;
             CHECK_YYMORE(yytext);
@@ -4013,13 +4068,13 @@ YY_RULE_SETUP
 
 case 224:
 YY_RULE_SETUP
-#line 962 "scan.l"
+#line 965 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 225:
 /* rule 225 can match eol */
 YY_RULE_SETUP
-#line 963 "scan.l"
+#line 966 "scan.l"
 {
                ++linenum;
                ACTION_ECHO;
@@ -4029,7 +4084,7 @@ YY_RULE_SETUP
 
             doing_rule_action = doing_codeblock = false;
             BEGIN(SECT2);
fprintf(stderr, "</PercentBraceAction>");
piece[piece1++] = strdup("</PercentBraceAction>");
         }
     }
        YY_BREAK
@@ -4038,43 +4093,43 @@ YY_RULE_SETUP
 
 case 226:
 YY_RULE_SETUP
-#line 980 "scan.l"
+#line 983 "scan.l"
 ACTION_ECHO; ++bracelevel;
        YY_BREAK
 case 227:
 YY_RULE_SETUP
-#line 981 "scan.l"
+#line 984 "scan.l"
 ACTION_ECHO; --bracelevel;
        YY_BREAK
 case 228:
 YY_RULE_SETUP
-#line 982 "scan.l"
+#line 985 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 229:
 YY_RULE_SETUP
-#line 983 "scan.l"
+#line 986 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 230:
 YY_RULE_SETUP
-#line 984 "scan.l"
+#line 987 "scan.l"
 ACTION_ECHO; /* character constant */
        YY_BREAK
 case 231:
 YY_RULE_SETUP
-#line 985 "scan.l"
+#line 988 "scan.l"
 ACTION_ECHO; BEGIN(CHARACTER_CONSTANT);
        YY_BREAK
 case 232:
 YY_RULE_SETUP
-#line 986 "scan.l"
+#line 989 "scan.l"
 ACTION_ECHO; BEGIN(ACTION_STRING);
        YY_BREAK
 case 233:
 /* rule 233 can match eol */
 YY_RULE_SETUP
-#line 987 "scan.l"
+#line 990 "scan.l"
 {
                 ++linenum;
                 ACTION_ECHO;
@@ -4084,39 +4139,38 @@ YY_RULE_SETUP
 
                    doing_rule_action = false;
                    BEGIN(SECT2);
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "</Action>");
+ flush();
+ piece[piece1++] = strdup("</Action>");
                 }
              }
        YY_BREAK
 case 234:
 YY_RULE_SETUP
-#line 1001 "scan.l"
+#line 1003 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 
 
 case 235:
 YY_RULE_SETUP
-#line 1005 "scan.l"
+#line 1007 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 236:
 YY_RULE_SETUP
-#line 1006 "scan.l"
+#line 1008 "scan.l"
 ACTION_ECHO; BEGIN(ACTION);
        YY_BREAK
 
 
 case 237:
 YY_RULE_SETUP
-#line 1009 "scan.l"
+#line 1011 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 238:
 YY_RULE_SETUP
-#line 1010 "scan.l"
+#line 1012 "scan.l"
 ACTION_ECHO; BEGIN(ACTION);
        YY_BREAK
 
@@ -4124,24 +4178,24 @@ ACTION_ECHO; BEGIN(ACTION);
 case 239:
 /* rule 239 can match eol */
 YY_RULE_SETUP
-#line 1013 "scan.l"
+#line 1015 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 240:
 /* rule 240 can match eol */
 YY_RULE_SETUP
-#line 1014 "scan.l"
+#line 1016 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 241:
 /* rule 241 can match eol */
 YY_RULE_SETUP
-#line 1015 "scan.l"
-++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; fprintf(stderr, "</Action>"); } else { BEGIN(ACTION); }
+#line 1017 "scan.l"
+++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); flush(); piece[piece1++] = strdup("</Action>"); } else { BEGIN(ACTION); }
        YY_BREAK
 case 242:
 YY_RULE_SETUP
-#line 1016 "scan.l"
+#line 1018 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 
@@ -4151,7 +4205,7 @@ case YY_STATE_EOF(COMMENT_DISCARD):
 case YY_STATE_EOF(ACTION):
 case YY_STATE_EOF(ACTION_STRING):
 case YY_STATE_EOF(CHARACTER_CONSTANT):
-#line 1019 "scan.l"
+#line 1021 "scan.l"
 {
                        synerr( _( "EOF encountered inside an action" ) );
                        yyterminate();
@@ -4160,7 +4214,7 @@ case YY_STATE_EOF(CHARACTER_CONSTANT):
 case YY_STATE_EOF(EXTENDED_COMMENT):
 case YY_STATE_EOF(GROUP_WITH_PARAMS):
 case YY_STATE_EOF(GROUP_MINUS_PARAMS):
-#line 1024 "scan.l"
+#line 1026 "scan.l"
 {
                        synerr( _( "EOF encountered inside pattern" ) );
                        yyterminate();
@@ -4168,7 +4222,7 @@ case YY_STATE_EOF(GROUP_MINUS_PARAMS):
        YY_BREAK
 case 243:
 YY_RULE_SETUP
-#line 1029 "scan.l"
+#line 1031 "scan.l"
 {
                        yylval = myesc( (unsigned char *) yytext );
 
@@ -4181,27 +4235,27 @@ YY_RULE_SETUP
 
 case 244:
 YY_RULE_SETUP
-#line 1039 "scan.l"
+#line 1041 "scan.l"
 fputs(escaped_qstart, yyout);
        YY_BREAK
 case 245:
 YY_RULE_SETUP
-#line 1040 "scan.l"
+#line 1042 "scan.l"
 fputs(escaped_qend, yyout);
        YY_BREAK
 case 246:
 /* rule 246 can match eol */
 YY_RULE_SETUP
-#line 1041 "scan.l"
+#line 1043 "scan.l"
 ECHO;
        YY_BREAK
 case 247:
 YY_RULE_SETUP
-#line 1042 "scan.l"
+#line 1044 "scan.l"
 ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT3):
-#line 1043 "scan.l"
+#line 1045 "scan.l"
 {
         sectnum = 0;
         yyterminate();
@@ -4211,27 +4265,27 @@ case YY_STATE_EOF(SECT3):
 
 case 248:
 YY_RULE_SETUP
-#line 1049 "scan.l"
+#line 1051 "scan.l"
 fprintf(yyout, "[""[%s]""]", escaped_qstart);
        YY_BREAK
 case 249:
 YY_RULE_SETUP
-#line 1050 "scan.l"
+#line 1052 "scan.l"
 fprintf(yyout, "[""[%s]""]", escaped_qend);
        YY_BREAK
 case 250:
 /* rule 250 can match eol */
 YY_RULE_SETUP
-#line 1051 "scan.l"
+#line 1053 "scan.l"
 ECHO;
        YY_BREAK
 case 251:
 YY_RULE_SETUP
-#line 1052 "scan.l"
+#line 1054 "scan.l"
 ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT3_NOESCAPE):
-#line 1053 "scan.l"
+#line 1055 "scan.l"
 {
        sectnum = 0;
        yyterminate();
@@ -4241,15 +4295,15 @@ case YY_STATE_EOF(SECT3_NOESCAPE):
 case 252:
 /* rule 252 can match eol */
 YY_RULE_SETUP
-#line 1058 "scan.l"
+#line 1060 "scan.l"
 format_synerr( _( "bad character: %s" ), yytext );
        YY_BREAK
 case 253:
 YY_RULE_SETUP
-#line 1060 "scan.l"
+#line 1062 "scan.l"
 YY_FATAL_ERROR( "flex scanner jammed" );
        YY_BREAK
-#line 4210 "scan.c"
+#line 4212 "scan.c"
 case YY_STATE_EOF(INITIAL):
 case YY_STATE_EOF(SECT2):
 case YY_STATE_EOF(CODEBLOCK):
@@ -4392,7 +4446,7 @@ case YY_STATE_EOF(LINEDIR):
                YY_FATAL_ERROR(
                        "fatal flex scanner internal error--no action found" );
        } /* end of action switch */
dump(yytext, yy_c_buf_p - yytext, stderr);
piece_esc(yytext, yy_c_buf_p - yytext);
                } /* end of scanning one token */
 } /* end of yylex */
 
@@ -5304,7 +5358,7 @@ void yyfree (void * ptr )
 
 #define YYTABLES_NAME "yytables"
 
-#line 1060 "scan.l"
+#line 1062 "scan.l"
 
 
 
index 7639c55..9d962d3 100644 (file)
@@ -1,13 +1,30 @@
---- scan.c.orig        2018-06-12 10:24:24.518531377 +1000
-+++ scan.c     2018-06-12 10:25:47.262533188 +1000
-@@ -185,7 +185,16 @@
+--- scan.c.orig        2018-06-12 14:48:07.855265611 +1000
++++ scan.c     2018-06-12 14:48:27.731266000 +1000
+@@ -23,6 +23,11 @@
+ /* end standard C headers. */
++char piece_temp[100];
++char *piece[10000];
++int piece0;
++int piece1;
++
+ /* flex integer type definitions */
+ #ifndef FLEXINT_H
+@@ -185,7 +190,21 @@
                } \
        while ( 0 )
  
 +#if 1
++#define flush() \
++ do { \
++  piece_esc(yytext, yy_c_buf_p - yytext); \
++  yytext = yy_c_buf_p; \
++ } while (0)
 +#define unput(c) \
 + do { \
-+  dump(yytext, yy_c_buf_p - yytext, stderr); \
++  piece_esc(yytext, yy_c_buf_p - yytext); \
 +  yyunput(c, (yytext_ptr)); \
 +  yytext = yy_c_buf_p; \
 + } while (0)
  
  #ifndef YY_TYPEDEF_YY_SIZE_T
  #define YY_TYPEDEF_YY_SIZE_T
-@@ -2209,7 +2218,41 @@
+@@ -2212,8 +2231,84 @@
  
  /** The main scanner function which does all the work.
   */
--YY_DECL
 +static int real_yylex();
-+static void dump(const char *p, size_t n, FILE *stream) {
-+ size_t i;
++static void piece_esc(const char *p, size_t n) {
++ size_t i, j = 0;
 + for (i = 0; i < n; ++i)
 +  switch (p[i]) {
 +  case '<':
-+   fputs("&lt;", stream);
++  case '>':
++   j += 4;
++   break;
++  case '&':
++   j += 5;
++   break;
++  default:
++   ++j;
++   break;
++  }
++ char *q = malloc(j + 1);
++ j = 0;
++ for (i = 0; i < n; ++i)
++  switch (p[i]) {
++  case '<':
++   memcpy(q + j, "&lt;", 4);
++   j += 4;
 +   break;
 +  case '>':
-+   fputs("&gt;", stream);
++   memcpy(q + j, "&gt;", 4);
++   j += 4;
 +   break;
 +  case '&':
-+   fputs("&amp;", stream);
++   memcpy(q + j, "&amp;", 5);
++   j += 5;
 +   break;
 +  default:
-+   fputc(p[i], stream);
++   q[j++] = p[i];
 +   break;
 +  }
++ q[j] = 0;
++ piece[piece1++] = q;
 +}
-+ YY_DECL
-+ {
++static void piece_pack() {
++ int i;
++ size_t j = 0;
++ for (i = piece0; i < piece1; ++i)
++  j += strlen(piece[i]);
++ char *q = malloc(j + 1);
++ j = 0;
++ for (i = piece0; i < piece1; ++i) {
++  int k = strlen(piece[i]);
++  memcpy(q + j, piece[i], k);
++  j += k;
++ }
++ q[j] = 0;
++ piece[piece0++] = q;
++ piece1 = piece0;
++}
+ YY_DECL
+ {
 + int result = real_yylex();
 + if (result < 0)
 +  return ~result;
++ piece_pack();
 + size_t n = strlen(yytext);
 + if (n) {
-+  fprintf(stderr, "<token value=\"%d\">", result);
-+  dump(yytext, n, stderr);
-+  fputs("</token>", stderr);
++  sprintf(piece_temp, "<token value=\"%d\">", result);
++  piece[piece1++] = strdup(piece_temp);
++  piece_esc(yytext, n);
++  piece[piece1++] = strdup("</token>");
++  piece_pack();
++ }
++ else {
++  sprintf(piece_temp, "<token value=\"%d\" />", result);
++  piece[piece0++] = strdup(piece_temp);
++  piece1 = piece0;
 + }
-+ else
-+  fprintf(stderr, "<token value=\"%d\" />", result);
 + return result;
 +}
 +static int real_yylex()
- {
++{
        register yy_state_type yy_current_state;
        register char *yy_cp, *yy_bp;
-@@ -4305,6 +4346,7 @@
+       register int yy_act;
+@@ -4351,6 +4446,7 @@
                YY_FATAL_ERROR(
                        "fatal flex scanner internal error--no action found" );
        } /* end of action switch */
-+ dump(yytext, yy_c_buf_p - yytext, stderr);
++ piece_esc(yytext, yy_c_buf_p - yytext);
                } /* end of scanning one token */
  } /* end of yylex */
  
index 2fc1062..b36abf5 100644 (file)
@@ -110,16 +110,15 @@ extern const char *escaped_qstart, *escaped_qend;
     add_action(M4QSTART); \
     yy_push_state(CODEBLOCK); \
     if ((indented_code = x)) ACTION_ECHO; \
- dump(yytext, yy_c_buf_p - yytext, stderr); \
- yytext = yy_c_buf_p; \
- fprintf(stderr, "<CodeBlock>"); \
+ flush(); \
+ piece[piece1++] = strdup("<CodeBlock>"); \
 } while(0)
 
 #define END_CODEBLOCK do { \
     yy_pop_state();\
     add_action(M4QEND); \
     if (!indented_code) line_directive_out(NULL, 0);\
fprintf(stderr, "</CodeBlock>"); \
piece[piece1++] = strdup("</CodeBlock>"); \
 } while (0)
 
 %}
@@ -279,7 +278,7 @@ M4QEND      "]""]"
        {NL}            {
                        ++linenum;
                        ACTION_ECHO;
-                       if ( indented_code ) { dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; END_CODEBLOCK; }
+                       if ( indented_code ) { flush(); END_CODEBLOCK; }
                        }
 }
 
@@ -522,9 +521,8 @@ M4QEND      "]""]"
                        doing_codeblock = true;
                        bracelevel = 1;
                        BEGIN(PERCENT_BRACE_ACTION);
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<PercentBraceAction>");
+ flush();
+ piece[piece1++] = strdup("<PercentBraceAction>");
                        }
 
        ^{OPTWS}"<"         {
@@ -553,17 +551,19 @@ M4QEND      "]""]"
                                doing_rule_action = true;
                                in_rule = false;
 #if 1
- fprintf(stderr, "<token value=\"10\">");
- dump(yytext, strlen(yytext), stderr);
- fprintf(stderr, "</token><PercentBraceAction>");
+ piece_pack();
+ piece[piece1++] = strdup("<token value=\"10\">");
+ piece[piece1++] = strdup(yytext);
+ piece[piece1++] = strdup("</token>");
+ piece_pack();
+ piece[piece1++] = strdup("<PercentBraceAction>");
  return ~'\n';
 #else
                                return '\n';
 #endif
                                }
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<PercentBraceAction>");
+ flush();
+ piece[piece1++] = strdup("<PercentBraceAction>");
                        }
        {WS}"|".*{NL}   {
                         if (sf_skip_ws()){
@@ -591,9 +591,8 @@ M4QEND      "]""]"
                     bracelevel = 0;
                     continued_action = false;
                     BEGIN(ACTION);
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<Action>");
+ flush();
+ piece[piece1++] = strdup("<Action>");
                 }
                        }
 
@@ -617,17 +616,19 @@ M4QEND      "]""]"
                     doing_rule_action = true;
                     in_rule = false;
 #if 1
- fprintf(stderr, "<token value=\"10\">");
- dump(yytext, strlen(yytext), stderr);
- fprintf(stderr, "</token><Action>");
+ piece_pack();
+ piece[piece1++] = strdup("<token value=\"10\">");
+ piece[piece1++] = strdup(yytext);
+ piece[piece1++] = strdup("</token>");
+ piece_pack();
+ piece[piece1++] = strdup("<Action>");
  return ~'\n';
 #else
                     return '\n';
 #endif
                     }
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<Action>");
+ flush();
+ piece[piece1++] = strdup("<Action>");
             }
                        }
 
@@ -647,17 +648,19 @@ M4QEND      "]""]"
                     doing_rule_action = true;
                     in_rule = false;
 #if 1
- fprintf(stderr, "<token value=\"10\">");
- dump(yytext, strlen(yytext), stderr);
- fprintf(stderr, "</token><Action>");
+ piece_pack();
+ piece[piece1++] = strdup("<token value=\"10\">");
+ piece[piece1++] = strdup(yytext);
+ piece[piece1++] = strdup("</token>");
+ piece_pack();
+ piece[piece1++] = strdup("<Action>");
  return ~'\n';
 #else
                     return '\n';
 #endif
                     }
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "<Action>");
+ flush();
+ piece[piece1++] = strdup("<Action>");
             }
                        }
 
@@ -969,7 +972,7 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
 
             doing_rule_action = doing_codeblock = false;
             BEGIN(SECT2);
fprintf(stderr, "</PercentBraceAction>");
piece[piece1++] = strdup("</PercentBraceAction>");
         }
     }
 }
@@ -993,9 +996,8 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
 
                    doing_rule_action = false;
                    BEGIN(SECT2);
- dump(yytext, yy_c_buf_p - yytext, stderr);
- yytext = yy_c_buf_p;
- fprintf(stderr, "</Action>");
+ flush();
+ piece[piece1++] = strdup("</Action>");
                 }
              }
         .      ACTION_ECHO;
@@ -1012,7 +1014,7 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
 <ACTION_STRING,CHARACTER_CONSTANT>{
         (\\\n)*         ACTION_ECHO;
        \\(\\\n)*.      ACTION_ECHO;
-       {NL}    ++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; fprintf(stderr, "</Action>"); } else { BEGIN(ACTION); }
+       {NL}    ++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); flush(); piece[piece1++] = strdup("</Action>"); } else { BEGIN(ACTION); }
         .      ACTION_ECHO;
 }