Make it add markup around code: <CodeBlock>, <Action> and <PercentBraceAction>
authorNick Downing <downing.nick@gmail.com>
Tue, 12 Jun 2018 01:17:38 +0000 (11:17 +1000)
committerNick Downing <downing.nick@gmail.com>
Tue, 12 Jun 2018 01:17:38 +0000 (11:17 +1000)
src/scan.c
src/scan.c.patch
src/scan.l

index d72aed8..c14881e 100644 (file)
@@ -1983,12 +1983,16 @@ extern const char *escaped_qstart, *escaped_qend;
     add_action(M4QSTART); \
     yy_push_state(CODEBLOCK); \
     if ((indented_code = x)) ACTION_ECHO; \
+ dump(yytext, yy_c_buf_p - yytext, stderr); \
+ yytext = yy_c_buf_p; \
+ fprintf(stderr, "<CodeBlock>"); \
 } while(0)
 
 #define END_CODEBLOCK do { \
     yy_pop_state();\
     add_action(M4QEND); \
     if (!indented_code) line_directive_out(NULL, 0);\
+ fprintf(stderr, "</CodeBlock>"); \
 } while (0)
 
 
@@ -2000,7 +2004,7 @@ extern const char *escaped_qstart, *escaped_qend;
 
 
 
-#line 1995 "scan.c"
+#line 1999 "scan.c"
 
 #define INITIAL 0
 #define SECT2 1
@@ -2240,6 +2244,8 @@ static void dump(const char *p, size_t n, FILE *stream) {
  YY_DECL
  {
  int result = real_yylex();
+ if (result < 0)
+  return ~result;
  size_t n = strlen(yytext);
  if (n) {
   fprintf(stderr, "<token value=\"%d\">", result);
@@ -2256,7 +2262,7 @@ static int real_yylex()
        register char *yy_cp, *yy_bp;
        register int yy_act;
     
-#line 158 "scan.l"
+#line 162 "scan.l"
 
        static int bracelevel, didadef, indented_code;
        static int doing_rule_action = false;
@@ -2267,7 +2273,7 @@ static int real_yylex()
        char nmdef[MAXLINE];
 
 
-#line 2230 "scan.c"
+#line 2234 "scan.c"
 
        if ( !(yy_init) )
                {
@@ -2359,39 +2365,39 @@ do_action:      /* This label is used only to access EOF actions. */
 
 case 1:
 YY_RULE_SETUP
-#line 169 "scan.l"
+#line 173 "scan.l"
 START_CODEBLOCK(true);
        YY_BREAK
 case 2:
 YY_RULE_SETUP
-#line 170 "scan.l"
+#line 174 "scan.l"
 add_action("/*[""["); yy_push_state( COMMENT );
        YY_BREAK
 case 3:
 YY_RULE_SETUP
-#line 171 "scan.l"
+#line 175 "scan.l"
 yy_push_state( LINEDIR );
        YY_BREAK
 case 4:
 YY_RULE_SETUP
-#line 172 "scan.l"
+#line 176 "scan.l"
 return SCDECL;
        YY_BREAK
 case 5:
 YY_RULE_SETUP
-#line 173 "scan.l"
+#line 177 "scan.l"
 return XSCDECL;
        YY_BREAK
 case 6:
 /* rule 6 can match eol */
 YY_RULE_SETUP
-#line 174 "scan.l"
+#line 178 "scan.l"
 START_CODEBLOCK(false);
        YY_BREAK
 case 7:
 /* rule 7 can match eol */
 YY_RULE_SETUP
-#line 175 "scan.l"
+#line 179 "scan.l"
 {
                 brace_start_line = linenum;
                 ++linenum;
@@ -2402,17 +2408,17 @@ YY_RULE_SETUP
        YY_BREAK
 case 8:
 YY_RULE_SETUP
-#line 183 "scan.l"
+#line 187 "scan.l"
 synerr( _("malformed '%top' directive") );
        YY_BREAK
 case 9:
 YY_RULE_SETUP
-#line 185 "scan.l"
+#line 189 "scan.l"
 /* discard */
        YY_BREAK
 case 10:
 YY_RULE_SETUP
-#line 187 "scan.l"
+#line 191 "scan.l"
 {
                        sectnum = 2;
                        bracelevel = 0;
@@ -2425,42 +2431,42 @@ YY_RULE_SETUP
 case 11:
 /* rule 11 can match eol */
 YY_RULE_SETUP
-#line 196 "scan.l"
+#line 200 "scan.l"
 yytext_is_array = false; ++linenum;
        YY_BREAK
 case 12:
 /* rule 12 can match eol */
 YY_RULE_SETUP
-#line 197 "scan.l"
+#line 201 "scan.l"
 yytext_is_array = true; ++linenum;
        YY_BREAK
 case 13:
 YY_RULE_SETUP
-#line 199 "scan.l"
+#line 203 "scan.l"
 BEGIN(OPTION); return TOK_OPTION;
        YY_BREAK
 case 14:
 /* rule 14 can match eol */
 YY_RULE_SETUP
-#line 201 "scan.l"
+#line 205 "scan.l"
 ++linenum; /* ignore */
        YY_BREAK
 case 15:
 /* rule 15 can match eol */
 YY_RULE_SETUP
-#line 202 "scan.l"
+#line 206 "scan.l"
 ++linenum;     /* ignore */
        YY_BREAK
 /* xgettext: no-c-format */
 case 16:
 /* rule 16 can match eol */
 YY_RULE_SETUP
-#line 205 "scan.l"
+#line 209 "scan.l"
 synerr( _( "unrecognized '%' directive" ) );
        YY_BREAK
 case 17:
 YY_RULE_SETUP
-#line 207 "scan.l"
+#line 211 "scan.l"
 {
                        if(yyleng < MAXLINE)
                         {
@@ -2478,51 +2484,51 @@ YY_RULE_SETUP
        YY_BREAK
 case 18:
 YY_RULE_SETUP
-#line 222 "scan.l"
+#line 226 "scan.l"
 RETURNNAME;
        YY_BREAK
 case 19:
 /* rule 19 can match eol */
 YY_RULE_SETUP
-#line 223 "scan.l"
+#line 227 "scan.l"
 ++linenum; /* allows blank lines in section 1 */
        YY_BREAK
 case 20:
 /* rule 20 can match eol */
 YY_RULE_SETUP
-#line 224 "scan.l"
+#line 228 "scan.l"
 ACTION_ECHO; ++linenum; /* maybe end of comment line */
        YY_BREAK
 
 /* */
 case 21:
 YY_RULE_SETUP
-#line 229 "scan.l"
+#line 233 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 22:
 YY_RULE_SETUP
-#line 230 "scan.l"
+#line 234 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 23:
 /* rule 23 can match eol */
 YY_RULE_SETUP
-#line 232 "scan.l"
+#line 236 "scan.l"
 ++linenum; ACTION_ECHO;
        YY_BREAK
 
 
 case 24:
 YY_RULE_SETUP
-#line 235 "scan.l"
+#line 239 "scan.l"
 add_action("*/]""]"); yy_pop_state();
        YY_BREAK
 
 
 case 25:
 YY_RULE_SETUP
-#line 238 "scan.l"
+#line 242 "scan.l"
 ACTION_ECHO; yy_pop_state();
        YY_BREAK
 
@@ -2530,41 +2536,41 @@ ACTION_ECHO; yy_pop_state();
 /* This is the same as COMMENT, but is discarded rather than output. */
 case 26:
 YY_RULE_SETUP
-#line 243 "scan.l"
+#line 247 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 27:
 YY_RULE_SETUP
-#line 244 "scan.l"
+#line 248 "scan.l"
 ;
        YY_BREAK
 case 28:
 YY_RULE_SETUP
-#line 245 "scan.l"
+#line 249 "scan.l"
 ;
        YY_BREAK
 case 29:
 /* rule 29 can match eol */
 YY_RULE_SETUP
-#line 246 "scan.l"
+#line 250 "scan.l"
 ++linenum;
        YY_BREAK
 
 
 case 30:
 YY_RULE_SETUP
-#line 250 "scan.l"
+#line 254 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 31:
 YY_RULE_SETUP
-#line 251 "scan.l"
+#line 255 "scan.l"
 ;
        YY_BREAK
 case 32:
 /* rule 32 can match eol */
 YY_RULE_SETUP
-#line 252 "scan.l"
+#line 256 "scan.l"
 ++linenum;
        YY_BREAK
 
@@ -2572,17 +2578,17 @@ YY_RULE_SETUP
 case 33:
 /* rule 33 can match eol */
 YY_RULE_SETUP
-#line 256 "scan.l"
+#line 260 "scan.l"
 yy_pop_state();
        YY_BREAK
 case 34:
 YY_RULE_SETUP
-#line 257 "scan.l"
+#line 261 "scan.l"
 linenum = myctoi( yytext );
        YY_BREAK
 case 35:
 YY_RULE_SETUP
-#line 259 "scan.l"
+#line 263 "scan.l"
 {
                        free(infilename);
                        infilename = xstrdup(yytext + 1);
@@ -2591,19 +2597,19 @@ YY_RULE_SETUP
        YY_BREAK
 case 36:
 YY_RULE_SETUP
-#line 264 "scan.l"
+#line 268 "scan.l"
 /* ignore spurious characters */
        YY_BREAK
 
 
 case 37:
 YY_RULE_SETUP
-#line 267 "scan.l"
+#line 271 "scan.l"
 ACTION_ECHO_QSTART;
        YY_BREAK
 case 38:
 YY_RULE_SETUP
-#line 268 "scan.l"
+#line 272 "scan.l"
 ACTION_ECHO_QEND;
        YY_BREAK
 
@@ -2611,34 +2617,34 @@ ACTION_ECHO_QEND;
 case 39:
 /* rule 39 can match eol */
 YY_RULE_SETUP
-#line 272 "scan.l"
+#line 276 "scan.l"
 ++linenum; END_CODEBLOCK;
        YY_BREAK
 case 40:
 YY_RULE_SETUP
-#line 273 "scan.l"
+#line 277 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 41:
 YY_RULE_SETUP
-#line 274 "scan.l"
+#line 278 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 42:
 /* rule 42 can match eol */
 YY_RULE_SETUP
-#line 275 "scan.l"
+#line 279 "scan.l"
 {
                        ++linenum;
                        ACTION_ECHO;
-                       if ( indented_code ) END_CODEBLOCK;
+                       if ( indented_code ) { dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; END_CODEBLOCK; }
                        }
        YY_BREAK
 
 
 case 43:
 YY_RULE_SETUP
-#line 283 "scan.l"
+#line 287 "scan.l"
 {
                 if( --brace_depth == 0){
                     /* TODO: Matched. */
@@ -2649,7 +2655,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 44:
 YY_RULE_SETUP
-#line 291 "scan.l"
+#line 295 "scan.l"
 {
                 brace_depth++;
                 buf_strnappend(&top_buf, yytext, yyleng);
@@ -2658,7 +2664,7 @@ YY_RULE_SETUP
 case 45:
 /* rule 45 can match eol */
 YY_RULE_SETUP
-#line 296 "scan.l"
+#line 300 "scan.l"
 {
                 ++linenum;
                 buf_strnappend(&top_buf, yytext, yyleng);
@@ -2666,23 +2672,23 @@ YY_RULE_SETUP
        YY_BREAK
 case 46:
 YY_RULE_SETUP
-#line 301 "scan.l"
+#line 305 "scan.l"
 buf_strnappend(&top_buf, escaped_qstart, (int) strlen(escaped_qstart));
        YY_BREAK
 case 47:
 YY_RULE_SETUP
-#line 302 "scan.l"
+#line 306 "scan.l"
 buf_strnappend(&top_buf, escaped_qend, (int) strlen(escaped_qend));
        YY_BREAK
 case 48:
 YY_RULE_SETUP
-#line 303 "scan.l"
+#line 307 "scan.l"
 {
        buf_strnappend(&top_buf, yytext, yyleng);
     }
        YY_BREAK
 case YY_STATE_EOF(CODEBLOCK_MATCH_BRACE):
-#line 307 "scan.l"
+#line 311 "scan.l"
 {
                 linenum = brace_start_line;
                 synerr(_("Unmatched '{'"));
@@ -2693,12 +2699,12 @@ case YY_STATE_EOF(CODEBLOCK_MATCH_BRACE):
 
 case 49:
 YY_RULE_SETUP
-#line 316 "scan.l"
+#line 320 "scan.l"
 /* separates name and definition */
        YY_BREAK
 case 50:
 YY_RULE_SETUP
-#line 318 "scan.l"
+#line 322 "scan.l"
 {
                        if(yyleng < MAXLINE)
                         {
@@ -2724,7 +2730,7 @@ YY_RULE_SETUP
 case 51:
 /* rule 51 can match eol */
 YY_RULE_SETUP
-#line 340 "scan.l"
+#line 344 "scan.l"
 {
                        if ( ! didadef )
                                synerr( _( "incomplete name definition" ) );
@@ -2737,42 +2743,42 @@ YY_RULE_SETUP
 case 52:
 /* rule 52 can match eol */
 YY_RULE_SETUP
-#line 350 "scan.l"
+#line 354 "scan.l"
 ++linenum; BEGIN(INITIAL);
        YY_BREAK
 case 53:
 YY_RULE_SETUP
-#line 351 "scan.l"
+#line 355 "scan.l"
 option_sense = true;
        YY_BREAK
 case 54:
 YY_RULE_SETUP
-#line 353 "scan.l"
+#line 357 "scan.l"
 return '=';
        YY_BREAK
 case 55:
 YY_RULE_SETUP
-#line 355 "scan.l"
+#line 359 "scan.l"
 option_sense = ! option_sense;
        YY_BREAK
 case 56:
 YY_RULE_SETUP
-#line 357 "scan.l"
+#line 361 "scan.l"
 csize = option_sense ? 128 : 256;
        YY_BREAK
 case 57:
 YY_RULE_SETUP
-#line 358 "scan.l"
+#line 362 "scan.l"
 csize = option_sense ? 256 : 128;
        YY_BREAK
 case 58:
 YY_RULE_SETUP
-#line 360 "scan.l"
+#line 364 "scan.l"
 long_align = option_sense;
        YY_BREAK
 case 59:
 YY_RULE_SETUP
-#line 361 "scan.l"
+#line 365 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_ALWAYS_INTERACTIVE", option_sense );
             interactive = option_sense;
@@ -2780,64 +2786,64 @@ YY_RULE_SETUP
        YY_BREAK
 case 60:
 YY_RULE_SETUP
-#line 365 "scan.l"
+#line 369 "scan.l"
 yytext_is_array = option_sense;
        YY_BREAK
 case 61:
 YY_RULE_SETUP
-#line 366 "scan.l"
+#line 370 "scan.l"
 backing_up_report = option_sense;
        YY_BREAK
 case 62:
 YY_RULE_SETUP
-#line 367 "scan.l"
+#line 371 "scan.l"
 interactive = ! option_sense;
        YY_BREAK
 case 63:
 YY_RULE_SETUP
-#line 368 "scan.l"
+#line 372 "scan.l"
 bison_bridge_lval = option_sense;
        YY_BREAK
 case 64:
 YY_RULE_SETUP
-#line 369 "scan.l"
+#line 373 "scan.l"
 { if((bison_bridge_lloc = option_sense))
                             bison_bridge_lval = true;
                      }
        YY_BREAK
 case 65:
 YY_RULE_SETUP
-#line 372 "scan.l"
+#line 376 "scan.l"
 C_plus_plus = option_sense;
        YY_BREAK
 case 66:
 YY_RULE_SETUP
-#line 373 "scan.l"
+#line 377 "scan.l"
 sf_set_case_ins(!option_sense);
        YY_BREAK
 case 67:
 YY_RULE_SETUP
-#line 374 "scan.l"
+#line 378 "scan.l"
 sf_set_case_ins(option_sense);
        YY_BREAK
 case 68:
 YY_RULE_SETUP
-#line 375 "scan.l"
+#line 379 "scan.l"
 ddebug = option_sense;
        YY_BREAK
 case 69:
 YY_RULE_SETUP
-#line 376 "scan.l"
+#line 380 "scan.l"
 spprdflt = ! option_sense;
        YY_BREAK
 case 70:
 YY_RULE_SETUP
-#line 377 "scan.l"
+#line 381 "scan.l"
 useecs = option_sense;
        YY_BREAK
 case 71:
 YY_RULE_SETUP
-#line 378 "scan.l"
+#line 382 "scan.l"
 {
                        useecs = usemecs = false;
                        use_read = fullspd = true;
@@ -2845,7 +2851,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 72:
 YY_RULE_SETUP
-#line 382 "scan.l"
+#line 386 "scan.l"
 {
                        useecs = usemecs = false;
                        use_read = fulltbl = true;
@@ -2853,32 +2859,32 @@ YY_RULE_SETUP
        YY_BREAK
 case 73:
 YY_RULE_SETUP
-#line 386 "scan.l"
+#line 390 "scan.l"
 ACTION_IFDEF("YY_NO_INPUT", ! option_sense);
        YY_BREAK
 case 74:
 YY_RULE_SETUP
-#line 387 "scan.l"
+#line 391 "scan.l"
 interactive = option_sense;
        YY_BREAK
 case 75:
 YY_RULE_SETUP
-#line 388 "scan.l"
+#line 392 "scan.l"
 lex_compat = option_sense;
        YY_BREAK
 case 76:
 YY_RULE_SETUP
-#line 389 "scan.l"
+#line 393 "scan.l"
 posix_compat = option_sense;
        YY_BREAK
 case 77:
 YY_RULE_SETUP
-#line 390 "scan.l"
+#line 394 "scan.l"
 gen_line_dirs = option_sense;
        YY_BREAK
 case 78:
 YY_RULE_SETUP
-#line 391 "scan.l"
+#line 395 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_MAIN", option_sense);
             /* Override yywrap */
@@ -2888,12 +2894,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 79:
 YY_RULE_SETUP
-#line 397 "scan.l"
+#line 401 "scan.l"
 usemecs = option_sense;
        YY_BREAK
 case 80:
 YY_RULE_SETUP
-#line 398 "scan.l"
+#line 402 "scan.l"
 {
                        ACTION_M4_IFDEF( "M4""_YY_NEVER_INTERACTIVE", option_sense );
             interactive = !option_sense;
@@ -2901,237 +2907,237 @@ YY_RULE_SETUP
        YY_BREAK
 case 81:
 YY_RULE_SETUP
-#line 402 "scan.l"
+#line 406 "scan.l"
 performance_report += option_sense ? 1 : -1;
        YY_BREAK
 case 82:
 YY_RULE_SETUP
-#line 403 "scan.l"
+#line 407 "scan.l"
 yytext_is_array = ! option_sense;
        YY_BREAK
 case 83:
 YY_RULE_SETUP
-#line 404 "scan.l"
+#line 408 "scan.l"
 use_read = option_sense;
        YY_BREAK
 case 84:
 YY_RULE_SETUP
-#line 405 "scan.l"
+#line 409 "scan.l"
 reentrant = option_sense;
        YY_BREAK
 case 85:
 YY_RULE_SETUP
-#line 406 "scan.l"
+#line 410 "scan.l"
 reject_really_used = option_sense;
        YY_BREAK
 case 86:
 YY_RULE_SETUP
-#line 407 "scan.l"
+#line 411 "scan.l"
 ACTION_M4_IFDEF( "M4""_YY_STACK_USED", option_sense );
        YY_BREAK
 case 87:
 YY_RULE_SETUP
-#line 408 "scan.l"
+#line 412 "scan.l"
 do_stdinit = option_sense;
        YY_BREAK
 case 88:
 YY_RULE_SETUP
-#line 409 "scan.l"
+#line 413 "scan.l"
 use_stdout = option_sense;
        YY_BREAK
 case 89:
 YY_RULE_SETUP
-#line 410 "scan.l"
+#line 414 "scan.l"
 ACTION_IFDEF("YY_NO_UNISTD_H", ! option_sense);
        YY_BREAK
 case 90:
 YY_RULE_SETUP
-#line 411 "scan.l"
+#line 415 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_UNPUT", ! option_sense);
        YY_BREAK
 case 91:
 YY_RULE_SETUP
-#line 412 "scan.l"
+#line 416 "scan.l"
 printstats = option_sense;
        YY_BREAK
 case 92:
 YY_RULE_SETUP
-#line 413 "scan.l"
+#line 417 "scan.l"
 nowarn = ! option_sense;
        YY_BREAK
 case 93:
 YY_RULE_SETUP
-#line 414 "scan.l"
+#line 418 "scan.l"
 do_yylineno = option_sense; ACTION_M4_IFDEF("M4""_YY_USE_LINENO", option_sense);
        YY_BREAK
 case 94:
 YY_RULE_SETUP
-#line 415 "scan.l"
+#line 419 "scan.l"
 yymore_really_used = option_sense;
        YY_BREAK
 case 95:
 YY_RULE_SETUP
-#line 416 "scan.l"
+#line 420 "scan.l"
 do_yywrap = option_sense;
        YY_BREAK
 case 96:
 YY_RULE_SETUP
-#line 418 "scan.l"
+#line 422 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_PUSH_STATE", ! option_sense);
        YY_BREAK
 case 97:
 YY_RULE_SETUP
-#line 419 "scan.l"
+#line 423 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_POP_STATE", ! option_sense);
        YY_BREAK
 case 98:
 YY_RULE_SETUP
-#line 420 "scan.l"
+#line 424 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_TOP_STATE", ! option_sense);
        YY_BREAK
 case 99:
 YY_RULE_SETUP
-#line 422 "scan.l"
+#line 426 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_BUFFER", ! option_sense);
        YY_BREAK
 case 100:
 YY_RULE_SETUP
-#line 423 "scan.l"
+#line 427 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_BYTES", ! option_sense);
        YY_BREAK
 case 101:
 YY_RULE_SETUP
-#line 424 "scan.l"
+#line 428 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SCAN_STRING", ! option_sense);
        YY_BREAK
 case 102:
 YY_RULE_SETUP
-#line 426 "scan.l"
+#line 430 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_ALLOC", ! option_sense);
        YY_BREAK
 case 103:
 YY_RULE_SETUP
-#line 427 "scan.l"
+#line 431 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_REALLOC", ! option_sense);
        YY_BREAK
 case 104:
 YY_RULE_SETUP
-#line 428 "scan.l"
+#line 432 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_FLEX_FREE", ! option_sense);
        YY_BREAK
 case 105:
 YY_RULE_SETUP
-#line 430 "scan.l"
+#line 434 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_DEBUG", ! option_sense);
        YY_BREAK
 case 106:
 YY_RULE_SETUP
-#line 431 "scan.l"
+#line 435 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_DEBUG", ! option_sense);
        YY_BREAK
 case 107:
 YY_RULE_SETUP
-#line 432 "scan.l"
+#line 436 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_EXTRA", ! option_sense);
        YY_BREAK
 case 108:
 YY_RULE_SETUP
-#line 433 "scan.l"
+#line 437 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_EXTRA", ! option_sense);
        YY_BREAK
 case 109:
 YY_RULE_SETUP
-#line 434 "scan.l"
+#line 438 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LENG", ! option_sense);
        YY_BREAK
 case 110:
 YY_RULE_SETUP
-#line 435 "scan.l"
+#line 439 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_TEXT", ! option_sense);
        YY_BREAK
 case 111:
 YY_RULE_SETUP
-#line 436 "scan.l"
+#line 440 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LINENO", ! option_sense);
        YY_BREAK
 case 112:
 YY_RULE_SETUP
-#line 437 "scan.l"
+#line 441 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LINENO", ! option_sense);
        YY_BREAK
 case 113:
 YY_RULE_SETUP
-#line 438 "scan.l"
+#line 442 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_IN", ! option_sense);
        YY_BREAK
 case 114:
 YY_RULE_SETUP
-#line 439 "scan.l"
+#line 443 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_IN", ! option_sense);
        YY_BREAK
 case 115:
 YY_RULE_SETUP
-#line 440 "scan.l"
+#line 444 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_OUT", ! option_sense);
        YY_BREAK
 case 116:
 YY_RULE_SETUP
-#line 441 "scan.l"
+#line 445 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_OUT", ! option_sense);
        YY_BREAK
 case 117:
 YY_RULE_SETUP
-#line 442 "scan.l"
+#line 446 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LVAL", ! option_sense);
        YY_BREAK
 case 118:
 YY_RULE_SETUP
-#line 443 "scan.l"
+#line 447 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LVAL", ! option_sense);
        YY_BREAK
 case 119:
 YY_RULE_SETUP
-#line 444 "scan.l"
+#line 448 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_GET_LLOC", ! option_sense);
        YY_BREAK
 case 120:
 YY_RULE_SETUP
-#line 445 "scan.l"
+#line 449 "scan.l"
 ACTION_M4_IFDEF("M4""_YY_NO_SET_LLOC", ! option_sense);
        YY_BREAK
 case 121:
 YY_RULE_SETUP
-#line 447 "scan.l"
+#line 451 "scan.l"
 return TOK_EXTRA_TYPE;
        YY_BREAK
 case 122:
 YY_RULE_SETUP
-#line 448 "scan.l"
+#line 452 "scan.l"
 return TOK_OUTFILE;
        YY_BREAK
 case 123:
 YY_RULE_SETUP
-#line 449 "scan.l"
+#line 453 "scan.l"
 return TOK_PREFIX;
        YY_BREAK
 case 124:
 YY_RULE_SETUP
-#line 450 "scan.l"
+#line 454 "scan.l"
 return TOK_YYCLASS;
        YY_BREAK
 case 125:
 YY_RULE_SETUP
-#line 451 "scan.l"
+#line 455 "scan.l"
 return TOK_HEADER_FILE;
        YY_BREAK
 case 126:
 YY_RULE_SETUP
-#line 452 "scan.l"
+#line 456 "scan.l"
 return TOK_TABLES_FILE;
        YY_BREAK
 case 127:
 YY_RULE_SETUP
-#line 453 "scan.l"
+#line 457 "scan.l"
 {
                     tablesverify = option_sense;
                     if(!tablesext && option_sense)
@@ -3140,7 +3146,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 128:
 YY_RULE_SETUP
-#line 460 "scan.l"
+#line 464 "scan.l"
 {
                        if(yyleng-1 < MAXLINE)
                         {
@@ -3157,7 +3163,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 129:
 YY_RULE_SETUP
-#line 474 "scan.l"
+#line 478 "scan.l"
 {
                        format_synerr( _( "unrecognized %%option: %s" ),
                                yytext );
@@ -3168,28 +3174,28 @@ YY_RULE_SETUP
 case 130:
 /* rule 130 can match eol */
 YY_RULE_SETUP
-#line 481 "scan.l"
+#line 485 "scan.l"
 ++linenum; BEGIN(INITIAL);
        YY_BREAK
 
 case 131:
 YY_RULE_SETUP
-#line 485 "scan.l"
+#line 489 "scan.l"
 ++bracelevel; yyless( 2 );     /* eat only %{ */
        YY_BREAK
 case 132:
 YY_RULE_SETUP
-#line 486 "scan.l"
+#line 490 "scan.l"
 --bracelevel; yyless( 2 );     /* eat only %} */
        YY_BREAK
 case 133:
 YY_RULE_SETUP
-#line 488 "scan.l"
+#line 492 "scan.l"
 START_CODEBLOCK(true); /* indented code in prolog */
        YY_BREAK
 case 134:
 YY_RULE_SETUP
-#line 490 "scan.l"
+#line 494 "scan.l"
 {
         /* non-indented code */
                if ( bracelevel <= 0 ) {
@@ -3205,17 +3211,17 @@ YY_RULE_SETUP
        YY_BREAK
 case 135:
 YY_RULE_SETUP
-#line 503 "scan.l"
+#line 507 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 136:
 /* rule 136 can match eol */
 YY_RULE_SETUP
-#line 504 "scan.l"
+#line 508 "scan.l"
 ++linenum; ACTION_ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT2PROLOG):
-#line 506 "scan.l"
+#line 510 "scan.l"
 {
                        mark_prolog();
                        sectnum = 0;
@@ -3227,22 +3233,25 @@ case YY_STATE_EOF(SECT2PROLOG):
 case 137:
 /* rule 137 can match eol */
 YY_RULE_SETUP
-#line 514 "scan.l"
+#line 518 "scan.l"
 ++linenum; /* allow blank lines in section 2 */
        YY_BREAK
 case 138:
 YY_RULE_SETUP
-#line 516 "scan.l"
+#line 520 "scan.l"
 {
                        indented_code = false;
                        doing_codeblock = true;
                        bracelevel = 1;
                        BEGIN(PERCENT_BRACE_ACTION);
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<PercentBraceAction>");
                        }
        YY_BREAK
 case 139:
 YY_RULE_SETUP
-#line 523 "scan.l"
+#line 530 "scan.l"
 {
                         /* Allow "<" to appear in (?x) patterns. */
                         if (!sf_skip_ws())
@@ -3252,12 +3261,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 140:
 YY_RULE_SETUP
-#line 529 "scan.l"
+#line 536 "scan.l"
 return '^';
        YY_BREAK
 case 141:
 YY_RULE_SETUP
-#line 530 "scan.l"
+#line 537 "scan.l"
 BEGIN(QUOTE); return '"';
        YY_BREAK
 case 142:
@@ -3265,7 +3274,7 @@ case 142:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 531 "scan.l"
+#line 538 "scan.l"
 {
                        BEGIN(NUM);
                        if ( lex_compat || posix_compat )
@@ -3280,12 +3289,12 @@ case 143:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 538 "scan.l"
+#line 545 "scan.l"
 return '$';
        YY_BREAK
 case 144:
 YY_RULE_SETUP
-#line 540 "scan.l"
+#line 547 "scan.l"
 {
                        bracelevel = 1;
                        BEGIN(PERCENT_BRACE_ACTION);
@@ -3294,14 +3303,24 @@ YY_RULE_SETUP
                                {
                                doing_rule_action = true;
                                in_rule = false;
+#if 1
+ fprintf(stderr, "<token value=\"10\">");
+ dump(yytext, strlen(yytext), stderr);
+ fprintf(stderr, "</token><PercentBraceAction>");
+ return ~'\n';
+#else
                                return '\n';
+#endif
                                }
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<PercentBraceAction>");
                        }
        YY_BREAK
 case 145:
 /* rule 145 can match eol */
 YY_RULE_SETUP
-#line 551 "scan.l"
+#line 568 "scan.l"
 {
                         if (sf_skip_ws()){
                             /* We're in the middle of a (?x: ) pattern. */
@@ -3319,7 +3338,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 146:
 YY_RULE_SETUP
-#line 566 "scan.l"
+#line 583 "scan.l"
 {
 
                 if (sf_skip_ws()){
@@ -3331,17 +3350,20 @@ YY_RULE_SETUP
                     bracelevel = 0;
                     continued_action = false;
                     BEGIN(ACTION);
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<Action>");
                 }
                        }
        YY_BREAK
 case 147:
 YY_RULE_SETUP
-#line 580 "scan.l"
+#line 600 "scan.l"
 /* allow indented rules */ ;
        YY_BREAK
 case 148:
 YY_RULE_SETUP
-#line 582 "scan.l"
+#line 602 "scan.l"
 {
             if (sf_skip_ws()){
                 /* We're in the middle of a (?x: ) pattern. */
@@ -3359,15 +3381,25 @@ YY_RULE_SETUP
                     {
                     doing_rule_action = true;
                     in_rule = false;
+#if 1
+ fprintf(stderr, "<token value=\"10\">");
+ dump(yytext, strlen(yytext), stderr);
+ fprintf(stderr, "</token><Action>");
+ return ~'\n';
+#else
                     return '\n';
+#endif
                     }
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<Action>");
             }
                        }
        YY_BREAK
 case 149:
 /* rule 149 can match eol */
 YY_RULE_SETUP
-#line 604 "scan.l"
+#line 634 "scan.l"
 {
             if (sf_skip_ws()){
                 /* We're in the middle of a (?x: ) pattern. */
@@ -3383,21 +3415,31 @@ YY_RULE_SETUP
                     {
                     doing_rule_action = true;
                     in_rule = false;
+#if 1
+ fprintf(stderr, "<token value=\"10\">");
+ dump(yytext, strlen(yytext), stderr);
+ fprintf(stderr, "</token><Action>");
+ return ~'\n';
+#else
                     return '\n';
+#endif
                     }
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<Action>");
             }
                        }
        YY_BREAK
 case 150:
-#line 625 "scan.l"
+#line 665 "scan.l"
 case 151:
 YY_RULE_SETUP
-#line 625 "scan.l"
+#line 665 "scan.l"
 return EOF_OP;
        YY_BREAK
 case 152:
 YY_RULE_SETUP
-#line 627 "scan.l"
+#line 667 "scan.l"
 {
                        sectnum = 3;
                        BEGIN(no_section3_escape ? SECT3_NOESCAPE : SECT3);
@@ -3408,7 +3450,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 153:
 YY_RULE_SETUP
-#line 635 "scan.l"
+#line 675 "scan.l"
 {
                        int cclval;
 
@@ -3458,12 +3500,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 154:
 YY_RULE_SETUP
-#line 681 "scan.l"
+#line 721 "scan.l"
 return CCL_OP_DIFF;
        YY_BREAK
 case 155:
 YY_RULE_SETUP
-#line 682 "scan.l"
+#line 722 "scan.l"
 return CCL_OP_UNION;
        YY_BREAK
 /* Check for :space: at the end of the rule so we don't
@@ -3473,7 +3515,7 @@ return CCL_OP_UNION;
 case 156:
 /* rule 156 can match eol */
 YY_RULE_SETUP
-#line 689 "scan.l"
+#line 729 "scan.l"
 {
                        char *nmdefptr;
             int end_is_ws, end_ch;
@@ -3528,7 +3570,7 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
        YY_BREAK
 case 157:
 YY_RULE_SETUP
-#line 741 "scan.l"
+#line 781 "scan.l"
 {
                     if (sf_skip_ws())
                         yy_push_state(COMMENT_DISCARD);
@@ -3541,7 +3583,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 158:
 YY_RULE_SETUP
-#line 751 "scan.l"
+#line 791 "scan.l"
 {
                     if (lex_compat || posix_compat){
                         /* Push back the "?#" and treat it like a normal parens. */
@@ -3555,7 +3597,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 159:
 YY_RULE_SETUP
-#line 761 "scan.l"
+#line 801 "scan.l"
 {
                     sf_push();
                     if (lex_compat || posix_compat)
@@ -3568,12 +3610,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 160:
 YY_RULE_SETUP
-#line 770 "scan.l"
+#line 810 "scan.l"
 sf_push(); return '(';
        YY_BREAK
 case 161:
 YY_RULE_SETUP
-#line 771 "scan.l"
+#line 811 "scan.l"
 {
                     if (_sf_top_ix > 0) {
                         sf_pop();
@@ -3584,12 +3626,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 162:
 YY_RULE_SETUP
-#line 779 "scan.l"
+#line 819 "scan.l"
 return (unsigned char) yytext[0];
        YY_BREAK
 case 163:
 YY_RULE_SETUP
-#line 780 "scan.l"
+#line 820 "scan.l"
 RETURNCHAR;
        YY_BREAK
 
@@ -3597,17 +3639,17 @@ RETURNCHAR;
 case 164:
 /* rule 164 can match eol */
 YY_RULE_SETUP
-#line 785 "scan.l"
+#line 825 "scan.l"
 ++linenum;     /* Allow blank lines & continuations */
        YY_BREAK
 case 165:
 YY_RULE_SETUP
-#line 786 "scan.l"
+#line 826 "scan.l"
 return (unsigned char) yytext[0];
        YY_BREAK
 case 166:
 YY_RULE_SETUP
-#line 787 "scan.l"
+#line 827 "scan.l"
 BEGIN(SECT2); return '>';
        YY_BREAK
 case 167:
@@ -3615,17 +3657,17 @@ case 167:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 788 "scan.l"
+#line 828 "scan.l"
 BEGIN(CARETISBOL); return '>';
        YY_BREAK
 case 168:
 YY_RULE_SETUP
-#line 789 "scan.l"
+#line 829 "scan.l"
 RETURNNAME;
        YY_BREAK
 case 169:
 YY_RULE_SETUP
-#line 790 "scan.l"
+#line 830 "scan.l"
 {
                        format_synerr( _( "bad <start condition>: %s" ),
                                yytext );
@@ -3634,24 +3676,24 @@ YY_RULE_SETUP
 
 case 170:
 YY_RULE_SETUP
-#line 796 "scan.l"
+#line 836 "scan.l"
 BEGIN(SECT2); return '^';
        YY_BREAK
 
 case 171:
 YY_RULE_SETUP
-#line 800 "scan.l"
+#line 840 "scan.l"
 RETURNCHAR;
        YY_BREAK
 case 172:
 YY_RULE_SETUP
-#line 801 "scan.l"
+#line 841 "scan.l"
 BEGIN(SECT2); return '"';
        YY_BREAK
 case 173:
 /* rule 173 can match eol */
 YY_RULE_SETUP
-#line 803 "scan.l"
+#line 843 "scan.l"
 {
                        synerr( _( "missing quote" ) );
                        BEGIN(SECT2);
@@ -3663,49 +3705,49 @@ YY_RULE_SETUP
 
 case 174:
 YY_RULE_SETUP
-#line 812 "scan.l"
+#line 852 "scan.l"
 BEGIN(SECT2);
        YY_BREAK
 case 175:
 YY_RULE_SETUP
-#line 813 "scan.l"
+#line 853 "scan.l"
 BEGIN(GROUP_MINUS_PARAMS);
        YY_BREAK
 case 176:
 YY_RULE_SETUP
-#line 814 "scan.l"
+#line 854 "scan.l"
 sf_set_case_ins(1);
        YY_BREAK
 case 177:
 YY_RULE_SETUP
-#line 815 "scan.l"
+#line 855 "scan.l"
 sf_set_dot_all(1);
        YY_BREAK
 case 178:
 YY_RULE_SETUP
-#line 816 "scan.l"
+#line 856 "scan.l"
 sf_set_skip_ws(1);
        YY_BREAK
 
 
 case 179:
 YY_RULE_SETUP
-#line 819 "scan.l"
+#line 859 "scan.l"
 BEGIN(SECT2);
        YY_BREAK
 case 180:
 YY_RULE_SETUP
-#line 820 "scan.l"
+#line 860 "scan.l"
 sf_set_case_ins(0);
        YY_BREAK
 case 181:
 YY_RULE_SETUP
-#line 821 "scan.l"
+#line 861 "scan.l"
 sf_set_dot_all(0);
        YY_BREAK
 case 182:
 YY_RULE_SETUP
-#line 822 "scan.l"
+#line 862 "scan.l"
 sf_set_skip_ws(0);
        YY_BREAK
 
@@ -3715,7 +3757,7 @@ case 183:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 826 "scan.l"
+#line 866 "scan.l"
 BEGIN(CCL); return '^';
        YY_BREAK
 case 184:
@@ -3723,12 +3765,12 @@ case 184:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 827 "scan.l"
+#line 867 "scan.l"
 return '^';
        YY_BREAK
 case 185:
 YY_RULE_SETUP
-#line 828 "scan.l"
+#line 868 "scan.l"
 BEGIN(CCL); RETURNCHAR;
        YY_BREAK
 
@@ -3738,23 +3780,23 @@ case 186:
 (yy_c_buf_p) = yy_cp = yy_bp + 1;
 YY_DO_BEFORE_ACTION; /* set up yytext again */
 YY_RULE_SETUP
-#line 832 "scan.l"
+#line 872 "scan.l"
 return '-';
        YY_BREAK
 case 187:
 YY_RULE_SETUP
-#line 833 "scan.l"
+#line 873 "scan.l"
 RETURNCHAR;
        YY_BREAK
 case 188:
 YY_RULE_SETUP
-#line 834 "scan.l"
+#line 874 "scan.l"
 BEGIN(SECT2); return ']';
        YY_BREAK
 case 189:
 /* rule 189 can match eol */
 YY_RULE_SETUP
-#line 835 "scan.l"
+#line 875 "scan.l"
 {
                        synerr( _( "bad character class" ) );
                        BEGIN(SECT2);
@@ -3765,127 +3807,127 @@ YY_RULE_SETUP
 
 case 190:
 YY_RULE_SETUP
-#line 843 "scan.l"
+#line 883 "scan.l"
 BEGIN(CCL); return CCE_ALNUM;
        YY_BREAK
 case 191:
 YY_RULE_SETUP
-#line 844 "scan.l"
+#line 884 "scan.l"
 BEGIN(CCL); return CCE_ALPHA;
        YY_BREAK
 case 192:
 YY_RULE_SETUP
-#line 845 "scan.l"
+#line 885 "scan.l"
 BEGIN(CCL); return CCE_BLANK;
        YY_BREAK
 case 193:
 YY_RULE_SETUP
-#line 846 "scan.l"
+#line 886 "scan.l"
 BEGIN(CCL); return CCE_CNTRL;
        YY_BREAK
 case 194:
 YY_RULE_SETUP
-#line 847 "scan.l"
+#line 887 "scan.l"
 BEGIN(CCL); return CCE_DIGIT;
        YY_BREAK
 case 195:
 YY_RULE_SETUP
-#line 848 "scan.l"
+#line 888 "scan.l"
 BEGIN(CCL); return CCE_GRAPH;
        YY_BREAK
 case 196:
 YY_RULE_SETUP
-#line 849 "scan.l"
+#line 889 "scan.l"
 BEGIN(CCL); return CCE_LOWER;
        YY_BREAK
 case 197:
 YY_RULE_SETUP
-#line 850 "scan.l"
+#line 890 "scan.l"
 BEGIN(CCL); return CCE_PRINT;
        YY_BREAK
 case 198:
 YY_RULE_SETUP
-#line 851 "scan.l"
+#line 891 "scan.l"
 BEGIN(CCL); return CCE_PUNCT;
        YY_BREAK
 case 199:
 YY_RULE_SETUP
-#line 852 "scan.l"
+#line 892 "scan.l"
 BEGIN(CCL); return CCE_SPACE;
        YY_BREAK
 case 200:
 YY_RULE_SETUP
-#line 853 "scan.l"
+#line 893 "scan.l"
 BEGIN(CCL); return CCE_UPPER;
        YY_BREAK
 case 201:
 YY_RULE_SETUP
-#line 854 "scan.l"
+#line 894 "scan.l"
 BEGIN(CCL); return CCE_XDIGIT;
        YY_BREAK
 case 202:
 YY_RULE_SETUP
-#line 856 "scan.l"
+#line 896 "scan.l"
 BEGIN(CCL); return CCE_NEG_ALNUM;
        YY_BREAK
 case 203:
 YY_RULE_SETUP
-#line 857 "scan.l"
+#line 897 "scan.l"
 BEGIN(CCL); return CCE_NEG_ALPHA;
        YY_BREAK
 case 204:
 YY_RULE_SETUP
-#line 858 "scan.l"
+#line 898 "scan.l"
 BEGIN(CCL); return CCE_NEG_BLANK;
        YY_BREAK
 case 205:
 YY_RULE_SETUP
-#line 859 "scan.l"
+#line 899 "scan.l"
 BEGIN(CCL); return CCE_NEG_CNTRL;
        YY_BREAK
 case 206:
 YY_RULE_SETUP
-#line 860 "scan.l"
+#line 900 "scan.l"
 BEGIN(CCL); return CCE_NEG_DIGIT;
        YY_BREAK
 case 207:
 YY_RULE_SETUP
-#line 861 "scan.l"
+#line 901 "scan.l"
 BEGIN(CCL); return CCE_NEG_GRAPH;
        YY_BREAK
 case 208:
 YY_RULE_SETUP
-#line 862 "scan.l"
+#line 902 "scan.l"
 BEGIN(CCL); return CCE_NEG_LOWER;
        YY_BREAK
 case 209:
 YY_RULE_SETUP
-#line 863 "scan.l"
+#line 903 "scan.l"
 BEGIN(CCL); return CCE_NEG_PRINT;
        YY_BREAK
 case 210:
 YY_RULE_SETUP
-#line 864 "scan.l"
+#line 904 "scan.l"
 BEGIN(CCL); return CCE_NEG_PUNCT;
        YY_BREAK
 case 211:
 YY_RULE_SETUP
-#line 865 "scan.l"
+#line 905 "scan.l"
 BEGIN(CCL); return CCE_NEG_SPACE;
        YY_BREAK
 case 212:
 YY_RULE_SETUP
-#line 866 "scan.l"
+#line 906 "scan.l"
 BEGIN(CCL); return CCE_NEG_UPPER;
        YY_BREAK
 case 213:
 YY_RULE_SETUP
-#line 867 "scan.l"
+#line 907 "scan.l"
 BEGIN(CCL); return CCE_NEG_XDIGIT;
        YY_BREAK
 case 214:
 YY_RULE_SETUP
-#line 868 "scan.l"
+#line 908 "scan.l"
 {
                        format_synerr(
                                _( "bad character class expression: %s" ),
@@ -3897,7 +3939,7 @@ YY_RULE_SETUP
 
 case 215:
 YY_RULE_SETUP
-#line 877 "scan.l"
+#line 917 "scan.l"
 {
                        yylval = myctoi( yytext );
                        return NUMBER;
@@ -3905,12 +3947,12 @@ YY_RULE_SETUP
        YY_BREAK
 case 216:
 YY_RULE_SETUP
-#line 882 "scan.l"
+#line 922 "scan.l"
 return ',';
        YY_BREAK
 case 217:
 YY_RULE_SETUP
-#line 883 "scan.l"
+#line 923 "scan.l"
 {
                        BEGIN(SECT2);
                        if ( lex_compat || posix_compat )
@@ -3921,7 +3963,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 218:
 YY_RULE_SETUP
-#line 891 "scan.l"
+#line 931 "scan.l"
 {
                        synerr( _( "bad character inside {}'s" ) );
                        BEGIN(SECT2);
@@ -3931,7 +3973,7 @@ YY_RULE_SETUP
 case 219:
 /* rule 219 can match eol */
 YY_RULE_SETUP
-#line 897 "scan.l"
+#line 937 "scan.l"
 {
                        synerr( _( "missing }" ) );
                        BEGIN(SECT2);
@@ -3943,18 +3985,18 @@ YY_RULE_SETUP
 
 case 220:
 YY_RULE_SETUP
-#line 907 "scan.l"
+#line 947 "scan.l"
 bracelevel = 0;
        YY_BREAK
 case 221:
 YY_RULE_SETUP
-#line 909 "scan.l"
+#line 949 "scan.l"
 ACTION_ECHO; yy_push_state( CODE_COMMENT );
        YY_BREAK
 
 case 222:
 YY_RULE_SETUP
-#line 912 "scan.l"
+#line 952 "scan.l"
 {
             ACTION_ECHO;
             CHECK_REJECT(yytext);
@@ -3962,7 +4004,7 @@ YY_RULE_SETUP
        YY_BREAK
 case 223:
 YY_RULE_SETUP
-#line 916 "scan.l"
+#line 956 "scan.l"
 {
             ACTION_ECHO;
             CHECK_YYMORE(yytext);
@@ -3971,13 +4013,13 @@ YY_RULE_SETUP
 
 case 224:
 YY_RULE_SETUP
-#line 922 "scan.l"
+#line 962 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 225:
 /* rule 225 can match eol */
 YY_RULE_SETUP
-#line 923 "scan.l"
+#line 963 "scan.l"
 {
                ++linenum;
                ACTION_ECHO;
@@ -3987,6 +4029,7 @@ YY_RULE_SETUP
 
             doing_rule_action = doing_codeblock = false;
             BEGIN(SECT2);
+ fprintf(stderr, "</PercentBraceAction>");
         }
     }
        YY_BREAK
@@ -3995,43 +4038,43 @@ YY_RULE_SETUP
 
 case 226:
 YY_RULE_SETUP
-#line 939 "scan.l"
+#line 980 "scan.l"
 ACTION_ECHO; ++bracelevel;
        YY_BREAK
 case 227:
 YY_RULE_SETUP
-#line 940 "scan.l"
+#line 981 "scan.l"
 ACTION_ECHO; --bracelevel;
        YY_BREAK
 case 228:
 YY_RULE_SETUP
-#line 941 "scan.l"
+#line 982 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 229:
 YY_RULE_SETUP
-#line 942 "scan.l"
+#line 983 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 230:
 YY_RULE_SETUP
-#line 943 "scan.l"
+#line 984 "scan.l"
 ACTION_ECHO; /* character constant */
        YY_BREAK
 case 231:
 YY_RULE_SETUP
-#line 944 "scan.l"
+#line 985 "scan.l"
 ACTION_ECHO; BEGIN(CHARACTER_CONSTANT);
        YY_BREAK
 case 232:
 YY_RULE_SETUP
-#line 945 "scan.l"
+#line 986 "scan.l"
 ACTION_ECHO; BEGIN(ACTION_STRING);
        YY_BREAK
 case 233:
 /* rule 233 can match eol */
 YY_RULE_SETUP
-#line 946 "scan.l"
+#line 987 "scan.l"
 {
                 ++linenum;
                 ACTION_ECHO;
@@ -4041,36 +4084,39 @@ YY_RULE_SETUP
 
                    doing_rule_action = false;
                    BEGIN(SECT2);
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "</Action>");
                 }
              }
        YY_BREAK
 case 234:
 YY_RULE_SETUP
-#line 957 "scan.l"
+#line 1001 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 
 
 case 235:
 YY_RULE_SETUP
-#line 961 "scan.l"
+#line 1005 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 236:
 YY_RULE_SETUP
-#line 962 "scan.l"
+#line 1006 "scan.l"
 ACTION_ECHO; BEGIN(ACTION);
        YY_BREAK
 
 
 case 237:
 YY_RULE_SETUP
-#line 965 "scan.l"
+#line 1009 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 238:
 YY_RULE_SETUP
-#line 966 "scan.l"
+#line 1010 "scan.l"
 ACTION_ECHO; BEGIN(ACTION);
        YY_BREAK
 
@@ -4078,24 +4124,24 @@ ACTION_ECHO; BEGIN(ACTION);
 case 239:
 /* rule 239 can match eol */
 YY_RULE_SETUP
-#line 969 "scan.l"
+#line 1013 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 240:
 /* rule 240 can match eol */
 YY_RULE_SETUP
-#line 970 "scan.l"
+#line 1014 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 case 241:
 /* rule 241 can match eol */
 YY_RULE_SETUP
-#line 971 "scan.l"
-++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); } else { BEGIN(ACTION); }
+#line 1015 "scan.l"
+++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; fprintf(stderr, "</Action>"); } else { BEGIN(ACTION); }
        YY_BREAK
 case 242:
 YY_RULE_SETUP
-#line 972 "scan.l"
+#line 1016 "scan.l"
 ACTION_ECHO;
        YY_BREAK
 
@@ -4105,7 +4151,7 @@ case YY_STATE_EOF(COMMENT_DISCARD):
 case YY_STATE_EOF(ACTION):
 case YY_STATE_EOF(ACTION_STRING):
 case YY_STATE_EOF(CHARACTER_CONSTANT):
-#line 975 "scan.l"
+#line 1019 "scan.l"
 {
                        synerr( _( "EOF encountered inside an action" ) );
                        yyterminate();
@@ -4114,7 +4160,7 @@ case YY_STATE_EOF(CHARACTER_CONSTANT):
 case YY_STATE_EOF(EXTENDED_COMMENT):
 case YY_STATE_EOF(GROUP_WITH_PARAMS):
 case YY_STATE_EOF(GROUP_MINUS_PARAMS):
-#line 980 "scan.l"
+#line 1024 "scan.l"
 {
                        synerr( _( "EOF encountered inside pattern" ) );
                        yyterminate();
@@ -4122,7 +4168,7 @@ case YY_STATE_EOF(GROUP_MINUS_PARAMS):
        YY_BREAK
 case 243:
 YY_RULE_SETUP
-#line 985 "scan.l"
+#line 1029 "scan.l"
 {
                        yylval = myesc( (unsigned char *) yytext );
 
@@ -4135,27 +4181,27 @@ YY_RULE_SETUP
 
 case 244:
 YY_RULE_SETUP
-#line 995 "scan.l"
+#line 1039 "scan.l"
 fputs(escaped_qstart, yyout);
        YY_BREAK
 case 245:
 YY_RULE_SETUP
-#line 996 "scan.l"
+#line 1040 "scan.l"
 fputs(escaped_qend, yyout);
        YY_BREAK
 case 246:
 /* rule 246 can match eol */
 YY_RULE_SETUP
-#line 997 "scan.l"
+#line 1041 "scan.l"
 ECHO;
        YY_BREAK
 case 247:
 YY_RULE_SETUP
-#line 998 "scan.l"
+#line 1042 "scan.l"
 ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT3):
-#line 999 "scan.l"
+#line 1043 "scan.l"
 {
         sectnum = 0;
         yyterminate();
@@ -4165,27 +4211,27 @@ case YY_STATE_EOF(SECT3):
 
 case 248:
 YY_RULE_SETUP
-#line 1005 "scan.l"
+#line 1049 "scan.l"
 fprintf(yyout, "[""[%s]""]", escaped_qstart);
        YY_BREAK
 case 249:
 YY_RULE_SETUP
-#line 1006 "scan.l"
+#line 1050 "scan.l"
 fprintf(yyout, "[""[%s]""]", escaped_qend);
        YY_BREAK
 case 250:
 /* rule 250 can match eol */
 YY_RULE_SETUP
-#line 1007 "scan.l"
+#line 1051 "scan.l"
 ECHO;
        YY_BREAK
 case 251:
 YY_RULE_SETUP
-#line 1008 "scan.l"
+#line 1052 "scan.l"
 ECHO;
        YY_BREAK
 case YY_STATE_EOF(SECT3_NOESCAPE):
-#line 1009 "scan.l"
+#line 1053 "scan.l"
 {
        sectnum = 0;
        yyterminate();
@@ -4195,15 +4241,15 @@ case YY_STATE_EOF(SECT3_NOESCAPE):
 case 252:
 /* rule 252 can match eol */
 YY_RULE_SETUP
-#line 1014 "scan.l"
+#line 1058 "scan.l"
 format_synerr( _( "bad character: %s" ), yytext );
        YY_BREAK
 case 253:
 YY_RULE_SETUP
-#line 1016 "scan.l"
+#line 1060 "scan.l"
 YY_FATAL_ERROR( "flex scanner jammed" );
        YY_BREAK
-#line 4166 "scan.c"
+#line 4210 "scan.c"
 case YY_STATE_EOF(INITIAL):
 case YY_STATE_EOF(SECT2):
 case YY_STATE_EOF(CODEBLOCK):
@@ -5258,7 +5304,7 @@ void yyfree (void * ptr )
 
 #define YYTABLES_NAME "yytables"
 
-#line 1016 "scan.l"
+#line 1060 "scan.l"
 
 
 
index ef7476e..7639c55 100644 (file)
@@ -17,7 +17,7 @@
  
  #ifndef YY_TYPEDEF_YY_SIZE_T
  #define YY_TYPEDEF_YY_SIZE_T
-@@ -2209,7 +2218,39 @@
+@@ -2209,7 +2218,41 @@
  
  /** The main scanner function which does all the work.
   */
@@ -44,6 +44,8 @@
 + YY_DECL
 + {
 + int result = real_yylex();
++ if (result < 0)
++  return ~result;
 + size_t n = strlen(yytext);
 + if (n) {
 +  fprintf(stderr, "<token value=\"%d\">", result);
index 0348cfb..2fc1062 100644 (file)
@@ -110,12 +110,16 @@ extern const char *escaped_qstart, *escaped_qend;
     add_action(M4QSTART); \
     yy_push_state(CODEBLOCK); \
     if ((indented_code = x)) ACTION_ECHO; \
+ dump(yytext, yy_c_buf_p - yytext, stderr); \
+ yytext = yy_c_buf_p; \
+ fprintf(stderr, "<CodeBlock>"); \
 } while(0)
 
 #define END_CODEBLOCK do { \
     yy_pop_state();\
     add_action(M4QEND); \
     if (!indented_code) line_directive_out(NULL, 0);\
+ fprintf(stderr, "</CodeBlock>"); \
 } while (0)
 
 %}
@@ -275,7 +279,7 @@ M4QEND      "]""]"
        {NL}            {
                        ++linenum;
                        ACTION_ECHO;
-                       if ( indented_code ) END_CODEBLOCK;
+                       if ( indented_code ) { dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; END_CODEBLOCK; }
                        }
 }
 
@@ -518,6 +522,9 @@ M4QEND      "]""]"
                        doing_codeblock = true;
                        bracelevel = 1;
                        BEGIN(PERCENT_BRACE_ACTION);
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<PercentBraceAction>");
                        }
 
        ^{OPTWS}"<"         {
@@ -545,8 +552,18 @@ M4QEND      "]""]"
                                {
                                doing_rule_action = true;
                                in_rule = false;
+#if 1
+ fprintf(stderr, "<token value=\"10\">");
+ dump(yytext, strlen(yytext), stderr);
+ fprintf(stderr, "</token><PercentBraceAction>");
+ return ~'\n';
+#else
                                return '\n';
+#endif
                                }
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<PercentBraceAction>");
                        }
        {WS}"|".*{NL}   {
                         if (sf_skip_ws()){
@@ -574,6 +591,9 @@ M4QEND      "]""]"
                     bracelevel = 0;
                     continued_action = false;
                     BEGIN(ACTION);
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<Action>");
                 }
                        }
 
@@ -596,8 +616,18 @@ M4QEND      "]""]"
                     {
                     doing_rule_action = true;
                     in_rule = false;
+#if 1
+ fprintf(stderr, "<token value=\"10\">");
+ dump(yytext, strlen(yytext), stderr);
+ fprintf(stderr, "</token><Action>");
+ return ~'\n';
+#else
                     return '\n';
+#endif
                     }
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<Action>");
             }
                        }
 
@@ -616,8 +646,18 @@ M4QEND      "]""]"
                     {
                     doing_rule_action = true;
                     in_rule = false;
+#if 1
+ fprintf(stderr, "<token value=\"10\">");
+ dump(yytext, strlen(yytext), stderr);
+ fprintf(stderr, "</token><Action>");
+ return ~'\n';
+#else
                     return '\n';
+#endif
                     }
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "<Action>");
             }
                        }
 
@@ -929,6 +969,7 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
 
             doing_rule_action = doing_codeblock = false;
             BEGIN(SECT2);
+ fprintf(stderr, "</PercentBraceAction>");
         }
     }
 }
@@ -952,6 +993,9 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
 
                    doing_rule_action = false;
                    BEGIN(SECT2);
+ dump(yytext, yy_c_buf_p - yytext, stderr);
+ yytext = yy_c_buf_p;
+ fprintf(stderr, "</Action>");
                 }
              }
         .      ACTION_ECHO;
@@ -968,7 +1012,7 @@ nmstr[yyleng - 2 - end_is_ws] = '\0';  /* chop trailing brace */
 <ACTION_STRING,CHARACTER_CONSTANT>{
         (\\\n)*         ACTION_ECHO;
        \\(\\\n)*.      ACTION_ECHO;
-       {NL}    ++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); } else { BEGIN(ACTION); }
+       {NL}    ++linenum; ACTION_ECHO; if (bracelevel <= 0) { BEGIN(SECT2); dump(yytext, yy_c_buf_p - yytext, stderr); yytext = yy_c_buf_p; fprintf(stderr, "</Action>"); } else { BEGIN(ACTION); }
         .      ACTION_ECHO;
 }