0031851: Data Exchange, STEP - enable Unicode symbols in STEP export
[occt.git] / src / StepFile / step.lex
1 /* 
2  Copyright (c) 1999-2014 OPEN CASCADE SAS
3
4  This file is part of Open CASCADE Technology software library.
5
6  This library is free software; you can redistribute it and/or modify it under
7  the terms of the GNU Lesser General Public License version 2.1 as published
8  by the Free Software Foundation, with special exception defined in the file
9  OCCT_LGPL_EXCEPTION.txt. Consult the file LICENSE_LGPL_21.txt included in OCCT
10  distribution for complete text of the license and disclaimer of any warranty.
11
12  Alternatively, this file may be used under the terms of Open CASCADE
13  commercial license or contractual agreement.
14 */ 
15
16 /*
17     c++                 generate C++ parser class
18     8bit                don't fail on 8-bit input characters
19     warn                warn about inconsistencies
20     nodefault           don't create default echo-all rule
21     noyywrap            don't use yywrap() function
22     yyclass             define name of the scanner class
23 */
24 %option c++
25 %option 8bit warn nodefault
26 %option noyywrap
27 %option yyclass="step::scanner"
28
29 %top{
30 // This file is part of Open CASCADE Technology software library.
31 // This file is generated, do not modify it directly; edit source file step.lex instead.
32
33 // Pre-include stdlib.h to avoid redefinition of integer type macros (INT8_MIN and similar in generated code)
34 #if !defined(_MSC_VER) || (_MSC_VER >= 1600) // Visual Studio 2010+
35 #include "stdint.h"
36 #endif
37 }
38
39 %{
40 #include "step.tab.hxx"
41 #include "recfile.ph"
42 #include "stdio.h"
43
44 // Tell flex which function to define
45 #ifdef  YY_DECL
46 # undef YY_DECL
47 #endif
48 #define YY_DECL int step::scanner::lex (step::parser::semantic_type* /*yylval*/, step::parser::location_type* /*yylloc*/)
49
50 typedef step::parser::token token;
51
52 /* skl 31.01.2002 for OCC133(OCC96,97) - uncorrect
53 long string in files Henri.stp and 401.stp*/
54 #include <Standard_Failure.hxx>
55 #define YY_FATAL_ERROR(msg) Standard_Failure::Raise(msg);
56
57 /* abv 07.06.02: force inclusion of stdlib.h on WNT to avoid warnings */
58 #ifdef _MSC_VER
59 // add includes for flex 2.91 (Linux version)
60 #include <stdlib.h>
61 #include <io.h>
62
63 // Avoid includion of unistd.h if parser is generated on Linux (flex 2.5.35)
64 #ifndef YY_NO_UNISTD_H
65 #define YY_NO_UNISTD_H
66 #endif
67
68 // disable MSVC warnings in flex 2.89 and 2.5.35 code
69 // Note that Intel compiler also defines _MSC_VER but has different warning ids
70 #if defined(__INTEL_COMPILER)
71 #pragma warning(disable:177 1786 1736)
72 #elif defined(__clang__)
73 #pragma GCC diagnostic ignored "-Wunused-function"
74 #pragma GCC diagnostic ignored "-Winconsistent-dllimport"
75 #pragma GCC diagnostic ignored "-Wunneeded-internal-declaration"
76 #else
77 #pragma warning(disable:4131 4244 4273 4127 4267)
78 #endif
79
80 #endif /* MSC_VER */
81
82 void rec_restext(const char *constnewtext, int lentext);
83 void rec_typarg(int argtype);
84
85 // disable GCC warnings in flex code
86 #ifdef __GNUC__
87 #pragma GCC diagnostic ignored "-Wunused-function"
88 #endif
89 %}
90 %x Com End Text
91 %%
92 "/*"               { BEGIN(Com); }     /* start of comment - put the scanner in the "Com" state */
93 <Com>[^*\n]*       {;}                 /* in comment, skip any characters except asterisk (and newline, handled by its own rule) */
94 <Com>[*]+[^*/\n]*  {;}                 /* in comment, skip any sequence of asterisks followed by other symbols (except slash or newline) */
95 <Com>[*]+[/]       { BEGIN(INITIAL); } /* end of comment - reset the scanner to initial state */
96
97 [']                { BEGIN(Text); yymore(); }   /* start of quoted text string - put the scanner in the "Text" state, but keep ' as part of yytext */
98 <Text>[\n]         { yymore(); yylineno ++; }   /* newline in text string - increment line counter and keep collecting yytext */
99 <Text>[']          { yymore(); }                /* single ' inside text string - keep collecting yytext*/
100 <Text>[^\n']+      { yymore(); }                /* a sequence of any characters except ' and \n - keep collecting yytext */
101 <Text>[']/[" "\n\r]*[\)\,]    { BEGIN(INITIAL); rec_restext(YYText(),YYLeng()); rec_typarg(rec_argText); return(token::QUID); } /* end of string (apostrophe followed by comma or closing parenthesis) - reset the scanner to initial state, record the value of all yytext collected */
102
103 "       "       {;}
104 " "             {;}
105 <*>[\n]         { yylineno ++; } /* count lines (one rule for all start conditions) */
106 [\r]            {;} /* abv 30.06.00: for reading DOS files */
107 [\0]+           {;} /* fix from C21. for test load e3i file with line 15 with null symbols */
108
109 #[0-9]+/=               { rec_restext(YYText(),YYLeng()); return(token::ENTITY); }
110 #[0-9]+/[       ]*=     { rec_restext(YYText(),YYLeng()); return(token::ENTITY); }
111 #[0-9]+         { rec_restext(YYText(),YYLeng()); return(token::IDENT); }
112 [-+0-9][0-9]*   { rec_restext(YYText(),YYLeng()); rec_typarg(rec_argInteger); return(token::QUID); }
113 [-+\.0-9][\.0-9]+       { rec_restext(YYText(),YYLeng()); rec_typarg(rec_argFloat); return(token::QUID); }
114 [-+\.0-9][\.0-9]+E[-+0-9][0-9]* { rec_restext(YYText(),YYLeng()); rec_typarg(rec_argFloat); return(token::QUID); }
115 ["][0-9A-F]+["]         { rec_restext(YYText(),YYLeng()); rec_typarg(rec_argHexa); return(token::QUID); }
116 [.][A-Z0-9_]+[.]        { rec_restext(YYText(),YYLeng()); rec_typarg(rec_argEnum); return(token::QUID); }
117 [(]             { return ('('); }
118 [)]             { return (')'); }
119 [,]             { return (','); }
120 [$]             { rec_restext(YYText(),YYLeng()); rec_typarg(rec_argNondef); return(token::QUID); }
121 [=]             { return ('='); }
122 [;]             { return (';'); }
123
124 STEP;           { return(token::STEP); }
125 HEADER;         { return(token::HEADER); }
126 ENDSEC;         { return(token::ENDSEC); }
127 DATA;           { return(token::DATA); }
128 ENDSTEP;        { return(token::ENDSTEP);}
129 "ENDSTEP;".*     { return(token::ENDSTEP);}
130 END-ISO[0-9\-]*; { BEGIN(End); return(token::ENDSTEP); } /* at the end of the STEP data, enter dedicated start condition "End" to skip everything that follows */
131 ISO[0-9\-]*;     { return(token::STEP); }
132
133 [/]             { return ('/'); }
134 &SCOPE          { return(token::SCOPE); }
135 ENDSCOPE        { return(token::ENDSCOPE); }
136 [a-zA-Z0-9_]+   { rec_restext(YYText(),YYLeng()); return(token::TYPE); }
137 ![a-zA-Z0-9_]+  { rec_restext(YYText(),YYLeng()); return(token::TYPE); }
138 [^)]            { rec_restext(YYText(),YYLeng()); rec_typarg(rec_argMisc); return(token::QUID); }
139
140 <End>[^\n]      {;} /* skip any characters (except newlines) */
141
142 %%
143
144 step::scanner::scanner(std::istream* in, std::ostream* out)
145     : stepFlexLexer(in, out)
146 {
147 }