JavaCC常用Token

CJK字符以及字母

TOKEN :

{

< LETTER : // unicode letters

[ "/u0041"-"/u005a",

"/u0061"-"/u007a",

"/u00c0"-"/u00d6",

"/u00d8"-"/u00f6",

"/u00f8"-"/u00ff",

"/u0100"-"/u1fff",

"/uffa0"-"/uffdc" ] >

| < CJ : // Chinese, Japanese

[ "/u3040"-"/u318f",

"/u3100"-"/u312f",

"/u3040"-"/u309F",

"/u30A0"-"/u30FF",

"/u31F0"-"/u31FF",

"/u3300"-"/u337f",

"/u3400"-"/u4dbf",

"/u4e00"-"/u9fff",

"/uf900"-"/ufaff",

"/uff65"-"/uff9f",

"/u2E80"-"/u2EFF",

"/u2F00"-"/u2FDF",

"/u3190"-"/u319F",

"/u31C0"-"/u31EF",

"/u4E00"-"/u9FBF",

"/uF900"-"/uFAFF" ] >

| < KOREAN : // Korean

[ "/uac00"-"/ud7af",

"/u1100"-"/u11ff",

"/uac00"-"/ud7a3" ] >

| < #DIGIT : // unicode digits

[ "/u0030"-"/u0039",

"/u0660"-"/u0669",

"/u06f0"-"/u06f9",

"/u0966"-"/u096f",

"/u09e6"-"/u09ef",

"/u0a66"-"/u0a6f",

"/u0ae6"-"/u0aef",

"/u0b66"-"/u0b6f",

"/u0be7"-"/u0bef",

"/u0c66"-"/u0c6f",

"/u0ce6"-"/u0cef",

"/u0d66"-"/u0d6f",

"/u0e50"-"/u0e59",

"/u0ed0"-"/u0ed9",

"/u1040"-"/u1049" ] >

}