Clang Project

clang_source_code/lib/Lex/UnicodeCharSets.h
1//===--- UnicodeCharSets.h - Contains important sets of characters --------===//
2//
3// Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
4// See https://llvm.org/LICENSE.txt for license information.
5// SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
6//
7//===----------------------------------------------------------------------===//
8#ifndef LLVM_CLANG_LIB_LEX_UNICODECHARSETS_H
9#define LLVM_CLANG_LIB_LEX_UNICODECHARSETS_H
10
11#include "llvm/Support/UnicodeCharRanges.h"
12
13// C11 D.1, C++11 [charname.allowed]
14static const llvm::sys::UnicodeCharRange C11AllowedIDCharRanges[] = {
15  // 1
16  { 0x00A80x00A8 }, { 0x00AA0x00AA }, { 0x00AD0x00AD },
17  { 0x00AF0x00AF }, { 0x00B20x00B5 }, { 0x00B70x00BA },
18  { 0x00BC0x00BE }, { 0x00C00x00D6 }, { 0x00D80x00F6 },
19  { 0x00F80x00FF },
20  // 2
21  { 0x01000x167F }, { 0x16810x180D }, { 0x180F0x1FFF },
22  // 3
23  { 0x200B0x200D }, { 0x202A0x202E }, { 0x203F0x2040 },
24  { 0x20540x2054 }, { 0x20600x206F },
25  // 4
26  { 0x20700x218F }, { 0x24600x24FF }, { 0x27760x2793 },
27  { 0x2C000x2DFF }, { 0x2E800x2FFF },
28  // 5
29  { 0x30040x3007 }, { 0x30210x302F }, { 0x30310x303F },
30  // 6
31  { 0x30400xD7FF },
32  // 7
33  { 0xF9000xFD3D }, { 0xFD400xFDCF }, { 0xFDF00xFE44 },
34  { 0xFE470xFFFD },
35  // 8
36  { 0x100000x1FFFD }, { 0x200000x2FFFD }, { 0x300000x3FFFD },
37  { 0x400000x4FFFD }, { 0x500000x5FFFD }, { 0x600000x6FFFD },
38  { 0x700000x7FFFD }, { 0x800000x8FFFD }, { 0x900000x9FFFD },
39  { 0xA00000xAFFFD }, { 0xB00000xBFFFD }, { 0xC00000xCFFFD },
40  { 0xD00000xDFFFD }, { 0xE00000xEFFFD }
41};
42
43// C++03 [extendid]
44// Note that this is not the same as C++98, but we don't distinguish C++98
45// and C++03 in Clang.
46static const llvm::sys::UnicodeCharRange CXX03AllowedIDCharRanges[] = {
47  // Latin
48  { 0x00C00x00D6 }, { 0x00D80x00F6 }, { 0x00F80x01F5 },
49  { 0x01FA0x0217 }, { 0x02500x02A8 },
50
51  // Greek
52  { 0x03840x0384 }, { 0x03880x038A }, { 0x038C0x038C },
53  { 0x038E0x03A1 }, { 0x03A30x03CE }, { 0x03D00x03D6 },
54  { 0x03DA0x03DA }, { 0x03DC0x03DC }, { 0x03DE0x03DE },
55  { 0x03E00x03E0 }, { 0x03E20x03F3 },
56
57  // Cyrillic
58  { 0x04010x040D }, { 0x040F0x044F }, { 0x04510x045C },
59  { 0x045E0x0481 }, { 0x04900x04C4 }, { 0x04C70x04C8 },
60  { 0x04CB0x04CC }, { 0x04D00x04EB }, { 0x04EE0x04F5 },
61  { 0x04F80x04F9 },
62
63  // Armenian
64  { 0x05310x0556 }, { 0x05610x0587 },
65
66  // Hebrew
67  { 0x05D00x05EA }, { 0x05F00x05F4 },
68
69  // Arabic
70  { 0x06210x063A }, { 0x06400x0652 }, { 0x06700x06B7 },
71  { 0x06BA0x06BE }, { 0x06C00x06CE }, { 0x06E50x06E7 },
72
73  // Devanagari
74  { 0x09050x0939 }, { 0x09580x0962 },
75
76  // Bengali
77  { 0x09850x098C }, { 0x098F0x0990 }, { 0x09930x09A8 },
78  { 0x09AA0x09B0 }, { 0x09B20x09B2 }, { 0x09B60x09B9 },
79  { 0x09DC0x09DD }, { 0x09DF0x09E1 }, { 0x09F00x09F1 },
80
81  // Gurmukhi
82  { 0x0A050x0A0A }, { 0x0A0F0x0A10 }, { 0x0A130x0A28 },
83  { 0x0A2A0x0A30 }, { 0x0A320x0A33 }, { 0x0A350x0A36 },
84  { 0x0A380x0A39 }, { 0x0A590x0A5C }, { 0x0A5E0x0A5E },
85
86  // Gujarti
87  { 0x0A850x0A8B }, { 0x0A8D0x0A8D }, { 0x0A8F0x0A91 },
88  { 0x0A930x0AA8 }, { 0x0AAA0x0AB0 }, { 0x0AB20x0AB3 },
89  { 0x0AB50x0AB9 }, { 0x0AE00x0AE0 },
90
91  // Oriya
92  { 0x0B050x0B0C }, { 0x0B0F0x0B10 }, { 0x0B130x0B28 },
93  { 0x0B2A0x0B30 }, { 0x0B320x0B33 }, { 0x0B360x0B39 },
94  { 0x0B5C0x0B5D }, { 0x0B5F0x0B61 },
95
96  // Tamil
97  { 0x0B850x0B8A }, { 0x0B8E0x0B90 }, { 0x0B920x0B95 },
98  { 0x0B990x0B9A }, { 0x0B9C0x0B9C }, { 0x0B9E0x0B9F },
99  { 0x0BA30x0BA4 }, { 0x0BA80x0BAA }, { 0x0BAE0x0BB5 },
100  { 0x0BB70x0BB9 },
101
102  // Telugu
103  { 0x0C050x0C0C }, { 0x0C0E0x0C10 }, { 0x0C120x0C28 },
104  { 0x0C2A0x0C33 }, { 0x0C350x0C39 }, { 0x0C600x0C61 },
105
106  // Kannada
107  { 0x0C850x0C8C }, { 0x0C8E0x0C90 }, { 0x0C920x0CA8 },
108  { 0x0CAA0x0CB3 }, { 0x0CB50x0CB9 }, { 0x0CE00x0CE1 },
109
110  // Malayam
111  { 0x0D050x0D0C }, { 0x0D0E0x0D10 }, { 0x0D120x0D28 },
112  { 0x0D2A0x0D39 }, { 0x0D600x0D61 },
113
114  // Thai
115  { 0x0E010x0E30 }, { 0x0E320x0E33 }, { 0x0E400x0E46 },
116  { 0x0E4F0x0E5B },
117
118  // Lao
119  { 0x0E810x0E82 }, { 0x0E840x0E84 }, { 0x0E870x0E87 },
120  { 0x0E880x0E88 }, { 0x0E8A0x0E8A }, { 0x0E8D0x0E8D },
121  { 0x0E940x0E97 }, { 0x0E990x0E9F }, { 0x0EA10x0EA3 },
122  { 0x0EA50x0EA5 }, { 0x0EA70x0EA7 }, { 0x0EAA0x0EAA },
123  { 0x0EAB0x0EAB }, { 0x0EAD0x0EB0 }, { 0x0EB20x0EB2 },
124  { 0x0EB30x0EB3 }, { 0x0EBD0x0EBD }, { 0x0EC00x0EC4 },
125  { 0x0EC60x0EC6 },
126
127  // Georgian
128  { 0x10A00x10C5 }, { 0x10D00x10F6 },
129
130  // Hangul
131  { 0x11000x1159 }, { 0x11610x11A2 }, { 0x11A80x11F9 },
132
133  // Latin (2)
134  { 0x1E000x1E9A }, { 0x1EA00x1EF9 },
135
136  // Greek (2)
137  { 0x1F000x1F15 }, { 0x1F180x1F1D }, { 0x1F200x1F45 },
138  { 0x1F480x1F4D }, { 0x1F500x1F57 }, { 0x1F590x1F59 },
139  { 0x1F5B0x1F5B }, { 0x1F5D0x1F5D }, { 0x1F5F0x1F7D },
140  { 0x1F800x1FB4 }, { 0x1FB60x1FBC }, { 0x1FC20x1FC4 },
141  { 0x1FC60x1FCC }, { 0x1FD00x1FD3 }, { 0x1FD60x1FDB },
142  { 0x1FE00x1FEC }, { 0x1FF20x1FF4 }, { 0x1FF60x1FFC },
143
144  // Hiragana
145  { 0x30410x3094 }, { 0x309B0x309E },
146
147  // Katakana
148  { 0x30A10x30FE },
149
150  // Bopmofo [sic]
151  { 0x31050x312C },
152
153  // CJK Unified Ideographs
154  { 0x4E000x9FA5 }, { 0xF9000xFA2D }, { 0xFB1F0xFB36 },
155  { 0xFB380xFB3C }, { 0xFB3E0xFB3E }, { 0xFB400xFB41 },
156  { 0xFB420xFB44 }, { 0xFB460xFBB1 }, { 0xFBD30xFD3F },
157  { 0xFD500xFD8F }, { 0xFD920xFDC7 }, { 0xFDF00xFDFB },
158  { 0xFE700xFE72 }, { 0xFE740xFE74 }, { 0xFE760xFEFC },
159  { 0xFF210xFF3A }, { 0xFF410xFF5A }, { 0xFF660xFFBE },
160  { 0xFFC20xFFC7 }, { 0xFFCA0xFFCF }, { 0xFFD20xFFD7 },
161  { 0xFFDA0xFFDC }
162};
163
164// C99 Annex D
165static const llvm::sys::UnicodeCharRange C99AllowedIDCharRanges[] = {
166  // Latin (1)
167  { 0x00AA0x00AA },
168
169  // Special characters (1)
170  { 0x00B50x00B5 }, { 0x00B70x00B7 },
171
172  // Latin (2)
173  { 0x00BA0x00BA }, { 0x00C00x00D6 }, { 0x00D80x00F6 },
174  { 0x00F80x01F5 }, { 0x01FA0x0217 }, { 0x02500x02A8 },
175
176  // Special characters (2)
177  { 0x02B00x02B8 }, { 0x02BB0x02BB }, { 0x02BD0x02C1 },
178  { 0x02D00x02D1 }, { 0x02E00x02E4 }, { 0x037A0x037A },
179
180  // Greek (1)
181  { 0x03860x0386 }, { 0x03880x038A }, { 0x038C0x038C },
182  { 0x038E0x03A1 }, { 0x03A30x03CE }, { 0x03D00x03D6 },
183  { 0x03DA0x03DA }, { 0x03DC0x03DC }, { 0x03DE0x03DE },
184  { 0x03E00x03E0 }, { 0x03E20x03F3 },
185
186  // Cyrillic
187  { 0x04010x040C }, { 0x040E0x044F }, { 0x04510x045C },
188  { 0x045E0x0481 }, { 0x04900x04C4 }, { 0x04C70x04C8 },
189  { 0x04CB0x04CC }, { 0x04D00x04EB }, { 0x04EE0x04F5 },
190  { 0x04F80x04F9 },
191
192  // Armenian (1)
193  { 0x05310x0556 },
194
195  // Special characters (3)
196  { 0x05590x0559 },
197
198  // Armenian (2)
199  { 0x05610x0587 },
200
201  // Hebrew
202  { 0x05B00x05B9 }, { 0x05BB0x05BD }, { 0x05BF0x05BF },
203  { 0x05C10x05C2 }, { 0x05D00x05EA }, { 0x05F00x05F2 },
204
205  // Arabic (1)
206  { 0x06210x063A }, { 0x06400x0652 },
207
208  // Digits (1)
209  { 0x06600x0669 },
210
211  // Arabic (2)
212  { 0x06700x06B7 }, { 0x06BA0x06BE }, { 0x06C00x06CE },
213  { 0x06D00x06DC }, { 0x06E50x06E8 }, { 0x06EA0x06ED },
214
215  // Digits (2)
216  { 0x06F00x06F9 },
217
218  // Devanagari and Special characeter 0x093D.
219  { 0x09010x0903 }, { 0x09050x0939 }, { 0x093D0x094D },
220  { 0x09500x0952 }, { 0x09580x0963 },
221
222  // Digits (3)
223  { 0x09660x096F },
224
225  // Bengali (1)
226  { 0x09810x0983 }, { 0x09850x098C }, { 0x098F0x0990 },
227  { 0x09930x09A8 }, { 0x09AA0x09B0 }, { 0x09B20x09B2 },
228  { 0x09B60x09B9 }, { 0x09BE0x09C4 }, { 0x09C70x09C8 },
229  { 0x09CB0x09CD }, { 0x09DC0x09DD }, { 0x09DF0x09E3 },
230
231  // Digits (4)
232  { 0x09E60x09EF },
233
234  // Bengali (2)
235  { 0x09F00x09F1 },
236
237  // Gurmukhi (1)
238  { 0x0A020x0A02 }, { 0x0A050x0A0A }, { 0x0A0F0x0A10 },
239  { 0x0A130x0A28 }, { 0x0A2A0x0A30 }, { 0x0A320x0A33 },
240  { 0x0A350x0A36 }, { 0x0A380x0A39 }, { 0x0A3E0x0A42 },
241  { 0x0A470x0A48 }, { 0x0A4B0x0A4D }, { 0x0A590x0A5C },
242  { 0x0A5E0x0A5E },
243
244  // Digits (5)
245  { 0x0A660x0A6F },
246
247  // Gurmukhi (2)
248  { 0x0A740x0A74 },
249
250  // Gujarti
251  { 0x0A810x0A83 }, { 0x0A850x0A8B }, { 0x0A8D0x0A8D },
252  { 0x0A8F0x0A91 }, { 0x0A930x0AA8 }, { 0x0AAA0x0AB0 },
253  { 0x0AB20x0AB3 }, { 0x0AB50x0AB9 }, { 0x0ABD0x0AC5 },
254  { 0x0AC70x0AC9 }, { 0x0ACB0x0ACD }, { 0x0AD00x0AD0 },
255  { 0x0AE00x0AE0 },
256
257  // Digits (6)
258  { 0x0AE60x0AEF },
259
260  // Oriya and Special character 0x0B3D
261  { 0x0B010x0B03 }, { 0x0B050x0B0C }, { 0x0B0F0x0B10 },
262  { 0x0B130x0B28 }, { 0x0B2A0x0B30 }, { 0x0B320x0B33 },
263  { 0x0B360x0B39 }, { 0x0B3D0x0B43 }, { 0x0B470x0B48 },
264  { 0x0B4B0x0B4D }, { 0x0B5C0x0B5D }, { 0x0B5F0x0B61 },
265
266  // Digits (7)
267  { 0x0B660x0B6F },
268
269  // Tamil
270  { 0x0B820x0B83 }, { 0x0B850x0B8A }, { 0x0B8E0x0B90 },
271  { 0x0B920x0B95 }, { 0x0B990x0B9A }, { 0x0B9C0x0B9C },
272  { 0x0B9E0x0B9F }, { 0x0BA30x0BA4 }, { 0x0BA80x0BAA },
273  { 0x0BAE0x0BB5 }, { 0x0BB70x0BB9 }, { 0x0BBE0x0BC2 },
274  { 0x0BC60x0BC8 }, { 0x0BCA0x0BCD },
275
276  // Digits (8)
277  { 0x0BE70x0BEF },
278
279  // Telugu
280  { 0x0C010x0C03 }, { 0x0C050x0C0C }, { 0x0C0E0x0C10 },
281  { 0x0C120x0C28 }, { 0x0C2A0x0C33 }, { 0x0C350x0C39 },
282  { 0x0C3E0x0C44 }, { 0x0C460x0C48 }, { 0x0C4A0x0C4D },
283  { 0x0C600x0C61 },
284
285  // Digits (9)
286  { 0x0C660x0C6F },
287
288  // Kannada
289  { 0x0C820x0C83 }, { 0x0C850x0C8C }, { 0x0C8E0x0C90 },
290  { 0x0C920x0CA8 }, { 0x0CAA0x0CB3 }, { 0x0CB50x0CB9 },
291  { 0x0CBE0x0CC4 }, { 0x0CC60x0CC8 }, { 0x0CCA0x0CCD },
292  { 0x0CDE0x0CDE }, { 0x0CE00x0CE1 },
293
294  // Digits (10)
295  { 0x0CE60x0CEF },
296
297  // Malayam
298  { 0x0D020x0D03 }, { 0x0D050x0D0C }, { 0x0D0E0x0D10 },
299  { 0x0D120x0D28 }, { 0x0D2A0x0D39 }, { 0x0D3E0x0D43 },
300  { 0x0D460x0D48 }, { 0x0D4A0x0D4D }, { 0x0D600x0D61 },
301
302  // Digits (11)
303  { 0x0D660x0D6F },
304
305  // Thai...including Digits { 0x0E50, 0x0E59 }
306  { 0x0E010x0E3A }, { 0x0E400x0E5B },
307
308  // Lao (1)
309  { 0x0E810x0E82 }, { 0x0E840x0E84 }, { 0x0E870x0E88 },
310  { 0x0E8A0x0E8A }, { 0x0E8D0x0E8D }, { 0x0E940x0E97 },
311  { 0x0E990x0E9F }, { 0x0EA10x0EA3 }, { 0x0EA50x0EA5 },
312  { 0x0EA70x0EA7 }, { 0x0EAA0x0EAB }, { 0x0EAD0x0EAE },
313  { 0x0EB00x0EB9 }, { 0x0EBB0x0EBD }, { 0x0EC00x0EC4 },
314  { 0x0EC60x0EC6 }, { 0x0EC80x0ECD },
315
316  // Digits (12)
317  { 0x0ED00x0ED9 },
318
319  // Lao (2)
320  { 0x0EDC0x0EDD },
321
322  // Tibetan (1)
323  { 0x0F000x0F00 }, { 0x0F180x0F19 },
324
325  // Digits (13)
326  { 0x0F200x0F33 },
327
328  // Tibetan (2)
329  { 0x0F350x0F35 }, { 0x0F370x0F37 }, { 0x0F390x0F39 },
330  { 0x0F3E0x0F47 }, { 0x0F490x0F69 }, { 0x0F710x0F84 },
331  { 0x0F860x0F8B }, { 0x0F900x0F95 }, { 0x0F970x0F97 },
332  { 0x0F990x0FAD }, { 0x0FB10x0FB7 }, { 0x0FB90x0FB9 },
333
334  // Georgian
335  { 0x10A00x10C5 }, { 0x10D00x10F6 },
336
337  // Latin (3)
338  { 0x1E000x1E9B }, { 0x1EA00x1EF9 },
339
340  // Greek (2)
341  { 0x1F000x1F15 }, { 0x1F180x1F1D }, { 0x1F200x1F45 },
342  { 0x1F480x1F4D }, { 0x1F500x1F57 }, { 0x1F590x1F59 },
343  { 0x1F5B0x1F5B }, { 0x1F5D0x1F5D }, { 0x1F5F0x1F7D },
344  { 0x1F800x1FB4 }, { 0x1FB60x1FBC },
345
346  // Special characters (4)
347  { 0x1FBE0x1FBE },
348
349  // Greek (3)
350  { 0x1FC20x1FC4 }, { 0x1FC60x1FCC }, { 0x1FD00x1FD3 },
351  { 0x1FD60x1FDB }, { 0x1FE00x1FEC }, { 0x1FF20x1FF4 },
352  { 0x1FF60x1FFC },
353
354  // Special characters (5)
355  { 0x203F0x2040 },
356
357  // Latin (4)
358  { 0x207F0x207F },
359
360  // Special characters (6)
361  { 0x21020x2102 }, { 0x21070x2107 }, { 0x210A0x2113 },
362  { 0x21150x2115 }, { 0x21180x211D }, { 0x21240x2124 },
363  { 0x21260x2126 }, { 0x21280x2128 }, { 0x212A0x2131 },
364  { 0x21330x2138 }, { 0x21600x2182 }, { 0x30050x3007 },
365  { 0x30210x3029 },
366
367  // Hiragana
368  { 0x30410x3093 }, { 0x309B0x309C },
369
370  // Katakana
371  { 0x30A10x30F6 }, { 0x30FB0x30FC },
372
373  // Bopmofo [sic]
374  { 0x31050x312C },
375
376  // CJK Unified Ideographs
377  { 0x4E000x9FA5 },
378
379  // Hangul,
380  { 0xAC000xD7A3 }
381};
382
383// C11 D.2, C++11 [charname.disallowed]
384static const llvm::sys::UnicodeCharRange C11DisallowedInitialIDCharRanges[] = {
385  { 0x03000x036F }, { 0x1DC00x1DFF }, { 0x20D00x20FF },
386  { 0xFE200xFE2F }
387};
388
389// C99 6.4.2.1p3: The initial character [of an identifier] shall not be a
390// universal character name designating a digit.
391// C99 Annex D defines these characters as "Digits".
392static const llvm::sys::UnicodeCharRange C99DisallowedInitialIDCharRanges[] = {
393  { 0x06600x0669 }, { 0x06F00x06F9 }, { 0x09660x096F },
394  { 0x09E60x09EF }, { 0x0A660x0A6F }, { 0x0AE60x0AEF },
395  { 0x0B660x0B6F }, { 0x0BE70x0BEF }, { 0x0C660x0C6F },
396  { 0x0CE60x0CEF }, { 0x0D660x0D6F }, { 0x0E500x0E59 },
397  { 0x0ED00x0ED9 }, { 0x0F200x0F33 }
398};
399
400// Unicode v6.2, chapter 6.2, table 6-2.
401static const llvm::sys::UnicodeCharRange UnicodeWhitespaceCharRanges[] = {
402  { 0x00850x0085 }, { 0x00A00x00A0 }, { 0x16800x1680 },
403  { 0x180E0x180E }, { 0x20000x200A }, { 0x20280x2029 },
404  { 0x202F0x202F }, { 0x205F0x205F }, { 0x30000x3000 }
405};
406
407#endif
408