Clang Project

clang_source_code/include/clang/Basic/BuiltinsNVPTX.def
1//===--- BuiltinsPTX.def - PTX Builtin function database ----*- C++ -*-===//
2//
3// Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
4// See https://llvm.org/LICENSE.txt for license information.
5// SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
6//
7//===----------------------------------------------------------------------===//
8//
9// This file defines the PTX-specific builtin function database.  Users of
10// this file must define the BUILTIN macro to make use of this information.
11//
12//===----------------------------------------------------------------------===//
13
14// The format of this database matches clang/Basic/Builtins.def.
15
16#if defined(BUILTIN) && !defined(TARGET_BUILTIN)
17#   define TARGET_BUILTIN(ID, TYPE, ATTRS, FEATURE) BUILTIN(ID, TYPE, ATTRS)
18#endif
19
20#pragma push_macro("SM_70")
21#define SM_70 "sm_70|sm_71"
22#pragma push_macro("SM_60")
23#define SM_60 "sm_60|sm_61|sm_62|" SM_70
24
25#pragma push_macro("PTX61")
26#define PTX61 "ptx61"
27#pragma push_macro("PTX60")
28#define PTX60 "ptx60|" PTX61
29
30#pragma push_macro("AND")
31#define AND(a, b) a "," b
32
33// Special Registers
34
35BUILTIN(__nvvm_read_ptx_sreg_tid_x, "i", "nc")
36BUILTIN(__nvvm_read_ptx_sreg_tid_y, "i", "nc")
37BUILTIN(__nvvm_read_ptx_sreg_tid_z, "i", "nc")
38BUILTIN(__nvvm_read_ptx_sreg_tid_w, "i", "nc")
39
40BUILTIN(__nvvm_read_ptx_sreg_ntid_x, "i", "nc")
41BUILTIN(__nvvm_read_ptx_sreg_ntid_y, "i", "nc")
42BUILTIN(__nvvm_read_ptx_sreg_ntid_z, "i", "nc")
43BUILTIN(__nvvm_read_ptx_sreg_ntid_w, "i", "nc")
44
45BUILTIN(__nvvm_read_ptx_sreg_ctaid_x, "i", "nc")
46BUILTIN(__nvvm_read_ptx_sreg_ctaid_y, "i", "nc")
47BUILTIN(__nvvm_read_ptx_sreg_ctaid_z, "i", "nc")
48BUILTIN(__nvvm_read_ptx_sreg_ctaid_w, "i", "nc")
49
50BUILTIN(__nvvm_read_ptx_sreg_nctaid_x, "i", "nc")
51BUILTIN(__nvvm_read_ptx_sreg_nctaid_y, "i", "nc")
52BUILTIN(__nvvm_read_ptx_sreg_nctaid_z, "i", "nc")
53BUILTIN(__nvvm_read_ptx_sreg_nctaid_w, "i", "nc")
54
55BUILTIN(__nvvm_read_ptx_sreg_laneid, "i", "nc")
56BUILTIN(__nvvm_read_ptx_sreg_warpid, "i", "nc")
57BUILTIN(__nvvm_read_ptx_sreg_nwarpid, "i", "nc")
58
59BUILTIN(__nvvm_read_ptx_sreg_smid, "i", "nc")
60BUILTIN(__nvvm_read_ptx_sreg_nsmid, "i", "nc")
61BUILTIN(__nvvm_read_ptx_sreg_gridid, "i", "nc")
62
63BUILTIN(__nvvm_read_ptx_sreg_lanemask_eq, "i", "nc")
64BUILTIN(__nvvm_read_ptx_sreg_lanemask_le, "i", "nc")
65BUILTIN(__nvvm_read_ptx_sreg_lanemask_lt, "i", "nc")
66BUILTIN(__nvvm_read_ptx_sreg_lanemask_ge, "i", "nc")
67BUILTIN(__nvvm_read_ptx_sreg_lanemask_gt, "i", "nc")
68
69BUILTIN(__nvvm_read_ptx_sreg_clock, "i", "n")
70BUILTIN(__nvvm_read_ptx_sreg_clock64, "LLi", "n")
71
72BUILTIN(__nvvm_read_ptx_sreg_pm0, "i", "n")
73BUILTIN(__nvvm_read_ptx_sreg_pm1, "i", "n")
74BUILTIN(__nvvm_read_ptx_sreg_pm2, "i", "n")
75BUILTIN(__nvvm_read_ptx_sreg_pm3, "i", "n")
76
77// MISC
78
79BUILTIN(__nvvm_prmt, "UiUiUiUi", "")
80
81// Min Max
82
83BUILTIN(__nvvm_fmax_ftz_f, "fff",  "")
84BUILTIN(__nvvm_fmax_f, "fff",  "")
85BUILTIN(__nvvm_fmin_ftz_f, "fff",  "")
86BUILTIN(__nvvm_fmin_f, "fff",  "")
87
88BUILTIN(__nvvm_fmax_d, "ddd", "")
89BUILTIN(__nvvm_fmin_d, "ddd", "")
90
91// Multiplication
92
93BUILTIN(__nvvm_mulhi_i, "iii", "")
94BUILTIN(__nvvm_mulhi_ui, "UiUiUi", "")
95BUILTIN(__nvvm_mulhi_ll, "LLiLLiLLi", "")
96BUILTIN(__nvvm_mulhi_ull, "ULLiULLiULLi", "")
97
98BUILTIN(__nvvm_mul_rn_ftz_f,  "fff", "")
99BUILTIN(__nvvm_mul_rn_f,  "fff", "")
100BUILTIN(__nvvm_mul_rz_ftz_f,  "fff", "")
101BUILTIN(__nvvm_mul_rz_f,  "fff", "")
102BUILTIN(__nvvm_mul_rm_ftz_f,  "fff", "")
103BUILTIN(__nvvm_mul_rm_f,  "fff", "")
104BUILTIN(__nvvm_mul_rp_ftz_f,  "fff", "")
105BUILTIN(__nvvm_mul_rp_f,  "fff", "")
106
107BUILTIN(__nvvm_mul_rn_d,  "ddd", "")
108BUILTIN(__nvvm_mul_rz_d,  "ddd", "")
109BUILTIN(__nvvm_mul_rm_d,  "ddd", "")
110BUILTIN(__nvvm_mul_rp_d,  "ddd", "")
111
112BUILTIN(__nvvm_mul24_i,  "iii", "")
113BUILTIN(__nvvm_mul24_ui,  "UiUiUi", "")
114
115// Div
116
117BUILTIN(__nvvm_div_approx_ftz_f,  "fff", "")
118BUILTIN(__nvvm_div_approx_f,  "fff", "")
119
120BUILTIN(__nvvm_div_rn_ftz_f,  "fff", "")
121BUILTIN(__nvvm_div_rn_f,  "fff", "")
122BUILTIN(__nvvm_div_rz_ftz_f,  "fff", "")
123BUILTIN(__nvvm_div_rz_f,  "fff", "")
124BUILTIN(__nvvm_div_rm_ftz_f,  "fff", "")
125BUILTIN(__nvvm_div_rm_f,  "fff", "")
126BUILTIN(__nvvm_div_rp_ftz_f,  "fff", "")
127BUILTIN(__nvvm_div_rp_f,  "fff", "")
128
129BUILTIN(__nvvm_div_rn_d,  "ddd", "")
130BUILTIN(__nvvm_div_rz_d,  "ddd", "")
131BUILTIN(__nvvm_div_rm_d,  "ddd", "")
132BUILTIN(__nvvm_div_rp_d,  "ddd", "")
133
134// Sad
135
136BUILTIN(__nvvm_sad_i, "iiii", "")
137BUILTIN(__nvvm_sad_ui, "UiUiUiUi", "")
138
139// Floor, Ceil
140
141BUILTIN(__nvvm_floor_ftz_f, "ff", "")
142BUILTIN(__nvvm_floor_f, "ff", "")
143BUILTIN(__nvvm_floor_d, "dd", "")
144
145BUILTIN(__nvvm_ceil_ftz_f, "ff", "")
146BUILTIN(__nvvm_ceil_f, "ff", "")
147BUILTIN(__nvvm_ceil_d, "dd", "")
148
149// Abs
150
151BUILTIN(__nvvm_fabs_ftz_f, "ff", "")
152BUILTIN(__nvvm_fabs_f, "ff", "")
153BUILTIN(__nvvm_fabs_d, "dd", "")
154
155// Round
156
157BUILTIN(__nvvm_round_ftz_f, "ff", "")
158BUILTIN(__nvvm_round_f, "ff", "")
159BUILTIN(__nvvm_round_d, "dd", "")
160
161// Trunc
162
163BUILTIN(__nvvm_trunc_ftz_f, "ff", "")
164BUILTIN(__nvvm_trunc_f, "ff", "")
165BUILTIN(__nvvm_trunc_d, "dd", "")
166
167// Saturate
168
169BUILTIN(__nvvm_saturate_ftz_f, "ff", "")
170BUILTIN(__nvvm_saturate_f, "ff", "")
171BUILTIN(__nvvm_saturate_d, "dd", "")
172
173// Exp2, Log2
174
175BUILTIN(__nvvm_ex2_approx_ftz_f, "ff", "")
176BUILTIN(__nvvm_ex2_approx_f, "ff", "")
177BUILTIN(__nvvm_ex2_approx_d, "dd", "")
178
179BUILTIN(__nvvm_lg2_approx_ftz_f, "ff", "")
180BUILTIN(__nvvm_lg2_approx_f, "ff", "")
181BUILTIN(__nvvm_lg2_approx_d, "dd", "")
182
183// Sin, Cos
184
185BUILTIN(__nvvm_sin_approx_ftz_f, "ff", "")
186BUILTIN(__nvvm_sin_approx_f, "ff", "")
187
188BUILTIN(__nvvm_cos_approx_ftz_f, "ff", "")
189BUILTIN(__nvvm_cos_approx_f, "ff", "")
190
191// Fma
192
193BUILTIN(__nvvm_fma_rn_ftz_f, "ffff", "")
194BUILTIN(__nvvm_fma_rn_f, "ffff", "")
195BUILTIN(__nvvm_fma_rz_ftz_f, "ffff", "")
196BUILTIN(__nvvm_fma_rz_f, "ffff", "")
197BUILTIN(__nvvm_fma_rm_ftz_f, "ffff", "")
198BUILTIN(__nvvm_fma_rm_f, "ffff", "")
199BUILTIN(__nvvm_fma_rp_ftz_f, "ffff", "")
200BUILTIN(__nvvm_fma_rp_f, "ffff", "")
201BUILTIN(__nvvm_fma_rn_d, "dddd", "")
202BUILTIN(__nvvm_fma_rz_d, "dddd", "")
203BUILTIN(__nvvm_fma_rm_d, "dddd", "")
204BUILTIN(__nvvm_fma_rp_d, "dddd", "")
205
206// Rcp
207
208BUILTIN(__nvvm_rcp_rn_ftz_f, "ff", "")
209BUILTIN(__nvvm_rcp_rn_f, "ff", "")
210BUILTIN(__nvvm_rcp_rz_ftz_f, "ff", "")
211BUILTIN(__nvvm_rcp_rz_f, "ff", "")
212BUILTIN(__nvvm_rcp_rm_ftz_f, "ff", "")
213BUILTIN(__nvvm_rcp_rm_f, "ff", "")
214BUILTIN(__nvvm_rcp_rp_ftz_f, "ff", "")
215BUILTIN(__nvvm_rcp_rp_f, "ff", "")
216
217BUILTIN(__nvvm_rcp_rn_d, "dd", "")
218BUILTIN(__nvvm_rcp_rz_d, "dd", "")
219BUILTIN(__nvvm_rcp_rm_d, "dd", "")
220BUILTIN(__nvvm_rcp_rp_d, "dd", "")
221BUILTIN(__nvvm_rcp_approx_ftz_d, "dd", "")
222
223// Sqrt
224
225BUILTIN(__nvvm_sqrt_rn_ftz_f, "ff", "")
226BUILTIN(__nvvm_sqrt_rn_f, "ff", "")
227BUILTIN(__nvvm_sqrt_rz_ftz_f, "ff", "")
228BUILTIN(__nvvm_sqrt_rz_f, "ff", "")
229BUILTIN(__nvvm_sqrt_rm_ftz_f, "ff", "")
230BUILTIN(__nvvm_sqrt_rm_f, "ff", "")
231BUILTIN(__nvvm_sqrt_rp_ftz_f, "ff", "")
232BUILTIN(__nvvm_sqrt_rp_f, "ff", "")
233BUILTIN(__nvvm_sqrt_approx_ftz_f, "ff", "")
234BUILTIN(__nvvm_sqrt_approx_f, "ff", "")
235
236BUILTIN(__nvvm_sqrt_rn_d, "dd", "")
237BUILTIN(__nvvm_sqrt_rz_d, "dd", "")
238BUILTIN(__nvvm_sqrt_rm_d, "dd", "")
239BUILTIN(__nvvm_sqrt_rp_d, "dd", "")
240
241// Rsqrt
242
243BUILTIN(__nvvm_rsqrt_approx_ftz_f, "ff", "")
244BUILTIN(__nvvm_rsqrt_approx_f, "ff", "")
245BUILTIN(__nvvm_rsqrt_approx_d, "dd", "")
246
247// Add
248
249BUILTIN(__nvvm_add_rn_ftz_f, "fff", "")
250BUILTIN(__nvvm_add_rn_f, "fff", "")
251BUILTIN(__nvvm_add_rz_ftz_f, "fff", "")
252BUILTIN(__nvvm_add_rz_f, "fff", "")
253BUILTIN(__nvvm_add_rm_ftz_f, "fff", "")
254BUILTIN(__nvvm_add_rm_f, "fff", "")
255BUILTIN(__nvvm_add_rp_ftz_f, "fff", "")
256BUILTIN(__nvvm_add_rp_f, "fff", "")
257
258BUILTIN(__nvvm_add_rn_d, "ddd", "")
259BUILTIN(__nvvm_add_rz_d, "ddd", "")
260BUILTIN(__nvvm_add_rm_d, "ddd", "")
261BUILTIN(__nvvm_add_rp_d, "ddd", "")
262
263// Convert
264
265BUILTIN(__nvvm_d2f_rn_ftz, "fd", "")
266BUILTIN(__nvvm_d2f_rn, "fd", "")
267BUILTIN(__nvvm_d2f_rz_ftz, "fd", "")
268BUILTIN(__nvvm_d2f_rz, "fd", "")
269BUILTIN(__nvvm_d2f_rm_ftz, "fd", "")
270BUILTIN(__nvvm_d2f_rm, "fd", "")
271BUILTIN(__nvvm_d2f_rp_ftz, "fd", "")
272BUILTIN(__nvvm_d2f_rp, "fd", "")
273
274BUILTIN(__nvvm_d2i_rn, "id", "")
275BUILTIN(__nvvm_d2i_rz, "id", "")
276BUILTIN(__nvvm_d2i_rm, "id", "")
277BUILTIN(__nvvm_d2i_rp, "id", "")
278
279BUILTIN(__nvvm_d2ui_rn, "Uid", "")
280BUILTIN(__nvvm_d2ui_rz, "Uid", "")
281BUILTIN(__nvvm_d2ui_rm, "Uid", "")
282BUILTIN(__nvvm_d2ui_rp, "Uid", "")
283
284BUILTIN(__nvvm_i2d_rn, "di", "")
285BUILTIN(__nvvm_i2d_rz, "di", "")
286BUILTIN(__nvvm_i2d_rm, "di", "")
287BUILTIN(__nvvm_i2d_rp, "di", "")
288
289BUILTIN(__nvvm_ui2d_rn, "dUi", "")
290BUILTIN(__nvvm_ui2d_rz, "dUi", "")
291BUILTIN(__nvvm_ui2d_rm, "dUi", "")
292BUILTIN(__nvvm_ui2d_rp, "dUi", "")
293
294BUILTIN(__nvvm_f2i_rn_ftz, "if", "")
295BUILTIN(__nvvm_f2i_rn, "if", "")
296BUILTIN(__nvvm_f2i_rz_ftz, "if", "")
297BUILTIN(__nvvm_f2i_rz, "if", "")
298BUILTIN(__nvvm_f2i_rm_ftz, "if", "")
299BUILTIN(__nvvm_f2i_rm, "if", "")
300BUILTIN(__nvvm_f2i_rp_ftz, "if", "")
301BUILTIN(__nvvm_f2i_rp, "if", "")
302
303BUILTIN(__nvvm_f2ui_rn_ftz, "Uif", "")
304BUILTIN(__nvvm_f2ui_rn, "Uif", "")
305BUILTIN(__nvvm_f2ui_rz_ftz, "Uif", "")
306BUILTIN(__nvvm_f2ui_rz, "Uif", "")
307BUILTIN(__nvvm_f2ui_rm_ftz, "Uif", "")
308BUILTIN(__nvvm_f2ui_rm, "Uif", "")
309BUILTIN(__nvvm_f2ui_rp_ftz, "Uif", "")
310BUILTIN(__nvvm_f2ui_rp, "Uif", "")
311
312BUILTIN(__nvvm_i2f_rn, "fi", "")
313BUILTIN(__nvvm_i2f_rz, "fi", "")
314BUILTIN(__nvvm_i2f_rm, "fi", "")
315BUILTIN(__nvvm_i2f_rp, "fi", "")
316
317BUILTIN(__nvvm_ui2f_rn, "fUi", "")
318BUILTIN(__nvvm_ui2f_rz, "fUi", "")
319BUILTIN(__nvvm_ui2f_rm, "fUi", "")
320BUILTIN(__nvvm_ui2f_rp, "fUi", "")
321
322BUILTIN(__nvvm_lohi_i2d, "dii", "")
323
324BUILTIN(__nvvm_d2i_lo, "id", "")
325BUILTIN(__nvvm_d2i_hi, "id", "")
326
327BUILTIN(__nvvm_f2ll_rn_ftz, "LLif", "")
328BUILTIN(__nvvm_f2ll_rn, "LLif", "")
329BUILTIN(__nvvm_f2ll_rz_ftz, "LLif", "")
330BUILTIN(__nvvm_f2ll_rz, "LLif", "")
331BUILTIN(__nvvm_f2ll_rm_ftz, "LLif", "")
332BUILTIN(__nvvm_f2ll_rm, "LLif", "")
333BUILTIN(__nvvm_f2ll_rp_ftz, "LLif", "")
334BUILTIN(__nvvm_f2ll_rp, "LLif", "")
335
336BUILTIN(__nvvm_f2ull_rn_ftz, "ULLif", "")
337BUILTIN(__nvvm_f2ull_rn, "ULLif", "")
338BUILTIN(__nvvm_f2ull_rz_ftz, "ULLif", "")
339BUILTIN(__nvvm_f2ull_rz, "ULLif", "")
340BUILTIN(__nvvm_f2ull_rm_ftz, "ULLif", "")
341BUILTIN(__nvvm_f2ull_rm, "ULLif", "")
342BUILTIN(__nvvm_f2ull_rp_ftz, "ULLif", "")
343BUILTIN(__nvvm_f2ull_rp, "ULLif", "")
344
345BUILTIN(__nvvm_d2ll_rn, "LLid", "")
346BUILTIN(__nvvm_d2ll_rz, "LLid", "")
347BUILTIN(__nvvm_d2ll_rm, "LLid", "")
348BUILTIN(__nvvm_d2ll_rp, "LLid", "")
349
350BUILTIN(__nvvm_d2ull_rn, "ULLid", "")
351BUILTIN(__nvvm_d2ull_rz, "ULLid", "")
352BUILTIN(__nvvm_d2ull_rm, "ULLid", "")
353BUILTIN(__nvvm_d2ull_rp, "ULLid", "")
354
355BUILTIN(__nvvm_ll2f_rn, "fLLi", "")
356BUILTIN(__nvvm_ll2f_rz, "fLLi", "")
357BUILTIN(__nvvm_ll2f_rm, "fLLi", "")
358BUILTIN(__nvvm_ll2f_rp, "fLLi", "")
359
360BUILTIN(__nvvm_ull2f_rn, "fULLi", "")
361BUILTIN(__nvvm_ull2f_rz, "fULLi", "")
362BUILTIN(__nvvm_ull2f_rm, "fULLi", "")
363BUILTIN(__nvvm_ull2f_rp, "fULLi", "")
364
365BUILTIN(__nvvm_ll2d_rn, "dLLi", "")
366BUILTIN(__nvvm_ll2d_rz, "dLLi", "")
367BUILTIN(__nvvm_ll2d_rm, "dLLi", "")
368BUILTIN(__nvvm_ll2d_rp, "dLLi", "")
369
370BUILTIN(__nvvm_ull2d_rn, "dULLi", "")
371BUILTIN(__nvvm_ull2d_rz, "dULLi", "")
372BUILTIN(__nvvm_ull2d_rm, "dULLi", "")
373BUILTIN(__nvvm_ull2d_rp, "dULLi", "")
374
375BUILTIN(__nvvm_f2h_rn_ftz, "Usf", "")
376BUILTIN(__nvvm_f2h_rn, "Usf", "")
377
378// Bitcast
379
380BUILTIN(__nvvm_bitcast_f2i, "if", "")
381BUILTIN(__nvvm_bitcast_i2f, "fi", "")
382
383BUILTIN(__nvvm_bitcast_ll2d, "dLLi", "")
384BUILTIN(__nvvm_bitcast_d2ll, "LLid", "")
385
386// FNS
387TARGET_BUILTIN(__nvvm_fns, "UiUiUii", "n", PTX60)
388
389// Sync
390
391BUILTIN(__syncthreads, "v", "")
392BUILTIN(__nvvm_bar0_popc, "ii", "")
393BUILTIN(__nvvm_bar0_and, "ii", "")
394BUILTIN(__nvvm_bar0_or, "ii", "")
395BUILTIN(__nvvm_bar_sync, "vi", "n")
396TARGET_BUILTIN(__nvvm_bar_warp_sync, "vUi", "n", PTX60)
397TARGET_BUILTIN(__nvvm_barrier_sync, "vUi", "n", PTX60)
398TARGET_BUILTIN(__nvvm_barrier_sync_cnt, "vUiUi", "n", PTX60)
399
400// Shuffle
401
402BUILTIN(__nvvm_shfl_down_i32, "iiii", "")
403BUILTIN(__nvvm_shfl_down_f32, "ffii", "")
404BUILTIN(__nvvm_shfl_up_i32, "iiii", "")
405BUILTIN(__nvvm_shfl_up_f32, "ffii", "")
406BUILTIN(__nvvm_shfl_bfly_i32, "iiii", "")
407BUILTIN(__nvvm_shfl_bfly_f32, "ffii", "")
408BUILTIN(__nvvm_shfl_idx_i32, "iiii", "")
409BUILTIN(__nvvm_shfl_idx_f32, "ffii", "")
410
411TARGET_BUILTIN(__nvvm_shfl_sync_down_i32, "iUiiii", "", PTX60)
412TARGET_BUILTIN(__nvvm_shfl_sync_down_f32, "fUifii", "", PTX60)
413TARGET_BUILTIN(__nvvm_shfl_sync_up_i32, "iUiiii", "", PTX60)
414TARGET_BUILTIN(__nvvm_shfl_sync_up_f32, "fUifii", "", PTX60)
415TARGET_BUILTIN(__nvvm_shfl_sync_bfly_i32, "iUiiii", "", PTX60)
416TARGET_BUILTIN(__nvvm_shfl_sync_bfly_f32, "fUifii", "", PTX60)
417TARGET_BUILTIN(__nvvm_shfl_sync_idx_i32, "iUiiii", "", PTX60)
418TARGET_BUILTIN(__nvvm_shfl_sync_idx_f32, "fUifii", "", PTX60)
419
420// Vote
421BUILTIN(__nvvm_vote_all, "bb", "")
422BUILTIN(__nvvm_vote_any, "bb", "")
423BUILTIN(__nvvm_vote_uni, "bb", "")
424BUILTIN(__nvvm_vote_ballot, "Uib", "")
425
426TARGET_BUILTIN(__nvvm_vote_all_sync, "bUib", "", PTX60)
427TARGET_BUILTIN(__nvvm_vote_any_sync, "bUib", "", PTX60)
428TARGET_BUILTIN(__nvvm_vote_uni_sync, "bUib", "", PTX60)
429TARGET_BUILTIN(__nvvm_vote_ballot_sync, "UiUib", "", PTX60)
430
431// Match
432TARGET_BUILTIN(__nvvm_match_any_sync_i32, "UiUiUi", "", PTX60)
433TARGET_BUILTIN(__nvvm_match_any_sync_i64, "WiUiWi", "", PTX60)
434// These return a pair {value, predicate}, which requires custom lowering.
435TARGET_BUILTIN(__nvvm_match_all_sync_i32p, "UiUiUii*", "", PTX60)
436TARGET_BUILTIN(__nvvm_match_all_sync_i64p, "WiUiWii*", "", PTX60)
437
438// Membar
439
440BUILTIN(__nvvm_membar_cta, "v", "")
441BUILTIN(__nvvm_membar_gl, "v", "")
442BUILTIN(__nvvm_membar_sys, "v", "")
443
444// Memcpy, Memset
445
446BUILTIN(__nvvm_memcpy, "vUc*Uc*zi","")
447BUILTIN(__nvvm_memset, "vUc*Uczi","")
448
449// Image
450
451BUILTIN(__builtin_ptx_read_image2Dfi_, "V4fiiii", "")
452BUILTIN(__builtin_ptx_read_image2Dff_, "V4fiiff", "")
453BUILTIN(__builtin_ptx_read_image2Dii_, "V4iiiii", "")
454BUILTIN(__builtin_ptx_read_image2Dif_, "V4iiiff", "")
455
456BUILTIN(__builtin_ptx_read_image3Dfi_, "V4fiiiiii", "")
457BUILTIN(__builtin_ptx_read_image3Dff_, "V4fiiffff", "")
458BUILTIN(__builtin_ptx_read_image3Dii_, "V4iiiiiii", "")
459BUILTIN(__builtin_ptx_read_image3Dif_, "V4iiiffff", "")
460
461BUILTIN(__builtin_ptx_write_image2Df_, "viiiffff", "")
462BUILTIN(__builtin_ptx_write_image2Di_, "viiiiiii", "")
463BUILTIN(__builtin_ptx_write_image2Dui_, "viiiUiUiUiUi", "")
464BUILTIN(__builtin_ptx_get_image_depthi_, "ii", "")
465BUILTIN(__builtin_ptx_get_image_heighti_, "ii", "")
466BUILTIN(__builtin_ptx_get_image_widthi_, "ii", "")
467BUILTIN(__builtin_ptx_get_image_channel_data_typei_, "ii", "")
468BUILTIN(__builtin_ptx_get_image_channel_orderi_, "ii", "")
469
470// Atomic
471//
472// We need the atom intrinsics because
473// - they are used in converging analysis
474// - they are used in address space analysis and optimization
475// So it does not hurt to expose them as builtins.
476//
477BUILTIN(__nvvm_atom_add_gen_i, "iiD*i", "n")
478TARGET_BUILTIN(__nvvm_atom_cta_add_gen_i, "iiD*i", "n", SM_60)
479TARGET_BUILTIN(__nvvm_atom_sys_add_gen_i, "iiD*i", "n", SM_60)
480BUILTIN(__nvvm_atom_add_gen_l, "LiLiD*Li", "n")
481TARGET_BUILTIN(__nvvm_atom_cta_add_gen_l, "LiLiD*Li", "n", SM_60)
482TARGET_BUILTIN(__nvvm_atom_sys_add_gen_l, "LiLiD*Li", "n", SM_60)
483BUILTIN(__nvvm_atom_add_gen_ll, "LLiLLiD*LLi", "n")
484TARGET_BUILTIN(__nvvm_atom_cta_add_gen_ll, "LLiLLiD*LLi", "n", SM_60)
485TARGET_BUILTIN(__nvvm_atom_sys_add_gen_ll, "LLiLLiD*LLi", "n", SM_60)
486BUILTIN(__nvvm_atom_add_gen_f, "ffD*f", "n")
487TARGET_BUILTIN(__nvvm_atom_cta_add_gen_f, "ffD*f", "n", SM_60)
488TARGET_BUILTIN(__nvvm_atom_sys_add_gen_f, "ffD*f", "n", SM_60)
489TARGET_BUILTIN(__nvvm_atom_add_gen_d, "ddD*d", "n", SM_60)
490TARGET_BUILTIN(__nvvm_atom_cta_add_gen_d, "ddD*d", "n", SM_60)
491TARGET_BUILTIN(__nvvm_atom_sys_add_gen_d, "ddD*d", "n", SM_60)
492
493BUILTIN(__nvvm_atom_sub_gen_i, "iiD*i", "n")
494BUILTIN(__nvvm_atom_sub_gen_l, "LiLiD*Li", "n")
495BUILTIN(__nvvm_atom_sub_gen_ll, "LLiLLiD*LLi", "n")
496
497BUILTIN(__nvvm_atom_xchg_gen_i, "iiD*i", "n")
498TARGET_BUILTIN(__nvvm_atom_cta_xchg_gen_i, "iiD*i", "n", SM_60)
499TARGET_BUILTIN(__nvvm_atom_sys_xchg_gen_i, "iiD*i", "n", SM_60)
500BUILTIN(__nvvm_atom_xchg_gen_l, "LiLiD*Li", "n")
501TARGET_BUILTIN(__nvvm_atom_cta_xchg_gen_l, "LiLiD*Li", "n", SM_60)
502TARGET_BUILTIN(__nvvm_atom_sys_xchg_gen_l, "LiLiD*Li", "n", SM_60)
503BUILTIN(__nvvm_atom_xchg_gen_ll, "LLiLLiD*LLi", "n")
504TARGET_BUILTIN(__nvvm_atom_cta_xchg_gen_ll, "LLiLLiD*LLi", "n", SM_60)
505TARGET_BUILTIN(__nvvm_atom_sys_xchg_gen_ll, "LLiLLiD*LLi", "n", SM_60)
506
507BUILTIN(__nvvm_atom_max_gen_i, "iiD*i", "n")
508TARGET_BUILTIN(__nvvm_atom_cta_max_gen_i, "iiD*i", "n", SM_60)
509TARGET_BUILTIN(__nvvm_atom_sys_max_gen_i, "iiD*i", "n", SM_60)
510BUILTIN(__nvvm_atom_max_gen_ui, "UiUiD*Ui", "n")
511TARGET_BUILTIN(__nvvm_atom_cta_max_gen_ui, "UiUiD*Ui", "n", SM_60)
512TARGET_BUILTIN(__nvvm_atom_sys_max_gen_ui, "UiUiD*Ui", "n", SM_60)
513BUILTIN(__nvvm_atom_max_gen_l, "LiLiD*Li", "n")
514TARGET_BUILTIN(__nvvm_atom_cta_max_gen_l, "LiLiD*Li", "n", SM_60)
515TARGET_BUILTIN(__nvvm_atom_sys_max_gen_l, "LiLiD*Li", "n", SM_60)
516BUILTIN(__nvvm_atom_max_gen_ul, "ULiULiD*ULi", "n")
517TARGET_BUILTIN(__nvvm_atom_cta_max_gen_ul, "ULiULiD*ULi", "n", SM_60)
518TARGET_BUILTIN(__nvvm_atom_sys_max_gen_ul, "ULiULiD*ULi", "n", SM_60)
519BUILTIN(__nvvm_atom_max_gen_ll, "LLiLLiD*LLi", "n")
520TARGET_BUILTIN(__nvvm_atom_cta_max_gen_ll, "LLiLLiD*LLi", "n", SM_60)
521TARGET_BUILTIN(__nvvm_atom_sys_max_gen_ll, "LLiLLiD*LLi", "n", SM_60)
522BUILTIN(__nvvm_atom_max_gen_ull, "ULLiULLiD*ULLi", "n")
523TARGET_BUILTIN(__nvvm_atom_cta_max_gen_ull, "ULLiULLiD*ULLi", "n", SM_60)
524TARGET_BUILTIN(__nvvm_atom_sys_max_gen_ull, "ULLiULLiD*ULLi", "n", SM_60)
525
526BUILTIN(__nvvm_atom_min_gen_i, "iiD*i", "n")
527TARGET_BUILTIN(__nvvm_atom_cta_min_gen_i, "iiD*i", "n", SM_60)
528TARGET_BUILTIN(__nvvm_atom_sys_min_gen_i, "iiD*i", "n", SM_60)
529BUILTIN(__nvvm_atom_min_gen_ui, "UiUiD*Ui", "n")
530TARGET_BUILTIN(__nvvm_atom_cta_min_gen_ui, "UiUiD*Ui", "n", SM_60)
531TARGET_BUILTIN(__nvvm_atom_sys_min_gen_ui, "UiUiD*Ui", "n", SM_60)
532BUILTIN(__nvvm_atom_min_gen_l, "LiLiD*Li", "n")
533TARGET_BUILTIN(__nvvm_atom_cta_min_gen_l, "LiLiD*Li", "n", SM_60)
534TARGET_BUILTIN(__nvvm_atom_sys_min_gen_l, "LiLiD*Li", "n", SM_60)
535BUILTIN(__nvvm_atom_min_gen_ul, "ULiULiD*ULi", "n")
536TARGET_BUILTIN(__nvvm_atom_cta_min_gen_ul, "ULiULiD*ULi", "n", SM_60)
537TARGET_BUILTIN(__nvvm_atom_sys_min_gen_ul, "ULiULiD*ULi", "n", SM_60)
538BUILTIN(__nvvm_atom_min_gen_ll, "LLiLLiD*LLi", "n")
539TARGET_BUILTIN(__nvvm_atom_cta_min_gen_ll, "LLiLLiD*LLi", "n", SM_60)
540TARGET_BUILTIN(__nvvm_atom_sys_min_gen_ll, "LLiLLiD*LLi", "n", SM_60)
541BUILTIN(__nvvm_atom_min_gen_ull, "ULLiULLiD*ULLi", "n")
542TARGET_BUILTIN(__nvvm_atom_cta_min_gen_ull, "ULLiULLiD*ULLi", "n", SM_60)
543TARGET_BUILTIN(__nvvm_atom_sys_min_gen_ull, "ULLiULLiD*ULLi", "n", SM_60)
544
545BUILTIN(__nvvm_atom_inc_gen_ui, "UiUiD*Ui", "n")
546TARGET_BUILTIN(__nvvm_atom_cta_inc_gen_ui, "UiUiD*Ui", "n", SM_60)
547TARGET_BUILTIN(__nvvm_atom_sys_inc_gen_ui, "UiUiD*Ui", "n", SM_60)
548BUILTIN(__nvvm_atom_dec_gen_ui, "UiUiD*Ui", "n")
549TARGET_BUILTIN(__nvvm_atom_cta_dec_gen_ui, "UiUiD*Ui", "n", SM_60)
550TARGET_BUILTIN(__nvvm_atom_sys_dec_gen_ui, "UiUiD*Ui", "n", SM_60)
551
552BUILTIN(__nvvm_atom_and_gen_i, "iiD*i", "n")
553TARGET_BUILTIN(__nvvm_atom_cta_and_gen_i, "iiD*i", "n", SM_60)
554TARGET_BUILTIN(__nvvm_atom_sys_and_gen_i, "iiD*i", "n", SM_60)
555BUILTIN(__nvvm_atom_and_gen_l, "LiLiD*Li", "n")
556TARGET_BUILTIN(__nvvm_atom_cta_and_gen_l, "LiLiD*Li", "n", SM_60)
557TARGET_BUILTIN(__nvvm_atom_sys_and_gen_l, "LiLiD*Li", "n", SM_60)
558BUILTIN(__nvvm_atom_and_gen_ll, "LLiLLiD*LLi", "n")
559TARGET_BUILTIN(__nvvm_atom_cta_and_gen_ll, "LLiLLiD*LLi", "n", SM_60)
560TARGET_BUILTIN(__nvvm_atom_sys_and_gen_ll, "LLiLLiD*LLi", "n", SM_60)
561
562BUILTIN(__nvvm_atom_or_gen_i, "iiD*i", "n")
563TARGET_BUILTIN(__nvvm_atom_cta_or_gen_i, "iiD*i", "n", SM_60)
564TARGET_BUILTIN(__nvvm_atom_sys_or_gen_i, "iiD*i", "n", SM_60)
565BUILTIN(__nvvm_atom_or_gen_l, "LiLiD*Li", "n")
566TARGET_BUILTIN(__nvvm_atom_cta_or_gen_l, "LiLiD*Li", "n", SM_60)
567TARGET_BUILTIN(__nvvm_atom_sys_or_gen_l, "LiLiD*Li", "n", SM_60)
568BUILTIN(__nvvm_atom_or_gen_ll, "LLiLLiD*LLi", "n")
569TARGET_BUILTIN(__nvvm_atom_cta_or_gen_ll, "LLiLLiD*LLi", "n", SM_60)
570TARGET_BUILTIN(__nvvm_atom_sys_or_gen_ll, "LLiLLiD*LLi", "n", SM_60)
571
572BUILTIN(__nvvm_atom_xor_gen_i, "iiD*i", "n")
573TARGET_BUILTIN(__nvvm_atom_cta_xor_gen_i, "iiD*i", "n", SM_60)
574TARGET_BUILTIN(__nvvm_atom_sys_xor_gen_i, "iiD*i", "n", SM_60)
575BUILTIN(__nvvm_atom_xor_gen_l, "LiLiD*Li", "n")
576TARGET_BUILTIN(__nvvm_atom_cta_xor_gen_l, "LiLiD*Li", "n", SM_60)
577TARGET_BUILTIN(__nvvm_atom_sys_xor_gen_l, "LiLiD*Li", "n", SM_60)
578BUILTIN(__nvvm_atom_xor_gen_ll, "LLiLLiD*LLi", "n")
579TARGET_BUILTIN(__nvvm_atom_cta_xor_gen_ll, "LLiLLiD*LLi", "n", SM_60)
580TARGET_BUILTIN(__nvvm_atom_sys_xor_gen_ll, "LLiLLiD*LLi", "n", SM_60)
581
582BUILTIN(__nvvm_atom_cas_gen_i, "iiD*ii", "n")
583TARGET_BUILTIN(__nvvm_atom_cta_cas_gen_i, "iiD*ii", "n", SM_60)
584TARGET_BUILTIN(__nvvm_atom_sys_cas_gen_i, "iiD*ii", "n", SM_60)
585BUILTIN(__nvvm_atom_cas_gen_l, "LiLiD*LiLi", "n")
586TARGET_BUILTIN(__nvvm_atom_cta_cas_gen_l, "LiLiD*LiLi", "n", SM_60)
587TARGET_BUILTIN(__nvvm_atom_sys_cas_gen_l, "LiLiD*LiLi", "n", SM_60)
588BUILTIN(__nvvm_atom_cas_gen_ll, "LLiLLiD*LLiLLi", "n")
589TARGET_BUILTIN(__nvvm_atom_cta_cas_gen_ll, "LLiLLiD*LLiLLi", "n", SM_60)
590TARGET_BUILTIN(__nvvm_atom_sys_cas_gen_ll, "LLiLLiD*LLiLLi", "n", SM_60)
591
592// Compiler Error Warn
593BUILTIN(__nvvm_compiler_error, "vcC*4", "n")
594BUILTIN(__nvvm_compiler_warn, "vcC*4", "n")
595
596// __ldg.  This is not implemented as a builtin by nvcc.
597BUILTIN(__nvvm_ldg_c, "ccC*", "")
598BUILTIN(__nvvm_ldg_s, "ssC*", "")
599BUILTIN(__nvvm_ldg_i, "iiC*", "")
600BUILTIN(__nvvm_ldg_l, "LiLiC*", "")
601BUILTIN(__nvvm_ldg_ll, "LLiLLiC*", "")
602
603BUILTIN(__nvvm_ldg_uc, "UcUcC*", "")
604BUILTIN(__nvvm_ldg_us, "UsUsC*", "")
605BUILTIN(__nvvm_ldg_ui, "UiUiC*", "")
606BUILTIN(__nvvm_ldg_ul, "ULiULiC*", "")
607BUILTIN(__nvvm_ldg_ull, "ULLiULLiC*", "")
608
609BUILTIN(__nvvm_ldg_f, "ffC*", "")
610BUILTIN(__nvvm_ldg_d, "ddC*", "")
611
612BUILTIN(__nvvm_ldg_c2, "E2cE2cC*", "")
613BUILTIN(__nvvm_ldg_c4, "E4cE4cC*", "")
614BUILTIN(__nvvm_ldg_s2, "E2sE2sC*", "")
615BUILTIN(__nvvm_ldg_s4, "E4sE4sC*", "")
616BUILTIN(__nvvm_ldg_i2, "E2iE2iC*", "")
617BUILTIN(__nvvm_ldg_i4, "E4iE4iC*", "")
618BUILTIN(__nvvm_ldg_ll2, "E2LLiE2LLiC*", "")
619
620BUILTIN(__nvvm_ldg_uc2, "E2UcE2UcC*", "")
621BUILTIN(__nvvm_ldg_uc4, "E4UcE4UcC*", "")
622BUILTIN(__nvvm_ldg_us2, "E2UsE2UsC*", "")
623BUILTIN(__nvvm_ldg_us4, "E4UsE4UsC*", "")
624BUILTIN(__nvvm_ldg_ui2, "E2UiE2UiC*", "")
625BUILTIN(__nvvm_ldg_ui4, "E4UiE4UiC*", "")
626BUILTIN(__nvvm_ldg_ull2, "E2ULLiE2ULLiC*", "")
627
628BUILTIN(__nvvm_ldg_f2, "E2fE2fC*", "")
629BUILTIN(__nvvm_ldg_f4, "E4fE4fC*", "")
630BUILTIN(__nvvm_ldg_d2, "E2dE2dC*", "")
631
632// Builtins to support WMMA instructions on sm_70
633TARGET_BUILTIN(__hmma_m16n16k16_ld_a, "vi*iC*UiIi", "", AND(SM_70,PTX60))
634TARGET_BUILTIN(__hmma_m16n16k16_ld_b, "vi*iC*UiIi", "", AND(SM_70,PTX60))
635TARGET_BUILTIN(__hmma_m16n16k16_ld_c_f16, "vi*iC*UiIi", "", AND(SM_70,PTX60))
636TARGET_BUILTIN(__hmma_m16n16k16_ld_c_f32, "vf*fC*UiIi", "", AND(SM_70,PTX60))
637TARGET_BUILTIN(__hmma_m16n16k16_st_c_f16, "vi*i*UiIi", "", AND(SM_70,PTX60))
638TARGET_BUILTIN(__hmma_m16n16k16_st_c_f32, "vf*f*UiIi", "", AND(SM_70,PTX60))
639
640TARGET_BUILTIN(__hmma_m32n8k16_ld_a, "vi*iC*UiIi", "", AND(SM_70,PTX61))
641TARGET_BUILTIN(__hmma_m32n8k16_ld_b, "vi*iC*UiIi", "", AND(SM_70,PTX61))
642TARGET_BUILTIN(__hmma_m32n8k16_ld_c_f16, "vi*iC*UiIi", "", AND(SM_70,PTX61))
643TARGET_BUILTIN(__hmma_m32n8k16_ld_c_f32, "vf*fC*UiIi", "", AND(SM_70,PTX61))
644TARGET_BUILTIN(__hmma_m32n8k16_st_c_f16, "vi*i*UiIi", "", AND(SM_70,PTX61))
645TARGET_BUILTIN(__hmma_m32n8k16_st_c_f32, "vf*f*UiIi", "", AND(SM_70,PTX61))
646
647TARGET_BUILTIN(__hmma_m8n32k16_ld_a, "vi*iC*UiIi", "", AND(SM_70,PTX61))
648TARGET_BUILTIN(__hmma_m8n32k16_ld_b, "vi*iC*UiIi", "", AND(SM_70,PTX61))
649TARGET_BUILTIN(__hmma_m8n32k16_ld_c_f16, "vi*iC*UiIi", "", AND(SM_70,PTX61))
650TARGET_BUILTIN(__hmma_m8n32k16_ld_c_f32, "vf*fC*UiIi", "", AND(SM_70,PTX61))
651TARGET_BUILTIN(__hmma_m8n32k16_st_c_f16, "vi*i*UiIi", "", AND(SM_70,PTX61))
652TARGET_BUILTIN(__hmma_m8n32k16_st_c_f32, "vf*f*UiIi", "", AND(SM_70,PTX61))
653
654TARGET_BUILTIN(__hmma_m16n16k16_mma_f16f16, "vi*iC*iC*iC*IiIi", "", AND(SM_70,PTX60))
655TARGET_BUILTIN(__hmma_m16n16k16_mma_f32f16, "vf*iC*iC*iC*IiIi", "", AND(SM_70,PTX60))
656TARGET_BUILTIN(__hmma_m16n16k16_mma_f32f32, "vf*iC*iC*fC*IiIi", "", AND(SM_70,PTX60))
657TARGET_BUILTIN(__hmma_m16n16k16_mma_f16f32, "vi*iC*iC*fC*IiIi", "", AND(SM_70,PTX60))
658
659TARGET_BUILTIN(__hmma_m32n8k16_mma_f16f16, "vi*iC*iC*iC*IiIi", "", AND(SM_70,PTX61))
660TARGET_BUILTIN(__hmma_m32n8k16_mma_f32f16, "vf*iC*iC*iC*IiIi", "", AND(SM_70,PTX61))
661TARGET_BUILTIN(__hmma_m32n8k16_mma_f32f32, "vf*iC*iC*fC*IiIi", "", AND(SM_70,PTX61))
662TARGET_BUILTIN(__hmma_m32n8k16_mma_f16f32, "vi*iC*iC*fC*IiIi", "", AND(SM_70,PTX61))
663
664TARGET_BUILTIN(__hmma_m8n32k16_mma_f16f16, "vi*iC*iC*iC*IiIi", "", AND(SM_70,PTX61))
665TARGET_BUILTIN(__hmma_m8n32k16_mma_f32f16, "vf*iC*iC*iC*IiIi", "", AND(SM_70,PTX61))
666TARGET_BUILTIN(__hmma_m8n32k16_mma_f32f32, "vf*iC*iC*fC*IiIi", "", AND(SM_70,PTX61))
667TARGET_BUILTIN(__hmma_m8n32k16_mma_f16f32, "vi*iC*iC*fC*IiIi", "", AND(SM_70,PTX61))
668
669#undef BUILTIN
670#undef TARGET_BUILTIN
671#pragma pop_macro("AND")
672#pragma pop_macro("SM_60")
673#pragma pop_macro("SM_70")
674#pragma pop_macro("PTX60")
675#pragma pop_macro("PTX61")
676
CodeThinker, Enjoy your reading code