GNU Linux-libre 4.19.286-gnu1
[releases.git] / arch / mips / kernel / r4k_fpu.S
1 /*
2  * This file is subject to the terms and conditions of the GNU General Public
3  * License.  See the file "COPYING" in the main directory of this archive
4  * for more details.
5  *
6  * Copyright (C) 1996, 98, 99, 2000, 01 Ralf Baechle
7  *
8  * Multi-arch abstraction and asm macros for easier reading:
9  * Copyright (C) 1996 David S. Miller (davem@davemloft.net)
10  *
11  * Carsten Langgaard, carstenl@mips.com
12  * Copyright (C) 2000 MIPS Technologies, Inc.
13  * Copyright (C) 1999, 2001 Silicon Graphics, Inc.
14  */
15 #include <asm/asm.h>
16 #include <asm/asmmacro.h>
17 #include <asm/errno.h>
18 #include <asm/export.h>
19 #include <asm/fpregdef.h>
20 #include <asm/mipsregs.h>
21 #include <asm/asm-offsets.h>
22 #include <asm/regdef.h>
23
24 /* preprocessor replaces the fp in ".set fp=64" with $30 otherwise */
25 #undef fp
26
27         .macro  EX insn, reg, src
28         .set    push
29         SET_HARDFLOAT
30         .set    nomacro
31 .ex\@:  \insn   \reg, \src
32         .set    pop
33         .section __ex_table,"a"
34         PTR     .ex\@, fault
35         .previous
36         .endm
37
38 /*
39  * Save a thread's fp context.
40  */
41 LEAF(_save_fp)
42 EXPORT_SYMBOL(_save_fp)
43 #if defined(CONFIG_64BIT) || defined(CONFIG_CPU_MIPSR2) || \
44                 defined(CONFIG_CPU_MIPSR6)
45         mfc0    t0, CP0_STATUS
46 #endif
47         fpu_save_double a0 t0 t1                # clobbers t1
48         jr      ra
49         END(_save_fp)
50
51 /*
52  * Restore a thread's fp context.
53  */
54 LEAF(_restore_fp)
55 #if defined(CONFIG_64BIT) || defined(CONFIG_CPU_MIPSR2) || \
56                 defined(CONFIG_CPU_MIPSR6)
57         mfc0    t0, CP0_STATUS
58 #endif
59         fpu_restore_double a0 t0 t1             # clobbers t1
60         jr      ra
61         END(_restore_fp)
62
63 #ifdef CONFIG_CPU_HAS_MSA
64
65 /*
66  * Save a thread's MSA vector context.
67  */
68 LEAF(_save_msa)
69 EXPORT_SYMBOL(_save_msa)
70         msa_save_all    a0
71         jr      ra
72         END(_save_msa)
73
74 /*
75  * Restore a thread's MSA vector context.
76  */
77 LEAF(_restore_msa)
78         msa_restore_all a0
79         jr      ra
80         END(_restore_msa)
81
82 LEAF(_init_msa_upper)
83         msa_init_all_upper
84         jr      ra
85         END(_init_msa_upper)
86
87 #endif
88
89 /*
90  * Load the FPU with signalling NANS.  This bit pattern we're using has
91  * the property that no matter whether considered as single or as double
92  * precision represents signaling NANS.
93  *
94  * The value to initialize fcr31 to comes in $a0.
95  */
96
97         .set push
98         SET_HARDFLOAT
99
100 LEAF(_init_fpu)
101         mfc0    t0, CP0_STATUS
102         li      t1, ST0_CU1
103         or      t0, t1
104         mtc0    t0, CP0_STATUS
105         enable_fpu_hazard
106
107         ctc1    a0, fcr31
108
109         li      t1, -1                          # SNaN
110
111 #ifdef CONFIG_64BIT
112         sll     t0, t0, 5
113         bgez    t0, 1f                          # 16 / 32 register mode?
114
115         dmtc1   t1, $f1
116         dmtc1   t1, $f3
117         dmtc1   t1, $f5
118         dmtc1   t1, $f7
119         dmtc1   t1, $f9
120         dmtc1   t1, $f11
121         dmtc1   t1, $f13
122         dmtc1   t1, $f15
123         dmtc1   t1, $f17
124         dmtc1   t1, $f19
125         dmtc1   t1, $f21
126         dmtc1   t1, $f23
127         dmtc1   t1, $f25
128         dmtc1   t1, $f27
129         dmtc1   t1, $f29
130         dmtc1   t1, $f31
131 1:
132 #endif
133
134 #ifdef CONFIG_CPU_MIPS32
135         mtc1    t1, $f0
136         mtc1    t1, $f1
137         mtc1    t1, $f2
138         mtc1    t1, $f3
139         mtc1    t1, $f4
140         mtc1    t1, $f5
141         mtc1    t1, $f6
142         mtc1    t1, $f7
143         mtc1    t1, $f8
144         mtc1    t1, $f9
145         mtc1    t1, $f10
146         mtc1    t1, $f11
147         mtc1    t1, $f12
148         mtc1    t1, $f13
149         mtc1    t1, $f14
150         mtc1    t1, $f15
151         mtc1    t1, $f16
152         mtc1    t1, $f17
153         mtc1    t1, $f18
154         mtc1    t1, $f19
155         mtc1    t1, $f20
156         mtc1    t1, $f21
157         mtc1    t1, $f22
158         mtc1    t1, $f23
159         mtc1    t1, $f24
160         mtc1    t1, $f25
161         mtc1    t1, $f26
162         mtc1    t1, $f27
163         mtc1    t1, $f28
164         mtc1    t1, $f29
165         mtc1    t1, $f30
166         mtc1    t1, $f31
167
168 #if defined(CONFIG_CPU_MIPS32_R2) || defined(CONFIG_CPU_MIPS32_R6)
169         .set    push
170         .set    MIPS_ISA_LEVEL_RAW
171         .set    fp=64
172         sll     t0, t0, 5                       # is Status.FR set?
173         bgez    t0, 1f                          # no: skip setting upper 32b
174
175         mthc1   t1, $f0
176         mthc1   t1, $f1
177         mthc1   t1, $f2
178         mthc1   t1, $f3
179         mthc1   t1, $f4
180         mthc1   t1, $f5
181         mthc1   t1, $f6
182         mthc1   t1, $f7
183         mthc1   t1, $f8
184         mthc1   t1, $f9
185         mthc1   t1, $f10
186         mthc1   t1, $f11
187         mthc1   t1, $f12
188         mthc1   t1, $f13
189         mthc1   t1, $f14
190         mthc1   t1, $f15
191         mthc1   t1, $f16
192         mthc1   t1, $f17
193         mthc1   t1, $f18
194         mthc1   t1, $f19
195         mthc1   t1, $f20
196         mthc1   t1, $f21
197         mthc1   t1, $f22
198         mthc1   t1, $f23
199         mthc1   t1, $f24
200         mthc1   t1, $f25
201         mthc1   t1, $f26
202         mthc1   t1, $f27
203         mthc1   t1, $f28
204         mthc1   t1, $f29
205         mthc1   t1, $f30
206         mthc1   t1, $f31
207 1:      .set    pop
208 #endif /* CONFIG_CPU_MIPS32_R2 || CONFIG_CPU_MIPS32_R6 */
209 #else
210         .set    MIPS_ISA_ARCH_LEVEL_RAW
211         dmtc1   t1, $f0
212         dmtc1   t1, $f2
213         dmtc1   t1, $f4
214         dmtc1   t1, $f6
215         dmtc1   t1, $f8
216         dmtc1   t1, $f10
217         dmtc1   t1, $f12
218         dmtc1   t1, $f14
219         dmtc1   t1, $f16
220         dmtc1   t1, $f18
221         dmtc1   t1, $f20
222         dmtc1   t1, $f22
223         dmtc1   t1, $f24
224         dmtc1   t1, $f26
225         dmtc1   t1, $f28
226         dmtc1   t1, $f30
227 #endif
228         jr      ra
229         END(_init_fpu)
230
231         .set pop        /* SET_HARDFLOAT */
232
233         .set    noreorder
234
235 /**
236  * _save_fp_context() - save FP context from the FPU
237  * @a0 - pointer to fpregs field of sigcontext
238  * @a1 - pointer to fpc_csr field of sigcontext
239  *
240  * Save FP context, including the 32 FP data registers and the FP
241  * control & status register, from the FPU to signal context.
242  */
243 LEAF(_save_fp_context)
244         .set    push
245         SET_HARDFLOAT
246         cfc1    t1, fcr31
247         .set    pop
248
249 #if defined(CONFIG_64BIT) || defined(CONFIG_CPU_MIPSR2) || \
250                 defined(CONFIG_CPU_MIPSR6)
251         .set    push
252         SET_HARDFLOAT
253 #ifdef CONFIG_CPU_MIPSR2
254         .set    mips32r2
255         .set    fp=64
256         mfc0    t0, CP0_STATUS
257         sll     t0, t0, 5
258         bgez    t0, 1f                  # skip storing odd if FR=0
259          nop
260 #endif
261         /* Store the 16 odd double precision registers */
262         EX      sdc1 $f1, 8(a0)
263         EX      sdc1 $f3, 24(a0)
264         EX      sdc1 $f5, 40(a0)
265         EX      sdc1 $f7, 56(a0)
266         EX      sdc1 $f9, 72(a0)
267         EX      sdc1 $f11, 88(a0)
268         EX      sdc1 $f13, 104(a0)
269         EX      sdc1 $f15, 120(a0)
270         EX      sdc1 $f17, 136(a0)
271         EX      sdc1 $f19, 152(a0)
272         EX      sdc1 $f21, 168(a0)
273         EX      sdc1 $f23, 184(a0)
274         EX      sdc1 $f25, 200(a0)
275         EX      sdc1 $f27, 216(a0)
276         EX      sdc1 $f29, 232(a0)
277         EX      sdc1 $f31, 248(a0)
278 1:      .set    pop
279 #endif
280
281         .set push
282         SET_HARDFLOAT
283         /* Store the 16 even double precision registers */
284         EX      sdc1 $f0, 0(a0)
285         EX      sdc1 $f2, 16(a0)
286         EX      sdc1 $f4, 32(a0)
287         EX      sdc1 $f6, 48(a0)
288         EX      sdc1 $f8, 64(a0)
289         EX      sdc1 $f10, 80(a0)
290         EX      sdc1 $f12, 96(a0)
291         EX      sdc1 $f14, 112(a0)
292         EX      sdc1 $f16, 128(a0)
293         EX      sdc1 $f18, 144(a0)
294         EX      sdc1 $f20, 160(a0)
295         EX      sdc1 $f22, 176(a0)
296         EX      sdc1 $f24, 192(a0)
297         EX      sdc1 $f26, 208(a0)
298         EX      sdc1 $f28, 224(a0)
299         EX      sdc1 $f30, 240(a0)
300         EX      sw t1, 0(a1)
301         jr      ra
302          li     v0, 0                                   # success
303         .set pop
304         END(_save_fp_context)
305
306 /**
307  * _restore_fp_context() - restore FP context to the FPU
308  * @a0 - pointer to fpregs field of sigcontext
309  * @a1 - pointer to fpc_csr field of sigcontext
310  *
311  * Restore FP context, including the 32 FP data registers and the FP
312  * control & status register, from signal context to the FPU.
313  */
314 LEAF(_restore_fp_context)
315         EX      lw t1, 0(a1)
316
317 #if defined(CONFIG_64BIT) || defined(CONFIG_CPU_MIPSR2)  || \
318                 defined(CONFIG_CPU_MIPSR6)
319         .set    push
320         SET_HARDFLOAT
321 #ifdef CONFIG_CPU_MIPSR2
322         .set    mips32r2
323         .set    fp=64
324         mfc0    t0, CP0_STATUS
325         sll     t0, t0, 5
326         bgez    t0, 1f                  # skip loading odd if FR=0
327          nop
328 #endif
329         EX      ldc1 $f1, 8(a0)
330         EX      ldc1 $f3, 24(a0)
331         EX      ldc1 $f5, 40(a0)
332         EX      ldc1 $f7, 56(a0)
333         EX      ldc1 $f9, 72(a0)
334         EX      ldc1 $f11, 88(a0)
335         EX      ldc1 $f13, 104(a0)
336         EX      ldc1 $f15, 120(a0)
337         EX      ldc1 $f17, 136(a0)
338         EX      ldc1 $f19, 152(a0)
339         EX      ldc1 $f21, 168(a0)
340         EX      ldc1 $f23, 184(a0)
341         EX      ldc1 $f25, 200(a0)
342         EX      ldc1 $f27, 216(a0)
343         EX      ldc1 $f29, 232(a0)
344         EX      ldc1 $f31, 248(a0)
345 1:      .set pop
346 #endif
347         .set push
348         SET_HARDFLOAT
349         EX      ldc1 $f0, 0(a0)
350         EX      ldc1 $f2, 16(a0)
351         EX      ldc1 $f4, 32(a0)
352         EX      ldc1 $f6, 48(a0)
353         EX      ldc1 $f8, 64(a0)
354         EX      ldc1 $f10, 80(a0)
355         EX      ldc1 $f12, 96(a0)
356         EX      ldc1 $f14, 112(a0)
357         EX      ldc1 $f16, 128(a0)
358         EX      ldc1 $f18, 144(a0)
359         EX      ldc1 $f20, 160(a0)
360         EX      ldc1 $f22, 176(a0)
361         EX      ldc1 $f24, 192(a0)
362         EX      ldc1 $f26, 208(a0)
363         EX      ldc1 $f28, 224(a0)
364         EX      ldc1 $f30, 240(a0)
365         ctc1    t1, fcr31
366         .set pop
367         jr      ra
368          li     v0, 0                                   # success
369         END(_restore_fp_context)
370
371 #ifdef CONFIG_CPU_HAS_MSA
372
373         .macro  op_one_wr       op, idx, base
374         .align  4
375 \idx:   \op     \idx, 0, \base
376         jr      ra
377          nop
378         .endm
379
380         .macro  op_msa_wr       name, op
381 LEAF(\name)
382         .set            push
383         .set            noreorder
384         sll             t0, a0, 4
385         PTR_LA          t1, 0f
386         PTR_ADDU        t0, t0, t1
387         jr              t0
388           nop
389         op_one_wr       \op, 0, a1
390         op_one_wr       \op, 1, a1
391         op_one_wr       \op, 2, a1
392         op_one_wr       \op, 3, a1
393         op_one_wr       \op, 4, a1
394         op_one_wr       \op, 5, a1
395         op_one_wr       \op, 6, a1
396         op_one_wr       \op, 7, a1
397         op_one_wr       \op, 8, a1
398         op_one_wr       \op, 9, a1
399         op_one_wr       \op, 10, a1
400         op_one_wr       \op, 11, a1
401         op_one_wr       \op, 12, a1
402         op_one_wr       \op, 13, a1
403         op_one_wr       \op, 14, a1
404         op_one_wr       \op, 15, a1
405         op_one_wr       \op, 16, a1
406         op_one_wr       \op, 17, a1
407         op_one_wr       \op, 18, a1
408         op_one_wr       \op, 19, a1
409         op_one_wr       \op, 20, a1
410         op_one_wr       \op, 21, a1
411         op_one_wr       \op, 22, a1
412         op_one_wr       \op, 23, a1
413         op_one_wr       \op, 24, a1
414         op_one_wr       \op, 25, a1
415         op_one_wr       \op, 26, a1
416         op_one_wr       \op, 27, a1
417         op_one_wr       \op, 28, a1
418         op_one_wr       \op, 29, a1
419         op_one_wr       \op, 30, a1
420         op_one_wr       \op, 31, a1
421         .set            pop
422         END(\name)
423         .endm
424
425         op_msa_wr       read_msa_wr_b, st_b
426         op_msa_wr       read_msa_wr_h, st_h
427         op_msa_wr       read_msa_wr_w, st_w
428         op_msa_wr       read_msa_wr_d, st_d
429
430         op_msa_wr       write_msa_wr_b, ld_b
431         op_msa_wr       write_msa_wr_h, ld_h
432         op_msa_wr       write_msa_wr_w, ld_w
433         op_msa_wr       write_msa_wr_d, ld_d
434
435 #endif /* CONFIG_CPU_HAS_MSA */
436
437 #ifdef CONFIG_CPU_HAS_MSA
438
439         .macro  save_msa_upper  wr, off, base
440         .set    push
441         .set    noat
442 #ifdef CONFIG_64BIT
443         copy_s_d \wr, 1
444         EX sd   $1, \off(\base)
445 #elif defined(CONFIG_CPU_LITTLE_ENDIAN)
446         copy_s_w \wr, 2
447         EX sw   $1, \off(\base)
448         copy_s_w \wr, 3
449         EX sw   $1, (\off+4)(\base)
450 #else /* CONFIG_CPU_BIG_ENDIAN */
451         copy_s_w \wr, 2
452         EX sw   $1, (\off+4)(\base)
453         copy_s_w \wr, 3
454         EX sw   $1, \off(\base)
455 #endif
456         .set    pop
457         .endm
458
459 LEAF(_save_msa_all_upper)
460         save_msa_upper  0, 0x00, a0
461         save_msa_upper  1, 0x08, a0
462         save_msa_upper  2, 0x10, a0
463         save_msa_upper  3, 0x18, a0
464         save_msa_upper  4, 0x20, a0
465         save_msa_upper  5, 0x28, a0
466         save_msa_upper  6, 0x30, a0
467         save_msa_upper  7, 0x38, a0
468         save_msa_upper  8, 0x40, a0
469         save_msa_upper  9, 0x48, a0
470         save_msa_upper  10, 0x50, a0
471         save_msa_upper  11, 0x58, a0
472         save_msa_upper  12, 0x60, a0
473         save_msa_upper  13, 0x68, a0
474         save_msa_upper  14, 0x70, a0
475         save_msa_upper  15, 0x78, a0
476         save_msa_upper  16, 0x80, a0
477         save_msa_upper  17, 0x88, a0
478         save_msa_upper  18, 0x90, a0
479         save_msa_upper  19, 0x98, a0
480         save_msa_upper  20, 0xa0, a0
481         save_msa_upper  21, 0xa8, a0
482         save_msa_upper  22, 0xb0, a0
483         save_msa_upper  23, 0xb8, a0
484         save_msa_upper  24, 0xc0, a0
485         save_msa_upper  25, 0xc8, a0
486         save_msa_upper  26, 0xd0, a0
487         save_msa_upper  27, 0xd8, a0
488         save_msa_upper  28, 0xe0, a0
489         save_msa_upper  29, 0xe8, a0
490         save_msa_upper  30, 0xf0, a0
491         save_msa_upper  31, 0xf8, a0
492         jr      ra
493          li     v0, 0
494         END(_save_msa_all_upper)
495
496         .macro  restore_msa_upper       wr, off, base
497         .set    push
498         .set    noat
499 #ifdef CONFIG_64BIT
500         EX ld   $1, \off(\base)
501         insert_d \wr, 1
502 #elif defined(CONFIG_CPU_LITTLE_ENDIAN)
503         EX lw   $1, \off(\base)
504         insert_w \wr, 2
505         EX lw   $1, (\off+4)(\base)
506         insert_w \wr, 3
507 #else /* CONFIG_CPU_BIG_ENDIAN */
508         EX lw   $1, (\off+4)(\base)
509         insert_w \wr, 2
510         EX lw   $1, \off(\base)
511         insert_w \wr, 3
512 #endif
513         .set    pop
514         .endm
515
516 LEAF(_restore_msa_all_upper)
517         restore_msa_upper       0, 0x00, a0
518         restore_msa_upper       1, 0x08, a0
519         restore_msa_upper       2, 0x10, a0
520         restore_msa_upper       3, 0x18, a0
521         restore_msa_upper       4, 0x20, a0
522         restore_msa_upper       5, 0x28, a0
523         restore_msa_upper       6, 0x30, a0
524         restore_msa_upper       7, 0x38, a0
525         restore_msa_upper       8, 0x40, a0
526         restore_msa_upper       9, 0x48, a0
527         restore_msa_upper       10, 0x50, a0
528         restore_msa_upper       11, 0x58, a0
529         restore_msa_upper       12, 0x60, a0
530         restore_msa_upper       13, 0x68, a0
531         restore_msa_upper       14, 0x70, a0
532         restore_msa_upper       15, 0x78, a0
533         restore_msa_upper       16, 0x80, a0
534         restore_msa_upper       17, 0x88, a0
535         restore_msa_upper       18, 0x90, a0
536         restore_msa_upper       19, 0x98, a0
537         restore_msa_upper       20, 0xa0, a0
538         restore_msa_upper       21, 0xa8, a0
539         restore_msa_upper       22, 0xb0, a0
540         restore_msa_upper       23, 0xb8, a0
541         restore_msa_upper       24, 0xc0, a0
542         restore_msa_upper       25, 0xc8, a0
543         restore_msa_upper       26, 0xd0, a0
544         restore_msa_upper       27, 0xd8, a0
545         restore_msa_upper       28, 0xe0, a0
546         restore_msa_upper       29, 0xe8, a0
547         restore_msa_upper       30, 0xf0, a0
548         restore_msa_upper       31, 0xf8, a0
549         jr      ra
550          li     v0, 0
551         END(_restore_msa_all_upper)
552
553 #endif /* CONFIG_CPU_HAS_MSA */
554
555         .set    reorder
556
557         .type   fault, @function
558         .ent    fault
559 fault:  li      v0, -EFAULT                             # failure
560         jr      ra
561         .end    fault