GNU Linux-libre 4.19.286-gnu1
[releases.git] / arch / mips / kernel / octeon_switch.S
1 /*
2  * This file is subject to the terms and conditions of the GNU General Public
3  * License.  See the file "COPYING" in the main directory of this archive
4  * for more details.
5  *
6  * Copyright (C) 1994, 1995, 1996, 1998, 1999, 2002, 2003 Ralf Baechle
7  * Copyright (C) 1996 David S. Miller (davem@davemloft.net)
8  * Copyright (C) 1994, 1995, 1996, by Andreas Busse
9  * Copyright (C) 1999 Silicon Graphics, Inc.
10  * Copyright (C) 2000 MIPS Technologies, Inc.
11  *    written by Carsten Langgaard, carstenl@mips.com
12  */
13 #include <asm/asm.h>
14 #include <asm/export.h>
15 #include <asm/asm-offsets.h>
16 #include <asm/mipsregs.h>
17 #include <asm/regdef.h>
18 #include <asm/stackframe.h>
19
20 /*
21  * task_struct *resume(task_struct *prev, task_struct *next,
22  *                     struct thread_info *next_ti)
23  */
24         .align  7
25         LEAF(resume)
26         .set arch=octeon
27         mfc0    t1, CP0_STATUS
28         LONG_S  t1, THREAD_STATUS(a0)
29         cpu_save_nonscratch a0
30         LONG_S  ra, THREAD_REG31(a0)
31
32 #if CONFIG_CAVIUM_OCTEON_CVMSEG_SIZE > 0
33         /* Check if we need to store CVMSEG state */
34         dmfc0   t0, $11,7       /* CvmMemCtl */
35         bbit0   t0, 6, 3f       /* Is user access enabled? */
36
37         /* Store the CVMSEG state */
38         /* Extract the size of CVMSEG */
39         andi    t0, 0x3f
40         /* Multiply * (cache line size/sizeof(long)/2) */
41         sll     t0, 7-LONGLOG-1
42         li      t1, -32768      /* Base address of CVMSEG */
43         LONG_ADDI t2, a0, THREAD_CVMSEG /* Where to store CVMSEG to */
44         synciobdma
45 2:
46         .set noreorder
47         LONG_L  t8, 0(t1)       /* Load from CVMSEG */
48         subu    t0, 1           /* Decrement loop var */
49         LONG_L  t9, LONGSIZE(t1)/* Load from CVMSEG */
50         LONG_ADDU t1, LONGSIZE*2 /* Increment loc in CVMSEG */
51         LONG_S  t8, 0(t2)       /* Store CVMSEG to thread storage */
52         LONG_ADDU t2, LONGSIZE*2 /* Increment loc in thread storage */
53         bnez    t0, 2b          /* Loop until we've copied it all */
54          LONG_S t9, -LONGSIZE(t2)/* Store CVMSEG to thread storage */
55         .set reorder
56
57         /* Disable access to CVMSEG */
58         dmfc0   t0, $11,7       /* CvmMemCtl */
59         xori    t0, t0, 0x40    /* Bit 6 is CVMSEG user enable */
60         dmtc0   t0, $11,7       /* CvmMemCtl */
61 #endif
62 3:
63
64 #if defined(CONFIG_STACKPROTECTOR) && !defined(CONFIG_SMP)
65         PTR_LA  t8, __stack_chk_guard
66         LONG_L  t9, TASK_STACK_CANARY(a1)
67         LONG_S  t9, 0(t8)
68 #endif
69
70         /*
71          * The order of restoring the registers takes care of the race
72          * updating $28, $29 and kernelsp without disabling ints.
73          */
74         move    $28, a2
75         cpu_restore_nonscratch a1
76
77         PTR_ADDU        t0, $28, _THREAD_SIZE - 32
78         set_saved_sp    t0, t1, t2
79
80         mfc0    t1, CP0_STATUS          /* Do we really need this? */
81         li      a3, 0xff01
82         and     t1, a3
83         LONG_L  a2, THREAD_STATUS(a1)
84         nor     a3, $0, a3
85         and     a2, a3
86         or      a2, t1
87         mtc0    a2, CP0_STATUS
88         move    v0, a0
89         jr      ra
90         END(resume)
91
92 /*
93  * void octeon_cop2_save(struct octeon_cop2_state *a0)
94  */
95         .align  7
96         .set push
97         .set noreorder
98         LEAF(octeon_cop2_save)
99
100         dmfc0   t9, $9,7        /* CvmCtl register. */
101
102         /* Save the COP2 CRC state */
103         dmfc2   t0, 0x0201
104         dmfc2   t1, 0x0202
105         dmfc2   t2, 0x0200
106         sd      t0, OCTEON_CP2_CRC_IV(a0)
107         sd      t1, OCTEON_CP2_CRC_LENGTH(a0)
108         /* Skip next instructions if CvmCtl[NODFA_CP2] set */
109         bbit1   t9, 28, 1f
110          sd     t2, OCTEON_CP2_CRC_POLY(a0)
111
112         /* Save the LLM state */
113         dmfc2   t0, 0x0402
114         dmfc2   t1, 0x040A
115         sd      t0, OCTEON_CP2_LLM_DAT(a0)
116
117 1:      bbit1   t9, 26, 3f      /* done if CvmCtl[NOCRYPTO] set */
118          sd     t1, OCTEON_CP2_LLM_DAT+8(a0)
119
120         /* Save the COP2 crypto state */
121         /* this part is mostly common to both pass 1 and later revisions */
122         dmfc2   t0, 0x0084
123         dmfc2   t1, 0x0080
124         dmfc2   t2, 0x0081
125         dmfc2   t3, 0x0082
126         sd      t0, OCTEON_CP2_3DES_IV(a0)
127         dmfc2   t0, 0x0088
128         sd      t1, OCTEON_CP2_3DES_KEY(a0)
129         dmfc2   t1, 0x0111                      /* only necessary for pass 1 */
130         sd      t2, OCTEON_CP2_3DES_KEY+8(a0)
131         dmfc2   t2, 0x0102
132         sd      t3, OCTEON_CP2_3DES_KEY+16(a0)
133         dmfc2   t3, 0x0103
134         sd      t0, OCTEON_CP2_3DES_RESULT(a0)
135         dmfc2   t0, 0x0104
136         sd      t1, OCTEON_CP2_AES_INP0(a0)     /* only necessary for pass 1 */
137         dmfc2   t1, 0x0105
138         sd      t2, OCTEON_CP2_AES_IV(a0)
139         dmfc2   t2, 0x0106
140         sd      t3, OCTEON_CP2_AES_IV+8(a0)
141         dmfc2   t3, 0x0107
142         sd      t0, OCTEON_CP2_AES_KEY(a0)
143         dmfc2   t0, 0x0110
144         sd      t1, OCTEON_CP2_AES_KEY+8(a0)
145         dmfc2   t1, 0x0100
146         sd      t2, OCTEON_CP2_AES_KEY+16(a0)
147         dmfc2   t2, 0x0101
148         sd      t3, OCTEON_CP2_AES_KEY+24(a0)
149         mfc0    v0, $15,0       /* Get the processor ID register */
150         sd      t0, OCTEON_CP2_AES_KEYLEN(a0)
151         li      v1, 0x000d0000  /* This is the processor ID of Octeon Pass1 */
152         sd      t1, OCTEON_CP2_AES_RESULT(a0)
153         /* Skip to the Pass1 version of the remainder of the COP2 state */
154         beq     v0, v1, 2f
155          sd     t2, OCTEON_CP2_AES_RESULT+8(a0)
156
157         /* the non-pass1 state when !CvmCtl[NOCRYPTO] */
158         dmfc2   t1, 0x0240
159         dmfc2   t2, 0x0241
160         ori     v1, v1, 0x9500 /* lowest OCTEON III PrId*/
161         dmfc2   t3, 0x0242
162         subu    v1, v0, v1 /* prid - lowest OCTEON III PrId */
163         dmfc2   t0, 0x0243
164         sd      t1, OCTEON_CP2_HSH_DATW(a0)
165         dmfc2   t1, 0x0244
166         sd      t2, OCTEON_CP2_HSH_DATW+8(a0)
167         dmfc2   t2, 0x0245
168         sd      t3, OCTEON_CP2_HSH_DATW+16(a0)
169         dmfc2   t3, 0x0246
170         sd      t0, OCTEON_CP2_HSH_DATW+24(a0)
171         dmfc2   t0, 0x0247
172         sd      t1, OCTEON_CP2_HSH_DATW+32(a0)
173         dmfc2   t1, 0x0248
174         sd      t2, OCTEON_CP2_HSH_DATW+40(a0)
175         dmfc2   t2, 0x0249
176         sd      t3, OCTEON_CP2_HSH_DATW+48(a0)
177         dmfc2   t3, 0x024A
178         sd      t0, OCTEON_CP2_HSH_DATW+56(a0)
179         dmfc2   t0, 0x024B
180         sd      t1, OCTEON_CP2_HSH_DATW+64(a0)
181         dmfc2   t1, 0x024C
182         sd      t2, OCTEON_CP2_HSH_DATW+72(a0)
183         dmfc2   t2, 0x024D
184         sd      t3, OCTEON_CP2_HSH_DATW+80(a0)
185         dmfc2   t3, 0x024E
186         sd      t0, OCTEON_CP2_HSH_DATW+88(a0)
187         dmfc2   t0, 0x0250
188         sd      t1, OCTEON_CP2_HSH_DATW+96(a0)
189         dmfc2   t1, 0x0251
190         sd      t2, OCTEON_CP2_HSH_DATW+104(a0)
191         dmfc2   t2, 0x0252
192         sd      t3, OCTEON_CP2_HSH_DATW+112(a0)
193         dmfc2   t3, 0x0253
194         sd      t0, OCTEON_CP2_HSH_IVW(a0)
195         dmfc2   t0, 0x0254
196         sd      t1, OCTEON_CP2_HSH_IVW+8(a0)
197         dmfc2   t1, 0x0255
198         sd      t2, OCTEON_CP2_HSH_IVW+16(a0)
199         dmfc2   t2, 0x0256
200         sd      t3, OCTEON_CP2_HSH_IVW+24(a0)
201         dmfc2   t3, 0x0257
202         sd      t0, OCTEON_CP2_HSH_IVW+32(a0)
203         dmfc2   t0, 0x0258
204         sd      t1, OCTEON_CP2_HSH_IVW+40(a0)
205         dmfc2   t1, 0x0259
206         sd      t2, OCTEON_CP2_HSH_IVW+48(a0)
207         dmfc2   t2, 0x025E
208         sd      t3, OCTEON_CP2_HSH_IVW+56(a0)
209         dmfc2   t3, 0x025A
210         sd      t0, OCTEON_CP2_GFM_MULT(a0)
211         dmfc2   t0, 0x025B
212         sd      t1, OCTEON_CP2_GFM_MULT+8(a0)
213         sd      t2, OCTEON_CP2_GFM_POLY(a0)
214         sd      t3, OCTEON_CP2_GFM_RESULT(a0)
215         bltz    v1, 4f
216          sd     t0, OCTEON_CP2_GFM_RESULT+8(a0)
217         /* OCTEON III things*/
218         dmfc2   t0, 0x024F
219         dmfc2   t1, 0x0050
220         sd      t0, OCTEON_CP2_SHA3(a0)
221         sd      t1, OCTEON_CP2_SHA3+8(a0)
222 4:
223         jr      ra
224          nop
225
226 2:      /* pass 1 special stuff when !CvmCtl[NOCRYPTO] */
227         dmfc2   t3, 0x0040
228         dmfc2   t0, 0x0041
229         dmfc2   t1, 0x0042
230         dmfc2   t2, 0x0043
231         sd      t3, OCTEON_CP2_HSH_DATW(a0)
232         dmfc2   t3, 0x0044
233         sd      t0, OCTEON_CP2_HSH_DATW+8(a0)
234         dmfc2   t0, 0x0045
235         sd      t1, OCTEON_CP2_HSH_DATW+16(a0)
236         dmfc2   t1, 0x0046
237         sd      t2, OCTEON_CP2_HSH_DATW+24(a0)
238         dmfc2   t2, 0x0048
239         sd      t3, OCTEON_CP2_HSH_DATW+32(a0)
240         dmfc2   t3, 0x0049
241         sd      t0, OCTEON_CP2_HSH_DATW+40(a0)
242         dmfc2   t0, 0x004A
243         sd      t1, OCTEON_CP2_HSH_DATW+48(a0)
244         sd      t2, OCTEON_CP2_HSH_IVW(a0)
245         sd      t3, OCTEON_CP2_HSH_IVW+8(a0)
246         sd      t0, OCTEON_CP2_HSH_IVW+16(a0)
247
248 3:      /* pass 1 or CvmCtl[NOCRYPTO] set */
249         jr      ra
250          nop
251         END(octeon_cop2_save)
252         .set pop
253
254 /*
255  * void octeon_cop2_restore(struct octeon_cop2_state *a0)
256  */
257         .align  7
258         .set push
259         .set noreorder
260         LEAF(octeon_cop2_restore)
261         /* First cache line was prefetched before the call */
262         pref    4,  128(a0)
263         dmfc0   t9, $9,7        /* CvmCtl register. */
264
265         pref    4,  256(a0)
266         ld      t0, OCTEON_CP2_CRC_IV(a0)
267         pref    4,  384(a0)
268         ld      t1, OCTEON_CP2_CRC_LENGTH(a0)
269         ld      t2, OCTEON_CP2_CRC_POLY(a0)
270
271         /* Restore the COP2 CRC state */
272         dmtc2   t0, 0x0201
273         dmtc2   t1, 0x1202
274         bbit1   t9, 28, 2f      /* Skip LLM if CvmCtl[NODFA_CP2] is set */
275          dmtc2  t2, 0x4200
276
277         /* Restore the LLM state */
278         ld      t0, OCTEON_CP2_LLM_DAT(a0)
279         ld      t1, OCTEON_CP2_LLM_DAT+8(a0)
280         dmtc2   t0, 0x0402
281         dmtc2   t1, 0x040A
282
283 2:
284         bbit1   t9, 26, done_restore    /* done if CvmCtl[NOCRYPTO] set */
285          nop
286
287         /* Restore the COP2 crypto state common to pass 1 and pass 2 */
288         ld      t0, OCTEON_CP2_3DES_IV(a0)
289         ld      t1, OCTEON_CP2_3DES_KEY(a0)
290         ld      t2, OCTEON_CP2_3DES_KEY+8(a0)
291         dmtc2   t0, 0x0084
292         ld      t0, OCTEON_CP2_3DES_KEY+16(a0)
293         dmtc2   t1, 0x0080
294         ld      t1, OCTEON_CP2_3DES_RESULT(a0)
295         dmtc2   t2, 0x0081
296         ld      t2, OCTEON_CP2_AES_INP0(a0) /* only really needed for pass 1 */
297         dmtc2   t0, 0x0082
298         ld      t0, OCTEON_CP2_AES_IV(a0)
299         dmtc2   t1, 0x0098
300         ld      t1, OCTEON_CP2_AES_IV+8(a0)
301         dmtc2   t2, 0x010A                  /* only really needed for pass 1 */
302         ld      t2, OCTEON_CP2_AES_KEY(a0)
303         dmtc2   t0, 0x0102
304         ld      t0, OCTEON_CP2_AES_KEY+8(a0)
305         dmtc2   t1, 0x0103
306         ld      t1, OCTEON_CP2_AES_KEY+16(a0)
307         dmtc2   t2, 0x0104
308         ld      t2, OCTEON_CP2_AES_KEY+24(a0)
309         dmtc2   t0, 0x0105
310         ld      t0, OCTEON_CP2_AES_KEYLEN(a0)
311         dmtc2   t1, 0x0106
312         ld      t1, OCTEON_CP2_AES_RESULT(a0)
313         dmtc2   t2, 0x0107
314         ld      t2, OCTEON_CP2_AES_RESULT+8(a0)
315         mfc0    t3, $15,0       /* Get the processor ID register */
316         dmtc2   t0, 0x0110
317         li      v0, 0x000d0000  /* This is the processor ID of Octeon Pass1 */
318         dmtc2   t1, 0x0100
319         bne     v0, t3, 3f      /* Skip the next stuff for non-pass1 */
320          dmtc2  t2, 0x0101
321
322         /* this code is specific for pass 1 */
323         ld      t0, OCTEON_CP2_HSH_DATW(a0)
324         ld      t1, OCTEON_CP2_HSH_DATW+8(a0)
325         ld      t2, OCTEON_CP2_HSH_DATW+16(a0)
326         dmtc2   t0, 0x0040
327         ld      t0, OCTEON_CP2_HSH_DATW+24(a0)
328         dmtc2   t1, 0x0041
329         ld      t1, OCTEON_CP2_HSH_DATW+32(a0)
330         dmtc2   t2, 0x0042
331         ld      t2, OCTEON_CP2_HSH_DATW+40(a0)
332         dmtc2   t0, 0x0043
333         ld      t0, OCTEON_CP2_HSH_DATW+48(a0)
334         dmtc2   t1, 0x0044
335         ld      t1, OCTEON_CP2_HSH_IVW(a0)
336         dmtc2   t2, 0x0045
337         ld      t2, OCTEON_CP2_HSH_IVW+8(a0)
338         dmtc2   t0, 0x0046
339         ld      t0, OCTEON_CP2_HSH_IVW+16(a0)
340         dmtc2   t1, 0x0048
341         dmtc2   t2, 0x0049
342         b done_restore   /* unconditional branch */
343          dmtc2  t0, 0x004A
344
345 3:      /* this is post-pass1 code */
346         ld      t2, OCTEON_CP2_HSH_DATW(a0)
347         ori     v0, v0, 0x9500 /* lowest OCTEON III PrId*/
348         ld      t0, OCTEON_CP2_HSH_DATW+8(a0)
349         ld      t1, OCTEON_CP2_HSH_DATW+16(a0)
350         dmtc2   t2, 0x0240
351         ld      t2, OCTEON_CP2_HSH_DATW+24(a0)
352         dmtc2   t0, 0x0241
353         ld      t0, OCTEON_CP2_HSH_DATW+32(a0)
354         dmtc2   t1, 0x0242
355         ld      t1, OCTEON_CP2_HSH_DATW+40(a0)
356         dmtc2   t2, 0x0243
357         ld      t2, OCTEON_CP2_HSH_DATW+48(a0)
358         dmtc2   t0, 0x0244
359         ld      t0, OCTEON_CP2_HSH_DATW+56(a0)
360         dmtc2   t1, 0x0245
361         ld      t1, OCTEON_CP2_HSH_DATW+64(a0)
362         dmtc2   t2, 0x0246
363         ld      t2, OCTEON_CP2_HSH_DATW+72(a0)
364         dmtc2   t0, 0x0247
365         ld      t0, OCTEON_CP2_HSH_DATW+80(a0)
366         dmtc2   t1, 0x0248
367         ld      t1, OCTEON_CP2_HSH_DATW+88(a0)
368         dmtc2   t2, 0x0249
369         ld      t2, OCTEON_CP2_HSH_DATW+96(a0)
370         dmtc2   t0, 0x024A
371         ld      t0, OCTEON_CP2_HSH_DATW+104(a0)
372         dmtc2   t1, 0x024B
373         ld      t1, OCTEON_CP2_HSH_DATW+112(a0)
374         dmtc2   t2, 0x024C
375         ld      t2, OCTEON_CP2_HSH_IVW(a0)
376         dmtc2   t0, 0x024D
377         ld      t0, OCTEON_CP2_HSH_IVW+8(a0)
378         dmtc2   t1, 0x024E
379         ld      t1, OCTEON_CP2_HSH_IVW+16(a0)
380         dmtc2   t2, 0x0250
381         ld      t2, OCTEON_CP2_HSH_IVW+24(a0)
382         dmtc2   t0, 0x0251
383         ld      t0, OCTEON_CP2_HSH_IVW+32(a0)
384         dmtc2   t1, 0x0252
385         ld      t1, OCTEON_CP2_HSH_IVW+40(a0)
386         dmtc2   t2, 0x0253
387         ld      t2, OCTEON_CP2_HSH_IVW+48(a0)
388         dmtc2   t0, 0x0254
389         ld      t0, OCTEON_CP2_HSH_IVW+56(a0)
390         dmtc2   t1, 0x0255
391         ld      t1, OCTEON_CP2_GFM_MULT(a0)
392         dmtc2   t2, 0x0256
393         ld      t2, OCTEON_CP2_GFM_MULT+8(a0)
394         dmtc2   t0, 0x0257
395         ld      t0, OCTEON_CP2_GFM_POLY(a0)
396         dmtc2   t1, 0x0258
397         ld      t1, OCTEON_CP2_GFM_RESULT(a0)
398         dmtc2   t2, 0x0259
399         ld      t2, OCTEON_CP2_GFM_RESULT+8(a0)
400         dmtc2   t0, 0x025E
401         subu    v0, t3, v0 /* prid - lowest OCTEON III PrId */
402         dmtc2   t1, 0x025A
403         bltz    v0, done_restore
404          dmtc2  t2, 0x025B
405         /* OCTEON III things*/
406         ld      t0, OCTEON_CP2_SHA3(a0)
407         ld      t1, OCTEON_CP2_SHA3+8(a0)
408         dmtc2   t0, 0x0051
409         dmtc2   t1, 0x0050
410 done_restore:
411         jr      ra
412          nop
413         END(octeon_cop2_restore)
414         .set pop
415
416 /*
417  * void octeon_mult_save()
418  * sp is assumed to point to a struct pt_regs
419  *
420  * NOTE: This is called in SAVE_TEMP in stackframe.h. It can
421  *       safely modify v1,k0, k1,$10-$15, and $24.  It will
422  *       be overwritten with a processor specific version of the code.
423  */
424         .p2align 7
425         .set push
426         .set noreorder
427         LEAF(octeon_mult_save)
428         jr      ra
429          nop
430         .space 30 * 4, 0
431 octeon_mult_save_end:
432         EXPORT(octeon_mult_save_end)
433         END(octeon_mult_save)
434
435         LEAF(octeon_mult_save2)
436         /* Save the multiplier state OCTEON II and earlier*/
437         v3mulu  k0, $0, $0
438         v3mulu  k1, $0, $0
439         sd      k0, PT_MTP(sp)        /* PT_MTP    has P0 */
440         v3mulu  k0, $0, $0
441         sd      k1, PT_MTP+8(sp)      /* PT_MTP+8  has P1 */
442         ori     k1, $0, 1
443         v3mulu  k1, k1, $0
444         sd      k0, PT_MTP+16(sp)     /* PT_MTP+16 has P2 */
445         v3mulu  k0, $0, $0
446         sd      k1, PT_MPL(sp)        /* PT_MPL    has MPL0 */
447         v3mulu  k1, $0, $0
448         sd      k0, PT_MPL+8(sp)      /* PT_MPL+8  has MPL1 */
449         jr      ra
450          sd     k1, PT_MPL+16(sp)     /* PT_MPL+16 has MPL2 */
451 octeon_mult_save2_end:
452         EXPORT(octeon_mult_save2_end)
453         END(octeon_mult_save2)
454
455         LEAF(octeon_mult_save3)
456         /* Save the multiplier state OCTEON III */
457         v3mulu  $10, $0, $0             /* read P0 */
458         v3mulu  $11, $0, $0             /* read P1 */
459         v3mulu  $12, $0, $0             /* read P2 */
460         sd      $10, PT_MTP+(0*8)(sp)   /* store P0 */
461         v3mulu  $10, $0, $0             /* read P3 */
462         sd      $11, PT_MTP+(1*8)(sp)   /*  store P1 */
463         v3mulu  $11, $0, $0             /* read P4 */
464         sd      $12, PT_MTP+(2*8)(sp)   /* store P2 */
465         ori     $13, $0, 1
466         v3mulu  $12, $0, $0             /* read P5 */
467         sd      $10, PT_MTP+(3*8)(sp)   /* store P3 */
468         v3mulu  $13, $13, $0            /* P4-P0 = MPL5-MPL1, $13 = MPL0 */
469         sd      $11, PT_MTP+(4*8)(sp)   /* store P4 */
470         v3mulu  $10, $0, $0             /* read MPL1 */
471         sd      $12, PT_MTP+(5*8)(sp)   /* store P5 */
472         v3mulu  $11, $0, $0             /* read MPL2 */
473         sd      $13, PT_MPL+(0*8)(sp)   /* store MPL0 */
474         v3mulu  $12, $0, $0             /* read MPL3 */
475         sd      $10, PT_MPL+(1*8)(sp)   /* store MPL1 */
476         v3mulu  $10, $0, $0             /* read MPL4 */
477         sd      $11, PT_MPL+(2*8)(sp)   /* store MPL2 */
478         v3mulu  $11, $0, $0             /* read MPL5 */
479         sd      $12, PT_MPL+(3*8)(sp)   /* store MPL3 */
480         sd      $10, PT_MPL+(4*8)(sp)   /* store MPL4 */
481         jr      ra
482          sd     $11, PT_MPL+(5*8)(sp)   /* store MPL5 */
483 octeon_mult_save3_end:
484         EXPORT(octeon_mult_save3_end)
485         END(octeon_mult_save3)
486         .set pop
487
488 /*
489  * void octeon_mult_restore()
490  * sp is assumed to point to a struct pt_regs
491  *
492  * NOTE: This is called in RESTORE_TEMP in stackframe.h.
493  */
494         .p2align 7
495         .set push
496         .set noreorder
497         LEAF(octeon_mult_restore)
498         jr      ra
499          nop
500         .space 30 * 4, 0
501 octeon_mult_restore_end:
502         EXPORT(octeon_mult_restore_end)
503         END(octeon_mult_restore)
504
505         LEAF(octeon_mult_restore2)
506         ld      v0, PT_MPL(sp)          /* MPL0 */
507         ld      v1, PT_MPL+8(sp)        /* MPL1 */
508         ld      k0, PT_MPL+16(sp)       /* MPL2 */
509         /* Restore the multiplier state */
510         ld      k1, PT_MTP+16(sp)       /* P2 */
511         mtm0    v0                      /* MPL0 */
512         ld      v0, PT_MTP+8(sp)        /* P1 */
513         mtm1    v1                      /* MPL1 */
514         ld      v1, PT_MTP(sp)          /* P0 */
515         mtm2    k0                      /* MPL2 */
516         mtp2    k1                      /* P2 */
517         mtp1    v0                      /* P1 */
518         jr      ra
519          mtp0   v1                      /* P0 */
520 octeon_mult_restore2_end:
521         EXPORT(octeon_mult_restore2_end)
522         END(octeon_mult_restore2)
523
524         LEAF(octeon_mult_restore3)
525         ld      $12, PT_MPL+(0*8)(sp)   /* read MPL0 */
526         ld      $13, PT_MPL+(3*8)(sp)   /* read MPL3 */
527         ld      $10, PT_MPL+(1*8)(sp)   /* read MPL1 */
528         ld      $11, PT_MPL+(4*8)(sp)   /* read MPL4 */
529         .word   0x718d0008
530         /* mtm0 $12, $13                   restore MPL0 and MPL3 */
531         ld      $12, PT_MPL+(2*8)(sp)   /* read MPL2 */
532         .word   0x714b000c
533         /* mtm1 $10, $11                   restore MPL1 and MPL4 */
534         ld      $13, PT_MPL+(5*8)(sp)   /* read MPL5 */
535         ld      $10, PT_MTP+(0*8)(sp)   /* read P0 */
536         ld      $11, PT_MTP+(3*8)(sp)   /* read P3 */
537         .word   0x718d000d
538         /* mtm2 $12, $13                   restore MPL2 and MPL5 */
539         ld      $12, PT_MTP+(1*8)(sp)   /* read P1 */
540         .word   0x714b0009
541         /* mtp0 $10, $11                   restore P0 and P3 */
542         ld      $13, PT_MTP+(4*8)(sp)   /* read P4 */
543         ld      $10, PT_MTP+(2*8)(sp)   /* read P2 */
544         ld      $11, PT_MTP+(5*8)(sp)   /* read P5 */
545         .word   0x718d000a
546         /* mtp1 $12, $13                   restore P1 and P4 */
547         jr      ra
548         .word   0x714b000b
549         /* mtp2 $10, $11                   restore P2 and P5 */
550
551 octeon_mult_restore3_end:
552         EXPORT(octeon_mult_restore3_end)
553         END(octeon_mult_restore3)
554         .set pop