GNU Linux-libre 4.9.296-gnu1
[releases.git] / arch / sparc / lib / bzero.S
1 /* bzero.S: Simple prefetching memset, bzero, and clear_user
2  *          implementations.
3  *
4  * Copyright (C) 2005 David S. Miller <davem@davemloft.net>
5  */
6
7 #include <linux/linkage.h>
8 #include <asm/export.h>
9
10         .text
11
12 ENTRY(memset) /* %o0=buf, %o1=pat, %o2=len */
13         and             %o1, 0xff, %o3
14         mov             %o2, %o1
15         sllx            %o3, 8, %g1
16         or              %g1, %o3, %o2
17         sllx            %o2, 16, %g1
18         or              %g1, %o2, %o2
19         sllx            %o2, 32, %g1
20         ba,pt           %xcc, 1f
21          or             %g1, %o2, %o2
22
23 ENTRY(__bzero) /* %o0=buf, %o1=len */
24         clr             %o2
25 1:      mov             %o0, %o3
26         brz,pn          %o1, __bzero_done
27          cmp            %o1, 16
28         bl,pn           %icc, __bzero_tiny
29          prefetch       [%o0 + 0x000], #n_writes
30         andcc           %o0, 0x3, %g0
31         be,pt           %icc, 2f
32 1:       stb            %o2, [%o0 + 0x00]
33         add             %o0, 1, %o0
34         andcc           %o0, 0x3, %g0
35         bne,pn          %icc, 1b
36          sub            %o1, 1, %o1
37 2:      andcc           %o0, 0x7, %g0
38         be,pt           %icc, 3f
39          stw            %o2, [%o0 + 0x00]
40         sub             %o1, 4, %o1
41         add             %o0, 4, %o0
42 3:      and             %o1, 0x38, %g1
43         cmp             %o1, 0x40
44         andn            %o1, 0x3f, %o4
45         bl,pn           %icc, 5f
46          and            %o1, 0x7, %o1
47         prefetch        [%o0 + 0x040], #n_writes
48         prefetch        [%o0 + 0x080], #n_writes
49         prefetch        [%o0 + 0x0c0], #n_writes
50         prefetch        [%o0 + 0x100], #n_writes
51         prefetch        [%o0 + 0x140], #n_writes
52 4:      prefetch        [%o0 + 0x180], #n_writes
53         stx             %o2, [%o0 + 0x00]
54         stx             %o2, [%o0 + 0x08]
55         stx             %o2, [%o0 + 0x10]
56         stx             %o2, [%o0 + 0x18]
57         stx             %o2, [%o0 + 0x20]
58         stx             %o2, [%o0 + 0x28]
59         stx             %o2, [%o0 + 0x30]
60         stx             %o2, [%o0 + 0x38]
61         subcc           %o4, 0x40, %o4
62         bne,pt          %icc, 4b
63          add            %o0, 0x40, %o0
64         brz,pn          %g1, 6f
65          nop
66 5:      stx             %o2, [%o0 + 0x00]
67         subcc           %g1, 8, %g1
68         bne,pt          %icc, 5b
69          add            %o0, 0x8, %o0
70 6:      brz,pt          %o1, __bzero_done
71          nop
72 __bzero_tiny:
73 1:      stb             %o2, [%o0 + 0x00]
74         subcc           %o1, 1, %o1
75         bne,pt          %icc, 1b
76          add            %o0, 1, %o0
77 __bzero_done:
78         retl
79          mov            %o3, %o0
80 ENDPROC(__bzero)
81 ENDPROC(memset)
82 EXPORT_SYMBOL(__bzero)
83 EXPORT_SYMBOL(memset)
84
85 #define EX_ST(x,y)              \
86 98:     x,y;                    \
87         .section __ex_table,"a";\
88         .align 4;               \
89         .word 98b, __retl_o1;   \
90         .text;                  \
91         .align 4;
92
93 ENTRY(__clear_user) /* %o0=buf, %o1=len */
94         brz,pn          %o1, __clear_user_done
95          cmp            %o1, 16
96         bl,pn           %icc, __clear_user_tiny
97          EX_ST(prefetcha [%o0 + 0x00] %asi, #n_writes)
98         andcc           %o0, 0x3, %g0
99         be,pt           %icc, 2f
100 1:       EX_ST(stba     %g0, [%o0 + 0x00] %asi)
101         add             %o0, 1, %o0
102         andcc           %o0, 0x3, %g0
103         bne,pn          %icc, 1b
104          sub            %o1, 1, %o1
105 2:      andcc           %o0, 0x7, %g0
106         be,pt           %icc, 3f
107          EX_ST(stwa     %g0, [%o0 + 0x00] %asi)
108         sub             %o1, 4, %o1
109         add             %o0, 4, %o0
110 3:      and             %o1, 0x38, %g1
111         cmp             %o1, 0x40
112         andn            %o1, 0x3f, %o4
113         bl,pn           %icc, 5f
114          and            %o1, 0x7, %o1
115         EX_ST(prefetcha [%o0 + 0x040] %asi, #n_writes)
116         EX_ST(prefetcha [%o0 + 0x080] %asi, #n_writes)
117         EX_ST(prefetcha [%o0 + 0x0c0] %asi, #n_writes)
118         EX_ST(prefetcha [%o0 + 0x100] %asi, #n_writes)
119         EX_ST(prefetcha [%o0 + 0x140] %asi, #n_writes)
120 4:      EX_ST(prefetcha [%o0 + 0x180] %asi, #n_writes)
121         EX_ST(stxa      %g0, [%o0 + 0x00] %asi)
122         EX_ST(stxa      %g0, [%o0 + 0x08] %asi)
123         EX_ST(stxa      %g0, [%o0 + 0x10] %asi)
124         EX_ST(stxa      %g0, [%o0 + 0x18] %asi)
125         EX_ST(stxa      %g0, [%o0 + 0x20] %asi)
126         EX_ST(stxa      %g0, [%o0 + 0x28] %asi)
127         EX_ST(stxa      %g0, [%o0 + 0x30] %asi)
128         EX_ST(stxa      %g0, [%o0 + 0x38] %asi)
129         subcc           %o4, 0x40, %o4
130         bne,pt          %icc, 4b
131          add            %o0, 0x40, %o0
132         brz,pn          %g1, 6f
133          nop
134 5:      EX_ST(stxa      %g0, [%o0 + 0x00] %asi)
135         subcc           %g1, 8, %g1
136         bne,pt          %icc, 5b
137          add            %o0, 0x8, %o0
138 6:      brz,pt          %o1, __clear_user_done
139          nop
140 __clear_user_tiny:
141 1:      EX_ST(stba      %g0, [%o0 + 0x00] %asi)
142         subcc           %o1, 1, %o1
143         bne,pt          %icc, 1b
144          add            %o0, 1, %o0
145 __clear_user_done:
146         retl
147          clr            %o0
148 ENDPROC(__clear_user)
149 EXPORT_SYMBOL(__clear_user)