arch/sparc/crypto/aes_asm.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #include <linux/linkage.h>
   3 #include <asm/visasm.h>
   4
   5 #include "opcodes.h"
   6
   7 #define ENCRYPT_TWO_ROUNDS(KEY_BASE, I0, I1, T0, T1) \
   8         AES_EROUND01(KEY_BASE +  0, I0, I1, T0) \
   9         AES_EROUND23(KEY_BASE +  2, I0, I1, T1) \
  10         AES_EROUND01(KEY_BASE +  4, T0, T1, I0) \
  11         AES_EROUND23(KEY_BASE +  6, T0, T1, I1)
  12
  13 #define ENCRYPT_TWO_ROUNDS_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
  14         AES_EROUND01(KEY_BASE +  0, I0, I1, T0) \
  15         AES_EROUND23(KEY_BASE +  2, I0, I1, T1) \
  16         AES_EROUND01(KEY_BASE +  0, I2, I3, T2) \
  17         AES_EROUND23(KEY_BASE +  2, I2, I3, T3) \
  18         AES_EROUND01(KEY_BASE +  4, T0, T1, I0) \
  19         AES_EROUND23(KEY_BASE +  6, T0, T1, I1) \
  20         AES_EROUND01(KEY_BASE +  4, T2, T3, I2) \
  21         AES_EROUND23(KEY_BASE +  6, T2, T3, I3)
  22
  23 #define ENCRYPT_TWO_ROUNDS_LAST(KEY_BASE, I0, I1, T0, T1) \
  24         AES_EROUND01(KEY_BASE +  0, I0, I1, T0) \
  25         AES_EROUND23(KEY_BASE +  2, I0, I1, T1) \
  26         AES_EROUND01_L(KEY_BASE +  4, T0, T1, I0) \
  27         AES_EROUND23_L(KEY_BASE +  6, T0, T1, I1)
  28
  29 #define ENCRYPT_TWO_ROUNDS_LAST_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
  30         AES_EROUND01(KEY_BASE +  0, I0, I1, T0) \
  31         AES_EROUND23(KEY_BASE +  2, I0, I1, T1) \
  32         AES_EROUND01(KEY_BASE +  0, I2, I3, T2) \
  33         AES_EROUND23(KEY_BASE +  2, I2, I3, T3) \
  34         AES_EROUND01_L(KEY_BASE +  4, T0, T1, I0) \
  35         AES_EROUND23_L(KEY_BASE +  6, T0, T1, I1) \
  36         AES_EROUND01_L(KEY_BASE +  4, T2, T3, I2) \
  37         AES_EROUND23_L(KEY_BASE +  6, T2, T3, I3)
  38
  39         /* 10 rounds */
  40 #define ENCRYPT_128(KEY_BASE, I0, I1, T0, T1) \
  41         ENCRYPT_TWO_ROUNDS(KEY_BASE +  0, I0, I1, T0, T1) \
  42         ENCRYPT_TWO_ROUNDS(KEY_BASE +  8, I0, I1, T0, T1) \
  43         ENCRYPT_TWO_ROUNDS(KEY_BASE + 16, I0, I1, T0, T1) \
  44         ENCRYPT_TWO_ROUNDS(KEY_BASE + 24, I0, I1, T0, T1) \
  45         ENCRYPT_TWO_ROUNDS_LAST(KEY_BASE + 32, I0, I1, T0, T1)
  46
  47 #define ENCRYPT_128_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
  48         ENCRYPT_TWO_ROUNDS_2(KEY_BASE +  0, I0, I1, I2, I3, T0, T1, T2, T3) \
  49         ENCRYPT_TWO_ROUNDS_2(KEY_BASE +  8, I0, I1, I2, I3, T0, T1, T2, T3) \
  50         ENCRYPT_TWO_ROUNDS_2(KEY_BASE + 16, I0, I1, I2, I3, T0, T1, T2, T3) \
  51         ENCRYPT_TWO_ROUNDS_2(KEY_BASE + 24, I0, I1, I2, I3, T0, T1, T2, T3) \
  52         ENCRYPT_TWO_ROUNDS_LAST_2(KEY_BASE + 32, I0, I1, I2, I3, T0, T1, T2, T3)
  53
  54         /* 12 rounds */
  55 #define ENCRYPT_192(KEY_BASE, I0, I1, T0, T1) \
  56         ENCRYPT_TWO_ROUNDS(KEY_BASE +  0, I0, I1, T0, T1) \
  57         ENCRYPT_TWO_ROUNDS(KEY_BASE +  8, I0, I1, T0, T1) \
  58         ENCRYPT_TWO_ROUNDS(KEY_BASE + 16, I0, I1, T0, T1) \
  59         ENCRYPT_TWO_ROUNDS(KEY_BASE + 24, I0, I1, T0, T1) \
  60         ENCRYPT_TWO_ROUNDS(KEY_BASE + 32, I0, I1, T0, T1) \
  61         ENCRYPT_TWO_ROUNDS_LAST(KEY_BASE + 40, I0, I1, T0, T1)
  62
  63 #define ENCRYPT_192_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
  64         ENCRYPT_TWO_ROUNDS_2(KEY_BASE +  0, I0, I1, I2, I3, T0, T1, T2, T3) \
  65         ENCRYPT_TWO_ROUNDS_2(KEY_BASE +  8, I0, I1, I2, I3, T0, T1, T2, T3) \
  66         ENCRYPT_TWO_ROUNDS_2(KEY_BASE + 16, I0, I1, I2, I3, T0, T1, T2, T3) \
  67         ENCRYPT_TWO_ROUNDS_2(KEY_BASE + 24, I0, I1, I2, I3, T0, T1, T2, T3) \
  68         ENCRYPT_TWO_ROUNDS_2(KEY_BASE + 32, I0, I1, I2, I3, T0, T1, T2, T3) \
  69         ENCRYPT_TWO_ROUNDS_LAST_2(KEY_BASE + 40, I0, I1, I2, I3, T0, T1, T2, T3)
  70
  71         /* 14 rounds */
  72 #define ENCRYPT_256(KEY_BASE, I0, I1, T0, T1) \
  73         ENCRYPT_TWO_ROUNDS(KEY_BASE +  0, I0, I1, T0, T1) \
  74         ENCRYPT_TWO_ROUNDS(KEY_BASE +  8, I0, I1, T0, T1) \
  75         ENCRYPT_TWO_ROUNDS(KEY_BASE + 16, I0, I1, T0, T1) \
  76         ENCRYPT_TWO_ROUNDS(KEY_BASE + 24, I0, I1, T0, T1) \
  77         ENCRYPT_TWO_ROUNDS(KEY_BASE + 32, I0, I1, T0, T1) \
  78         ENCRYPT_TWO_ROUNDS(KEY_BASE + 40, I0, I1, T0, T1) \
  79         ENCRYPT_TWO_ROUNDS_LAST(KEY_BASE + 48, I0, I1, T0, T1)
  80
  81 #define ENCRYPT_256_TWO_ROUNDS_2(KEY_BASE, I0, I1, I2, I3, TMP_BASE) \
  82         ENCRYPT_TWO_ROUNDS_2(KEY_BASE, I0, I1, I2, I3, \
  83                              TMP_BASE + 0, TMP_BASE + 2, TMP_BASE + 4, TMP_BASE + 6)
  84
  85 #define ENCRYPT_256_2(KEY_BASE, I0, I1, I2, I3) \
  86         ENCRYPT_256_TWO_ROUNDS_2(KEY_BASE +  0, I0, I1, I2, I3, KEY_BASE + 48) \
  87         ldd     [%o0 + 0xd0], %f56; \
  88         ldd     [%o0 + 0xd8], %f58; \
  89         ENCRYPT_256_TWO_ROUNDS_2(KEY_BASE +  8, I0, I1, I2, I3, KEY_BASE +  0) \
  90         ldd     [%o0 + 0xe0], %f60; \
  91         ldd     [%o0 + 0xe8], %f62; \
  92         ENCRYPT_256_TWO_ROUNDS_2(KEY_BASE + 16, I0, I1, I2, I3, KEY_BASE +  0) \
  93         ENCRYPT_256_TWO_ROUNDS_2(KEY_BASE + 24, I0, I1, I2, I3, KEY_BASE +  0) \
  94         ENCRYPT_256_TWO_ROUNDS_2(KEY_BASE + 32, I0, I1, I2, I3, KEY_BASE +  0) \
  95         ENCRYPT_256_TWO_ROUNDS_2(KEY_BASE + 40, I0, I1, I2, I3, KEY_BASE +  0) \
  96         AES_EROUND01(KEY_BASE +  48, I0, I1, KEY_BASE + 0) \
  97         AES_EROUND23(KEY_BASE +  50, I0, I1, KEY_BASE + 2) \
  98         AES_EROUND01(KEY_BASE +  48, I2, I3, KEY_BASE + 4) \
  99         AES_EROUND23(KEY_BASE +  50, I2, I3, KEY_BASE + 6) \
 100         AES_EROUND01_L(KEY_BASE +  52, KEY_BASE + 0, KEY_BASE + 2, I0) \
 101         AES_EROUND23_L(KEY_BASE +  54, KEY_BASE + 0, KEY_BASE + 2, I1) \
 102         ldd     [%o0 + 0x10], %f8; \
 103         ldd     [%o0 + 0x18], %f10; \
 104         AES_EROUND01_L(KEY_BASE +  52, KEY_BASE + 4, KEY_BASE + 6, I2) \
 105         AES_EROUND23_L(KEY_BASE +  54, KEY_BASE + 4, KEY_BASE + 6, I3) \
 106         ldd     [%o0 + 0x20], %f12; \
 107         ldd     [%o0 + 0x28], %f14;
 108
 109 #define DECRYPT_TWO_ROUNDS(KEY_BASE, I0, I1, T0, T1) \
 110         AES_DROUND23(KEY_BASE +  0, I0, I1, T1) \
 111         AES_DROUND01(KEY_BASE +  2, I0, I1, T0) \
 112         AES_DROUND23(KEY_BASE +  4, T0, T1, I1) \
 113         AES_DROUND01(KEY_BASE +  6, T0, T1, I0)
 114
 115 #define DECRYPT_TWO_ROUNDS_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
 116         AES_DROUND23(KEY_BASE +  0, I0, I1, T1) \
 117         AES_DROUND01(KEY_BASE +  2, I0, I1, T0) \
 118         AES_DROUND23(KEY_BASE +  0, I2, I3, T3) \
 119         AES_DROUND01(KEY_BASE +  2, I2, I3, T2) \
 120         AES_DROUND23(KEY_BASE +  4, T0, T1, I1) \
 121         AES_DROUND01(KEY_BASE +  6, T0, T1, I0) \
 122         AES_DROUND23(KEY_BASE +  4, T2, T3, I3) \
 123         AES_DROUND01(KEY_BASE +  6, T2, T3, I2)
 124
 125 #define DECRYPT_TWO_ROUNDS_LAST(KEY_BASE, I0, I1, T0, T1) \
 126         AES_DROUND23(KEY_BASE +  0, I0, I1, T1) \
 127         AES_DROUND01(KEY_BASE +  2, I0, I1, T0) \
 128         AES_DROUND23_L(KEY_BASE +  4, T0, T1, I1) \
 129         AES_DROUND01_L(KEY_BASE +  6, T0, T1, I0)
 130
 131 #define DECRYPT_TWO_ROUNDS_LAST_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
 132         AES_DROUND23(KEY_BASE +  0, I0, I1, T1) \
 133         AES_DROUND01(KEY_BASE +  2, I0, I1, T0) \
 134         AES_DROUND23(KEY_BASE +  0, I2, I3, T3) \
 135         AES_DROUND01(KEY_BASE +  2, I2, I3, T2) \
 136         AES_DROUND23_L(KEY_BASE +  4, T0, T1, I1) \
 137         AES_DROUND01_L(KEY_BASE +  6, T0, T1, I0) \
 138         AES_DROUND23_L(KEY_BASE +  4, T2, T3, I3) \
 139         AES_DROUND01_L(KEY_BASE +  6, T2, T3, I2)
 140
 141         /* 10 rounds */
 142 #define DECRYPT_128(KEY_BASE, I0, I1, T0, T1) \
 143         DECRYPT_TWO_ROUNDS(KEY_BASE +  0, I0, I1, T0, T1) \
 144         DECRYPT_TWO_ROUNDS(KEY_BASE +  8, I0, I1, T0, T1) \
 145         DECRYPT_TWO_ROUNDS(KEY_BASE + 16, I0, I1, T0, T1) \
 146         DECRYPT_TWO_ROUNDS(KEY_BASE + 24, I0, I1, T0, T1) \
 147         DECRYPT_TWO_ROUNDS_LAST(KEY_BASE + 32, I0, I1, T0, T1)
 148
 149 #define DECRYPT_128_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
 150         DECRYPT_TWO_ROUNDS_2(KEY_BASE +  0, I0, I1, I2, I3, T0, T1, T2, T3) \
 151         DECRYPT_TWO_ROUNDS_2(KEY_BASE +  8, I0, I1, I2, I3, T0, T1, T2, T3) \
 152         DECRYPT_TWO_ROUNDS_2(KEY_BASE + 16, I0, I1, I2, I3, T0, T1, T2, T3) \
 153         DECRYPT_TWO_ROUNDS_2(KEY_BASE + 24, I0, I1, I2, I3, T0, T1, T2, T3) \
 154         DECRYPT_TWO_ROUNDS_LAST_2(KEY_BASE + 32, I0, I1, I2, I3, T0, T1, T2, T3)
 155
 156         /* 12 rounds */
 157 #define DECRYPT_192(KEY_BASE, I0, I1, T0, T1) \
 158         DECRYPT_TWO_ROUNDS(KEY_BASE +  0, I0, I1, T0, T1) \
 159         DECRYPT_TWO_ROUNDS(KEY_BASE +  8, I0, I1, T0, T1) \
 160         DECRYPT_TWO_ROUNDS(KEY_BASE + 16, I0, I1, T0, T1) \
 161         DECRYPT_TWO_ROUNDS(KEY_BASE + 24, I0, I1, T0, T1) \
 162         DECRYPT_TWO_ROUNDS(KEY_BASE + 32, I0, I1, T0, T1) \
 163         DECRYPT_TWO_ROUNDS_LAST(KEY_BASE + 40, I0, I1, T0, T1)
 164
 165 #define DECRYPT_192_2(KEY_BASE, I0, I1, I2, I3, T0, T1, T2, T3) \
 166         DECRYPT_TWO_ROUNDS_2(KEY_BASE +  0, I0, I1, I2, I3, T0, T1, T2, T3) \
 167         DECRYPT_TWO_ROUNDS_2(KEY_BASE +  8, I0, I1, I2, I3, T0, T1, T2, T3) \
 168         DECRYPT_TWO_ROUNDS_2(KEY_BASE + 16, I0, I1, I2, I3, T0, T1, T2, T3) \
 169         DECRYPT_TWO_ROUNDS_2(KEY_BASE + 24, I0, I1, I2, I3, T0, T1, T2, T3) \
 170         DECRYPT_TWO_ROUNDS_2(KEY_BASE + 32, I0, I1, I2, I3, T0, T1, T2, T3) \
 171         DECRYPT_TWO_ROUNDS_LAST_2(KEY_BASE + 40, I0, I1, I2, I3, T0, T1, T2, T3)
 172
 173         /* 14 rounds */
 174 #define DECRYPT_256(KEY_BASE, I0, I1, T0, T1) \
 175         DECRYPT_TWO_ROUNDS(KEY_BASE +  0, I0, I1, T0, T1) \
 176         DECRYPT_TWO_ROUNDS(KEY_BASE +  8, I0, I1, T0, T1) \
 177         DECRYPT_TWO_ROUNDS(KEY_BASE + 16, I0, I1, T0, T1) \
 178         DECRYPT_TWO_ROUNDS(KEY_BASE + 24, I0, I1, T0, T1) \
 179         DECRYPT_TWO_ROUNDS(KEY_BASE + 32, I0, I1, T0, T1) \
 180         DECRYPT_TWO_ROUNDS(KEY_BASE + 40, I0, I1, T0, T1) \
 181         DECRYPT_TWO_ROUNDS_LAST(KEY_BASE + 48, I0, I1, T0, T1)
 182
 183 #define DECRYPT_256_TWO_ROUNDS_2(KEY_BASE, I0, I1, I2, I3, TMP_BASE) \
 184         DECRYPT_TWO_ROUNDS_2(KEY_BASE, I0, I1, I2, I3, \
 185                              TMP_BASE + 0, TMP_BASE + 2, TMP_BASE + 4, TMP_BASE + 6)
 186
 187 #define DECRYPT_256_2(KEY_BASE, I0, I1, I2, I3) \
 188         DECRYPT_256_TWO_ROUNDS_2(KEY_BASE +  0, I0, I1, I2, I3, KEY_BASE + 48) \
 189         ldd     [%o0 + 0x18], %f56; \
 190         ldd     [%o0 + 0x10], %f58; \
 191         DECRYPT_256_TWO_ROUNDS_2(KEY_BASE +  8, I0, I1, I2, I3, KEY_BASE +  0) \
 192         ldd     [%o0 + 0x08], %f60; \
 193         ldd     [%o0 + 0x00], %f62; \
 194         DECRYPT_256_TWO_ROUNDS_2(KEY_BASE + 16, I0, I1, I2, I3, KEY_BASE +  0) \
 195         DECRYPT_256_TWO_ROUNDS_2(KEY_BASE + 24, I0, I1, I2, I3, KEY_BASE +  0) \
 196         DECRYPT_256_TWO_ROUNDS_2(KEY_BASE + 32, I0, I1, I2, I3, KEY_BASE +  0) \
 197         DECRYPT_256_TWO_ROUNDS_2(KEY_BASE + 40, I0, I1, I2, I3, KEY_BASE +  0) \
 198         AES_DROUND23(KEY_BASE +  48, I0, I1, KEY_BASE + 2) \
 199         AES_DROUND01(KEY_BASE +  50, I0, I1, KEY_BASE + 0) \
 200         AES_DROUND23(KEY_BASE +  48, I2, I3, KEY_BASE + 6) \
 201         AES_DROUND01(KEY_BASE +  50, I2, I3, KEY_BASE + 4) \
 202         AES_DROUND23_L(KEY_BASE +  52, KEY_BASE + 0, KEY_BASE + 2, I1) \
 203         AES_DROUND01_L(KEY_BASE +  54, KEY_BASE + 0, KEY_BASE + 2, I0) \
 204         ldd     [%o0 + 0xd8], %f8; \
 205         ldd     [%o0 + 0xd0], %f10; \
 206         AES_DROUND23_L(KEY_BASE +  52, KEY_BASE + 4, KEY_BASE + 6, I3) \
 207         AES_DROUND01_L(KEY_BASE +  54, KEY_BASE + 4, KEY_BASE + 6, I2) \
 208         ldd     [%o0 + 0xc8], %f12; \
 209         ldd     [%o0 + 0xc0], %f14;
 210
 211         .align  32
 212 ENTRY(aes_sparc64_key_expand)
 213         /* %o0=input_key, %o1=output_key, %o2=key_len */
 214         VISEntry
 215         ld      [%o0 + 0x00], %f0
 216         ld      [%o0 + 0x04], %f1
 217         ld      [%o0 + 0x08], %f2
 218         ld      [%o0 + 0x0c], %f3
 219
 220         std     %f0, [%o1 + 0x00]
 221         std     %f2, [%o1 + 0x08]
 222         add     %o1, 0x10, %o1
 223
 224         cmp     %o2, 24
 225         bl      2f
 226          nop
 227
 228         be      1f
 229          nop
 230
 231         /* 256-bit key expansion */
 232         ld      [%o0 + 0x10], %f4
 233         ld      [%o0 + 0x14], %f5
 234         ld      [%o0 + 0x18], %f6
 235         ld      [%o0 + 0x1c], %f7
 236
 237         std     %f4, [%o1 + 0x00]
 238         std     %f6, [%o1 + 0x08]
 239         add     %o1, 0x10, %o1
 240
 241         AES_KEXPAND1(0, 6, 0x0, 8)
 242         AES_KEXPAND2(2, 8, 10)
 243         AES_KEXPAND0(4, 10, 12)
 244         AES_KEXPAND2(6, 12, 14)
 245         AES_KEXPAND1(8, 14, 0x1, 16)
 246         AES_KEXPAND2(10, 16, 18)
 247         AES_KEXPAND0(12, 18, 20)
 248         AES_KEXPAND2(14, 20, 22)
 249         AES_KEXPAND1(16, 22, 0x2, 24)
 250         AES_KEXPAND2(18, 24, 26)
 251         AES_KEXPAND0(20, 26, 28)
 252         AES_KEXPAND2(22, 28, 30)
 253         AES_KEXPAND1(24, 30, 0x3, 32)
 254         AES_KEXPAND2(26, 32, 34)
 255         AES_KEXPAND0(28, 34, 36)
 256         AES_KEXPAND2(30, 36, 38)
 257         AES_KEXPAND1(32, 38, 0x4, 40)
 258         AES_KEXPAND2(34, 40, 42)
 259         AES_KEXPAND0(36, 42, 44)
 260         AES_KEXPAND2(38, 44, 46)
 261         AES_KEXPAND1(40, 46, 0x5, 48)
 262         AES_KEXPAND2(42, 48, 50)
 263         AES_KEXPAND0(44, 50, 52)
 264         AES_KEXPAND2(46, 52, 54)
 265         AES_KEXPAND1(48, 54, 0x6, 56)
 266         AES_KEXPAND2(50, 56, 58)
 267
 268         std     %f8, [%o1 + 0x00]
 269         std     %f10, [%o1 + 0x08]
 270         std     %f12, [%o1 + 0x10]
 271         std     %f14, [%o1 + 0x18]
 272         std     %f16, [%o1 + 0x20]
 273         std     %f18, [%o1 + 0x28]
 274         std     %f20, [%o1 + 0x30]
 275         std     %f22, [%o1 + 0x38]
 276         std     %f24, [%o1 + 0x40]
 277         std     %f26, [%o1 + 0x48]
 278         std     %f28, [%o1 + 0x50]
 279         std     %f30, [%o1 + 0x58]
 280         std     %f32, [%o1 + 0x60]
 281         std     %f34, [%o1 + 0x68]
 282         std     %f36, [%o1 + 0x70]
 283         std     %f38, [%o1 + 0x78]
 284         std     %f40, [%o1 + 0x80]
 285         std     %f42, [%o1 + 0x88]
 286         std     %f44, [%o1 + 0x90]
 287         std     %f46, [%o1 + 0x98]
 288         std     %f48, [%o1 + 0xa0]
 289         std     %f50, [%o1 + 0xa8]
 290         std     %f52, [%o1 + 0xb0]
 291         std     %f54, [%o1 + 0xb8]
 292         std     %f56, [%o1 + 0xc0]
 293         ba,pt   %xcc, 80f
 294          std    %f58, [%o1 + 0xc8]
 295
 296 1:
 297         /* 192-bit key expansion */
 298         ld      [%o0 + 0x10], %f4
 299         ld      [%o0 + 0x14], %f5
 300
 301         std     %f4, [%o1 + 0x00]
 302         add     %o1, 0x08, %o1
 303
 304         AES_KEXPAND1(0, 4, 0x0, 6)
 305         AES_KEXPAND2(2, 6, 8)
 306         AES_KEXPAND2(4, 8, 10)
 307         AES_KEXPAND1(6, 10, 0x1, 12)
 308         AES_KEXPAND2(8, 12, 14)
 309         AES_KEXPAND2(10, 14, 16)
 310         AES_KEXPAND1(12, 16, 0x2, 18)
 311         AES_KEXPAND2(14, 18, 20)
 312         AES_KEXPAND2(16, 20, 22)
 313         AES_KEXPAND1(18, 22, 0x3, 24)
 314         AES_KEXPAND2(20, 24, 26)
 315         AES_KEXPAND2(22, 26, 28)
 316         AES_KEXPAND1(24, 28, 0x4, 30)
 317         AES_KEXPAND2(26, 30, 32)
 318         AES_KEXPAND2(28, 32, 34)
 319         AES_KEXPAND1(30, 34, 0x5, 36)
 320         AES_KEXPAND2(32, 36, 38)
 321         AES_KEXPAND2(34, 38, 40)
 322         AES_KEXPAND1(36, 40, 0x6, 42)
 323         AES_KEXPAND2(38, 42, 44)
 324         AES_KEXPAND2(40, 44, 46)
 325         AES_KEXPAND1(42, 46, 0x7, 48)
 326         AES_KEXPAND2(44, 48, 50)
 327
 328         std     %f6, [%o1 + 0x00]
 329         std     %f8, [%o1 + 0x08]
 330         std     %f10, [%o1 + 0x10]
 331         std     %f12, [%o1 + 0x18]
 332         std     %f14, [%o1 + 0x20]
 333         std     %f16, [%o1 + 0x28]
 334         std     %f18, [%o1 + 0x30]
 335         std     %f20, [%o1 + 0x38]
 336         std     %f22, [%o1 + 0x40]
 337         std     %f24, [%o1 + 0x48]
 338         std     %f26, [%o1 + 0x50]
 339         std     %f28, [%o1 + 0x58]
 340         std     %f30, [%o1 + 0x60]
 341         std     %f32, [%o1 + 0x68]
 342         std     %f34, [%o1 + 0x70]
 343         std     %f36, [%o1 + 0x78]
 344         std     %f38, [%o1 + 0x80]
 345         std     %f40, [%o1 + 0x88]
 346         std     %f42, [%o1 + 0x90]
 347         std     %f44, [%o1 + 0x98]
 348         std     %f46, [%o1 + 0xa0]
 349         std     %f48, [%o1 + 0xa8]
 350         ba,pt   %xcc, 80f
 351          std    %f50, [%o1 + 0xb0]
 352
 353 2:
 354         /* 128-bit key expansion */
 355         AES_KEXPAND1(0, 2, 0x0, 4)
 356         AES_KEXPAND2(2, 4, 6)
 357         AES_KEXPAND1(4, 6, 0x1, 8)
 358         AES_KEXPAND2(6, 8, 10)
 359         AES_KEXPAND1(8, 10, 0x2, 12)
 360         AES_KEXPAND2(10, 12, 14)
 361         AES_KEXPAND1(12, 14, 0x3, 16)
 362         AES_KEXPAND2(14, 16, 18)
 363         AES_KEXPAND1(16, 18, 0x4, 20)
 364         AES_KEXPAND2(18, 20, 22)
 365         AES_KEXPAND1(20, 22, 0x5, 24)
 366         AES_KEXPAND2(22, 24, 26)
 367         AES_KEXPAND1(24, 26, 0x6, 28)
 368         AES_KEXPAND2(26, 28, 30)
 369         AES_KEXPAND1(28, 30, 0x7, 32)
 370         AES_KEXPAND2(30, 32, 34)
 371         AES_KEXPAND1(32, 34, 0x8, 36)
 372         AES_KEXPAND2(34, 36, 38)
 373         AES_KEXPAND1(36, 38, 0x9, 40)
 374         AES_KEXPAND2(38, 40, 42)
 375
 376         std     %f4, [%o1 + 0x00]
 377         std     %f6, [%o1 + 0x08]
 378         std     %f8, [%o1 + 0x10]
 379         std     %f10, [%o1 + 0x18]
 380         std     %f12, [%o1 + 0x20]
 381         std     %f14, [%o1 + 0x28]
 382         std     %f16, [%o1 + 0x30]
 383         std     %f18, [%o1 + 0x38]
 384         std     %f20, [%o1 + 0x40]
 385         std     %f22, [%o1 + 0x48]
 386         std     %f24, [%o1 + 0x50]
 387         std     %f26, [%o1 + 0x58]
 388         std     %f28, [%o1 + 0x60]
 389         std     %f30, [%o1 + 0x68]
 390         std     %f32, [%o1 + 0x70]
 391         std     %f34, [%o1 + 0x78]
 392         std     %f36, [%o1 + 0x80]
 393         std     %f38, [%o1 + 0x88]
 394         std     %f40, [%o1 + 0x90]
 395         std     %f42, [%o1 + 0x98]
 396 80:
 397         retl
 398          VISExit
 399 ENDPROC(aes_sparc64_key_expand)
 400
 401         .align          32
 402 ENTRY(aes_sparc64_encrypt_128)
 403         /* %o0=key, %o1=input, %o2=output */
 404         VISEntry
 405         ld              [%o1 + 0x00], %f4
 406         ld              [%o1 + 0x04], %f5
 407         ld              [%o1 + 0x08], %f6
 408         ld              [%o1 + 0x0c], %f7
 409         ldd             [%o0 + 0x00], %f8
 410         ldd             [%o0 + 0x08], %f10
 411         ldd             [%o0 + 0x10], %f12
 412         ldd             [%o0 + 0x18], %f14
 413         ldd             [%o0 + 0x20], %f16
 414         ldd             [%o0 + 0x28], %f18
 415         ldd             [%o0 + 0x30], %f20
 416         ldd             [%o0 + 0x38], %f22
 417         ldd             [%o0 + 0x40], %f24
 418         ldd             [%o0 + 0x48], %f26
 419         ldd             [%o0 + 0x50], %f28
 420         ldd             [%o0 + 0x58], %f30
 421         ldd             [%o0 + 0x60], %f32
 422         ldd             [%o0 + 0x68], %f34
 423         ldd             [%o0 + 0x70], %f36
 424         ldd             [%o0 + 0x78], %f38
 425         ldd             [%o0 + 0x80], %f40
 426         ldd             [%o0 + 0x88], %f42
 427         ldd             [%o0 + 0x90], %f44
 428         ldd             [%o0 + 0x98], %f46
 429         ldd             [%o0 + 0xa0], %f48
 430         ldd             [%o0 + 0xa8], %f50
 431         fxor            %f8, %f4, %f4
 432         fxor            %f10, %f6, %f6
 433         ENCRYPT_128(12, 4, 6, 0, 2)
 434         st              %f4, [%o2 + 0x00]
 435         st              %f5, [%o2 + 0x04]
 436         st              %f6, [%o2 + 0x08]
 437         st              %f7, [%o2 + 0x0c]
 438         retl
 439          VISExit
 440 ENDPROC(aes_sparc64_encrypt_128)
 441
 442         .align          32
 443 ENTRY(aes_sparc64_encrypt_192)
 444         /* %o0=key, %o1=input, %o2=output */
 445         VISEntry
 446         ld              [%o1 + 0x00], %f4
 447         ld              [%o1 + 0x04], %f5
 448         ld              [%o1 + 0x08], %f6
 449         ld              [%o1 + 0x0c], %f7
 450
 451         ldd             [%o0 + 0x00], %f8
 452         ldd             [%o0 + 0x08], %f10
 453
 454         fxor            %f8, %f4, %f4
 455         fxor            %f10, %f6, %f6
 456
 457         ldd             [%o0 + 0x10], %f8
 458         ldd             [%o0 + 0x18], %f10
 459         ldd             [%o0 + 0x20], %f12
 460         ldd             [%o0 + 0x28], %f14
 461         add             %o0, 0x20, %o0
 462
 463         ENCRYPT_TWO_ROUNDS(8, 4, 6, 0, 2)
 464
 465         ldd             [%o0 + 0x10], %f12
 466         ldd             [%o0 + 0x18], %f14
 467         ldd             [%o0 + 0x20], %f16
 468         ldd             [%o0 + 0x28], %f18
 469         ldd             [%o0 + 0x30], %f20
 470         ldd             [%o0 + 0x38], %f22
 471         ldd             [%o0 + 0x40], %f24
 472         ldd             [%o0 + 0x48], %f26
 473         ldd             [%o0 + 0x50], %f28
 474         ldd             [%o0 + 0x58], %f30
 475         ldd             [%o0 + 0x60], %f32
 476         ldd             [%o0 + 0x68], %f34
 477         ldd             [%o0 + 0x70], %f36
 478         ldd             [%o0 + 0x78], %f38
 479         ldd             [%o0 + 0x80], %f40
 480         ldd             [%o0 + 0x88], %f42
 481         ldd             [%o0 + 0x90], %f44
 482         ldd             [%o0 + 0x98], %f46
 483         ldd             [%o0 + 0xa0], %f48
 484         ldd             [%o0 + 0xa8], %f50
 485
 486
 487         ENCRYPT_128(12, 4, 6, 0, 2)
 488
 489         st              %f4, [%o2 + 0x00]
 490         st              %f5, [%o2 + 0x04]
 491         st              %f6, [%o2 + 0x08]
 492         st              %f7, [%o2 + 0x0c]
 493
 494         retl
 495          VISExit
 496 ENDPROC(aes_sparc64_encrypt_192)
 497
 498         .align          32
 499 ENTRY(aes_sparc64_encrypt_256)
 500         /* %o0=key, %o1=input, %o2=output */
 501         VISEntry
 502         ld              [%o1 + 0x00], %f4
 503         ld              [%o1 + 0x04], %f5
 504         ld              [%o1 + 0x08], %f6
 505         ld              [%o1 + 0x0c], %f7
 506
 507         ldd             [%o0 + 0x00], %f8
 508         ldd             [%o0 + 0x08], %f10
 509
 510         fxor            %f8, %f4, %f4
 511         fxor            %f10, %f6, %f6
 512
 513         ldd             [%o0 + 0x10], %f8
 514
 515         ldd             [%o0 + 0x18], %f10
 516         ldd             [%o0 + 0x20], %f12
 517         ldd             [%o0 + 0x28], %f14
 518         add             %o0, 0x20, %o0
 519
 520         ENCRYPT_TWO_ROUNDS(8, 4, 6, 0, 2)
 521
 522         ldd             [%o0 + 0x10], %f8
 523
 524         ldd             [%o0 + 0x18], %f10
 525         ldd             [%o0 + 0x20], %f12
 526         ldd             [%o0 + 0x28], %f14
 527         add             %o0, 0x20, %o0
 528
 529         ENCRYPT_TWO_ROUNDS(8, 4, 6, 0, 2)
 530
 531         ldd             [%o0 + 0x10], %f12
 532         ldd             [%o0 + 0x18], %f14
 533         ldd             [%o0 + 0x20], %f16
 534         ldd             [%o0 + 0x28], %f18
 535         ldd             [%o0 + 0x30], %f20
 536         ldd             [%o0 + 0x38], %f22
 537         ldd             [%o0 + 0x40], %f24
 538         ldd             [%o0 + 0x48], %f26
 539         ldd             [%o0 + 0x50], %f28
 540         ldd             [%o0 + 0x58], %f30
 541         ldd             [%o0 + 0x60], %f32
 542         ldd             [%o0 + 0x68], %f34
 543         ldd             [%o0 + 0x70], %f36
 544         ldd             [%o0 + 0x78], %f38
 545         ldd             [%o0 + 0x80], %f40
 546         ldd             [%o0 + 0x88], %f42
 547         ldd             [%o0 + 0x90], %f44
 548         ldd             [%o0 + 0x98], %f46
 549         ldd             [%o0 + 0xa0], %f48
 550         ldd             [%o0 + 0xa8], %f50
 551
 552         ENCRYPT_128(12, 4, 6, 0, 2)
 553
 554         st              %f4, [%o2 + 0x00]
 555         st              %f5, [%o2 + 0x04]
 556         st              %f6, [%o2 + 0x08]
 557         st              %f7, [%o2 + 0x0c]
 558
 559         retl
 560          VISExit
 561 ENDPROC(aes_sparc64_encrypt_256)
 562
 563         .align          32
 564 ENTRY(aes_sparc64_decrypt_128)
 565         /* %o0=key, %o1=input, %o2=output */
 566         VISEntry
 567         ld              [%o1 + 0x00], %f4
 568         ld              [%o1 + 0x04], %f5
 569         ld              [%o1 + 0x08], %f6
 570         ld              [%o1 + 0x0c], %f7
 571         ldd             [%o0 + 0xa0], %f8
 572         ldd             [%o0 + 0xa8], %f10
 573         ldd             [%o0 + 0x98], %f12
 574         ldd             [%o0 + 0x90], %f14
 575         ldd             [%o0 + 0x88], %f16
 576         ldd             [%o0 + 0x80], %f18
 577         ldd             [%o0 + 0x78], %f20
 578         ldd             [%o0 + 0x70], %f22
 579         ldd             [%o0 + 0x68], %f24
 580         ldd             [%o0 + 0x60], %f26
 581         ldd             [%o0 + 0x58], %f28
 582         ldd             [%o0 + 0x50], %f30
 583         ldd             [%o0 + 0x48], %f32
 584         ldd             [%o0 + 0x40], %f34
 585         ldd             [%o0 + 0x38], %f36
 586         ldd             [%o0 + 0x30], %f38
 587         ldd             [%o0 + 0x28], %f40
 588         ldd             [%o0 + 0x20], %f42
 589         ldd             [%o0 + 0x18], %f44
 590         ldd             [%o0 + 0x10], %f46
 591         ldd             [%o0 + 0x08], %f48
 592         ldd             [%o0 + 0x00], %f50
 593         fxor            %f8, %f4, %f4
 594         fxor            %f10, %f6, %f6
 595         DECRYPT_128(12, 4, 6, 0, 2)
 596         st              %f4, [%o2 + 0x00]
 597         st              %f5, [%o2 + 0x04]
 598         st              %f6, [%o2 + 0x08]
 599         st              %f7, [%o2 + 0x0c]
 600         retl
 601          VISExit
 602 ENDPROC(aes_sparc64_decrypt_128)
 603
 604         .align          32
 605 ENTRY(aes_sparc64_decrypt_192)
 606         /* %o0=key, %o1=input, %o2=output */
 607         VISEntry
 608         ld              [%o1 + 0x00], %f4
 609         ld              [%o1 + 0x04], %f5
 610         ld              [%o1 + 0x08], %f6
 611         ld              [%o1 + 0x0c], %f7
 612         ldd             [%o0 + 0xc0], %f8
 613         ldd             [%o0 + 0xc8], %f10
 614         ldd             [%o0 + 0xb8], %f12
 615         ldd             [%o0 + 0xb0], %f14
 616         ldd             [%o0 + 0xa8], %f16
 617         ldd             [%o0 + 0xa0], %f18
 618         fxor            %f8, %f4, %f4
 619         fxor            %f10, %f6, %f6
 620         ldd             [%o0 + 0x98], %f20
 621         ldd             [%o0 + 0x90], %f22
 622         ldd             [%o0 + 0x88], %f24
 623         ldd             [%o0 + 0x80], %f26
 624         DECRYPT_TWO_ROUNDS(12, 4, 6, 0, 2)
 625         ldd             [%o0 + 0x78], %f28
 626         ldd             [%o0 + 0x70], %f30
 627         ldd             [%o0 + 0x68], %f32
 628         ldd             [%o0 + 0x60], %f34
 629         ldd             [%o0 + 0x58], %f36
 630         ldd             [%o0 + 0x50], %f38
 631         ldd             [%o0 + 0x48], %f40
 632         ldd             [%o0 + 0x40], %f42
 633         ldd             [%o0 + 0x38], %f44
 634         ldd             [%o0 + 0x30], %f46
 635         ldd             [%o0 + 0x28], %f48
 636         ldd             [%o0 + 0x20], %f50
 637         ldd             [%o0 + 0x18], %f52
 638         ldd             [%o0 + 0x10], %f54
 639         ldd             [%o0 + 0x08], %f56
 640         ldd             [%o0 + 0x00], %f58
 641         DECRYPT_128(20, 4, 6, 0, 2)
 642         st              %f4, [%o2 + 0x00]
 643         st              %f5, [%o2 + 0x04]
 644         st              %f6, [%o2 + 0x08]
 645         st              %f7, [%o2 + 0x0c]
 646         retl
 647          VISExit
 648 ENDPROC(aes_sparc64_decrypt_192)
 649
 650         .align          32
 651 ENTRY(aes_sparc64_decrypt_256)
 652         /* %o0=key, %o1=input, %o2=output */
 653         VISEntry
 654         ld              [%o1 + 0x00], %f4
 655         ld              [%o1 + 0x04], %f5
 656         ld              [%o1 + 0x08], %f6
 657         ld              [%o1 + 0x0c], %f7
 658         ldd             [%o0 + 0xe0], %f8
 659         ldd             [%o0 + 0xe8], %f10
 660         ldd             [%o0 + 0xd8], %f12
 661         ldd             [%o0 + 0xd0], %f14
 662         ldd             [%o0 + 0xc8], %f16
 663         fxor            %f8, %f4, %f4
 664         ldd             [%o0 + 0xc0], %f18
 665         fxor            %f10, %f6, %f6
 666         ldd             [%o0 + 0xb8], %f20
 667         AES_DROUND23(12, 4, 6, 2)
 668         ldd             [%o0 + 0xb0], %f22
 669         AES_DROUND01(14, 4, 6, 0)
 670         ldd             [%o0 + 0xa8], %f24
 671         AES_DROUND23(16, 0, 2, 6)
 672         ldd             [%o0 + 0xa0], %f26
 673         AES_DROUND01(18, 0, 2, 4)
 674         ldd             [%o0 + 0x98], %f12
 675         AES_DROUND23(20, 4, 6, 2)
 676         ldd             [%o0 + 0x90], %f14
 677         AES_DROUND01(22, 4, 6, 0)
 678         ldd             [%o0 + 0x88], %f16
 679         AES_DROUND23(24, 0, 2, 6)
 680         ldd             [%o0 + 0x80], %f18
 681         AES_DROUND01(26, 0, 2, 4)
 682         ldd             [%o0 + 0x78], %f20
 683         AES_DROUND23(12, 4, 6, 2)
 684         ldd             [%o0 + 0x70], %f22
 685         AES_DROUND01(14, 4, 6, 0)
 686         ldd             [%o0 + 0x68], %f24
 687         AES_DROUND23(16, 0, 2, 6)
 688         ldd             [%o0 + 0x60], %f26
 689         AES_DROUND01(18, 0, 2, 4)
 690         ldd             [%o0 + 0x58], %f28
 691         AES_DROUND23(20, 4, 6, 2)
 692         ldd             [%o0 + 0x50], %f30
 693         AES_DROUND01(22, 4, 6, 0)
 694         ldd             [%o0 + 0x48], %f32
 695         AES_DROUND23(24, 0, 2, 6)
 696         ldd             [%o0 + 0x40], %f34
 697         AES_DROUND01(26, 0, 2, 4)
 698         ldd             [%o0 + 0x38], %f36
 699         AES_DROUND23(28, 4, 6, 2)
 700         ldd             [%o0 + 0x30], %f38
 701         AES_DROUND01(30, 4, 6, 0)
 702         ldd             [%o0 + 0x28], %f40
 703         AES_DROUND23(32, 0, 2, 6)
 704         ldd             [%o0 + 0x20], %f42
 705         AES_DROUND01(34, 0, 2, 4)
 706         ldd             [%o0 + 0x18], %f44
 707         AES_DROUND23(36, 4, 6, 2)
 708         ldd             [%o0 + 0x10], %f46
 709         AES_DROUND01(38, 4, 6, 0)
 710         ldd             [%o0 + 0x08], %f48
 711         AES_DROUND23(40, 0, 2, 6)
 712         ldd             [%o0 + 0x00], %f50
 713         AES_DROUND01(42, 0, 2, 4)
 714         AES_DROUND23(44, 4, 6, 2)
 715         AES_DROUND01(46, 4, 6, 0)
 716         AES_DROUND23_L(48, 0, 2, 6)
 717         AES_DROUND01_L(50, 0, 2, 4)
 718         st              %f4, [%o2 + 0x00]
 719         st              %f5, [%o2 + 0x04]
 720         st              %f6, [%o2 + 0x08]
 721         st              %f7, [%o2 + 0x0c]
 722         retl
 723          VISExit
 724 ENDPROC(aes_sparc64_decrypt_256)
 725
 726         .align          32
 727 ENTRY(aes_sparc64_load_encrypt_keys_128)
 728         /* %o0=key */
 729         VISEntry
 730         ldd             [%o0 + 0x10], %f8
 731         ldd             [%o0 + 0x18], %f10
 732         ldd             [%o0 + 0x20], %f12
 733         ldd             [%o0 + 0x28], %f14
 734         ldd             [%o0 + 0x30], %f16
 735         ldd             [%o0 + 0x38], %f18
 736         ldd             [%o0 + 0x40], %f20
 737         ldd             [%o0 + 0x48], %f22
 738         ldd             [%o0 + 0x50], %f24
 739         ldd             [%o0 + 0x58], %f26
 740         ldd             [%o0 + 0x60], %f28
 741         ldd             [%o0 + 0x68], %f30
 742         ldd             [%o0 + 0x70], %f32
 743         ldd             [%o0 + 0x78], %f34
 744         ldd             [%o0 + 0x80], %f36
 745         ldd             [%o0 + 0x88], %f38
 746         ldd             [%o0 + 0x90], %f40
 747         ldd             [%o0 + 0x98], %f42
 748         ldd             [%o0 + 0xa0], %f44
 749         retl
 750          ldd            [%o0 + 0xa8], %f46
 751 ENDPROC(aes_sparc64_load_encrypt_keys_128)
 752
 753         .align          32
 754 ENTRY(aes_sparc64_load_encrypt_keys_192)
 755         /* %o0=key */
 756         VISEntry
 757         ldd             [%o0 + 0x10], %f8
 758         ldd             [%o0 + 0x18], %f10
 759         ldd             [%o0 + 0x20], %f12
 760         ldd             [%o0 + 0x28], %f14
 761         ldd             [%o0 + 0x30], %f16
 762         ldd             [%o0 + 0x38], %f18
 763         ldd             [%o0 + 0x40], %f20
 764         ldd             [%o0 + 0x48], %f22
 765         ldd             [%o0 + 0x50], %f24
 766         ldd             [%o0 + 0x58], %f26
 767         ldd             [%o0 + 0x60], %f28
 768         ldd             [%o0 + 0x68], %f30
 769         ldd             [%o0 + 0x70], %f32
 770         ldd             [%o0 + 0x78], %f34
 771         ldd             [%o0 + 0x80], %f36
 772         ldd             [%o0 + 0x88], %f38
 773         ldd             [%o0 + 0x90], %f40
 774         ldd             [%o0 + 0x98], %f42
 775         ldd             [%o0 + 0xa0], %f44
 776         ldd             [%o0 + 0xa8], %f46
 777         ldd             [%o0 + 0xb0], %f48
 778         ldd             [%o0 + 0xb8], %f50
 779         ldd             [%o0 + 0xc0], %f52
 780         retl
 781          ldd            [%o0 + 0xc8], %f54
 782 ENDPROC(aes_sparc64_load_encrypt_keys_192)
 783
 784         .align          32
 785 ENTRY(aes_sparc64_load_encrypt_keys_256)
 786         /* %o0=key */
 787         VISEntry
 788         ldd             [%o0 + 0x10], %f8
 789         ldd             [%o0 + 0x18], %f10
 790         ldd             [%o0 + 0x20], %f12
 791         ldd             [%o0 + 0x28], %f14
 792         ldd             [%o0 + 0x30], %f16
 793         ldd             [%o0 + 0x38], %f18
 794         ldd             [%o0 + 0x40], %f20
 795         ldd             [%o0 + 0x48], %f22
 796         ldd             [%o0 + 0x50], %f24
 797         ldd             [%o0 + 0x58], %f26
 798         ldd             [%o0 + 0x60], %f28
 799         ldd             [%o0 + 0x68], %f30
 800         ldd             [%o0 + 0x70], %f32
 801         ldd             [%o0 + 0x78], %f34
 802         ldd             [%o0 + 0x80], %f36
 803         ldd             [%o0 + 0x88], %f38
 804         ldd             [%o0 + 0x90], %f40
 805         ldd             [%o0 + 0x98], %f42
 806         ldd             [%o0 + 0xa0], %f44
 807         ldd             [%o0 + 0xa8], %f46
 808         ldd             [%o0 + 0xb0], %f48
 809         ldd             [%o0 + 0xb8], %f50
 810         ldd             [%o0 + 0xc0], %f52
 811         ldd             [%o0 + 0xc8], %f54
 812         ldd             [%o0 + 0xd0], %f56
 813         ldd             [%o0 + 0xd8], %f58
 814         ldd             [%o0 + 0xe0], %f60
 815         retl
 816          ldd            [%o0 + 0xe8], %f62
 817 ENDPROC(aes_sparc64_load_encrypt_keys_256)
 818
 819         .align          32
 820 ENTRY(aes_sparc64_load_decrypt_keys_128)
 821         /* %o0=key */
 822         VISEntry
 823         ldd             [%o0 + 0x98], %f8
 824         ldd             [%o0 + 0x90], %f10
 825         ldd             [%o0 + 0x88], %f12
 826         ldd             [%o0 + 0x80], %f14
 827         ldd             [%o0 + 0x78], %f16
 828         ldd             [%o0 + 0x70], %f18
 829         ldd             [%o0 + 0x68], %f20
 830         ldd             [%o0 + 0x60], %f22
 831         ldd             [%o0 + 0x58], %f24
 832         ldd             [%o0 + 0x50], %f26
 833         ldd             [%o0 + 0x48], %f28
 834         ldd             [%o0 + 0x40], %f30
 835         ldd             [%o0 + 0x38], %f32
 836         ldd             [%o0 + 0x30], %f34
 837         ldd             [%o0 + 0x28], %f36
 838         ldd             [%o0 + 0x20], %f38
 839         ldd             [%o0 + 0x18], %f40
 840         ldd             [%o0 + 0x10], %f42
 841         ldd             [%o0 + 0x08], %f44
 842         retl
 843          ldd            [%o0 + 0x00], %f46
 844 ENDPROC(aes_sparc64_load_decrypt_keys_128)
 845
 846         .align          32
 847 ENTRY(aes_sparc64_load_decrypt_keys_192)
 848         /* %o0=key */
 849         VISEntry
 850         ldd             [%o0 + 0xb8], %f8
 851         ldd             [%o0 + 0xb0], %f10
 852         ldd             [%o0 + 0xa8], %f12
 853         ldd             [%o0 + 0xa0], %f14
 854         ldd             [%o0 + 0x98], %f16
 855         ldd             [%o0 + 0x90], %f18
 856         ldd             [%o0 + 0x88], %f20
 857         ldd             [%o0 + 0x80], %f22
 858         ldd             [%o0 + 0x78], %f24
 859         ldd             [%o0 + 0x70], %f26
 860         ldd             [%o0 + 0x68], %f28
 861         ldd             [%o0 + 0x60], %f30
 862         ldd             [%o0 + 0x58], %f32
 863         ldd             [%o0 + 0x50], %f34
 864         ldd             [%o0 + 0x48], %f36
 865         ldd             [%o0 + 0x40], %f38
 866         ldd             [%o0 + 0x38], %f40
 867         ldd             [%o0 + 0x30], %f42
 868         ldd             [%o0 + 0x28], %f44
 869         ldd             [%o0 + 0x20], %f46
 870         ldd             [%o0 + 0x18], %f48
 871         ldd             [%o0 + 0x10], %f50
 872         ldd             [%o0 + 0x08], %f52
 873         retl
 874          ldd            [%o0 + 0x00], %f54
 875 ENDPROC(aes_sparc64_load_decrypt_keys_192)
 876
 877         .align          32
 878 ENTRY(aes_sparc64_load_decrypt_keys_256)
 879         /* %o0=key */
 880         VISEntry
 881         ldd             [%o0 + 0xd8], %f8
 882         ldd             [%o0 + 0xd0], %f10
 883         ldd             [%o0 + 0xc8], %f12
 884         ldd             [%o0 + 0xc0], %f14
 885         ldd             [%o0 + 0xb8], %f16
 886         ldd             [%o0 + 0xb0], %f18
 887         ldd             [%o0 + 0xa8], %f20
 888         ldd             [%o0 + 0xa0], %f22
 889         ldd             [%o0 + 0x98], %f24
 890         ldd             [%o0 + 0x90], %f26
 891         ldd             [%o0 + 0x88], %f28
 892         ldd             [%o0 + 0x80], %f30
 893         ldd             [%o0 + 0x78], %f32
 894         ldd             [%o0 + 0x70], %f34
 895         ldd             [%o0 + 0x68], %f36
 896         ldd             [%o0 + 0x60], %f38
 897         ldd             [%o0 + 0x58], %f40
 898         ldd             [%o0 + 0x50], %f42
 899         ldd             [%o0 + 0x48], %f44
 900         ldd             [%o0 + 0x40], %f46
 901         ldd             [%o0 + 0x38], %f48
 902         ldd             [%o0 + 0x30], %f50
 903         ldd             [%o0 + 0x28], %f52
 904         ldd             [%o0 + 0x20], %f54
 905         ldd             [%o0 + 0x18], %f56
 906         ldd             [%o0 + 0x10], %f58
 907         ldd             [%o0 + 0x08], %f60
 908         retl
 909          ldd            [%o0 + 0x00], %f62
 910 ENDPROC(aes_sparc64_load_decrypt_keys_256)
 911
 912         .align          32
 913 ENTRY(aes_sparc64_ecb_encrypt_128)
 914         /* %o0=key, %o1=input, %o2=output, %o3=len */
 915         ldx             [%o0 + 0x00], %g1
 916         subcc           %o3, 0x10, %o3
 917         be              10f
 918          ldx            [%o0 + 0x08], %g2
 919 1:      ldx             [%o1 + 0x00], %g3
 920         ldx             [%o1 + 0x08], %g7
 921         ldx             [%o1 + 0x10], %o4
 922         ldx             [%o1 + 0x18], %o5
 923         xor             %g1, %g3, %g3
 924         xor             %g2, %g7, %g7
 925         MOVXTOD_G3_F4
 926         MOVXTOD_G7_F6
 927         xor             %g1, %o4, %g3
 928         xor             %g2, %o5, %g7
 929         MOVXTOD_G3_F60
 930         MOVXTOD_G7_F62
 931         ENCRYPT_128_2(8, 4, 6, 60, 62, 0, 2, 56, 58)
 932         std             %f4, [%o2 + 0x00]
 933         std             %f6, [%o2 + 0x08]
 934         std             %f60, [%o2 + 0x10]
 935         std             %f62, [%o2 + 0x18]
 936         sub             %o3, 0x20, %o3
 937         add             %o1, 0x20, %o1
 938         brgz            %o3, 1b
 939          add            %o2, 0x20, %o2
 940         brlz,pt         %o3, 11f
 941          nop
 942 10:     ldx             [%o1 + 0x00], %g3
 943         ldx             [%o1 + 0x08], %g7
 944         xor             %g1, %g3, %g3
 945         xor             %g2, %g7, %g7
 946         MOVXTOD_G3_F4
 947         MOVXTOD_G7_F6
 948         ENCRYPT_128(8, 4, 6, 0, 2)
 949         std             %f4, [%o2 + 0x00]
 950         std             %f6, [%o2 + 0x08]
 951 11:     retl
 952          nop
 953 ENDPROC(aes_sparc64_ecb_encrypt_128)
 954
 955         .align          32
 956 ENTRY(aes_sparc64_ecb_encrypt_192)
 957         /* %o0=key, %o1=input, %o2=output, %o3=len */
 958         ldx             [%o0 + 0x00], %g1
 959         subcc           %o3, 0x10, %o3
 960         be              10f
 961          ldx            [%o0 + 0x08], %g2
 962 1:      ldx             [%o1 + 0x00], %g3
 963         ldx             [%o1 + 0x08], %g7
 964         ldx             [%o1 + 0x10], %o4
 965         ldx             [%o1 + 0x18], %o5
 966         xor             %g1, %g3, %g3
 967         xor             %g2, %g7, %g7
 968         MOVXTOD_G3_F4
 969         MOVXTOD_G7_F6
 970         xor             %g1, %o4, %g3
 971         xor             %g2, %o5, %g7
 972         MOVXTOD_G3_F60
 973         MOVXTOD_G7_F62
 974         ENCRYPT_192_2(8, 4, 6, 60, 62, 0, 2, 56, 58)
 975         std             %f4, [%o2 + 0x00]
 976         std             %f6, [%o2 + 0x08]
 977         std             %f60, [%o2 + 0x10]
 978         std             %f62, [%o2 + 0x18]
 979         sub             %o3, 0x20, %o3
 980         add             %o1, 0x20, %o1
 981         brgz            %o3, 1b
 982          add            %o2, 0x20, %o2
 983         brlz,pt         %o3, 11f
 984          nop
 985 10:     ldx             [%o1 + 0x00], %g3
 986         ldx             [%o1 + 0x08], %g7
 987         xor             %g1, %g3, %g3
 988         xor             %g2, %g7, %g7
 989         MOVXTOD_G3_F4
 990         MOVXTOD_G7_F6
 991         ENCRYPT_192(8, 4, 6, 0, 2)
 992         std             %f4, [%o2 + 0x00]
 993         std             %f6, [%o2 + 0x08]
 994 11:     retl
 995          nop
 996 ENDPROC(aes_sparc64_ecb_encrypt_192)
 997
 998         .align          32
 999 ENTRY(aes_sparc64_ecb_encrypt_256)
1000         /* %o0=key, %o1=input, %o2=output, %o3=len */
1001         ldx             [%o0 + 0x00], %g1
1002         subcc           %o3, 0x10, %o3
1003         be              10f
1004          ldx            [%o0 + 0x08], %g2
1005 1:      ldx             [%o1 + 0x00], %g3
1006         ldx             [%o1 + 0x08], %g7
1007         ldx             [%o1 + 0x10], %o4
1008         ldx             [%o1 + 0x18], %o5
1009         xor             %g1, %g3, %g3
1010         xor             %g2, %g7, %g7
1011         MOVXTOD_G3_F4
1012         MOVXTOD_G7_F6
1013         xor             %g1, %o4, %g3
1014         xor             %g2, %o5, %g7
1015         MOVXTOD_G3_F0
1016         MOVXTOD_G7_F2
1017         ENCRYPT_256_2(8, 4, 6, 0, 2)
1018         std             %f4, [%o2 + 0x00]
1019         std             %f6, [%o2 + 0x08]
1020         std             %f0, [%o2 + 0x10]
1021         std             %f2, [%o2 + 0x18]
1022         sub             %o3, 0x20, %o3
1023         add             %o1, 0x20, %o1
1024         brgz            %o3, 1b
1025          add            %o2, 0x20, %o2
1026         brlz,pt         %o3, 11f
1027          nop
1028 10:     ldd             [%o0 + 0xd0], %f56
1029         ldd             [%o0 + 0xd8], %f58
1030         ldd             [%o0 + 0xe0], %f60
1031         ldd             [%o0 + 0xe8], %f62
1032         ldx             [%o1 + 0x00], %g3
1033         ldx             [%o1 + 0x08], %g7
1034         xor             %g1, %g3, %g3
1035         xor             %g2, %g7, %g7
1036         MOVXTOD_G3_F4
1037         MOVXTOD_G7_F6
1038         ENCRYPT_256(8, 4, 6, 0, 2)
1039         std             %f4, [%o2 + 0x00]
1040         std             %f6, [%o2 + 0x08]
1041 11:     retl
1042          nop
1043 ENDPROC(aes_sparc64_ecb_encrypt_256)
1044
1045         .align          32
1046 ENTRY(aes_sparc64_ecb_decrypt_128)
1047         /* %o0=&key[key_len], %o1=input, %o2=output, %o3=len */
1048         ldx             [%o0 - 0x10], %g1
1049         subcc           %o3, 0x10, %o3
1050         be              10f
1051          ldx            [%o0 - 0x08], %g2
1052 1:      ldx             [%o1 + 0x00], %g3
1053         ldx             [%o1 + 0x08], %g7
1054         ldx             [%o1 + 0x10], %o4
1055         ldx             [%o1 + 0x18], %o5
1056         xor             %g1, %g3, %g3
1057         xor             %g2, %g7, %g7
1058         MOVXTOD_G3_F4
1059         MOVXTOD_G7_F6
1060         xor             %g1, %o4, %g3
1061         xor             %g2, %o5, %g7
1062         MOVXTOD_G3_F60
1063         MOVXTOD_G7_F62
1064         DECRYPT_128_2(8, 4, 6, 60, 62, 0, 2, 56, 58)
1065         std             %f4, [%o2 + 0x00]
1066         std             %f6, [%o2 + 0x08]
1067         std             %f60, [%o2 + 0x10]
1068         std             %f62, [%o2 + 0x18]
1069         sub             %o3, 0x20, %o3
1070         add             %o1, 0x20, %o1
1071         brgz,pt         %o3, 1b
1072          add            %o2, 0x20, %o2
1073         brlz,pt         %o3, 11f
1074          nop
1075 10:     ldx             [%o1 + 0x00], %g3
1076         ldx             [%o1 + 0x08], %g7
1077         xor             %g1, %g3, %g3
1078         xor             %g2, %g7, %g7
1079         MOVXTOD_G3_F4
1080         MOVXTOD_G7_F6
1081         DECRYPT_128(8, 4, 6, 0, 2)
1082         std             %f4, [%o2 + 0x00]
1083         std             %f6, [%o2 + 0x08]
1084 11:     retl
1085          nop
1086 ENDPROC(aes_sparc64_ecb_decrypt_128)
1087
1088         .align          32
1089 ENTRY(aes_sparc64_ecb_decrypt_192)
1090         /* %o0=&key[key_len], %o1=input, %o2=output, %o3=len */
1091         ldx             [%o0 - 0x10], %g1
1092         subcc           %o3, 0x10, %o3
1093         be              10f
1094          ldx            [%o0 - 0x08], %g2
1095 1:      ldx             [%o1 + 0x00], %g3
1096         ldx             [%o1 + 0x08], %g7
1097         ldx             [%o1 + 0x10], %o4
1098         ldx             [%o1 + 0x18], %o5
1099         xor             %g1, %g3, %g3
1100         xor             %g2, %g7, %g7
1101         MOVXTOD_G3_F4
1102         MOVXTOD_G7_F6
1103         xor             %g1, %o4, %g3
1104         xor             %g2, %o5, %g7
1105         MOVXTOD_G3_F60
1106         MOVXTOD_G7_F62
1107         DECRYPT_192_2(8, 4, 6, 60, 62, 0, 2, 56, 58)
1108         std             %f4, [%o2 + 0x00]
1109         std             %f6, [%o2 + 0x08]
1110         std             %f60, [%o2 + 0x10]
1111         std             %f62, [%o2 + 0x18]
1112         sub             %o3, 0x20, %o3
1113         add             %o1, 0x20, %o1
1114         brgz,pt         %o3, 1b
1115          add            %o2, 0x20, %o2
1116         brlz,pt         %o3, 11f
1117          nop
1118 10:     ldx             [%o1 + 0x00], %g3
1119         ldx             [%o1 + 0x08], %g7
1120         xor             %g1, %g3, %g3
1121         xor             %g2, %g7, %g7
1122         MOVXTOD_G3_F4
1123         MOVXTOD_G7_F6
1124         DECRYPT_192(8, 4, 6, 0, 2)
1125         std             %f4, [%o2 + 0x00]
1126         std             %f6, [%o2 + 0x08]
1127 11:     retl
1128          nop
1129 ENDPROC(aes_sparc64_ecb_decrypt_192)
1130
1131         .align          32
1132 ENTRY(aes_sparc64_ecb_decrypt_256)
1133         /* %o0=&key[key_len], %o1=input, %o2=output, %o3=len */
1134         ldx             [%o0 - 0x10], %g1
1135         subcc           %o3, 0x10, %o3
1136         ldx             [%o0 - 0x08], %g2
1137         be              10f
1138          sub            %o0, 0xf0, %o0
1139 1:      ldx             [%o1 + 0x00], %g3
1140         ldx             [%o1 + 0x08], %g7
1141         ldx             [%o1 + 0x10], %o4
1142         ldx             [%o1 + 0x18], %o5
1143         xor             %g1, %g3, %g3
1144         xor             %g2, %g7, %g7
1145         MOVXTOD_G3_F4
1146         MOVXTOD_G7_F6
1147         xor             %g1, %o4, %g3
1148         xor             %g2, %o5, %g7
1149         MOVXTOD_G3_F0
1150         MOVXTOD_G7_F2
1151         DECRYPT_256_2(8, 4, 6, 0, 2)
1152         std             %f4, [%o2 + 0x00]
1153         std             %f6, [%o2 + 0x08]
1154         std             %f0, [%o2 + 0x10]
1155         std             %f2, [%o2 + 0x18]
1156         sub             %o3, 0x20, %o3
1157         add             %o1, 0x20, %o1
1158         brgz,pt         %o3, 1b
1159          add            %o2, 0x20, %o2
1160         brlz,pt         %o3, 11f
1161          nop
1162 10:     ldd             [%o0 + 0x18], %f56
1163         ldd             [%o0 + 0x10], %f58
1164         ldd             [%o0 + 0x08], %f60
1165         ldd             [%o0 + 0x00], %f62
1166         ldx             [%o1 + 0x00], %g3
1167         ldx             [%o1 + 0x08], %g7
1168         xor             %g1, %g3, %g3
1169         xor             %g2, %g7, %g7
1170         MOVXTOD_G3_F4
1171         MOVXTOD_G7_F6
1172         DECRYPT_256(8, 4, 6, 0, 2)
1173         std             %f4, [%o2 + 0x00]
1174         std             %f6, [%o2 + 0x08]
1175 11:     retl
1176          nop
1177 ENDPROC(aes_sparc64_ecb_decrypt_256)
1178
1179         .align          32
1180 ENTRY(aes_sparc64_cbc_encrypt_128)
1181         /* %o0=key, %o1=input, %o2=output, %o3=len, %o4=IV */
1182         ldd             [%o4 + 0x00], %f4
1183         ldd             [%o4 + 0x08], %f6
1184         ldx             [%o0 + 0x00], %g1
1185         ldx             [%o0 + 0x08], %g2
1186 1:      ldx             [%o1 + 0x00], %g3
1187         ldx             [%o1 + 0x08], %g7
1188         add             %o1, 0x10, %o1
1189         xor             %g1, %g3, %g3
1190         xor             %g2, %g7, %g7
1191         MOVXTOD_G3_F0
1192         MOVXTOD_G7_F2
1193         fxor            %f4, %f0, %f4
1194         fxor            %f6, %f2, %f6
1195         ENCRYPT_128(8, 4, 6, 0, 2)
1196         std             %f4, [%o2 + 0x00]
1197         std             %f6, [%o2 + 0x08]
1198         subcc           %o3, 0x10, %o3
1199         bne,pt          %xcc, 1b
1200          add            %o2, 0x10, %o2
1201         std             %f4, [%o4 + 0x00]
1202         std             %f6, [%o4 + 0x08]
1203         retl
1204          nop
1205 ENDPROC(aes_sparc64_cbc_encrypt_128)
1206
1207         .align          32
1208 ENTRY(aes_sparc64_cbc_encrypt_192)
1209         /* %o0=key, %o1=input, %o2=output, %o3=len, %o4=IV */
1210         ldd             [%o4 + 0x00], %f4
1211         ldd             [%o4 + 0x08], %f6
1212         ldx             [%o0 + 0x00], %g1
1213         ldx             [%o0 + 0x08], %g2
1214 1:      ldx             [%o1 + 0x00], %g3
1215         ldx             [%o1 + 0x08], %g7
1216         add             %o1, 0x10, %o1
1217         xor             %g1, %g3, %g3
1218         xor             %g2, %g7, %g7
1219         MOVXTOD_G3_F0
1220         MOVXTOD_G7_F2
1221         fxor            %f4, %f0, %f4
1222         fxor            %f6, %f2, %f6
1223         ENCRYPT_192(8, 4, 6, 0, 2)
1224         std             %f4, [%o2 + 0x00]
1225         std             %f6, [%o2 + 0x08]
1226         subcc           %o3, 0x10, %o3
1227         bne,pt          %xcc, 1b
1228          add            %o2, 0x10, %o2
1229         std             %f4, [%o4 + 0x00]
1230         std             %f6, [%o4 + 0x08]
1231         retl
1232          nop
1233 ENDPROC(aes_sparc64_cbc_encrypt_192)
1234
1235         .align          32
1236 ENTRY(aes_sparc64_cbc_encrypt_256)
1237         /* %o0=key, %o1=input, %o2=output, %o3=len, %o4=IV */
1238         ldd             [%o4 + 0x00], %f4
1239         ldd             [%o4 + 0x08], %f6
1240         ldx             [%o0 + 0x00], %g1
1241         ldx             [%o0 + 0x08], %g2
1242 1:      ldx             [%o1 + 0x00], %g3
1243         ldx             [%o1 + 0x08], %g7
1244         add             %o1, 0x10, %o1
1245         xor             %g1, %g3, %g3
1246         xor             %g2, %g7, %g7
1247         MOVXTOD_G3_F0
1248         MOVXTOD_G7_F2
1249         fxor            %f4, %f0, %f4
1250         fxor            %f6, %f2, %f6
1251         ENCRYPT_256(8, 4, 6, 0, 2)
1252         std             %f4, [%o2 + 0x00]
1253         std             %f6, [%o2 + 0x08]
1254         subcc           %o3, 0x10, %o3
1255         bne,pt          %xcc, 1b
1256          add            %o2, 0x10, %o2
1257         std             %f4, [%o4 + 0x00]
1258         std             %f6, [%o4 + 0x08]
1259         retl
1260          nop
1261 ENDPROC(aes_sparc64_cbc_encrypt_256)
1262
1263         .align          32
1264 ENTRY(aes_sparc64_cbc_decrypt_128)
1265         /* %o0=&key[key_len], %o1=input, %o2=output, %o3=len, %o4=iv */
1266         ldx             [%o0 - 0x10], %g1
1267         ldx             [%o0 - 0x08], %g2
1268         ldx             [%o4 + 0x00], %o0
1269         ldx             [%o4 + 0x08], %o5
1270 1:      ldx             [%o1 + 0x00], %g3
1271         ldx             [%o1 + 0x08], %g7
1272         add             %o1, 0x10, %o1
1273         xor             %g1, %g3, %g3
1274         xor             %g2, %g7, %g7
1275         MOVXTOD_G3_F4
1276         MOVXTOD_G7_F6
1277         DECRYPT_128(8, 4, 6, 0, 2)
1278         MOVXTOD_O0_F0
1279         MOVXTOD_O5_F2
1280         xor             %g1, %g3, %o0
1281         xor             %g2, %g7, %o5
1282         fxor            %f4, %f0, %f4
1283         fxor            %f6, %f2, %f6
1284         std             %f4, [%o2 + 0x00]
1285         std             %f6, [%o2 + 0x08]
1286         subcc           %o3, 0x10, %o3
1287         bne,pt          %xcc, 1b
1288          add            %o2, 0x10, %o2
1289         stx             %o0, [%o4 + 0x00]
1290         stx             %o5, [%o4 + 0x08]
1291         retl
1292          nop
1293 ENDPROC(aes_sparc64_cbc_decrypt_128)
1294
1295         .align          32
1296 ENTRY(aes_sparc64_cbc_decrypt_192)
1297         /* %o0=&key[key_len], %o1=input, %o2=output, %o3=len, %o4=iv */
1298         ldx             [%o0 - 0x10], %g1
1299         ldx             [%o0 - 0x08], %g2
1300         ldx             [%o4 + 0x00], %o0
1301         ldx             [%o4 + 0x08], %o5
1302 1:      ldx             [%o1 + 0x00], %g3
1303         ldx             [%o1 + 0x08], %g7
1304         add             %o1, 0x10, %o1
1305         xor             %g1, %g3, %g3
1306         xor             %g2, %g7, %g7
1307         MOVXTOD_G3_F4
1308         MOVXTOD_G7_F6
1309         DECRYPT_192(8, 4, 6, 0, 2)
1310         MOVXTOD_O0_F0
1311         MOVXTOD_O5_F2
1312         xor             %g1, %g3, %o0
1313         xor             %g2, %g7, %o5
1314         fxor            %f4, %f0, %f4
1315         fxor            %f6, %f2, %f6
1316         std             %f4, [%o2 + 0x00]
1317         std             %f6, [%o2 + 0x08]
1318         subcc           %o3, 0x10, %o3
1319         bne,pt          %xcc, 1b
1320          add            %o2, 0x10, %o2
1321         stx             %o0, [%o4 + 0x00]
1322         stx             %o5, [%o4 + 0x08]
1323         retl
1324          nop
1325 ENDPROC(aes_sparc64_cbc_decrypt_192)
1326
1327         .align          32
1328 ENTRY(aes_sparc64_cbc_decrypt_256)
1329         /* %o0=&key[key_len], %o1=input, %o2=output, %o3=len, %o4=iv */
1330         ldx             [%o0 - 0x10], %g1
1331         ldx             [%o0 - 0x08], %g2
1332         ldx             [%o4 + 0x00], %o0
1333         ldx             [%o4 + 0x08], %o5
1334 1:      ldx             [%o1 + 0x00], %g3
1335         ldx             [%o1 + 0x08], %g7
1336         add             %o1, 0x10, %o1
1337         xor             %g1, %g3, %g3
1338         xor             %g2, %g7, %g7
1339         MOVXTOD_G3_F4
1340         MOVXTOD_G7_F6
1341         DECRYPT_256(8, 4, 6, 0, 2)
1342         MOVXTOD_O0_F0
1343         MOVXTOD_O5_F2
1344         xor             %g1, %g3, %o0
1345         xor             %g2, %g7, %o5
1346         fxor            %f4, %f0, %f4
1347         fxor            %f6, %f2, %f6
1348         std             %f4, [%o2 + 0x00]
1349         std             %f6, [%o2 + 0x08]
1350         subcc           %o3, 0x10, %o3
1351         bne,pt          %xcc, 1b
1352          add            %o2, 0x10, %o2
1353         stx             %o0, [%o4 + 0x00]
1354         stx             %o5, [%o4 + 0x08]
1355         retl
1356          nop
1357 ENDPROC(aes_sparc64_cbc_decrypt_256)
1358
1359         .align          32
1360 ENTRY(aes_sparc64_ctr_crypt_128)
1361         /* %o0=key, %o1=input, %o2=output, %o3=len, %o4=IV */
1362         ldx             [%o4 + 0x00], %g3
1363         ldx             [%o4 + 0x08], %g7
1364         subcc           %o3, 0x10, %o3
1365         ldx             [%o0 + 0x00], %g1
1366         be              10f
1367          ldx            [%o0 + 0x08], %g2
1368 1:      xor             %g1, %g3, %o5
1369         MOVXTOD_O5_F0
1370         xor             %g2, %g7, %o5
1371         MOVXTOD_O5_F2
1372         add             %g7, 1, %g7
1373         add             %g3, 1, %o5
1374         movrz           %g7, %o5, %g3
1375         xor             %g1, %g3, %o5
1376         MOVXTOD_O5_F4
1377         xor             %g2, %g7, %o5
1378         MOVXTOD_O5_F6
1379         add             %g7, 1, %g7
1380         add             %g3, 1, %o5
1381         movrz           %g7, %o5, %g3
1382         ENCRYPT_128_2(8, 0, 2, 4, 6, 56, 58, 60, 62)
1383         ldd             [%o1 + 0x00], %f56
1384         ldd             [%o1 + 0x08], %f58
1385         ldd             [%o1 + 0x10], %f60
1386         ldd             [%o1 + 0x18], %f62
1387         fxor            %f56, %f0, %f56
1388         fxor            %f58, %f2, %f58
1389         fxor            %f60, %f4, %f60
1390         fxor            %f62, %f6, %f62
1391         std             %f56, [%o2 + 0x00]
1392         std             %f58, [%o2 + 0x08]
1393         std             %f60, [%o2 + 0x10]
1394         std             %f62, [%o2 + 0x18]
1395         subcc           %o3, 0x20, %o3
1396         add             %o1, 0x20, %o1
1397         brgz            %o3, 1b
1398          add            %o2, 0x20, %o2
1399         brlz,pt         %o3, 11f
1400          nop
1401 10:     xor             %g1, %g3, %o5
1402         MOVXTOD_O5_F0
1403         xor             %g2, %g7, %o5
1404         MOVXTOD_O5_F2
1405         add             %g7, 1, %g7
1406         add             %g3, 1, %o5
1407         movrz           %g7, %o5, %g3
1408         ENCRYPT_128(8, 0, 2, 4, 6)
1409         ldd             [%o1 + 0x00], %f4
1410         ldd             [%o1 + 0x08], %f6
1411         fxor            %f4, %f0, %f4
1412         fxor            %f6, %f2, %f6
1413         std             %f4, [%o2 + 0x00]
1414         std             %f6, [%o2 + 0x08]
1415 11:     stx             %g3, [%o4 + 0x00]
1416         retl
1417          stx            %g7, [%o4 + 0x08]
1418 ENDPROC(aes_sparc64_ctr_crypt_128)
1419
1420         .align          32
1421 ENTRY(aes_sparc64_ctr_crypt_192)
1422         /* %o0=key, %o1=input, %o2=output, %o3=len, %o4=IV */
1423         ldx             [%o4 + 0x00], %g3
1424         ldx             [%o4 + 0x08], %g7
1425         subcc           %o3, 0x10, %o3
1426         ldx             [%o0 + 0x00], %g1
1427         be              10f
1428          ldx            [%o0 + 0x08], %g2
1429 1:      xor             %g1, %g3, %o5
1430         MOVXTOD_O5_F0
1431         xor             %g2, %g7, %o5
1432         MOVXTOD_O5_F2
1433         add             %g7, 1, %g7
1434         add             %g3, 1, %o5
1435         movrz           %g7, %o5, %g3
1436         xor             %g1, %g3, %o5
1437         MOVXTOD_O5_F4
1438         xor             %g2, %g7, %o5
1439         MOVXTOD_O5_F6
1440         add             %g7, 1, %g7
1441         add             %g3, 1, %o5
1442         movrz           %g7, %o5, %g3
1443         ENCRYPT_192_2(8, 0, 2, 4, 6, 56, 58, 60, 62)
1444         ldd             [%o1 + 0x00], %f56
1445         ldd             [%o1 + 0x08], %f58
1446         ldd             [%o1 + 0x10], %f60
1447         ldd             [%o1 + 0x18], %f62
1448         fxor            %f56, %f0, %f56
1449         fxor            %f58, %f2, %f58
1450         fxor            %f60, %f4, %f60
1451         fxor            %f62, %f6, %f62
1452         std             %f56, [%o2 + 0x00]
1453         std             %f58, [%o2 + 0x08]
1454         std             %f60, [%o2 + 0x10]
1455         std             %f62, [%o2 + 0x18]
1456         subcc           %o3, 0x20, %o3
1457         add             %o1, 0x20, %o1
1458         brgz            %o3, 1b
1459          add            %o2, 0x20, %o2
1460         brlz,pt         %o3, 11f
1461          nop
1462 10:     xor             %g1, %g3, %o5
1463         MOVXTOD_O5_F0
1464         xor             %g2, %g7, %o5
1465         MOVXTOD_O5_F2
1466         add             %g7, 1, %g7
1467         add             %g3, 1, %o5
1468         movrz           %g7, %o5, %g3
1469         ENCRYPT_192(8, 0, 2, 4, 6)
1470         ldd             [%o1 + 0x00], %f4
1471         ldd             [%o1 + 0x08], %f6
1472         fxor            %f4, %f0, %f4
1473         fxor            %f6, %f2, %f6
1474         std             %f4, [%o2 + 0x00]
1475         std             %f6, [%o2 + 0x08]
1476 11:     stx             %g3, [%o4 + 0x00]
1477         retl
1478          stx            %g7, [%o4 + 0x08]
1479 ENDPROC(aes_sparc64_ctr_crypt_192)
1480
1481         .align          32
1482 ENTRY(aes_sparc64_ctr_crypt_256)
1483         /* %o0=key, %o1=input, %o2=output, %o3=len, %o4=IV */
1484         ldx             [%o4 + 0x00], %g3
1485         ldx             [%o4 + 0x08], %g7
1486         subcc           %o3, 0x10, %o3
1487         ldx             [%o0 + 0x00], %g1
1488         be              10f
1489          ldx            [%o0 + 0x08], %g2
1490 1:      xor             %g1, %g3, %o5
1491         MOVXTOD_O5_F0
1492         xor             %g2, %g7, %o5
1493         MOVXTOD_O5_F2
1494         add             %g7, 1, %g7
1495         add             %g3, 1, %o5
1496         movrz           %g7, %o5, %g3
1497         xor             %g1, %g3, %o5
1498         MOVXTOD_O5_F4
1499         xor             %g2, %g7, %o5
1500         MOVXTOD_O5_F6
1501         add             %g7, 1, %g7
1502         add             %g3, 1, %o5
1503         movrz           %g7, %o5, %g3
1504         ENCRYPT_256_2(8, 0, 2, 4, 6)
1505         ldd             [%o1 + 0x00], %f56
1506         ldd             [%o1 + 0x08], %f58
1507         ldd             [%o1 + 0x10], %f60
1508         ldd             [%o1 + 0x18], %f62
1509         fxor            %f56, %f0, %f56
1510         fxor            %f58, %f2, %f58
1511         fxor            %f60, %f4, %f60
1512         fxor            %f62, %f6, %f62
1513         std             %f56, [%o2 + 0x00]
1514         std             %f58, [%o2 + 0x08]
1515         std             %f60, [%o2 + 0x10]
1516         std             %f62, [%o2 + 0x18]
1517         subcc           %o3, 0x20, %o3
1518         add             %o1, 0x20, %o1
1519         brgz            %o3, 1b
1520          add            %o2, 0x20, %o2
1521         brlz,pt         %o3, 11f
1522          nop
1523 10:     ldd             [%o0 + 0xd0], %f56
1524         ldd             [%o0 + 0xd8], %f58
1525         ldd             [%o0 + 0xe0], %f60
1526         ldd             [%o0 + 0xe8], %f62
1527         xor             %g1, %g3, %o5
1528         MOVXTOD_O5_F0
1529         xor             %g2, %g7, %o5
1530         MOVXTOD_O5_F2
1531         add             %g7, 1, %g7
1532         add             %g3, 1, %o5
1533         movrz           %g7, %o5, %g3
1534         ENCRYPT_256(8, 0, 2, 4, 6)
1535         ldd             [%o1 + 0x00], %f4
1536         ldd             [%o1 + 0x08], %f6
1537         fxor            %f4, %f0, %f4
1538         fxor            %f6, %f2, %f6
1539         std             %f4, [%o2 + 0x00]
1540         std             %f6, [%o2 + 0x08]
1541 11:     stx             %g3, [%o4 + 0x00]
1542         retl
1543          stx            %g7, [%o4 + 0x08]
1544 ENDPROC(aes_sparc64_ctr_crypt_256)