drivers/crypto/s5p-sss.c

   1 /*
   2  * Cryptographic API.
   3  *
   4  * Support for Samsung S5PV210 HW acceleration.
   5  *
   6  * Copyright (C) 2011 NetUP Inc. All rights reserved.
   7  *
   8  * This program is free software; you can redistribute it and/or modify
   9  * it under the terms of the GNU General Public License version 2 as published
  10  * by the Free Software Foundation.
  11  *
  12  */
  13
  14 #include <linux/delay.h>
  15 #include <linux/err.h>
  16 #include <linux/module.h>
  17 #include <linux/init.h>
  18 #include <linux/errno.h>
  19 #include <linux/kernel.h>
  20 #include <linux/clk.h>
  21 #include <linux/platform_device.h>
  22 #include <linux/scatterlist.h>
  23 #include <linux/dma-mapping.h>
  24 #include <linux/io.h>
  25 #include <linux/of.h>
  26 #include <linux/crypto.h>
  27 #include <linux/interrupt.h>
  28
  29 #include <crypto/algapi.h>
  30 #include <crypto/aes.h>
  31 #include <crypto/ctr.h>
  32
  33 #define _SBF(s, v)                      ((v) << (s))
  34 #define _BIT(b)                         _SBF(b, 1)
  35
  36 /* Feed control registers */
  37 #define SSS_REG_FCINTSTAT               0x0000
  38 #define SSS_FCINTSTAT_BRDMAINT          _BIT(3)
  39 #define SSS_FCINTSTAT_BTDMAINT          _BIT(2)
  40 #define SSS_FCINTSTAT_HRDMAINT          _BIT(1)
  41 #define SSS_FCINTSTAT_PKDMAINT          _BIT(0)
  42
  43 #define SSS_REG_FCINTENSET              0x0004
  44 #define SSS_FCINTENSET_BRDMAINTENSET    _BIT(3)
  45 #define SSS_FCINTENSET_BTDMAINTENSET    _BIT(2)
  46 #define SSS_FCINTENSET_HRDMAINTENSET    _BIT(1)
  47 #define SSS_FCINTENSET_PKDMAINTENSET    _BIT(0)
  48
  49 #define SSS_REG_FCINTENCLR              0x0008
  50 #define SSS_FCINTENCLR_BRDMAINTENCLR    _BIT(3)
  51 #define SSS_FCINTENCLR_BTDMAINTENCLR    _BIT(2)
  52 #define SSS_FCINTENCLR_HRDMAINTENCLR    _BIT(1)
  53 #define SSS_FCINTENCLR_PKDMAINTENCLR    _BIT(0)
  54
  55 #define SSS_REG_FCINTPEND               0x000C
  56 #define SSS_FCINTPEND_BRDMAINTP         _BIT(3)
  57 #define SSS_FCINTPEND_BTDMAINTP         _BIT(2)
  58 #define SSS_FCINTPEND_HRDMAINTP         _BIT(1)
  59 #define SSS_FCINTPEND_PKDMAINTP         _BIT(0)
  60
  61 #define SSS_REG_FCFIFOSTAT              0x0010
  62 #define SSS_FCFIFOSTAT_BRFIFOFUL        _BIT(7)
  63 #define SSS_FCFIFOSTAT_BRFIFOEMP        _BIT(6)
  64 #define SSS_FCFIFOSTAT_BTFIFOFUL        _BIT(5)
  65 #define SSS_FCFIFOSTAT_BTFIFOEMP        _BIT(4)
  66 #define SSS_FCFIFOSTAT_HRFIFOFUL        _BIT(3)
  67 #define SSS_FCFIFOSTAT_HRFIFOEMP        _BIT(2)
  68 #define SSS_FCFIFOSTAT_PKFIFOFUL        _BIT(1)
  69 #define SSS_FCFIFOSTAT_PKFIFOEMP        _BIT(0)
  70
  71 #define SSS_REG_FCFIFOCTRL              0x0014
  72 #define SSS_FCFIFOCTRL_DESSEL           _BIT(2)
  73 #define SSS_HASHIN_INDEPENDENT          _SBF(0, 0x00)
  74 #define SSS_HASHIN_CIPHER_INPUT         _SBF(0, 0x01)
  75 #define SSS_HASHIN_CIPHER_OUTPUT        _SBF(0, 0x02)
  76
  77 #define SSS_REG_FCBRDMAS                0x0020
  78 #define SSS_REG_FCBRDMAL                0x0024
  79 #define SSS_REG_FCBRDMAC                0x0028
  80 #define SSS_FCBRDMAC_BYTESWAP           _BIT(1)
  81 #define SSS_FCBRDMAC_FLUSH              _BIT(0)
  82
  83 #define SSS_REG_FCBTDMAS                0x0030
  84 #define SSS_REG_FCBTDMAL                0x0034
  85 #define SSS_REG_FCBTDMAC                0x0038
  86 #define SSS_FCBTDMAC_BYTESWAP           _BIT(1)
  87 #define SSS_FCBTDMAC_FLUSH              _BIT(0)
  88
  89 #define SSS_REG_FCHRDMAS                0x0040
  90 #define SSS_REG_FCHRDMAL                0x0044
  91 #define SSS_REG_FCHRDMAC                0x0048
  92 #define SSS_FCHRDMAC_BYTESWAP           _BIT(1)
  93 #define SSS_FCHRDMAC_FLUSH              _BIT(0)
  94
  95 #define SSS_REG_FCPKDMAS                0x0050
  96 #define SSS_REG_FCPKDMAL                0x0054
  97 #define SSS_REG_FCPKDMAC                0x0058
  98 #define SSS_FCPKDMAC_BYTESWAP           _BIT(3)
  99 #define SSS_FCPKDMAC_DESCEND            _BIT(2)
 100 #define SSS_FCPKDMAC_TRANSMIT           _BIT(1)
 101 #define SSS_FCPKDMAC_FLUSH              _BIT(0)
 102
 103 #define SSS_REG_FCPKDMAO                0x005C
 104
 105 /* AES registers */
 106 #define SSS_REG_AES_CONTROL             0x00
 107 #define SSS_AES_BYTESWAP_DI             _BIT(11)
 108 #define SSS_AES_BYTESWAP_DO             _BIT(10)
 109 #define SSS_AES_BYTESWAP_IV             _BIT(9)
 110 #define SSS_AES_BYTESWAP_CNT            _BIT(8)
 111 #define SSS_AES_BYTESWAP_KEY            _BIT(7)
 112 #define SSS_AES_KEY_CHANGE_MODE         _BIT(6)
 113 #define SSS_AES_KEY_SIZE_128            _SBF(4, 0x00)
 114 #define SSS_AES_KEY_SIZE_192            _SBF(4, 0x01)
 115 #define SSS_AES_KEY_SIZE_256            _SBF(4, 0x02)
 116 #define SSS_AES_FIFO_MODE               _BIT(3)
 117 #define SSS_AES_CHAIN_MODE_ECB          _SBF(1, 0x00)
 118 #define SSS_AES_CHAIN_MODE_CBC          _SBF(1, 0x01)
 119 #define SSS_AES_CHAIN_MODE_CTR          _SBF(1, 0x02)
 120 #define SSS_AES_MODE_DECRYPT            _BIT(0)
 121
 122 #define SSS_REG_AES_STATUS              0x04
 123 #define SSS_AES_BUSY                    _BIT(2)
 124 #define SSS_AES_INPUT_READY             _BIT(1)
 125 #define SSS_AES_OUTPUT_READY            _BIT(0)
 126
 127 #define SSS_REG_AES_IN_DATA(s)          (0x10 + (s << 2))
 128 #define SSS_REG_AES_OUT_DATA(s)         (0x20 + (s << 2))
 129 #define SSS_REG_AES_IV_DATA(s)          (0x30 + (s << 2))
 130 #define SSS_REG_AES_CNT_DATA(s)         (0x40 + (s << 2))
 131 #define SSS_REG_AES_KEY_DATA(s)         (0x80 + (s << 2))
 132
 133 #define SSS_REG(dev, reg)               ((dev)->ioaddr + (SSS_REG_##reg))
 134 #define SSS_READ(dev, reg)              __raw_readl(SSS_REG(dev, reg))
 135 #define SSS_WRITE(dev, reg, val)        __raw_writel((val), SSS_REG(dev, reg))
 136
 137 #define SSS_AES_REG(dev, reg)           ((dev)->aes_ioaddr + SSS_REG_##reg)
 138 #define SSS_AES_WRITE(dev, reg, val)    __raw_writel((val), \
 139                                                 SSS_AES_REG(dev, reg))
 140
 141 /* HW engine modes */
 142 #define FLAGS_AES_DECRYPT               _BIT(0)
 143 #define FLAGS_AES_MODE_MASK             _SBF(1, 0x03)
 144 #define FLAGS_AES_CBC                   _SBF(1, 0x01)
 145 #define FLAGS_AES_CTR                   _SBF(1, 0x02)
 146
 147 #define AES_KEY_LEN         16
 148 #define CRYPTO_QUEUE_LEN    1
 149
 150 /**
 151  * struct samsung_aes_variant - platform specific SSS driver data
 152  * @has_hash_irq: true if SSS module uses hash interrupt, false otherwise
 153  * @aes_offset: AES register offset from SSS module's base.
 154  *
 155  * Specifies platform specific configuration of SSS module.
 156  * Note: A structure for driver specific platform data is used for future
 157  * expansion of its usage.
 158  */
 159 struct samsung_aes_variant {
 160         bool                        has_hash_irq;
 161         unsigned int                aes_offset;
 162 };
 163
 164 struct s5p_aes_reqctx {
 165         unsigned long mode;
 166 };
 167
 168 struct s5p_aes_ctx {
 169         struct s5p_aes_dev         *dev;
 170
 171         uint8_t                     aes_key[AES_MAX_KEY_SIZE];
 172         uint8_t                     nonce[CTR_RFC3686_NONCE_SIZE];
 173         int                         keylen;
 174 };
 175
 176 struct s5p_aes_dev {
 177         struct device              *dev;
 178         struct clk                 *clk;
 179         void __iomem               *ioaddr;
 180         void __iomem               *aes_ioaddr;
 181         int                         irq_hash;
 182         int                         irq_fc;
 183
 184         struct ablkcipher_request  *req;
 185         struct s5p_aes_ctx         *ctx;
 186         struct scatterlist         *sg_src;
 187         struct scatterlist         *sg_dst;
 188
 189         struct tasklet_struct       tasklet;
 190         struct crypto_queue         queue;
 191         bool                        busy;
 192         spinlock_t                  lock;
 193
 194         struct samsung_aes_variant *variant;
 195 };
 196
 197 static struct s5p_aes_dev *s5p_dev;
 198
 199 static const struct samsung_aes_variant s5p_aes_data = {
 200         .has_hash_irq   = true,
 201         .aes_offset     = 0x4000,
 202 };
 203
 204 static const struct samsung_aes_variant exynos_aes_data = {
 205         .has_hash_irq   = false,
 206         .aes_offset     = 0x200,
 207 };
 208
 209 static const struct of_device_id s5p_sss_dt_match[] = {
 210         {
 211                 .compatible = "samsung,s5pv210-secss",
 212                 .data = &s5p_aes_data,
 213         },
 214         {
 215                 .compatible = "samsung,exynos4210-secss",
 216                 .data = &exynos_aes_data,
 217         },
 218         { },
 219 };
 220 MODULE_DEVICE_TABLE(of, s5p_sss_dt_match);
 221
 222 static inline struct samsung_aes_variant *find_s5p_sss_version
 223                                    (struct platform_device *pdev)
 224 {
 225         if (IS_ENABLED(CONFIG_OF) && (pdev->dev.of_node)) {
 226                 const struct of_device_id *match;
 227                 match = of_match_node(s5p_sss_dt_match,
 228                                         pdev->dev.of_node);
 229                 return (struct samsung_aes_variant *)match->data;
 230         }
 231         return (struct samsung_aes_variant *)
 232                         platform_get_device_id(pdev)->driver_data;
 233 }
 234
 235 static void s5p_set_dma_indata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 236 {
 237         SSS_WRITE(dev, FCBRDMAS, sg_dma_address(sg));
 238         SSS_WRITE(dev, FCBRDMAL, sg_dma_len(sg));
 239 }
 240
 241 static void s5p_set_dma_outdata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 242 {
 243         SSS_WRITE(dev, FCBTDMAS, sg_dma_address(sg));
 244         SSS_WRITE(dev, FCBTDMAL, sg_dma_len(sg));
 245 }
 246
 247 static void s5p_aes_complete(struct s5p_aes_dev *dev, int err)
 248 {
 249         /* holding a lock outside */
 250         dev->req->base.complete(&dev->req->base, err);
 251         dev->busy = false;
 252 }
 253
 254 static void s5p_unset_outdata(struct s5p_aes_dev *dev)
 255 {
 256         dma_unmap_sg(dev->dev, dev->sg_dst, 1, DMA_FROM_DEVICE);
 257 }
 258
 259 static void s5p_unset_indata(struct s5p_aes_dev *dev)
 260 {
 261         dma_unmap_sg(dev->dev, dev->sg_src, 1, DMA_TO_DEVICE);
 262 }
 263
 264 static int s5p_set_outdata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 265 {
 266         int err;
 267
 268         if (!IS_ALIGNED(sg_dma_len(sg), AES_BLOCK_SIZE)) {
 269                 err = -EINVAL;
 270                 goto exit;
 271         }
 272         if (!sg_dma_len(sg)) {
 273                 err = -EINVAL;
 274                 goto exit;
 275         }
 276
 277         err = dma_map_sg(dev->dev, sg, 1, DMA_FROM_DEVICE);
 278         if (!err) {
 279                 err = -ENOMEM;
 280                 goto exit;
 281         }
 282
 283         dev->sg_dst = sg;
 284         err = 0;
 285
 286  exit:
 287         return err;
 288 }
 289
 290 static int s5p_set_indata(struct s5p_aes_dev *dev, struct scatterlist *sg)
 291 {
 292         int err;
 293
 294         if (!IS_ALIGNED(sg_dma_len(sg), AES_BLOCK_SIZE)) {
 295                 err = -EINVAL;
 296                 goto exit;
 297         }
 298         if (!sg_dma_len(sg)) {
 299                 err = -EINVAL;
 300                 goto exit;
 301         }
 302
 303         err = dma_map_sg(dev->dev, sg, 1, DMA_TO_DEVICE);
 304         if (!err) {
 305                 err = -ENOMEM;
 306                 goto exit;
 307         }
 308
 309         dev->sg_src = sg;
 310         err = 0;
 311
 312  exit:
 313         return err;
 314 }
 315
 316 static void s5p_aes_tx(struct s5p_aes_dev *dev)
 317 {
 318         int err = 0;
 319
 320         s5p_unset_outdata(dev);
 321
 322         if (!sg_is_last(dev->sg_dst)) {
 323                 err = s5p_set_outdata(dev, sg_next(dev->sg_dst));
 324                 if (err) {
 325                         s5p_aes_complete(dev, err);
 326                         return;
 327                 }
 328
 329                 s5p_set_dma_outdata(dev, dev->sg_dst);
 330         } else {
 331                 s5p_aes_complete(dev, err);
 332
 333                 dev->busy = true;
 334                 tasklet_schedule(&dev->tasklet);
 335         }
 336 }
 337
 338 static void s5p_aes_rx(struct s5p_aes_dev *dev)
 339 {
 340         int err;
 341
 342         s5p_unset_indata(dev);
 343
 344         if (!sg_is_last(dev->sg_src)) {
 345                 err = s5p_set_indata(dev, sg_next(dev->sg_src));
 346                 if (err) {
 347                         s5p_aes_complete(dev, err);
 348                         return;
 349                 }
 350
 351                 s5p_set_dma_indata(dev, dev->sg_src);
 352         }
 353 }
 354
 355 static irqreturn_t s5p_aes_interrupt(int irq, void *dev_id)
 356 {
 357         struct platform_device *pdev = dev_id;
 358         struct s5p_aes_dev     *dev  = platform_get_drvdata(pdev);
 359         uint32_t                status;
 360         unsigned long           flags;
 361
 362         spin_lock_irqsave(&dev->lock, flags);
 363
 364         if (irq == dev->irq_fc) {
 365                 status = SSS_READ(dev, FCINTSTAT);
 366                 if (status & SSS_FCINTSTAT_BRDMAINT)
 367                         s5p_aes_rx(dev);
 368                 if (status & SSS_FCINTSTAT_BTDMAINT)
 369                         s5p_aes_tx(dev);
 370
 371                 SSS_WRITE(dev, FCINTPEND, status);
 372         }
 373
 374         spin_unlock_irqrestore(&dev->lock, flags);
 375
 376         return IRQ_HANDLED;
 377 }
 378
 379 static void s5p_set_aes(struct s5p_aes_dev *dev,
 380                         uint8_t *key, uint8_t *iv, unsigned int keylen)
 381 {
 382         void __iomem *keystart;
 383
 384         if (iv)
 385                 memcpy(dev->aes_ioaddr + SSS_REG_AES_IV_DATA(0), iv, 0x10);
 386
 387         if (keylen == AES_KEYSIZE_256)
 388                 keystart = dev->aes_ioaddr + SSS_REG_AES_KEY_DATA(0);
 389         else if (keylen == AES_KEYSIZE_192)
 390                 keystart = dev->aes_ioaddr + SSS_REG_AES_KEY_DATA(2);
 391         else
 392                 keystart = dev->aes_ioaddr + SSS_REG_AES_KEY_DATA(4);
 393
 394         memcpy(keystart, key, keylen);
 395 }
 396
 397 static void s5p_aes_crypt_start(struct s5p_aes_dev *dev, unsigned long mode)
 398 {
 399         struct ablkcipher_request  *req = dev->req;
 400
 401         uint32_t                    aes_control;
 402         int                         err;
 403         unsigned long               flags;
 404         u8 *iv;
 405
 406         aes_control = SSS_AES_KEY_CHANGE_MODE;
 407         if (mode & FLAGS_AES_DECRYPT)
 408                 aes_control |= SSS_AES_MODE_DECRYPT;
 409
 410         if ((mode & FLAGS_AES_MODE_MASK) == FLAGS_AES_CBC) {
 411                 aes_control |= SSS_AES_CHAIN_MODE_CBC;
 412                 iv = req->info;
 413         } else if ((mode & FLAGS_AES_MODE_MASK) == FLAGS_AES_CTR) {
 414                 aes_control |= SSS_AES_CHAIN_MODE_CTR;
 415                 iv = req->info;
 416         } else {
 417                 iv = NULL; /* AES_ECB */
 418         }
 419         if (dev->ctx->keylen == AES_KEYSIZE_192)
 420                 aes_control |= SSS_AES_KEY_SIZE_192;
 421         else if (dev->ctx->keylen == AES_KEYSIZE_256)
 422                 aes_control |= SSS_AES_KEY_SIZE_256;
 423
 424         aes_control |= SSS_AES_FIFO_MODE;
 425
 426         /* as a variant it is possible to use byte swapping on DMA side */
 427         aes_control |= SSS_AES_BYTESWAP_DI
 428                     |  SSS_AES_BYTESWAP_DO
 429                     |  SSS_AES_BYTESWAP_IV
 430                     |  SSS_AES_BYTESWAP_KEY
 431                     |  SSS_AES_BYTESWAP_CNT;
 432
 433         spin_lock_irqsave(&dev->lock, flags);
 434
 435         SSS_WRITE(dev, FCINTENCLR,
 436                   SSS_FCINTENCLR_BTDMAINTENCLR | SSS_FCINTENCLR_BRDMAINTENCLR);
 437         SSS_WRITE(dev, FCFIFOCTRL, 0x00);
 438
 439         err = s5p_set_indata(dev, req->src);
 440         if (err)
 441                 goto indata_error;
 442
 443         err = s5p_set_outdata(dev, req->dst);
 444         if (err)
 445                 goto outdata_error;
 446
 447         SSS_AES_WRITE(dev, AES_CONTROL, aes_control);
 448         s5p_set_aes(dev, dev->ctx->aes_key, iv, dev->ctx->keylen);
 449
 450         s5p_set_dma_indata(dev,  req->src);
 451         s5p_set_dma_outdata(dev, req->dst);
 452
 453         SSS_WRITE(dev, FCINTENSET,
 454                   SSS_FCINTENSET_BTDMAINTENSET | SSS_FCINTENSET_BRDMAINTENSET);
 455
 456         spin_unlock_irqrestore(&dev->lock, flags);
 457
 458         return;
 459
 460  outdata_error:
 461         s5p_unset_indata(dev);
 462
 463  indata_error:
 464         s5p_aes_complete(dev, err);
 465         spin_unlock_irqrestore(&dev->lock, flags);
 466 }
 467
 468 static void s5p_tasklet_cb(unsigned long data)
 469 {
 470         struct s5p_aes_dev *dev = (struct s5p_aes_dev *)data;
 471         struct crypto_async_request *async_req, *backlog;
 472         struct s5p_aes_reqctx *reqctx;
 473         unsigned long flags;
 474
 475         spin_lock_irqsave(&dev->lock, flags);
 476         backlog   = crypto_get_backlog(&dev->queue);
 477         async_req = crypto_dequeue_request(&dev->queue);
 478
 479         if (!async_req) {
 480                 dev->busy = false;
 481                 spin_unlock_irqrestore(&dev->lock, flags);
 482                 return;
 483         }
 484         spin_unlock_irqrestore(&dev->lock, flags);
 485
 486         if (backlog)
 487                 backlog->complete(backlog, -EINPROGRESS);
 488
 489         dev->req = ablkcipher_request_cast(async_req);
 490         dev->ctx = crypto_tfm_ctx(dev->req->base.tfm);
 491         reqctx   = ablkcipher_request_ctx(dev->req);
 492
 493         s5p_aes_crypt_start(dev, reqctx->mode);
 494 }
 495
 496 static int s5p_aes_handle_req(struct s5p_aes_dev *dev,
 497                               struct ablkcipher_request *req)
 498 {
 499         unsigned long flags;
 500         int err;
 501
 502         spin_lock_irqsave(&dev->lock, flags);
 503         err = ablkcipher_enqueue_request(&dev->queue, req);
 504         if (dev->busy) {
 505                 spin_unlock_irqrestore(&dev->lock, flags);
 506                 goto exit;
 507         }
 508         dev->busy = true;
 509
 510         spin_unlock_irqrestore(&dev->lock, flags);
 511
 512         tasklet_schedule(&dev->tasklet);
 513
 514  exit:
 515         return err;
 516 }
 517
 518 static int s5p_aes_crypt(struct ablkcipher_request *req, unsigned long mode)
 519 {
 520         struct crypto_ablkcipher   *tfm    = crypto_ablkcipher_reqtfm(req);
 521         struct s5p_aes_ctx         *ctx    = crypto_ablkcipher_ctx(tfm);
 522         struct s5p_aes_reqctx      *reqctx = ablkcipher_request_ctx(req);
 523         struct s5p_aes_dev         *dev    = ctx->dev;
 524
 525         if (!IS_ALIGNED(req->nbytes, AES_BLOCK_SIZE)) {
 526                 pr_err("request size is not exact amount of AES blocks\n");
 527                 return -EINVAL;
 528         }
 529
 530         reqctx->mode = mode;
 531
 532         return s5p_aes_handle_req(dev, req);
 533 }
 534
 535 static int s5p_aes_setkey(struct crypto_ablkcipher *cipher,
 536                           const uint8_t *key, unsigned int keylen)
 537 {
 538         struct crypto_tfm  *tfm = crypto_ablkcipher_tfm(cipher);
 539         struct s5p_aes_ctx *ctx = crypto_tfm_ctx(tfm);
 540
 541         if (keylen != AES_KEYSIZE_128 &&
 542             keylen != AES_KEYSIZE_192 &&
 543             keylen != AES_KEYSIZE_256)
 544                 return -EINVAL;
 545
 546         memcpy(ctx->aes_key, key, keylen);
 547         ctx->keylen = keylen;
 548
 549         return 0;
 550 }
 551
 552 static int s5p_aes_ecb_encrypt(struct ablkcipher_request *req)
 553 {
 554         return s5p_aes_crypt(req, 0);
 555 }
 556
 557 static int s5p_aes_ecb_decrypt(struct ablkcipher_request *req)
 558 {
 559         return s5p_aes_crypt(req, FLAGS_AES_DECRYPT);
 560 }
 561
 562 static int s5p_aes_cbc_encrypt(struct ablkcipher_request *req)
 563 {
 564         return s5p_aes_crypt(req, FLAGS_AES_CBC);
 565 }
 566
 567 static int s5p_aes_cbc_decrypt(struct ablkcipher_request *req)
 568 {
 569         return s5p_aes_crypt(req, FLAGS_AES_DECRYPT | FLAGS_AES_CBC);
 570 }
 571
 572 static int s5p_aes_cra_init(struct crypto_tfm *tfm)
 573 {
 574         struct s5p_aes_ctx  *ctx = crypto_tfm_ctx(tfm);
 575
 576         ctx->dev = s5p_dev;
 577         tfm->crt_ablkcipher.reqsize = sizeof(struct s5p_aes_reqctx);
 578
 579         return 0;
 580 }
 581
 582 static struct crypto_alg algs[] = {
 583         {
 584                 .cra_name               = "ecb(aes)",
 585                 .cra_driver_name        = "ecb-aes-s5p",
 586                 .cra_priority           = 100,
 587                 .cra_flags              = CRYPTO_ALG_TYPE_ABLKCIPHER |
 588                                           CRYPTO_ALG_ASYNC |
 589                                           CRYPTO_ALG_KERN_DRIVER_ONLY,
 590                 .cra_blocksize          = AES_BLOCK_SIZE,
 591                 .cra_ctxsize            = sizeof(struct s5p_aes_ctx),
 592                 .cra_alignmask          = 0x0f,
 593                 .cra_type               = &crypto_ablkcipher_type,
 594                 .cra_module             = THIS_MODULE,
 595                 .cra_init               = s5p_aes_cra_init,
 596                 .cra_u.ablkcipher = {
 597                         .min_keysize    = AES_MIN_KEY_SIZE,
 598                         .max_keysize    = AES_MAX_KEY_SIZE,
 599                         .setkey         = s5p_aes_setkey,
 600                         .encrypt        = s5p_aes_ecb_encrypt,
 601                         .decrypt        = s5p_aes_ecb_decrypt,
 602                 }
 603         },
 604         {
 605                 .cra_name               = "cbc(aes)",
 606                 .cra_driver_name        = "cbc-aes-s5p",
 607                 .cra_priority           = 100,
 608                 .cra_flags              = CRYPTO_ALG_TYPE_ABLKCIPHER |
 609                                           CRYPTO_ALG_ASYNC |
 610                                           CRYPTO_ALG_KERN_DRIVER_ONLY,
 611                 .cra_blocksize          = AES_BLOCK_SIZE,
 612                 .cra_ctxsize            = sizeof(struct s5p_aes_ctx),
 613                 .cra_alignmask          = 0x0f,
 614                 .cra_type               = &crypto_ablkcipher_type,
 615                 .cra_module             = THIS_MODULE,
 616                 .cra_init               = s5p_aes_cra_init,
 617                 .cra_u.ablkcipher = {
 618                         .min_keysize    = AES_MIN_KEY_SIZE,
 619                         .max_keysize    = AES_MAX_KEY_SIZE,
 620                         .ivsize         = AES_BLOCK_SIZE,
 621                         .setkey         = s5p_aes_setkey,
 622                         .encrypt        = s5p_aes_cbc_encrypt,
 623                         .decrypt        = s5p_aes_cbc_decrypt,
 624                 }
 625         },
 626 };
 627
 628 static int s5p_aes_probe(struct platform_device *pdev)
 629 {
 630         int                 i, j, err = -ENODEV;
 631         struct s5p_aes_dev *pdata;
 632         struct device      *dev = &pdev->dev;
 633         struct resource    *res;
 634         struct samsung_aes_variant *variant;
 635
 636         if (s5p_dev)
 637                 return -EEXIST;
 638
 639         pdata = devm_kzalloc(dev, sizeof(*pdata), GFP_KERNEL);
 640         if (!pdata)
 641                 return -ENOMEM;
 642
 643         res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
 644         pdata->ioaddr = devm_ioremap_resource(&pdev->dev, res);
 645         if (IS_ERR(pdata->ioaddr))
 646                 return PTR_ERR(pdata->ioaddr);
 647
 648         variant = find_s5p_sss_version(pdev);
 649
 650         pdata->clk = devm_clk_get(dev, "secss");
 651         if (IS_ERR(pdata->clk)) {
 652                 dev_err(dev, "failed to find secss clock source\n");
 653                 return -ENOENT;
 654         }
 655
 656         err = clk_prepare_enable(pdata->clk);
 657         if (err < 0) {
 658                 dev_err(dev, "Enabling SSS clk failed, err %d\n", err);
 659                 return err;
 660         }
 661
 662         spin_lock_init(&pdata->lock);
 663
 664         pdata->aes_ioaddr = pdata->ioaddr + variant->aes_offset;
 665
 666         pdata->irq_fc = platform_get_irq(pdev, 0);
 667         if (pdata->irq_fc < 0) {
 668                 err = pdata->irq_fc;
 669                 dev_warn(dev, "feed control interrupt is not available.\n");
 670                 goto err_irq;
 671         }
 672         err = devm_request_threaded_irq(dev, pdata->irq_fc, NULL,
 673                                         s5p_aes_interrupt, IRQF_ONESHOT,
 674                                         pdev->name, pdev);
 675         if (err < 0) {
 676                 dev_warn(dev, "feed control interrupt is not available.\n");
 677                 goto err_irq;
 678         }
 679
 680         if (variant->has_hash_irq) {
 681                 pdata->irq_hash = platform_get_irq(pdev, 1);
 682                 if (pdata->irq_hash < 0) {
 683                         err = pdata->irq_hash;
 684                         dev_warn(dev, "hash interrupt is not available.\n");
 685                         goto err_irq;
 686                 }
 687                 err = devm_request_irq(dev, pdata->irq_hash, s5p_aes_interrupt,
 688                                        IRQF_SHARED, pdev->name, pdev);
 689                 if (err < 0) {
 690                         dev_warn(dev, "hash interrupt is not available.\n");
 691                         goto err_irq;
 692                 }
 693         }
 694
 695         pdata->busy = false;
 696         pdata->variant = variant;
 697         pdata->dev = dev;
 698         platform_set_drvdata(pdev, pdata);
 699         s5p_dev = pdata;
 700
 701         tasklet_init(&pdata->tasklet, s5p_tasklet_cb, (unsigned long)pdata);
 702         crypto_init_queue(&pdata->queue, CRYPTO_QUEUE_LEN);
 703
 704         for (i = 0; i < ARRAY_SIZE(algs); i++) {
 705                 err = crypto_register_alg(&algs[i]);
 706                 if (err)
 707                         goto err_algs;
 708         }
 709
 710         pr_info("s5p-sss driver registered\n");
 711
 712         return 0;
 713
 714  err_algs:
 715         dev_err(dev, "can't register '%s': %d\n", algs[i].cra_name, err);
 716
 717         for (j = 0; j < i; j++)
 718                 crypto_unregister_alg(&algs[j]);
 719
 720         tasklet_kill(&pdata->tasklet);
 721
 722  err_irq:
 723         clk_disable_unprepare(pdata->clk);
 724
 725         s5p_dev = NULL;
 726
 727         return err;
 728 }
 729
 730 static int s5p_aes_remove(struct platform_device *pdev)
 731 {
 732         struct s5p_aes_dev *pdata = platform_get_drvdata(pdev);
 733         int i;
 734
 735         if (!pdata)
 736                 return -ENODEV;
 737
 738         for (i = 0; i < ARRAY_SIZE(algs); i++)
 739                 crypto_unregister_alg(&algs[i]);
 740
 741         tasklet_kill(&pdata->tasklet);
 742
 743         clk_disable_unprepare(pdata->clk);
 744
 745         s5p_dev = NULL;
 746
 747         return 0;
 748 }
 749
 750 static struct platform_driver s5p_aes_crypto = {
 751         .probe  = s5p_aes_probe,
 752         .remove = s5p_aes_remove,
 753         .driver = {
 754                 .name   = "s5p-secss",
 755                 .of_match_table = s5p_sss_dt_match,
 756         },
 757 };
 758
 759 module_platform_driver(s5p_aes_crypto);
 760
 761 MODULE_DESCRIPTION("S5PV210 AES hw acceleration support.");
 762 MODULE_LICENSE("GPL v2");
 763 MODULE_AUTHOR("Vladimir Zapolskiy <vzapolskiy@gmail.com>");