drivers/usb/gadget/udc/renesas_usb3.c

   1 /*
   2  * Renesas USB3.0 Peripheral driver (USB gadget)
   3  *
   4  * Copyright (C) 2015  Renesas Electronics Corporation
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; version 2 of the License.
   9  */
  10
  11 #include <linux/debugfs.h>
  12 #include <linux/delay.h>
  13 #include <linux/dma-mapping.h>
  14 #include <linux/err.h>
  15 #include <linux/extcon.h>
  16 #include <linux/interrupt.h>
  17 #include <linux/io.h>
  18 #include <linux/module.h>
  19 #include <linux/of_device.h>
  20 #include <linux/platform_device.h>
  21 #include <linux/pm_runtime.h>
  22 #include <linux/sizes.h>
  23 #include <linux/slab.h>
  24 #include <linux/string.h>
  25 #include <linux/sys_soc.h>
  26 #include <linux/uaccess.h>
  27 #include <linux/usb/ch9.h>
  28 #include <linux/usb/gadget.h>
  29
  30 /* register definitions */
  31 #define USB3_AXI_INT_STA        0x008
  32 #define USB3_AXI_INT_ENA        0x00c
  33 #define USB3_DMA_INT_STA        0x010
  34 #define USB3_DMA_INT_ENA        0x014
  35 #define USB3_DMA_CH0_CON(n)     (0x030 + ((n) - 1) * 0x10) /* n = 1 to 4 */
  36 #define USB3_DMA_CH0_PRD_ADR(n) (0x034 + ((n) - 1) * 0x10) /* n = 1 to 4 */
  37 #define USB3_USB_COM_CON        0x200
  38 #define USB3_USB20_CON          0x204
  39 #define USB3_USB30_CON          0x208
  40 #define USB3_USB_STA            0x210
  41 #define USB3_DRD_CON            0x218
  42 #define USB3_USB_INT_STA_1      0x220
  43 #define USB3_USB_INT_STA_2      0x224
  44 #define USB3_USB_INT_ENA_1      0x228
  45 #define USB3_USB_INT_ENA_2      0x22c
  46 #define USB3_STUP_DAT_0         0x230
  47 #define USB3_STUP_DAT_1         0x234
  48 #define USB3_USB_OTG_STA        0x268
  49 #define USB3_USB_OTG_INT_STA    0x26c
  50 #define USB3_USB_OTG_INT_ENA    0x270
  51 #define USB3_P0_MOD             0x280
  52 #define USB3_P0_CON             0x288
  53 #define USB3_P0_STA             0x28c
  54 #define USB3_P0_INT_STA         0x290
  55 #define USB3_P0_INT_ENA         0x294
  56 #define USB3_P0_LNG             0x2a0
  57 #define USB3_P0_READ            0x2a4
  58 #define USB3_P0_WRITE           0x2a8
  59 #define USB3_PIPE_COM           0x2b0
  60 #define USB3_PN_MOD             0x2c0
  61 #define USB3_PN_RAMMAP          0x2c4
  62 #define USB3_PN_CON             0x2c8
  63 #define USB3_PN_STA             0x2cc
  64 #define USB3_PN_INT_STA         0x2d0
  65 #define USB3_PN_INT_ENA         0x2d4
  66 #define USB3_PN_LNG             0x2e0
  67 #define USB3_PN_READ            0x2e4
  68 #define USB3_PN_WRITE           0x2e8
  69 #define USB3_SSIFCMD            0x340
  70
  71 /* AXI_INT_ENA and AXI_INT_STA */
  72 #define AXI_INT_DMAINT          BIT(31)
  73 #define AXI_INT_EPCINT          BIT(30)
  74 /* PRD's n = from 1 to 4 */
  75 #define AXI_INT_PRDEN_CLR_STA_SHIFT(n)  (16 + (n) - 1)
  76 #define AXI_INT_PRDERR_STA_SHIFT(n)     (0 + (n) - 1)
  77 #define AXI_INT_PRDEN_CLR_STA(n)        (1 << AXI_INT_PRDEN_CLR_STA_SHIFT(n))
  78 #define AXI_INT_PRDERR_STA(n)           (1 << AXI_INT_PRDERR_STA_SHIFT(n))
  79
  80 /* DMA_INT_ENA and DMA_INT_STA */
  81 #define DMA_INT(n)              BIT(n)
  82
  83 /* DMA_CH0_CONn */
  84 #define DMA_CON_PIPE_DIR        BIT(15)         /* 1: In Transfer */
  85 #define DMA_CON_PIPE_NO_SHIFT   8
  86 #define DMA_CON_PIPE_NO_MASK    GENMASK(12, DMA_CON_PIPE_NO_SHIFT)
  87 #define DMA_COM_PIPE_NO(n)      (((n) << DMA_CON_PIPE_NO_SHIFT) & \
  88                                          DMA_CON_PIPE_NO_MASK)
  89 #define DMA_CON_PRD_EN          BIT(0)
  90
  91 /* LCLKSEL */
  92 #define LCLKSEL_LSEL            BIT(18)
  93
  94 /* USB_COM_CON */
  95 #define USB_COM_CON_CONF                BIT(24)
  96 #define USB_COM_CON_PN_WDATAIF_NL       BIT(23)
  97 #define USB_COM_CON_PN_RDATAIF_NL       BIT(22)
  98 #define USB_COM_CON_PN_LSTTR_PP         BIT(21)
  99 #define USB_COM_CON_SPD_MODE            BIT(17)
 100 #define USB_COM_CON_EP0_EN              BIT(16)
 101 #define USB_COM_CON_DEV_ADDR_SHIFT      8
 102 #define USB_COM_CON_DEV_ADDR_MASK       GENMASK(14, USB_COM_CON_DEV_ADDR_SHIFT)
 103 #define USB_COM_CON_DEV_ADDR(n)         (((n) << USB_COM_CON_DEV_ADDR_SHIFT) & \
 104                                          USB_COM_CON_DEV_ADDR_MASK)
 105 #define USB_COM_CON_RX_DETECTION        BIT(1)
 106 #define USB_COM_CON_PIPE_CLR            BIT(0)
 107
 108 /* USB20_CON */
 109 #define USB20_CON_B2_PUE                BIT(31)
 110 #define USB20_CON_B2_SUSPEND            BIT(24)
 111 #define USB20_CON_B2_CONNECT            BIT(17)
 112 #define USB20_CON_B2_TSTMOD_SHIFT       8
 113 #define USB20_CON_B2_TSTMOD_MASK        GENMASK(10, USB20_CON_B2_TSTMOD_SHIFT)
 114 #define USB20_CON_B2_TSTMOD(n)          (((n) << USB20_CON_B2_TSTMOD_SHIFT) & \
 115                                          USB20_CON_B2_TSTMOD_MASK)
 116 #define USB20_CON_B2_TSTMOD_EN          BIT(0)
 117
 118 /* USB30_CON */
 119 #define USB30_CON_POW_SEL_SHIFT         24
 120 #define USB30_CON_POW_SEL_MASK          GENMASK(26, USB30_CON_POW_SEL_SHIFT)
 121 #define USB30_CON_POW_SEL_IN_U3         BIT(26)
 122 #define USB30_CON_POW_SEL_IN_DISCON     0
 123 #define USB30_CON_POW_SEL_P2_TO_P0      BIT(25)
 124 #define USB30_CON_POW_SEL_P0_TO_P3      BIT(24)
 125 #define USB30_CON_POW_SEL_P0_TO_P2      0
 126 #define USB30_CON_B3_PLLWAKE            BIT(23)
 127 #define USB30_CON_B3_CONNECT            BIT(17)
 128 #define USB30_CON_B3_HOTRST_CMP         BIT(1)
 129
 130 /* USB_STA */
 131 #define USB_STA_SPEED_MASK      (BIT(2) | BIT(1))
 132 #define USB_STA_SPEED_HS        BIT(2)
 133 #define USB_STA_SPEED_FS        BIT(1)
 134 #define USB_STA_SPEED_SS        0
 135 #define USB_STA_VBUS_STA        BIT(0)
 136
 137 /* DRD_CON */
 138 #define DRD_CON_PERI_CON        BIT(24)
 139 #define DRD_CON_VBOUT           BIT(0)
 140
 141 /* USB_INT_ENA_1 and USB_INT_STA_1 */
 142 #define USB_INT_1_B3_PLLWKUP    BIT(31)
 143 #define USB_INT_1_B3_LUPSUCS    BIT(30)
 144 #define USB_INT_1_B3_DISABLE    BIT(27)
 145 #define USB_INT_1_B3_WRMRST     BIT(21)
 146 #define USB_INT_1_B3_HOTRST     BIT(20)
 147 #define USB_INT_1_B2_USBRST     BIT(12)
 148 #define USB_INT_1_B2_L1SPND     BIT(11)
 149 #define USB_INT_1_B2_SPND       BIT(9)
 150 #define USB_INT_1_B2_RSUM       BIT(8)
 151 #define USB_INT_1_SPEED         BIT(1)
 152 #define USB_INT_1_VBUS_CNG      BIT(0)
 153
 154 /* USB_INT_ENA_2 and USB_INT_STA_2 */
 155 #define USB_INT_2_PIPE(n)       BIT(n)
 156
 157 /* USB_OTG_STA, USB_OTG_INT_STA and USB_OTG_INT_ENA */
 158 #define USB_OTG_IDMON           BIT(4)
 159
 160 /* P0_MOD */
 161 #define P0_MOD_DIR              BIT(6)
 162
 163 /* P0_CON and PN_CON */
 164 #define PX_CON_BYTE_EN_MASK             (BIT(10) | BIT(9))
 165 #define PX_CON_BYTE_EN_SHIFT            9
 166 #define PX_CON_BYTE_EN_BYTES(n)         (((n) << PX_CON_BYTE_EN_SHIFT) & \
 167                                          PX_CON_BYTE_EN_MASK)
 168 #define PX_CON_SEND                     BIT(8)
 169
 170 /* P0_CON */
 171 #define P0_CON_ST_RES_MASK              (BIT(27) | BIT(26))
 172 #define P0_CON_ST_RES_FORCE_STALL       BIT(27)
 173 #define P0_CON_ST_RES_NORMAL            BIT(26)
 174 #define P0_CON_ST_RES_FORCE_NRDY        0
 175 #define P0_CON_OT_RES_MASK              (BIT(25) | BIT(24))
 176 #define P0_CON_OT_RES_FORCE_STALL       BIT(25)
 177 #define P0_CON_OT_RES_NORMAL            BIT(24)
 178 #define P0_CON_OT_RES_FORCE_NRDY        0
 179 #define P0_CON_IN_RES_MASK              (BIT(17) | BIT(16))
 180 #define P0_CON_IN_RES_FORCE_STALL       BIT(17)
 181 #define P0_CON_IN_RES_NORMAL            BIT(16)
 182 #define P0_CON_IN_RES_FORCE_NRDY        0
 183 #define P0_CON_RES_WEN                  BIT(7)
 184 #define P0_CON_BCLR                     BIT(1)
 185
 186 /* P0_STA and PN_STA */
 187 #define PX_STA_BUFSTS           BIT(0)
 188
 189 /* P0_INT_ENA and P0_INT_STA */
 190 #define P0_INT_STSED            BIT(18)
 191 #define P0_INT_STSST            BIT(17)
 192 #define P0_INT_SETUP            BIT(16)
 193 #define P0_INT_RCVNL            BIT(8)
 194 #define P0_INT_ERDY             BIT(7)
 195 #define P0_INT_FLOW             BIT(6)
 196 #define P0_INT_STALL            BIT(2)
 197 #define P0_INT_NRDY             BIT(1)
 198 #define P0_INT_BFRDY            BIT(0)
 199 #define P0_INT_ALL_BITS         (P0_INT_STSED | P0_INT_SETUP | P0_INT_BFRDY)
 200
 201 /* PN_MOD */
 202 #define PN_MOD_DIR              BIT(6)
 203 #define PN_MOD_TYPE_SHIFT       4
 204 #define PN_MOD_TYPE_MASK        GENMASK(5, PN_MOD_TYPE_SHIFT)
 205 #define PN_MOD_TYPE(n)          (((n) << PN_MOD_TYPE_SHIFT) & \
 206                                  PN_MOD_TYPE_MASK)
 207 #define PN_MOD_EPNUM_MASK       GENMASK(3, 0)
 208 #define PN_MOD_EPNUM(n)         ((n) & PN_MOD_EPNUM_MASK)
 209
 210 /* PN_RAMMAP */
 211 #define PN_RAMMAP_RAMAREA_SHIFT 29
 212 #define PN_RAMMAP_RAMAREA_MASK  GENMASK(31, PN_RAMMAP_RAMAREA_SHIFT)
 213 #define PN_RAMMAP_RAMAREA_16KB  BIT(31)
 214 #define PN_RAMMAP_RAMAREA_8KB   (BIT(30) | BIT(29))
 215 #define PN_RAMMAP_RAMAREA_4KB   BIT(30)
 216 #define PN_RAMMAP_RAMAREA_2KB   BIT(29)
 217 #define PN_RAMMAP_RAMAREA_1KB   0
 218 #define PN_RAMMAP_MPKT_SHIFT    16
 219 #define PN_RAMMAP_MPKT_MASK     GENMASK(26, PN_RAMMAP_MPKT_SHIFT)
 220 #define PN_RAMMAP_MPKT(n)       (((n) << PN_RAMMAP_MPKT_SHIFT) & \
 221                                  PN_RAMMAP_MPKT_MASK)
 222 #define PN_RAMMAP_RAMIF_SHIFT   14
 223 #define PN_RAMMAP_RAMIF_MASK    GENMASK(15, PN_RAMMAP_RAMIF_SHIFT)
 224 #define PN_RAMMAP_RAMIF(n)      (((n) << PN_RAMMAP_RAMIF_SHIFT) & \
 225                                  PN_RAMMAP_RAMIF_MASK)
 226 #define PN_RAMMAP_BASEAD_MASK   GENMASK(13, 0)
 227 #define PN_RAMMAP_BASEAD(offs)  (((offs) >> 3) & PN_RAMMAP_BASEAD_MASK)
 228 #define PN_RAMMAP_DATA(area, ramif, basead)     ((PN_RAMMAP_##area) | \
 229                                                  (PN_RAMMAP_RAMIF(ramif)) | \
 230                                                  (PN_RAMMAP_BASEAD(basead)))
 231
 232 /* PN_CON */
 233 #define PN_CON_EN               BIT(31)
 234 #define PN_CON_DATAIF_EN        BIT(30)
 235 #define PN_CON_RES_MASK         (BIT(17) | BIT(16))
 236 #define PN_CON_RES_FORCE_STALL  BIT(17)
 237 #define PN_CON_RES_NORMAL       BIT(16)
 238 #define PN_CON_RES_FORCE_NRDY   0
 239 #define PN_CON_LAST             BIT(11)
 240 #define PN_CON_RES_WEN          BIT(7)
 241 #define PN_CON_CLR              BIT(0)
 242
 243 /* PN_INT_STA and PN_INT_ENA */
 244 #define PN_INT_LSTTR    BIT(4)
 245 #define PN_INT_BFRDY    BIT(0)
 246
 247 /* USB3_SSIFCMD */
 248 #define SSIFCMD_URES_U2         BIT(9)
 249 #define SSIFCMD_URES_U1         BIT(8)
 250 #define SSIFCMD_UDIR_U2         BIT(7)
 251 #define SSIFCMD_UDIR_U1         BIT(6)
 252 #define SSIFCMD_UREQ_U2         BIT(5)
 253 #define SSIFCMD_UREQ_U1         BIT(4)
 254
 255 #define USB3_EP0_SS_MAX_PACKET_SIZE     512
 256 #define USB3_EP0_HSFS_MAX_PACKET_SIZE   64
 257 #define USB3_EP0_BUF_SIZE               8
 258 #define USB3_MAX_NUM_PIPES              6       /* This includes PIPE 0 */
 259 #define USB3_WAIT_US                    3
 260 #define USB3_DMA_NUM_SETTING_AREA       4
 261 /*
 262  * To avoid double-meaning of "0" (xferred 65536 bytes or received zlp if
 263  * buffer size is 65536), this driver uses the maximum size per a entry is
 264  * 32768 bytes.
 265  */
 266 #define USB3_DMA_MAX_XFER_SIZE          32768
 267 #define USB3_DMA_PRD_SIZE               4096
 268
 269 struct renesas_usb3;
 270
 271 /* Physical Region Descriptor Table */
 272 struct renesas_usb3_prd {
 273         u32 word1;
 274 #define USB3_PRD1_E             BIT(30)         /* the end of chain */
 275 #define USB3_PRD1_U             BIT(29)         /* completion of transfer */
 276 #define USB3_PRD1_D             BIT(28)         /* Error occurred */
 277 #define USB3_PRD1_INT           BIT(27)         /* Interrupt occurred */
 278 #define USB3_PRD1_LST           BIT(26)         /* Last Packet */
 279 #define USB3_PRD1_B_INC         BIT(24)
 280 #define USB3_PRD1_MPS_8         0
 281 #define USB3_PRD1_MPS_16        BIT(21)
 282 #define USB3_PRD1_MPS_32        BIT(22)
 283 #define USB3_PRD1_MPS_64        (BIT(22) | BIT(21))
 284 #define USB3_PRD1_MPS_512       BIT(23)
 285 #define USB3_PRD1_MPS_1024      (BIT(23) | BIT(21))
 286 #define USB3_PRD1_MPS_RESERVED  (BIT(23) | BIT(22) | BIT(21))
 287 #define USB3_PRD1_SIZE_MASK     GENMASK(15, 0)
 288
 289         u32 bap;
 290 };
 291 #define USB3_DMA_NUM_PRD_ENTRIES        (USB3_DMA_PRD_SIZE / \
 292                                           sizeof(struct renesas_usb3_prd))
 293 #define USB3_DMA_MAX_XFER_SIZE_ALL_PRDS (USB3_DMA_PRD_SIZE / \
 294                                          sizeof(struct renesas_usb3_prd) * \
 295                                          USB3_DMA_MAX_XFER_SIZE)
 296
 297 struct renesas_usb3_dma {
 298         struct renesas_usb3_prd *prd;
 299         dma_addr_t prd_dma;
 300         int num;        /* Setting area number (from 1 to 4) */
 301         bool used;
 302 };
 303
 304 struct renesas_usb3_request {
 305         struct usb_request      req;
 306         struct list_head        queue;
 307 };
 308
 309 #define USB3_EP_NAME_SIZE       8
 310 struct renesas_usb3_ep {
 311         struct usb_ep ep;
 312         struct renesas_usb3 *usb3;
 313         struct renesas_usb3_dma *dma;
 314         int num;
 315         char ep_name[USB3_EP_NAME_SIZE];
 316         struct list_head queue;
 317         u32 rammap_val;
 318         bool dir_in;
 319         bool halt;
 320         bool wedge;
 321         bool started;
 322 };
 323
 324 struct renesas_usb3_priv {
 325         int ramsize_per_ramif;          /* unit = bytes */
 326         int num_ramif;
 327         int ramsize_per_pipe;           /* unit = bytes */
 328         bool workaround_for_vbus;       /* if true, don't check vbus signal */
 329 };
 330
 331 struct renesas_usb3 {
 332         void __iomem *reg;
 333
 334         struct usb_gadget gadget;
 335         struct usb_gadget_driver *driver;
 336         struct extcon_dev *extcon;
 337         struct work_struct extcon_work;
 338         struct dentry *dentry;
 339
 340         struct renesas_usb3_ep *usb3_ep;
 341         int num_usb3_eps;
 342
 343         struct renesas_usb3_dma dma[USB3_DMA_NUM_SETTING_AREA];
 344
 345         spinlock_t lock;
 346         int disabled_count;
 347
 348         struct usb_request *ep0_req;
 349         u16 test_mode;
 350         u8 ep0_buf[USB3_EP0_BUF_SIZE];
 351         bool softconnect;
 352         bool workaround_for_vbus;
 353         bool extcon_host;               /* check id and set EXTCON_USB_HOST */
 354         bool extcon_usb;                /* check vbus and set EXTCON_USB */
 355         bool forced_b_device;
 356         bool start_to_connect;
 357 };
 358
 359 #define gadget_to_renesas_usb3(_gadget) \
 360                 container_of(_gadget, struct renesas_usb3, gadget)
 361 #define renesas_usb3_to_gadget(renesas_usb3) (&renesas_usb3->gadget)
 362 #define usb3_to_dev(_usb3)      (_usb3->gadget.dev.parent)
 363
 364 #define usb_ep_to_usb3_ep(_ep) container_of(_ep, struct renesas_usb3_ep, ep)
 365 #define usb3_ep_to_usb3(_usb3_ep) (_usb3_ep->usb3)
 366 #define usb_req_to_usb3_req(_req) container_of(_req, \
 367                                             struct renesas_usb3_request, req)
 368
 369 #define usb3_get_ep(usb3, n) ((usb3)->usb3_ep + (n))
 370 #define usb3_for_each_ep(usb3_ep, usb3, i)                      \
 371                 for ((i) = 0, usb3_ep = usb3_get_ep(usb3, (i)); \
 372                      (i) < (usb3)->num_usb3_eps;                \
 373                      (i)++, usb3_ep = usb3_get_ep(usb3, (i)))
 374
 375 #define usb3_get_dma(usb3, i)   (&(usb3)->dma[i])
 376 #define usb3_for_each_dma(usb3, dma, i)                         \
 377                 for ((i) = 0, dma = usb3_get_dma((usb3), (i));  \
 378                      (i) < USB3_DMA_NUM_SETTING_AREA;           \
 379                      (i)++, dma = usb3_get_dma((usb3), (i)))
 380
 381 static const char udc_name[] = "renesas_usb3";
 382
 383 static bool use_dma = 1;
 384 module_param(use_dma, bool, 0644);
 385 MODULE_PARM_DESC(use_dma, "use dedicated DMAC");
 386
 387 static void usb3_write(struct renesas_usb3 *usb3, u32 data, u32 offs)
 388 {
 389         iowrite32(data, usb3->reg + offs);
 390 }
 391
 392 static u32 usb3_read(struct renesas_usb3 *usb3, u32 offs)
 393 {
 394         return ioread32(usb3->reg + offs);
 395 }
 396
 397 static void usb3_set_bit(struct renesas_usb3 *usb3, u32 bits, u32 offs)
 398 {
 399         u32 val = usb3_read(usb3, offs);
 400
 401         val |= bits;
 402         usb3_write(usb3, val, offs);
 403 }
 404
 405 static void usb3_clear_bit(struct renesas_usb3 *usb3, u32 bits, u32 offs)
 406 {
 407         u32 val = usb3_read(usb3, offs);
 408
 409         val &= ~bits;
 410         usb3_write(usb3, val, offs);
 411 }
 412
 413 static int usb3_wait(struct renesas_usb3 *usb3, u32 reg, u32 mask,
 414                      u32 expected)
 415 {
 416         int i;
 417
 418         for (i = 0; i < USB3_WAIT_US; i++) {
 419                 if ((usb3_read(usb3, reg) & mask) == expected)
 420                         return 0;
 421                 udelay(1);
 422         }
 423
 424         dev_dbg(usb3_to_dev(usb3), "%s: timed out (%8x, %08x, %08x)\n",
 425                 __func__, reg, mask, expected);
 426
 427         return -EBUSY;
 428 }
 429
 430 static void renesas_usb3_extcon_work(struct work_struct *work)
 431 {
 432         struct renesas_usb3 *usb3 = container_of(work, struct renesas_usb3,
 433                                                  extcon_work);
 434
 435         extcon_set_state_sync(usb3->extcon, EXTCON_USB_HOST, usb3->extcon_host);
 436         extcon_set_state_sync(usb3->extcon, EXTCON_USB, usb3->extcon_usb);
 437 }
 438
 439 static void usb3_enable_irq_1(struct renesas_usb3 *usb3, u32 bits)
 440 {
 441         usb3_set_bit(usb3, bits, USB3_USB_INT_ENA_1);
 442 }
 443
 444 static void usb3_disable_irq_1(struct renesas_usb3 *usb3, u32 bits)
 445 {
 446         usb3_clear_bit(usb3, bits, USB3_USB_INT_ENA_1);
 447 }
 448
 449 static void usb3_enable_pipe_irq(struct renesas_usb3 *usb3, int num)
 450 {
 451         usb3_set_bit(usb3, USB_INT_2_PIPE(num), USB3_USB_INT_ENA_2);
 452 }
 453
 454 static void usb3_disable_pipe_irq(struct renesas_usb3 *usb3, int num)
 455 {
 456         usb3_clear_bit(usb3, USB_INT_2_PIPE(num), USB3_USB_INT_ENA_2);
 457 }
 458
 459 static bool usb3_is_host(struct renesas_usb3 *usb3)
 460 {
 461         return !(usb3_read(usb3, USB3_DRD_CON) & DRD_CON_PERI_CON);
 462 }
 463
 464 static void usb3_init_axi_bridge(struct renesas_usb3 *usb3)
 465 {
 466         /* Set AXI_INT */
 467         usb3_write(usb3, ~0, USB3_DMA_INT_STA);
 468         usb3_write(usb3, 0, USB3_DMA_INT_ENA);
 469         usb3_set_bit(usb3, AXI_INT_DMAINT | AXI_INT_EPCINT, USB3_AXI_INT_ENA);
 470 }
 471
 472 static void usb3_init_epc_registers(struct renesas_usb3 *usb3)
 473 {
 474         usb3_write(usb3, ~0, USB3_USB_INT_STA_1);
 475         if (!usb3->workaround_for_vbus)
 476                 usb3_enable_irq_1(usb3, USB_INT_1_VBUS_CNG);
 477 }
 478
 479 static bool usb3_wakeup_usb2_phy(struct renesas_usb3 *usb3)
 480 {
 481         if (!(usb3_read(usb3, USB3_USB20_CON) & USB20_CON_B2_SUSPEND))
 482                 return true;    /* already waked it up */
 483
 484         usb3_clear_bit(usb3, USB20_CON_B2_SUSPEND, USB3_USB20_CON);
 485         usb3_enable_irq_1(usb3, USB_INT_1_B2_RSUM);
 486
 487         return false;
 488 }
 489
 490 static void usb3_usb2_pullup(struct renesas_usb3 *usb3, int pullup)
 491 {
 492         u32 bits = USB20_CON_B2_PUE | USB20_CON_B2_CONNECT;
 493
 494         if (usb3->softconnect && pullup)
 495                 usb3_set_bit(usb3, bits, USB3_USB20_CON);
 496         else
 497                 usb3_clear_bit(usb3, bits, USB3_USB20_CON);
 498 }
 499
 500 static void usb3_set_test_mode(struct renesas_usb3 *usb3)
 501 {
 502         u32 val = usb3_read(usb3, USB3_USB20_CON);
 503
 504         val &= ~USB20_CON_B2_TSTMOD_MASK;
 505         val |= USB20_CON_B2_TSTMOD(usb3->test_mode);
 506         usb3_write(usb3, val | USB20_CON_B2_TSTMOD_EN, USB3_USB20_CON);
 507         if (!usb3->test_mode)
 508                 usb3_clear_bit(usb3, USB20_CON_B2_TSTMOD_EN, USB3_USB20_CON);
 509 }
 510
 511 static void usb3_start_usb2_connection(struct renesas_usb3 *usb3)
 512 {
 513         usb3->disabled_count++;
 514         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 515         usb3_set_bit(usb3, USB_COM_CON_SPD_MODE, USB3_USB_COM_CON);
 516         usb3_usb2_pullup(usb3, 1);
 517 }
 518
 519 static int usb3_is_usb3_phy_in_u3(struct renesas_usb3 *usb3)
 520 {
 521         return usb3_read(usb3, USB3_USB30_CON) & USB30_CON_POW_SEL_IN_U3;
 522 }
 523
 524 static bool usb3_wakeup_usb3_phy(struct renesas_usb3 *usb3)
 525 {
 526         if (!usb3_is_usb3_phy_in_u3(usb3))
 527                 return true;    /* already waked it up */
 528
 529         usb3_set_bit(usb3, USB30_CON_B3_PLLWAKE, USB3_USB30_CON);
 530         usb3_enable_irq_1(usb3, USB_INT_1_B3_PLLWKUP);
 531
 532         return false;
 533 }
 534
 535 static u16 usb3_feature_get_un_enabled(struct renesas_usb3 *usb3)
 536 {
 537         u32 mask_u2 = SSIFCMD_UDIR_U2 | SSIFCMD_UREQ_U2;
 538         u32 mask_u1 = SSIFCMD_UDIR_U1 | SSIFCMD_UREQ_U1;
 539         u32 val = usb3_read(usb3, USB3_SSIFCMD);
 540         u16 ret = 0;
 541
 542         /* Enables {U2,U1} if the bits of UDIR and UREQ are set to 0 */
 543         if (!(val & mask_u2))
 544                 ret |= 1 << USB_DEV_STAT_U2_ENABLED;
 545         if (!(val & mask_u1))
 546                 ret |= 1 << USB_DEV_STAT_U1_ENABLED;
 547
 548         return ret;
 549 }
 550
 551 static void usb3_feature_u2_enable(struct renesas_usb3 *usb3, bool enable)
 552 {
 553         u32 bits = SSIFCMD_UDIR_U2 | SSIFCMD_UREQ_U2;
 554
 555         /* Enables U2 if the bits of UDIR and UREQ are set to 0 */
 556         if (enable)
 557                 usb3_clear_bit(usb3, bits, USB3_SSIFCMD);
 558         else
 559                 usb3_set_bit(usb3, bits, USB3_SSIFCMD);
 560 }
 561
 562 static void usb3_feature_u1_enable(struct renesas_usb3 *usb3, bool enable)
 563 {
 564         u32 bits = SSIFCMD_UDIR_U1 | SSIFCMD_UREQ_U1;
 565
 566         /* Enables U1 if the bits of UDIR and UREQ are set to 0 */
 567         if (enable)
 568                 usb3_clear_bit(usb3, bits, USB3_SSIFCMD);
 569         else
 570                 usb3_set_bit(usb3, bits, USB3_SSIFCMD);
 571 }
 572
 573 static void usb3_start_operation_for_usb3(struct renesas_usb3 *usb3)
 574 {
 575         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 576         usb3_clear_bit(usb3, USB_COM_CON_SPD_MODE, USB3_USB_COM_CON);
 577         usb3_set_bit(usb3, USB30_CON_B3_CONNECT, USB3_USB30_CON);
 578 }
 579
 580 static void usb3_start_usb3_connection(struct renesas_usb3 *usb3)
 581 {
 582         usb3_start_operation_for_usb3(usb3);
 583         usb3_set_bit(usb3, USB_COM_CON_RX_DETECTION, USB3_USB_COM_CON);
 584
 585         usb3_enable_irq_1(usb3, USB_INT_1_B3_LUPSUCS | USB_INT_1_B3_DISABLE |
 586                           USB_INT_1_SPEED);
 587 }
 588
 589 static void usb3_stop_usb3_connection(struct renesas_usb3 *usb3)
 590 {
 591         usb3_clear_bit(usb3, USB30_CON_B3_CONNECT, USB3_USB30_CON);
 592 }
 593
 594 static void usb3_transition_to_default_state(struct renesas_usb3 *usb3,
 595                                              bool is_usb3)
 596 {
 597         usb3_set_bit(usb3, USB_INT_2_PIPE(0), USB3_USB_INT_ENA_2);
 598         usb3_write(usb3, P0_INT_ALL_BITS, USB3_P0_INT_STA);
 599         usb3_set_bit(usb3, P0_INT_ALL_BITS, USB3_P0_INT_ENA);
 600
 601         if (is_usb3)
 602                 usb3_enable_irq_1(usb3, USB_INT_1_B3_WRMRST |
 603                                   USB_INT_1_B3_HOTRST);
 604         else
 605                 usb3_enable_irq_1(usb3, USB_INT_1_B2_SPND |
 606                                   USB_INT_1_B2_L1SPND | USB_INT_1_B2_USBRST);
 607 }
 608
 609 static void usb3_connect(struct renesas_usb3 *usb3)
 610 {
 611         if (usb3_wakeup_usb3_phy(usb3))
 612                 usb3_start_usb3_connection(usb3);
 613 }
 614
 615 static void usb3_reset_epc(struct renesas_usb3 *usb3)
 616 {
 617         usb3_clear_bit(usb3, USB_COM_CON_CONF, USB3_USB_COM_CON);
 618         usb3_clear_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 619         usb3_set_bit(usb3, USB_COM_CON_PIPE_CLR, USB3_USB_COM_CON);
 620         usb3->test_mode = 0;
 621         usb3_set_test_mode(usb3);
 622 }
 623
 624 static void usb3_disconnect(struct renesas_usb3 *usb3)
 625 {
 626         usb3->disabled_count = 0;
 627         usb3_usb2_pullup(usb3, 0);
 628         usb3_clear_bit(usb3, USB30_CON_B3_CONNECT, USB3_USB30_CON);
 629         usb3_reset_epc(usb3);
 630         usb3_disable_irq_1(usb3, USB_INT_1_B2_RSUM | USB_INT_1_B3_PLLWKUP |
 631                            USB_INT_1_B3_LUPSUCS | USB_INT_1_B3_DISABLE |
 632                            USB_INT_1_SPEED | USB_INT_1_B3_WRMRST |
 633                            USB_INT_1_B3_HOTRST | USB_INT_1_B2_SPND |
 634                            USB_INT_1_B2_L1SPND | USB_INT_1_B2_USBRST);
 635         usb3_clear_bit(usb3, USB_COM_CON_SPD_MODE, USB3_USB_COM_CON);
 636         usb3_init_epc_registers(usb3);
 637
 638         if (usb3->driver)
 639                 usb3->driver->disconnect(&usb3->gadget);
 640 }
 641
 642 static void usb3_check_vbus(struct renesas_usb3 *usb3)
 643 {
 644         if (usb3->workaround_for_vbus) {
 645                 usb3_connect(usb3);
 646         } else {
 647                 usb3->extcon_usb = !!(usb3_read(usb3, USB3_USB_STA) &
 648                                                         USB_STA_VBUS_STA);
 649                 if (usb3->extcon_usb)
 650                         usb3_connect(usb3);
 651                 else
 652                         usb3_disconnect(usb3);
 653
 654                 schedule_work(&usb3->extcon_work);
 655         }
 656 }
 657
 658 static void usb3_set_mode(struct renesas_usb3 *usb3, bool host)
 659 {
 660         if (host)
 661                 usb3_clear_bit(usb3, DRD_CON_PERI_CON, USB3_DRD_CON);
 662         else
 663                 usb3_set_bit(usb3, DRD_CON_PERI_CON, USB3_DRD_CON);
 664 }
 665
 666 static void usb3_vbus_out(struct renesas_usb3 *usb3, bool enable)
 667 {
 668         if (enable)
 669                 usb3_set_bit(usb3, DRD_CON_VBOUT, USB3_DRD_CON);
 670         else
 671                 usb3_clear_bit(usb3, DRD_CON_VBOUT, USB3_DRD_CON);
 672 }
 673
 674 static void usb3_mode_config(struct renesas_usb3 *usb3, bool host, bool a_dev)
 675 {
 676         unsigned long flags;
 677
 678         spin_lock_irqsave(&usb3->lock, flags);
 679         usb3_set_mode(usb3, host);
 680         usb3_vbus_out(usb3, a_dev);
 681         /* for A-Peripheral or forced B-device mode */
 682         if ((!host && a_dev) || usb3->start_to_connect)
 683                 usb3_connect(usb3);
 684         spin_unlock_irqrestore(&usb3->lock, flags);
 685 }
 686
 687 static bool usb3_is_a_device(struct renesas_usb3 *usb3)
 688 {
 689         return !(usb3_read(usb3, USB3_USB_OTG_STA) & USB_OTG_IDMON);
 690 }
 691
 692 static void usb3_check_id(struct renesas_usb3 *usb3)
 693 {
 694         usb3->extcon_host = usb3_is_a_device(usb3);
 695
 696         if (usb3->extcon_host && !usb3->forced_b_device)
 697                 usb3_mode_config(usb3, true, true);
 698         else
 699                 usb3_mode_config(usb3, false, false);
 700
 701         schedule_work(&usb3->extcon_work);
 702 }
 703
 704 static void renesas_usb3_init_controller(struct renesas_usb3 *usb3)
 705 {
 706         usb3_init_axi_bridge(usb3);
 707         usb3_init_epc_registers(usb3);
 708         usb3_set_bit(usb3, USB_COM_CON_PN_WDATAIF_NL |
 709                      USB_COM_CON_PN_RDATAIF_NL | USB_COM_CON_PN_LSTTR_PP,
 710                      USB3_USB_COM_CON);
 711         usb3_write(usb3, USB_OTG_IDMON, USB3_USB_OTG_INT_STA);
 712         usb3_write(usb3, USB_OTG_IDMON, USB3_USB_OTG_INT_ENA);
 713
 714         usb3_check_id(usb3);
 715         usb3_check_vbus(usb3);
 716 }
 717
 718 static void renesas_usb3_stop_controller(struct renesas_usb3 *usb3)
 719 {
 720         usb3_disconnect(usb3);
 721         usb3_write(usb3, 0, USB3_P0_INT_ENA);
 722         usb3_write(usb3, 0, USB3_USB_OTG_INT_ENA);
 723         usb3_write(usb3, 0, USB3_USB_INT_ENA_1);
 724         usb3_write(usb3, 0, USB3_USB_INT_ENA_2);
 725         usb3_write(usb3, 0, USB3_AXI_INT_ENA);
 726 }
 727
 728 static void usb3_irq_epc_int_1_pll_wakeup(struct renesas_usb3 *usb3)
 729 {
 730         usb3_disable_irq_1(usb3, USB_INT_1_B3_PLLWKUP);
 731         usb3_clear_bit(usb3, USB30_CON_B3_PLLWAKE, USB3_USB30_CON);
 732         usb3_start_usb3_connection(usb3);
 733 }
 734
 735 static void usb3_irq_epc_int_1_linkup_success(struct renesas_usb3 *usb3)
 736 {
 737         usb3_transition_to_default_state(usb3, true);
 738 }
 739
 740 static void usb3_irq_epc_int_1_resume(struct renesas_usb3 *usb3)
 741 {
 742         usb3_disable_irq_1(usb3, USB_INT_1_B2_RSUM);
 743         usb3_start_usb2_connection(usb3);
 744         usb3_transition_to_default_state(usb3, false);
 745 }
 746
 747 static void usb3_irq_epc_int_1_disable(struct renesas_usb3 *usb3)
 748 {
 749         usb3_stop_usb3_connection(usb3);
 750         if (usb3_wakeup_usb2_phy(usb3))
 751                 usb3_irq_epc_int_1_resume(usb3);
 752 }
 753
 754 static void usb3_irq_epc_int_1_bus_reset(struct renesas_usb3 *usb3)
 755 {
 756         usb3_reset_epc(usb3);
 757         if (usb3->disabled_count < 3)
 758                 usb3_start_usb3_connection(usb3);
 759         else
 760                 usb3_start_usb2_connection(usb3);
 761 }
 762
 763 static void usb3_irq_epc_int_1_vbus_change(struct renesas_usb3 *usb3)
 764 {
 765         usb3_check_vbus(usb3);
 766 }
 767
 768 static void usb3_irq_epc_int_1_hot_reset(struct renesas_usb3 *usb3)
 769 {
 770         usb3_reset_epc(usb3);
 771         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 772
 773         /* This bit shall be set within 12ms from the start of HotReset */
 774         usb3_set_bit(usb3, USB30_CON_B3_HOTRST_CMP, USB3_USB30_CON);
 775 }
 776
 777 static void usb3_irq_epc_int_1_warm_reset(struct renesas_usb3 *usb3)
 778 {
 779         usb3_reset_epc(usb3);
 780         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 781
 782         usb3_start_operation_for_usb3(usb3);
 783         usb3_enable_irq_1(usb3, USB_INT_1_SPEED);
 784 }
 785
 786 static void usb3_irq_epc_int_1_speed(struct renesas_usb3 *usb3)
 787 {
 788         u32 speed = usb3_read(usb3, USB3_USB_STA) & USB_STA_SPEED_MASK;
 789
 790         switch (speed) {
 791         case USB_STA_SPEED_SS:
 792                 usb3->gadget.speed = USB_SPEED_SUPER;
 793                 usb3->gadget.ep0->maxpacket = USB3_EP0_SS_MAX_PACKET_SIZE;
 794                 break;
 795         case USB_STA_SPEED_HS:
 796                 usb3->gadget.speed = USB_SPEED_HIGH;
 797                 usb3->gadget.ep0->maxpacket = USB3_EP0_HSFS_MAX_PACKET_SIZE;
 798                 break;
 799         case USB_STA_SPEED_FS:
 800                 usb3->gadget.speed = USB_SPEED_FULL;
 801                 usb3->gadget.ep0->maxpacket = USB3_EP0_HSFS_MAX_PACKET_SIZE;
 802                 break;
 803         default:
 804                 usb3->gadget.speed = USB_SPEED_UNKNOWN;
 805                 break;
 806         }
 807 }
 808
 809 static void usb3_irq_epc_int_1(struct renesas_usb3 *usb3, u32 int_sta_1)
 810 {
 811         if (int_sta_1 & USB_INT_1_B3_PLLWKUP)
 812                 usb3_irq_epc_int_1_pll_wakeup(usb3);
 813
 814         if (int_sta_1 & USB_INT_1_B3_LUPSUCS)
 815                 usb3_irq_epc_int_1_linkup_success(usb3);
 816
 817         if (int_sta_1 & USB_INT_1_B3_HOTRST)
 818                 usb3_irq_epc_int_1_hot_reset(usb3);
 819
 820         if (int_sta_1 & USB_INT_1_B3_WRMRST)
 821                 usb3_irq_epc_int_1_warm_reset(usb3);
 822
 823         if (int_sta_1 & USB_INT_1_B3_DISABLE)
 824                 usb3_irq_epc_int_1_disable(usb3);
 825
 826         if (int_sta_1 & USB_INT_1_B2_USBRST)
 827                 usb3_irq_epc_int_1_bus_reset(usb3);
 828
 829         if (int_sta_1 & USB_INT_1_B2_RSUM)
 830                 usb3_irq_epc_int_1_resume(usb3);
 831
 832         if (int_sta_1 & USB_INT_1_SPEED)
 833                 usb3_irq_epc_int_1_speed(usb3);
 834
 835         if (int_sta_1 & USB_INT_1_VBUS_CNG)
 836                 usb3_irq_epc_int_1_vbus_change(usb3);
 837 }
 838
 839 static struct renesas_usb3_request *__usb3_get_request(struct renesas_usb3_ep
 840                                                        *usb3_ep)
 841 {
 842         return list_first_entry_or_null(&usb3_ep->queue,
 843                                         struct renesas_usb3_request, queue);
 844 }
 845
 846 static struct renesas_usb3_request *usb3_get_request(struct renesas_usb3_ep
 847                                                      *usb3_ep)
 848 {
 849         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
 850         struct renesas_usb3_request *usb3_req;
 851         unsigned long flags;
 852
 853         spin_lock_irqsave(&usb3->lock, flags);
 854         usb3_req = __usb3_get_request(usb3_ep);
 855         spin_unlock_irqrestore(&usb3->lock, flags);
 856
 857         return usb3_req;
 858 }
 859
 860 static void __usb3_request_done(struct renesas_usb3_ep *usb3_ep,
 861                                 struct renesas_usb3_request *usb3_req,
 862                                 int status)
 863 {
 864         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
 865
 866         dev_dbg(usb3_to_dev(usb3), "giveback: ep%2d, %u, %u, %d\n",
 867                 usb3_ep->num, usb3_req->req.length, usb3_req->req.actual,
 868                 status);
 869         usb3_req->req.status = status;
 870         usb3_ep->started = false;
 871         list_del_init(&usb3_req->queue);
 872         spin_unlock(&usb3->lock);
 873         usb_gadget_giveback_request(&usb3_ep->ep, &usb3_req->req);
 874         spin_lock(&usb3->lock);
 875 }
 876
 877 static void usb3_request_done(struct renesas_usb3_ep *usb3_ep,
 878                               struct renesas_usb3_request *usb3_req, int status)
 879 {
 880         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
 881         unsigned long flags;
 882
 883         spin_lock_irqsave(&usb3->lock, flags);
 884         __usb3_request_done(usb3_ep, usb3_req, status);
 885         spin_unlock_irqrestore(&usb3->lock, flags);
 886 }
 887
 888 static void usb3_irq_epc_pipe0_status_end(struct renesas_usb3 *usb3)
 889 {
 890         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
 891         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
 892
 893         if (usb3_req)
 894                 usb3_request_done(usb3_ep, usb3_req, 0);
 895         if (usb3->test_mode)
 896                 usb3_set_test_mode(usb3);
 897 }
 898
 899 static void usb3_get_setup_data(struct renesas_usb3 *usb3,
 900                                 struct usb_ctrlrequest *ctrl)
 901 {
 902         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
 903         u32 *data = (u32 *)ctrl;
 904
 905         *data++ = usb3_read(usb3, USB3_STUP_DAT_0);
 906         *data = usb3_read(usb3, USB3_STUP_DAT_1);
 907
 908         /* update this driver's flag */
 909         usb3_ep->dir_in = !!(ctrl->bRequestType & USB_DIR_IN);
 910 }
 911
 912 static void usb3_set_p0_con_update_res(struct renesas_usb3 *usb3, u32 res)
 913 {
 914         u32 val = usb3_read(usb3, USB3_P0_CON);
 915
 916         val &= ~(P0_CON_ST_RES_MASK | P0_CON_OT_RES_MASK | P0_CON_IN_RES_MASK);
 917         val |= res | P0_CON_RES_WEN;
 918         usb3_write(usb3, val, USB3_P0_CON);
 919 }
 920
 921 static void usb3_set_p0_con_for_ctrl_read_data(struct renesas_usb3 *usb3)
 922 {
 923         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_NRDY |
 924                                    P0_CON_OT_RES_FORCE_STALL |
 925                                    P0_CON_IN_RES_NORMAL);
 926 }
 927
 928 static void usb3_set_p0_con_for_ctrl_read_status(struct renesas_usb3 *usb3)
 929 {
 930         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_NORMAL |
 931                                    P0_CON_OT_RES_FORCE_STALL |
 932                                    P0_CON_IN_RES_NORMAL);
 933 }
 934
 935 static void usb3_set_p0_con_for_ctrl_write_data(struct renesas_usb3 *usb3)
 936 {
 937         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_NRDY |
 938                                    P0_CON_OT_RES_NORMAL |
 939                                    P0_CON_IN_RES_FORCE_STALL);
 940 }
 941
 942 static void usb3_set_p0_con_for_ctrl_write_status(struct renesas_usb3 *usb3)
 943 {
 944         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_NORMAL |
 945                                    P0_CON_OT_RES_NORMAL |
 946                                    P0_CON_IN_RES_FORCE_STALL);
 947 }
 948
 949 static void usb3_set_p0_con_for_no_data(struct renesas_usb3 *usb3)
 950 {
 951         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_NORMAL |
 952                                    P0_CON_OT_RES_FORCE_STALL |
 953                                    P0_CON_IN_RES_FORCE_STALL);
 954 }
 955
 956 static void usb3_set_p0_con_stall(struct renesas_usb3 *usb3)
 957 {
 958         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_STALL |
 959                                    P0_CON_OT_RES_FORCE_STALL |
 960                                    P0_CON_IN_RES_FORCE_STALL);
 961 }
 962
 963 static void usb3_set_p0_con_stop(struct renesas_usb3 *usb3)
 964 {
 965         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_NRDY |
 966                                    P0_CON_OT_RES_FORCE_NRDY |
 967                                    P0_CON_IN_RES_FORCE_NRDY);
 968 }
 969
 970 static int usb3_pn_change(struct renesas_usb3 *usb3, int num)
 971 {
 972         if (num == 0 || num > usb3->num_usb3_eps)
 973                 return -ENXIO;
 974
 975         usb3_write(usb3, num, USB3_PIPE_COM);
 976
 977         return 0;
 978 }
 979
 980 static void usb3_set_pn_con_update_res(struct renesas_usb3 *usb3, u32 res)
 981 {
 982         u32 val = usb3_read(usb3, USB3_PN_CON);
 983
 984         val &= ~PN_CON_RES_MASK;
 985         val |= res & PN_CON_RES_MASK;
 986         val |= PN_CON_RES_WEN;
 987         usb3_write(usb3, val, USB3_PN_CON);
 988 }
 989
 990 static void usb3_pn_start(struct renesas_usb3 *usb3)
 991 {
 992         usb3_set_pn_con_update_res(usb3, PN_CON_RES_NORMAL);
 993 }
 994
 995 static void usb3_pn_stop(struct renesas_usb3 *usb3)
 996 {
 997         usb3_set_pn_con_update_res(usb3, PN_CON_RES_FORCE_NRDY);
 998 }
 999
1000 static void usb3_pn_stall(struct renesas_usb3 *usb3)
1001 {
1002         usb3_set_pn_con_update_res(usb3, PN_CON_RES_FORCE_STALL);
1003 }
1004
1005 static int usb3_pn_con_clear(struct renesas_usb3 *usb3)
1006 {
1007         usb3_set_bit(usb3, PN_CON_CLR, USB3_PN_CON);
1008
1009         return usb3_wait(usb3, USB3_PN_CON, PN_CON_CLR, 0);
1010 }
1011
1012 static bool usb3_is_transfer_complete(struct renesas_usb3_ep *usb3_ep,
1013                                       struct renesas_usb3_request *usb3_req)
1014 {
1015         struct usb_request *req = &usb3_req->req;
1016
1017         if ((!req->zero && req->actual == req->length) ||
1018             (req->actual % usb3_ep->ep.maxpacket) || (req->length == 0))
1019                 return true;
1020         else
1021                 return false;
1022 }
1023
1024 static int usb3_wait_pipe_status(struct renesas_usb3_ep *usb3_ep, u32 mask)
1025 {
1026         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1027         u32 sta_reg = usb3_ep->num ? USB3_PN_STA : USB3_P0_STA;
1028
1029         return usb3_wait(usb3, sta_reg, mask, mask);
1030 }
1031
1032 static void usb3_set_px_con_send(struct renesas_usb3_ep *usb3_ep, int bytes,
1033                                  bool last)
1034 {
1035         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1036         u32 con_reg = usb3_ep->num ? USB3_PN_CON : USB3_P0_CON;
1037         u32 val = usb3_read(usb3, con_reg);
1038
1039         val |= PX_CON_SEND | PX_CON_BYTE_EN_BYTES(bytes);
1040         val |= (usb3_ep->num && last) ? PN_CON_LAST : 0;
1041         usb3_write(usb3, val, con_reg);
1042 }
1043
1044 static int usb3_write_pipe(struct renesas_usb3_ep *usb3_ep,
1045                            struct renesas_usb3_request *usb3_req,
1046                            u32 fifo_reg)
1047 {
1048         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1049         int i;
1050         int len = min_t(unsigned, usb3_req->req.length - usb3_req->req.actual,
1051                         usb3_ep->ep.maxpacket);
1052         u8 *buf = usb3_req->req.buf + usb3_req->req.actual;
1053         u32 tmp = 0;
1054         bool is_last = !len ? true : false;
1055
1056         if (usb3_wait_pipe_status(usb3_ep, PX_STA_BUFSTS) < 0)
1057                 return -EBUSY;
1058
1059         /* Update gadget driver parameter */
1060         usb3_req->req.actual += len;
1061
1062         /* Write data to the register */
1063         if (len >= 4) {
1064                 iowrite32_rep(usb3->reg + fifo_reg, buf, len / 4);
1065                 buf += (len / 4) * 4;
1066                 len %= 4;       /* update len to use usb3_set_pX_con_send() */
1067         }
1068
1069         if (len) {
1070                 for (i = 0; i < len; i++)
1071                         tmp |= buf[i] << (8 * i);
1072                 usb3_write(usb3, tmp, fifo_reg);
1073         }
1074
1075         if (!is_last)
1076                 is_last = usb3_is_transfer_complete(usb3_ep, usb3_req);
1077         /* Send the data */
1078         usb3_set_px_con_send(usb3_ep, len, is_last);
1079
1080         return is_last ? 0 : -EAGAIN;
1081 }
1082
1083 static u32 usb3_get_received_length(struct renesas_usb3_ep *usb3_ep)
1084 {
1085         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1086         u32 lng_reg = usb3_ep->num ? USB3_PN_LNG : USB3_P0_LNG;
1087
1088         return usb3_read(usb3, lng_reg);
1089 }
1090
1091 static int usb3_read_pipe(struct renesas_usb3_ep *usb3_ep,
1092                           struct renesas_usb3_request *usb3_req, u32 fifo_reg)
1093 {
1094         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1095         int i;
1096         int len = min_t(unsigned, usb3_req->req.length - usb3_req->req.actual,
1097                         usb3_get_received_length(usb3_ep));
1098         u8 *buf = usb3_req->req.buf + usb3_req->req.actual;
1099         u32 tmp = 0;
1100
1101         if (!len)
1102                 return 0;
1103
1104         /* Update gadget driver parameter */
1105         usb3_req->req.actual += len;
1106
1107         /* Read data from the register */
1108         if (len >= 4) {
1109                 ioread32_rep(usb3->reg + fifo_reg, buf, len / 4);
1110                 buf += (len / 4) * 4;
1111                 len %= 4;
1112         }
1113
1114         if (len) {
1115                 tmp = usb3_read(usb3, fifo_reg);
1116                 for (i = 0; i < len; i++)
1117                         buf[i] = (tmp >> (8 * i)) & 0xff;
1118         }
1119
1120         return usb3_is_transfer_complete(usb3_ep, usb3_req) ? 0 : -EAGAIN;
1121 }
1122
1123 static void usb3_set_status_stage(struct renesas_usb3_ep *usb3_ep,
1124                                   struct renesas_usb3_request *usb3_req)
1125 {
1126         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1127
1128         if (usb3_ep->dir_in) {
1129                 usb3_set_p0_con_for_ctrl_read_status(usb3);
1130         } else {
1131                 if (!usb3_req->req.length)
1132                         usb3_set_p0_con_for_no_data(usb3);
1133                 else
1134                         usb3_set_p0_con_for_ctrl_write_status(usb3);
1135         }
1136 }
1137
1138 static void usb3_p0_xfer(struct renesas_usb3_ep *usb3_ep,
1139                          struct renesas_usb3_request *usb3_req)
1140 {
1141         int ret = -EAGAIN;
1142
1143         if (usb3_ep->dir_in)
1144                 ret = usb3_write_pipe(usb3_ep, usb3_req, USB3_P0_WRITE);
1145         else
1146                 ret = usb3_read_pipe(usb3_ep, usb3_req, USB3_P0_READ);
1147
1148         if (!ret)
1149                 usb3_set_status_stage(usb3_ep, usb3_req);
1150 }
1151
1152 static void usb3_start_pipe0(struct renesas_usb3_ep *usb3_ep,
1153                              struct renesas_usb3_request *usb3_req)
1154 {
1155         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1156
1157         if (usb3_ep->started)
1158                 return;
1159
1160         usb3_ep->started = true;
1161
1162         if (usb3_ep->dir_in) {
1163                 usb3_set_bit(usb3, P0_MOD_DIR, USB3_P0_MOD);
1164                 usb3_set_p0_con_for_ctrl_read_data(usb3);
1165         } else {
1166                 usb3_clear_bit(usb3, P0_MOD_DIR, USB3_P0_MOD);
1167                 if (usb3_req->req.length)
1168                         usb3_set_p0_con_for_ctrl_write_data(usb3);
1169         }
1170
1171         usb3_p0_xfer(usb3_ep, usb3_req);
1172 }
1173
1174 static void usb3_enable_dma_pipen(struct renesas_usb3 *usb3)
1175 {
1176         usb3_set_bit(usb3, PN_CON_DATAIF_EN, USB3_PN_CON);
1177 }
1178
1179 static void usb3_disable_dma_pipen(struct renesas_usb3 *usb3)
1180 {
1181         usb3_clear_bit(usb3, PN_CON_DATAIF_EN, USB3_PN_CON);
1182 }
1183
1184 static void usb3_enable_dma_irq(struct renesas_usb3 *usb3, int num)
1185 {
1186         usb3_set_bit(usb3, DMA_INT(num), USB3_DMA_INT_ENA);
1187 }
1188
1189 static void usb3_disable_dma_irq(struct renesas_usb3 *usb3, int num)
1190 {
1191         usb3_clear_bit(usb3, DMA_INT(num), USB3_DMA_INT_ENA);
1192 }
1193
1194 static u32 usb3_dma_mps_to_prd_word1(struct renesas_usb3_ep *usb3_ep)
1195 {
1196         switch (usb3_ep->ep.maxpacket) {
1197         case 8:
1198                 return USB3_PRD1_MPS_8;
1199         case 16:
1200                 return USB3_PRD1_MPS_16;
1201         case 32:
1202                 return USB3_PRD1_MPS_32;
1203         case 64:
1204                 return USB3_PRD1_MPS_64;
1205         case 512:
1206                 return USB3_PRD1_MPS_512;
1207         case 1024:
1208                 return USB3_PRD1_MPS_1024;
1209         default:
1210                 return USB3_PRD1_MPS_RESERVED;
1211         }
1212 }
1213
1214 static bool usb3_dma_get_setting_area(struct renesas_usb3_ep *usb3_ep,
1215                                       struct renesas_usb3_request *usb3_req)
1216 {
1217         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1218         struct renesas_usb3_dma *dma;
1219         int i;
1220         bool ret = false;
1221
1222         if (usb3_req->req.length > USB3_DMA_MAX_XFER_SIZE_ALL_PRDS) {
1223                 dev_dbg(usb3_to_dev(usb3), "%s: the length is too big (%d)\n",
1224                         __func__, usb3_req->req.length);
1225                 return false;
1226         }
1227
1228         /* The driver doesn't handle zero-length packet via dmac */
1229         if (!usb3_req->req.length)
1230                 return false;
1231
1232         if (usb3_dma_mps_to_prd_word1(usb3_ep) == USB3_PRD1_MPS_RESERVED)
1233                 return false;
1234
1235         usb3_for_each_dma(usb3, dma, i) {
1236                 if (dma->used)
1237                         continue;
1238
1239                 if (usb_gadget_map_request(&usb3->gadget, &usb3_req->req,
1240                                            usb3_ep->dir_in) < 0)
1241                         break;
1242
1243                 dma->used = true;
1244                 usb3_ep->dma = dma;
1245                 ret = true;
1246                 break;
1247         }
1248
1249         return ret;
1250 }
1251
1252 static void usb3_dma_put_setting_area(struct renesas_usb3_ep *usb3_ep,
1253                                       struct renesas_usb3_request *usb3_req)
1254 {
1255         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1256         int i;
1257         struct renesas_usb3_dma *dma;
1258
1259         usb3_for_each_dma(usb3, dma, i) {
1260                 if (usb3_ep->dma == dma) {
1261                         usb_gadget_unmap_request(&usb3->gadget, &usb3_req->req,
1262                                                  usb3_ep->dir_in);
1263                         dma->used = false;
1264                         usb3_ep->dma = NULL;
1265                         break;
1266                 }
1267         }
1268 }
1269
1270 static void usb3_dma_fill_prd(struct renesas_usb3_ep *usb3_ep,
1271                               struct renesas_usb3_request *usb3_req)
1272 {
1273         struct renesas_usb3_prd *cur_prd = usb3_ep->dma->prd;
1274         u32 remain = usb3_req->req.length;
1275         u32 dma = usb3_req->req.dma;
1276         u32 len;
1277         int i = 0;
1278
1279         do {
1280                 len = min_t(u32, remain, USB3_DMA_MAX_XFER_SIZE) &
1281                             USB3_PRD1_SIZE_MASK;
1282                 cur_prd->word1 = usb3_dma_mps_to_prd_word1(usb3_ep) |
1283                                  USB3_PRD1_B_INC | len;
1284                 cur_prd->bap = dma;
1285                 remain -= len;
1286                 dma += len;
1287                 if (!remain || (i + 1) < USB3_DMA_NUM_PRD_ENTRIES)
1288                         break;
1289
1290                 cur_prd++;
1291                 i++;
1292         } while (1);
1293
1294         cur_prd->word1 |= USB3_PRD1_E | USB3_PRD1_INT;
1295         if (usb3_ep->dir_in)
1296                 cur_prd->word1 |= USB3_PRD1_LST;
1297 }
1298
1299 static void usb3_dma_kick_prd(struct renesas_usb3_ep *usb3_ep)
1300 {
1301         struct renesas_usb3_dma *dma = usb3_ep->dma;
1302         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1303         u32 dma_con = DMA_COM_PIPE_NO(usb3_ep->num) | DMA_CON_PRD_EN;
1304
1305         if (usb3_ep->dir_in)
1306                 dma_con |= DMA_CON_PIPE_DIR;
1307
1308         wmb();  /* prd entries should be in system memory here */
1309
1310         usb3_write(usb3, 1 << usb3_ep->num, USB3_DMA_INT_STA);
1311         usb3_write(usb3, AXI_INT_PRDEN_CLR_STA(dma->num) |
1312                    AXI_INT_PRDERR_STA(dma->num), USB3_AXI_INT_STA);
1313
1314         usb3_write(usb3, dma->prd_dma, USB3_DMA_CH0_PRD_ADR(dma->num));
1315         usb3_write(usb3, dma_con, USB3_DMA_CH0_CON(dma->num));
1316         usb3_enable_dma_irq(usb3, usb3_ep->num);
1317 }
1318
1319 static void usb3_dma_stop_prd(struct renesas_usb3_ep *usb3_ep)
1320 {
1321         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1322         struct renesas_usb3_dma *dma = usb3_ep->dma;
1323
1324         usb3_disable_dma_irq(usb3, usb3_ep->num);
1325         usb3_write(usb3, 0, USB3_DMA_CH0_CON(dma->num));
1326 }
1327
1328 static int usb3_dma_update_status(struct renesas_usb3_ep *usb3_ep,
1329                                   struct renesas_usb3_request *usb3_req)
1330 {
1331         struct renesas_usb3_prd *cur_prd = usb3_ep->dma->prd;
1332         struct usb_request *req = &usb3_req->req;
1333         u32 remain, len;
1334         int i = 0;
1335         int status = 0;
1336
1337         rmb();  /* The controller updated prd entries */
1338
1339         do {
1340                 if (cur_prd->word1 & USB3_PRD1_D)
1341                         status = -EIO;
1342                 if (cur_prd->word1 & USB3_PRD1_E)
1343                         len = req->length % USB3_DMA_MAX_XFER_SIZE;
1344                 else
1345                         len = USB3_DMA_MAX_XFER_SIZE;
1346                 remain = cur_prd->word1 & USB3_PRD1_SIZE_MASK;
1347                 req->actual += len - remain;
1348
1349                 if (cur_prd->word1 & USB3_PRD1_E ||
1350                     (i + 1) < USB3_DMA_NUM_PRD_ENTRIES)
1351                         break;
1352
1353                 cur_prd++;
1354                 i++;
1355         } while (1);
1356
1357         return status;
1358 }
1359
1360 static bool usb3_dma_try_start(struct renesas_usb3_ep *usb3_ep,
1361                                struct renesas_usb3_request *usb3_req)
1362 {
1363         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1364
1365         if (!use_dma)
1366                 return false;
1367
1368         if (usb3_dma_get_setting_area(usb3_ep, usb3_req)) {
1369                 usb3_pn_stop(usb3);
1370                 usb3_enable_dma_pipen(usb3);
1371                 usb3_dma_fill_prd(usb3_ep, usb3_req);
1372                 usb3_dma_kick_prd(usb3_ep);
1373                 usb3_pn_start(usb3);
1374                 return true;
1375         }
1376
1377         return false;
1378 }
1379
1380 static int usb3_dma_try_stop(struct renesas_usb3_ep *usb3_ep,
1381                              struct renesas_usb3_request *usb3_req)
1382 {
1383         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1384         unsigned long flags;
1385         int status = 0;
1386
1387         spin_lock_irqsave(&usb3->lock, flags);
1388         if (!usb3_ep->dma)
1389                 goto out;
1390
1391         if (!usb3_pn_change(usb3, usb3_ep->num))
1392                 usb3_disable_dma_pipen(usb3);
1393         usb3_dma_stop_prd(usb3_ep);
1394         status = usb3_dma_update_status(usb3_ep, usb3_req);
1395         usb3_dma_put_setting_area(usb3_ep, usb3_req);
1396
1397 out:
1398         spin_unlock_irqrestore(&usb3->lock, flags);
1399         return status;
1400 }
1401
1402 static int renesas_usb3_dma_free_prd(struct renesas_usb3 *usb3,
1403                                      struct device *dev)
1404 {
1405         int i;
1406         struct renesas_usb3_dma *dma;
1407
1408         usb3_for_each_dma(usb3, dma, i) {
1409                 if (dma->prd) {
1410                         dma_free_coherent(dev, USB3_DMA_PRD_SIZE,
1411                                           dma->prd, dma->prd_dma);
1412                         dma->prd = NULL;
1413                 }
1414         }
1415
1416         return 0;
1417 }
1418
1419 static int renesas_usb3_dma_alloc_prd(struct renesas_usb3 *usb3,
1420                                       struct device *dev)
1421 {
1422         int i;
1423         struct renesas_usb3_dma *dma;
1424
1425         if (!use_dma)
1426                 return 0;
1427
1428         usb3_for_each_dma(usb3, dma, i) {
1429                 dma->prd = dma_alloc_coherent(dev, USB3_DMA_PRD_SIZE,
1430                                               &dma->prd_dma, GFP_KERNEL);
1431                 if (!dma->prd) {
1432                         renesas_usb3_dma_free_prd(usb3, dev);
1433                         return -ENOMEM;
1434                 }
1435                 dma->num = i + 1;
1436         }
1437
1438         return 0;
1439 }
1440
1441 static void usb3_start_pipen(struct renesas_usb3_ep *usb3_ep,
1442                              struct renesas_usb3_request *usb3_req)
1443 {
1444         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1445         struct renesas_usb3_request *usb3_req_first;
1446         unsigned long flags;
1447         int ret = -EAGAIN;
1448         u32 enable_bits = 0;
1449
1450         spin_lock_irqsave(&usb3->lock, flags);
1451         if (usb3_ep->halt || usb3_ep->started)
1452                 goto out;
1453         usb3_req_first = __usb3_get_request(usb3_ep);
1454         if (!usb3_req_first || usb3_req != usb3_req_first)
1455                 goto out;
1456
1457         if (usb3_pn_change(usb3, usb3_ep->num) < 0)
1458                 goto out;
1459
1460         usb3_ep->started = true;
1461
1462         if (usb3_dma_try_start(usb3_ep, usb3_req))
1463                 goto out;
1464
1465         usb3_pn_start(usb3);
1466
1467         if (usb3_ep->dir_in) {
1468                 ret = usb3_write_pipe(usb3_ep, usb3_req, USB3_PN_WRITE);
1469                 enable_bits |= PN_INT_LSTTR;
1470         }
1471
1472         if (ret < 0)
1473                 enable_bits |= PN_INT_BFRDY;
1474
1475         if (enable_bits) {
1476                 usb3_set_bit(usb3, enable_bits, USB3_PN_INT_ENA);
1477                 usb3_enable_pipe_irq(usb3, usb3_ep->num);
1478         }
1479 out:
1480         spin_unlock_irqrestore(&usb3->lock, flags);
1481 }
1482
1483 static int renesas_usb3_ep_queue(struct usb_ep *_ep, struct usb_request *_req,
1484                                  gfp_t gfp_flags)
1485 {
1486         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
1487         struct renesas_usb3_request *usb3_req = usb_req_to_usb3_req(_req);
1488         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1489         unsigned long flags;
1490
1491         dev_dbg(usb3_to_dev(usb3), "ep_queue: ep%2d, %u\n", usb3_ep->num,
1492                 _req->length);
1493
1494         _req->status = -EINPROGRESS;
1495         _req->actual = 0;
1496         spin_lock_irqsave(&usb3->lock, flags);
1497         list_add_tail(&usb3_req->queue, &usb3_ep->queue);
1498         spin_unlock_irqrestore(&usb3->lock, flags);
1499
1500         if (!usb3_ep->num)
1501                 usb3_start_pipe0(usb3_ep, usb3_req);
1502         else
1503                 usb3_start_pipen(usb3_ep, usb3_req);
1504
1505         return 0;
1506 }
1507
1508 static void usb3_set_device_address(struct renesas_usb3 *usb3, u16 addr)
1509 {
1510         /* DEV_ADDR bit field is cleared by WarmReset, HotReset and BusReset */
1511         usb3_set_bit(usb3, USB_COM_CON_DEV_ADDR(addr), USB3_USB_COM_CON);
1512 }
1513
1514 static bool usb3_std_req_set_address(struct renesas_usb3 *usb3,
1515                                      struct usb_ctrlrequest *ctrl)
1516 {
1517         if (ctrl->wValue >= 128)
1518                 return true;    /* stall */
1519
1520         usb3_set_device_address(usb3, ctrl->wValue);
1521         usb3_set_p0_con_for_no_data(usb3);
1522
1523         return false;
1524 }
1525
1526 static void usb3_pipe0_internal_xfer(struct renesas_usb3 *usb3,
1527                                      void *tx_data, size_t len,
1528                                      void (*complete)(struct usb_ep *ep,
1529                                                       struct usb_request *req))
1530 {
1531         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
1532
1533         if (tx_data)
1534                 memcpy(usb3->ep0_buf, tx_data,
1535                        min_t(size_t, len, USB3_EP0_BUF_SIZE));
1536
1537         usb3->ep0_req->buf = &usb3->ep0_buf;
1538         usb3->ep0_req->length = len;
1539         usb3->ep0_req->complete = complete;
1540         renesas_usb3_ep_queue(&usb3_ep->ep, usb3->ep0_req, GFP_ATOMIC);
1541 }
1542
1543 static void usb3_pipe0_get_status_completion(struct usb_ep *ep,
1544                                              struct usb_request *req)
1545 {
1546 }
1547
1548 static bool usb3_std_req_get_status(struct renesas_usb3 *usb3,
1549                                     struct usb_ctrlrequest *ctrl)
1550 {
1551         bool stall = false;
1552         struct renesas_usb3_ep *usb3_ep;
1553         int num;
1554         u16 status = 0;
1555
1556         switch (ctrl->bRequestType & USB_RECIP_MASK) {
1557         case USB_RECIP_DEVICE:
1558                 if (usb3->gadget.is_selfpowered)
1559                         status |= 1 << USB_DEVICE_SELF_POWERED;
1560                 if (usb3->gadget.speed == USB_SPEED_SUPER)
1561                         status |= usb3_feature_get_un_enabled(usb3);
1562                 break;
1563         case USB_RECIP_INTERFACE:
1564                 break;
1565         case USB_RECIP_ENDPOINT:
1566                 num = le16_to_cpu(ctrl->wIndex) & USB_ENDPOINT_NUMBER_MASK;
1567                 usb3_ep = usb3_get_ep(usb3, num);
1568                 if (usb3_ep->halt)
1569                         status |= 1 << USB_ENDPOINT_HALT;
1570                 break;
1571         default:
1572                 stall = true;
1573                 break;
1574         }
1575
1576         if (!stall) {
1577                 status = cpu_to_le16(status);
1578                 dev_dbg(usb3_to_dev(usb3), "get_status: req = %p\n",
1579                         usb_req_to_usb3_req(usb3->ep0_req));
1580                 usb3_pipe0_internal_xfer(usb3, &status, sizeof(status),
1581                                          usb3_pipe0_get_status_completion);
1582         }
1583
1584         return stall;
1585 }
1586
1587 static bool usb3_std_req_feature_device(struct renesas_usb3 *usb3,
1588                                         struct usb_ctrlrequest *ctrl, bool set)
1589 {
1590         bool stall = true;
1591         u16 w_value = le16_to_cpu(ctrl->wValue);
1592
1593         switch (w_value) {
1594         case USB_DEVICE_TEST_MODE:
1595                 if (!set)
1596                         break;
1597                 usb3->test_mode = le16_to_cpu(ctrl->wIndex) >> 8;
1598                 stall = false;
1599                 break;
1600         case USB_DEVICE_U1_ENABLE:
1601         case USB_DEVICE_U2_ENABLE:
1602                 if (usb3->gadget.speed != USB_SPEED_SUPER)
1603                         break;
1604                 if (w_value == USB_DEVICE_U1_ENABLE)
1605                         usb3_feature_u1_enable(usb3, set);
1606                 if (w_value == USB_DEVICE_U2_ENABLE)
1607                         usb3_feature_u2_enable(usb3, set);
1608                 stall = false;
1609                 break;
1610         default:
1611                 break;
1612         }
1613
1614         return stall;
1615 }
1616
1617 static int usb3_set_halt_p0(struct renesas_usb3_ep *usb3_ep, bool halt)
1618 {
1619         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1620
1621         if (unlikely(usb3_ep->num))
1622                 return -EINVAL;
1623
1624         usb3_ep->halt = halt;
1625         if (halt)
1626                 usb3_set_p0_con_stall(usb3);
1627         else
1628                 usb3_set_p0_con_stop(usb3);
1629
1630         return 0;
1631 }
1632
1633 static int usb3_set_halt_pn(struct renesas_usb3_ep *usb3_ep, bool halt,
1634                             bool is_clear_feature)
1635 {
1636         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1637         unsigned long flags;
1638
1639         spin_lock_irqsave(&usb3->lock, flags);
1640         if (!usb3_pn_change(usb3, usb3_ep->num)) {
1641                 usb3_ep->halt = halt;
1642                 if (halt) {
1643                         usb3_pn_stall(usb3);
1644                 } else if (!is_clear_feature || !usb3_ep->wedge) {
1645                         usb3_pn_con_clear(usb3);
1646                         usb3_set_bit(usb3, PN_CON_EN, USB3_PN_CON);
1647                         usb3_pn_stop(usb3);
1648                 }
1649         }
1650         spin_unlock_irqrestore(&usb3->lock, flags);
1651
1652         return 0;
1653 }
1654
1655 static int usb3_set_halt(struct renesas_usb3_ep *usb3_ep, bool halt,
1656                          bool is_clear_feature)
1657 {
1658         int ret = 0;
1659
1660         if (halt && usb3_ep->started)
1661                 return -EAGAIN;
1662
1663         if (usb3_ep->num)
1664                 ret = usb3_set_halt_pn(usb3_ep, halt, is_clear_feature);
1665         else
1666                 ret = usb3_set_halt_p0(usb3_ep, halt);
1667
1668         return ret;
1669 }
1670
1671 static bool usb3_std_req_feature_endpoint(struct renesas_usb3 *usb3,
1672                                           struct usb_ctrlrequest *ctrl,
1673                                           bool set)
1674 {
1675         int num = le16_to_cpu(ctrl->wIndex) & USB_ENDPOINT_NUMBER_MASK;
1676         struct renesas_usb3_ep *usb3_ep;
1677         struct renesas_usb3_request *usb3_req;
1678
1679         if (le16_to_cpu(ctrl->wValue) != USB_ENDPOINT_HALT)
1680                 return true;    /* stall */
1681
1682         usb3_ep = usb3_get_ep(usb3, num);
1683         usb3_set_halt(usb3_ep, set, true);
1684
1685         /* Restarts a queue if clear feature */
1686         if (!set) {
1687                 usb3_ep->started = false;
1688                 usb3_req = usb3_get_request(usb3_ep);
1689                 if (usb3_req)
1690                         usb3_start_pipen(usb3_ep, usb3_req);
1691         }
1692
1693         return false;
1694 }
1695
1696 static bool usb3_std_req_feature(struct renesas_usb3 *usb3,
1697                                  struct usb_ctrlrequest *ctrl, bool set)
1698 {
1699         bool stall = false;
1700
1701         switch (ctrl->bRequestType & USB_RECIP_MASK) {
1702         case USB_RECIP_DEVICE:
1703                 stall = usb3_std_req_feature_device(usb3, ctrl, set);
1704                 break;
1705         case USB_RECIP_INTERFACE:
1706                 break;
1707         case USB_RECIP_ENDPOINT:
1708                 stall = usb3_std_req_feature_endpoint(usb3, ctrl, set);
1709                 break;
1710         default:
1711                 stall = true;
1712                 break;
1713         }
1714
1715         if (!stall)
1716                 usb3_set_p0_con_for_no_data(usb3);
1717
1718         return stall;
1719 }
1720
1721 static void usb3_pipe0_set_sel_completion(struct usb_ep *ep,
1722                                           struct usb_request *req)
1723 {
1724         /* TODO */
1725 }
1726
1727 static bool usb3_std_req_set_sel(struct renesas_usb3 *usb3,
1728                                  struct usb_ctrlrequest *ctrl)
1729 {
1730         u16 w_length = le16_to_cpu(ctrl->wLength);
1731
1732         if (w_length != 6)
1733                 return true;    /* stall */
1734
1735         dev_dbg(usb3_to_dev(usb3), "set_sel: req = %p\n",
1736                 usb_req_to_usb3_req(usb3->ep0_req));
1737         usb3_pipe0_internal_xfer(usb3, NULL, 6, usb3_pipe0_set_sel_completion);
1738
1739         return false;
1740 }
1741
1742 static bool usb3_std_req_set_configuration(struct renesas_usb3 *usb3,
1743                                            struct usb_ctrlrequest *ctrl)
1744 {
1745         if (ctrl->wValue > 0)
1746                 usb3_set_bit(usb3, USB_COM_CON_CONF, USB3_USB_COM_CON);
1747         else
1748                 usb3_clear_bit(usb3, USB_COM_CON_CONF, USB3_USB_COM_CON);
1749
1750         return false;
1751 }
1752
1753 /**
1754  * usb3_handle_standard_request - handle some standard requests
1755  * @usb3: the renesas_usb3 pointer
1756  * @ctrl: a pointer of setup data
1757  *
1758  * Returns true if this function handled a standard request
1759  */
1760 static bool usb3_handle_standard_request(struct renesas_usb3 *usb3,
1761                                          struct usb_ctrlrequest *ctrl)
1762 {
1763         bool ret = false;
1764         bool stall = false;
1765
1766         if ((ctrl->bRequestType & USB_TYPE_MASK) == USB_TYPE_STANDARD) {
1767                 switch (ctrl->bRequest) {
1768                 case USB_REQ_SET_ADDRESS:
1769                         stall = usb3_std_req_set_address(usb3, ctrl);
1770                         ret = true;
1771                         break;
1772                 case USB_REQ_GET_STATUS:
1773                         stall = usb3_std_req_get_status(usb3, ctrl);
1774                         ret = true;
1775                         break;
1776                 case USB_REQ_CLEAR_FEATURE:
1777                         stall = usb3_std_req_feature(usb3, ctrl, false);
1778                         ret = true;
1779                         break;
1780                 case USB_REQ_SET_FEATURE:
1781                         stall = usb3_std_req_feature(usb3, ctrl, true);
1782                         ret = true;
1783                         break;
1784                 case USB_REQ_SET_SEL:
1785                         stall = usb3_std_req_set_sel(usb3, ctrl);
1786                         ret = true;
1787                         break;
1788                 case USB_REQ_SET_ISOCH_DELAY:
1789                         /* This hardware doesn't support Isochronous xfer */
1790                         stall = true;
1791                         ret = true;
1792                         break;
1793                 case USB_REQ_SET_CONFIGURATION:
1794                         usb3_std_req_set_configuration(usb3, ctrl);
1795                         break;
1796                 default:
1797                         break;
1798                 }
1799         }
1800
1801         if (stall)
1802                 usb3_set_p0_con_stall(usb3);
1803
1804         return ret;
1805 }
1806
1807 static int usb3_p0_con_clear_buffer(struct renesas_usb3 *usb3)
1808 {
1809         usb3_set_bit(usb3, P0_CON_BCLR, USB3_P0_CON);
1810
1811         return usb3_wait(usb3, USB3_P0_CON, P0_CON_BCLR, 0);
1812 }
1813
1814 static void usb3_irq_epc_pipe0_setup(struct renesas_usb3 *usb3)
1815 {
1816         struct usb_ctrlrequest ctrl;
1817         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
1818
1819         /* Call giveback function if previous transfer is not completed */
1820         if (usb3_ep->started)
1821                 usb3_request_done(usb3_ep, usb3_get_request(usb3_ep),
1822                                   -ECONNRESET);
1823
1824         usb3_p0_con_clear_buffer(usb3);
1825         usb3_get_setup_data(usb3, &ctrl);
1826         if (!usb3_handle_standard_request(usb3, &ctrl))
1827                 if (usb3->driver->setup(&usb3->gadget, &ctrl) < 0)
1828                         usb3_set_p0_con_stall(usb3);
1829 }
1830
1831 static void usb3_irq_epc_pipe0_bfrdy(struct renesas_usb3 *usb3)
1832 {
1833         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
1834         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
1835
1836         if (!usb3_req)
1837                 return;
1838
1839         usb3_p0_xfer(usb3_ep, usb3_req);
1840 }
1841
1842 static void usb3_irq_epc_pipe0(struct renesas_usb3 *usb3)
1843 {
1844         u32 p0_int_sta = usb3_read(usb3, USB3_P0_INT_STA);
1845
1846         p0_int_sta &= usb3_read(usb3, USB3_P0_INT_ENA);
1847         usb3_write(usb3, p0_int_sta, USB3_P0_INT_STA);
1848         if (p0_int_sta & P0_INT_STSED)
1849                 usb3_irq_epc_pipe0_status_end(usb3);
1850         if (p0_int_sta & P0_INT_SETUP)
1851                 usb3_irq_epc_pipe0_setup(usb3);
1852         if (p0_int_sta & P0_INT_BFRDY)
1853                 usb3_irq_epc_pipe0_bfrdy(usb3);
1854 }
1855
1856 static void usb3_request_done_pipen(struct renesas_usb3 *usb3,
1857                                     struct renesas_usb3_ep *usb3_ep,
1858                                     struct renesas_usb3_request *usb3_req,
1859                                     int status)
1860 {
1861         unsigned long flags;
1862
1863         spin_lock_irqsave(&usb3->lock, flags);
1864         if (usb3_pn_change(usb3, usb3_ep->num))
1865                 usb3_pn_stop(usb3);
1866         spin_unlock_irqrestore(&usb3->lock, flags);
1867
1868         usb3_disable_pipe_irq(usb3, usb3_ep->num);
1869         usb3_request_done(usb3_ep, usb3_req, status);
1870
1871         /* get next usb3_req */
1872         usb3_req = usb3_get_request(usb3_ep);
1873         if (usb3_req)
1874                 usb3_start_pipen(usb3_ep, usb3_req);
1875 }
1876
1877 static void usb3_irq_epc_pipen_lsttr(struct renesas_usb3 *usb3, int num)
1878 {
1879         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, num);
1880         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
1881
1882         if (!usb3_req)
1883                 return;
1884
1885         if (usb3_ep->dir_in) {
1886                 dev_dbg(usb3_to_dev(usb3), "%s: len = %u, actual = %u\n",
1887                         __func__, usb3_req->req.length, usb3_req->req.actual);
1888                 usb3_request_done_pipen(usb3, usb3_ep, usb3_req, 0);
1889         }
1890 }
1891
1892 static void usb3_irq_epc_pipen_bfrdy(struct renesas_usb3 *usb3, int num)
1893 {
1894         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, num);
1895         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
1896         bool done = false;
1897
1898         if (!usb3_req)
1899                 return;
1900
1901         spin_lock(&usb3->lock);
1902         if (usb3_pn_change(usb3, num))
1903                 goto out;
1904
1905         if (usb3_ep->dir_in) {
1906                 /* Do not stop the IN pipe here to detect LSTTR interrupt */
1907                 if (!usb3_write_pipe(usb3_ep, usb3_req, USB3_PN_WRITE))
1908                         usb3_clear_bit(usb3, PN_INT_BFRDY, USB3_PN_INT_ENA);
1909         } else {
1910                 if (!usb3_read_pipe(usb3_ep, usb3_req, USB3_PN_READ))
1911                         done = true;
1912         }
1913
1914 out:
1915         /* need to unlock because usb3_request_done_pipen() locks it */
1916         spin_unlock(&usb3->lock);
1917
1918         if (done)
1919                 usb3_request_done_pipen(usb3, usb3_ep, usb3_req, 0);
1920 }
1921
1922 static void usb3_irq_epc_pipen(struct renesas_usb3 *usb3, int num)
1923 {
1924         u32 pn_int_sta;
1925
1926         spin_lock(&usb3->lock);
1927         if (usb3_pn_change(usb3, num) < 0) {
1928                 spin_unlock(&usb3->lock);
1929                 return;
1930         }
1931
1932         pn_int_sta = usb3_read(usb3, USB3_PN_INT_STA);
1933         pn_int_sta &= usb3_read(usb3, USB3_PN_INT_ENA);
1934         usb3_write(usb3, pn_int_sta, USB3_PN_INT_STA);
1935         spin_unlock(&usb3->lock);
1936         if (pn_int_sta & PN_INT_LSTTR)
1937                 usb3_irq_epc_pipen_lsttr(usb3, num);
1938         if (pn_int_sta & PN_INT_BFRDY)
1939                 usb3_irq_epc_pipen_bfrdy(usb3, num);
1940 }
1941
1942 static void usb3_irq_epc_int_2(struct renesas_usb3 *usb3, u32 int_sta_2)
1943 {
1944         int i;
1945
1946         for (i = 0; i < usb3->num_usb3_eps; i++) {
1947                 if (int_sta_2 & USB_INT_2_PIPE(i)) {
1948                         if (!i)
1949                                 usb3_irq_epc_pipe0(usb3);
1950                         else
1951                                 usb3_irq_epc_pipen(usb3, i);
1952                 }
1953         }
1954 }
1955
1956 static void usb3_irq_idmon_change(struct renesas_usb3 *usb3)
1957 {
1958         usb3_check_id(usb3);
1959 }
1960
1961 static void usb3_irq_otg_int(struct renesas_usb3 *usb3, u32 otg_int_sta)
1962 {
1963         if (otg_int_sta & USB_OTG_IDMON)
1964                 usb3_irq_idmon_change(usb3);
1965 }
1966
1967 static void usb3_irq_epc(struct renesas_usb3 *usb3)
1968 {
1969         u32 int_sta_1 = usb3_read(usb3, USB3_USB_INT_STA_1);
1970         u32 int_sta_2 = usb3_read(usb3, USB3_USB_INT_STA_2);
1971         u32 otg_int_sta = usb3_read(usb3, USB3_USB_OTG_INT_STA);
1972
1973         int_sta_1 &= usb3_read(usb3, USB3_USB_INT_ENA_1);
1974         if (int_sta_1) {
1975                 usb3_write(usb3, int_sta_1, USB3_USB_INT_STA_1);
1976                 usb3_irq_epc_int_1(usb3, int_sta_1);
1977         }
1978
1979         int_sta_2 &= usb3_read(usb3, USB3_USB_INT_ENA_2);
1980         if (int_sta_2)
1981                 usb3_irq_epc_int_2(usb3, int_sta_2);
1982
1983         otg_int_sta &= usb3_read(usb3, USB3_USB_OTG_INT_ENA);
1984         if (otg_int_sta) {
1985                 usb3_write(usb3, otg_int_sta, USB3_USB_OTG_INT_STA);
1986                 usb3_irq_otg_int(usb3, otg_int_sta);
1987         }
1988 }
1989
1990 static void usb3_irq_dma_int(struct renesas_usb3 *usb3, u32 dma_sta)
1991 {
1992         struct renesas_usb3_ep *usb3_ep;
1993         struct renesas_usb3_request *usb3_req;
1994         int i, status;
1995
1996         for (i = 0; i < usb3->num_usb3_eps; i++) {
1997                 if (!(dma_sta & DMA_INT(i)))
1998                         continue;
1999
2000                 usb3_ep = usb3_get_ep(usb3, i);
2001                 if (!(usb3_read(usb3, USB3_AXI_INT_STA) &
2002                     AXI_INT_PRDEN_CLR_STA(usb3_ep->dma->num)))
2003                         continue;
2004
2005                 usb3_req = usb3_get_request(usb3_ep);
2006                 status = usb3_dma_try_stop(usb3_ep, usb3_req);
2007                 usb3_request_done_pipen(usb3, usb3_ep, usb3_req, status);
2008         }
2009 }
2010
2011 static void usb3_irq_dma(struct renesas_usb3 *usb3)
2012 {
2013         u32 dma_sta = usb3_read(usb3, USB3_DMA_INT_STA);
2014
2015         dma_sta &= usb3_read(usb3, USB3_DMA_INT_ENA);
2016         if (dma_sta) {
2017                 usb3_write(usb3, dma_sta, USB3_DMA_INT_STA);
2018                 usb3_irq_dma_int(usb3, dma_sta);
2019         }
2020 }
2021
2022 static irqreturn_t renesas_usb3_irq(int irq, void *_usb3)
2023 {
2024         struct renesas_usb3 *usb3 = _usb3;
2025         irqreturn_t ret = IRQ_NONE;
2026         u32 axi_int_sta = usb3_read(usb3, USB3_AXI_INT_STA);
2027
2028         if (axi_int_sta & AXI_INT_DMAINT) {
2029                 usb3_irq_dma(usb3);
2030                 ret = IRQ_HANDLED;
2031         }
2032
2033         if (axi_int_sta & AXI_INT_EPCINT) {
2034                 usb3_irq_epc(usb3);
2035                 ret = IRQ_HANDLED;
2036         }
2037
2038         return ret;
2039 }
2040
2041 static void usb3_write_pn_mod(struct renesas_usb3_ep *usb3_ep,
2042                               const struct usb_endpoint_descriptor *desc)
2043 {
2044         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2045         u32 val = 0;
2046
2047         val |= usb3_ep->dir_in ? PN_MOD_DIR : 0;
2048         val |= PN_MOD_TYPE(usb_endpoint_type(desc));
2049         val |= PN_MOD_EPNUM(usb_endpoint_num(desc));
2050         usb3_write(usb3, val, USB3_PN_MOD);
2051 }
2052
2053 static u32 usb3_calc_ramarea(int ram_size)
2054 {
2055         WARN_ON(ram_size > SZ_16K);
2056
2057         if (ram_size <= SZ_1K)
2058                 return PN_RAMMAP_RAMAREA_1KB;
2059         else if (ram_size <= SZ_2K)
2060                 return PN_RAMMAP_RAMAREA_2KB;
2061         else if (ram_size <= SZ_4K)
2062                 return PN_RAMMAP_RAMAREA_4KB;
2063         else if (ram_size <= SZ_8K)
2064                 return PN_RAMMAP_RAMAREA_8KB;
2065         else
2066                 return PN_RAMMAP_RAMAREA_16KB;
2067 }
2068
2069 static u32 usb3_calc_rammap_val(struct renesas_usb3_ep *usb3_ep,
2070                                 const struct usb_endpoint_descriptor *desc)
2071 {
2072         int i;
2073         const u32 max_packet_array[] = {8, 16, 32, 64, 512};
2074         u32 mpkt = PN_RAMMAP_MPKT(1024);
2075
2076         for (i = 0; i < ARRAY_SIZE(max_packet_array); i++) {
2077                 if (usb_endpoint_maxp(desc) <= max_packet_array[i])
2078                         mpkt = PN_RAMMAP_MPKT(max_packet_array[i]);
2079         }
2080
2081         return usb3_ep->rammap_val | mpkt;
2082 }
2083
2084 static int usb3_enable_pipe_n(struct renesas_usb3_ep *usb3_ep,
2085                               const struct usb_endpoint_descriptor *desc)
2086 {
2087         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2088         unsigned long flags;
2089
2090         usb3_ep->dir_in = usb_endpoint_dir_in(desc);
2091
2092         spin_lock_irqsave(&usb3->lock, flags);
2093         if (!usb3_pn_change(usb3, usb3_ep->num)) {
2094                 usb3_write_pn_mod(usb3_ep, desc);
2095                 usb3_write(usb3, usb3_calc_rammap_val(usb3_ep, desc),
2096                            USB3_PN_RAMMAP);
2097                 usb3_pn_con_clear(usb3);
2098                 usb3_set_bit(usb3, PN_CON_EN, USB3_PN_CON);
2099         }
2100         spin_unlock_irqrestore(&usb3->lock, flags);
2101
2102         return 0;
2103 }
2104
2105 static int usb3_disable_pipe_n(struct renesas_usb3_ep *usb3_ep)
2106 {
2107         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2108         unsigned long flags;
2109
2110         usb3_ep->halt = false;
2111
2112         spin_lock_irqsave(&usb3->lock, flags);
2113         if (!usb3_pn_change(usb3, usb3_ep->num)) {
2114                 usb3_write(usb3, 0, USB3_PN_INT_ENA);
2115                 usb3_write(usb3, 0, USB3_PN_RAMMAP);
2116                 usb3_clear_bit(usb3, PN_CON_EN, USB3_PN_CON);
2117         }
2118         spin_unlock_irqrestore(&usb3->lock, flags);
2119
2120         return 0;
2121 }
2122
2123 /*------- usb_ep_ops -----------------------------------------------------*/
2124 static int renesas_usb3_ep_enable(struct usb_ep *_ep,
2125                                   const struct usb_endpoint_descriptor *desc)
2126 {
2127         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2128
2129         return usb3_enable_pipe_n(usb3_ep, desc);
2130 }
2131
2132 static int renesas_usb3_ep_disable(struct usb_ep *_ep)
2133 {
2134         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2135         struct renesas_usb3_request *usb3_req;
2136
2137         do {
2138                 usb3_req = usb3_get_request(usb3_ep);
2139                 if (!usb3_req)
2140                         break;
2141                 usb3_dma_try_stop(usb3_ep, usb3_req);
2142                 usb3_request_done(usb3_ep, usb3_req, -ESHUTDOWN);
2143         } while (1);
2144
2145         return usb3_disable_pipe_n(usb3_ep);
2146 }
2147
2148 static struct usb_request *__renesas_usb3_ep_alloc_request(gfp_t gfp_flags)
2149 {
2150         struct renesas_usb3_request *usb3_req;
2151
2152         usb3_req = kzalloc(sizeof(struct renesas_usb3_request), gfp_flags);
2153         if (!usb3_req)
2154                 return NULL;
2155
2156         INIT_LIST_HEAD(&usb3_req->queue);
2157
2158         return &usb3_req->req;
2159 }
2160
2161 static void __renesas_usb3_ep_free_request(struct usb_request *_req)
2162 {
2163         struct renesas_usb3_request *usb3_req = usb_req_to_usb3_req(_req);
2164
2165         kfree(usb3_req);
2166 }
2167
2168 static struct usb_request *renesas_usb3_ep_alloc_request(struct usb_ep *_ep,
2169                                                          gfp_t gfp_flags)
2170 {
2171         return __renesas_usb3_ep_alloc_request(gfp_flags);
2172 }
2173
2174 static void renesas_usb3_ep_free_request(struct usb_ep *_ep,
2175                                          struct usb_request *_req)
2176 {
2177         __renesas_usb3_ep_free_request(_req);
2178 }
2179
2180 static int renesas_usb3_ep_dequeue(struct usb_ep *_ep, struct usb_request *_req)
2181 {
2182         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2183         struct renesas_usb3_request *usb3_req = usb_req_to_usb3_req(_req);
2184         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2185
2186         dev_dbg(usb3_to_dev(usb3), "ep_dequeue: ep%2d, %u\n", usb3_ep->num,
2187                 _req->length);
2188
2189         usb3_dma_try_stop(usb3_ep, usb3_req);
2190         usb3_request_done_pipen(usb3, usb3_ep, usb3_req, -ECONNRESET);
2191
2192         return 0;
2193 }
2194
2195 static int renesas_usb3_ep_set_halt(struct usb_ep *_ep, int value)
2196 {
2197         return usb3_set_halt(usb_ep_to_usb3_ep(_ep), !!value, false);
2198 }
2199
2200 static int renesas_usb3_ep_set_wedge(struct usb_ep *_ep)
2201 {
2202         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2203
2204         usb3_ep->wedge = true;
2205         return usb3_set_halt(usb3_ep, true, false);
2206 }
2207
2208 static void renesas_usb3_ep_fifo_flush(struct usb_ep *_ep)
2209 {
2210         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2211         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2212         unsigned long flags;
2213
2214         if (usb3_ep->num) {
2215                 spin_lock_irqsave(&usb3->lock, flags);
2216                 if (!usb3_pn_change(usb3, usb3_ep->num)) {
2217                         usb3_pn_con_clear(usb3);
2218                         usb3_set_bit(usb3, PN_CON_EN, USB3_PN_CON);
2219                 }
2220                 spin_unlock_irqrestore(&usb3->lock, flags);
2221         } else {
2222                 usb3_p0_con_clear_buffer(usb3);
2223         }
2224 }
2225
2226 static const struct usb_ep_ops renesas_usb3_ep_ops = {
2227         .enable         = renesas_usb3_ep_enable,
2228         .disable        = renesas_usb3_ep_disable,
2229
2230         .alloc_request  = renesas_usb3_ep_alloc_request,
2231         .free_request   = renesas_usb3_ep_free_request,
2232
2233         .queue          = renesas_usb3_ep_queue,
2234         .dequeue        = renesas_usb3_ep_dequeue,
2235
2236         .set_halt       = renesas_usb3_ep_set_halt,
2237         .set_wedge      = renesas_usb3_ep_set_wedge,
2238         .fifo_flush     = renesas_usb3_ep_fifo_flush,
2239 };
2240
2241 /*------- usb_gadget_ops -------------------------------------------------*/
2242 static int renesas_usb3_start(struct usb_gadget *gadget,
2243                               struct usb_gadget_driver *driver)
2244 {
2245         struct renesas_usb3 *usb3;
2246
2247         if (!driver || driver->max_speed < USB_SPEED_FULL ||
2248             !driver->setup)
2249                 return -EINVAL;
2250
2251         usb3 = gadget_to_renesas_usb3(gadget);
2252
2253         /* hook up the driver */
2254         usb3->driver = driver;
2255
2256         pm_runtime_enable(usb3_to_dev(usb3));
2257         pm_runtime_get_sync(usb3_to_dev(usb3));
2258
2259         renesas_usb3_init_controller(usb3);
2260
2261         return 0;
2262 }
2263
2264 static int renesas_usb3_stop(struct usb_gadget *gadget)
2265 {
2266         struct renesas_usb3 *usb3 = gadget_to_renesas_usb3(gadget);
2267
2268         usb3->softconnect = false;
2269         usb3->gadget.speed = USB_SPEED_UNKNOWN;
2270         usb3->driver = NULL;
2271         renesas_usb3_stop_controller(usb3);
2272
2273         pm_runtime_put(usb3_to_dev(usb3));
2274         pm_runtime_disable(usb3_to_dev(usb3));
2275
2276         return 0;
2277 }
2278
2279 static int renesas_usb3_get_frame(struct usb_gadget *_gadget)
2280 {
2281         return -EOPNOTSUPP;
2282 }
2283
2284 static int renesas_usb3_pullup(struct usb_gadget *gadget, int is_on)
2285 {
2286         struct renesas_usb3 *usb3 = gadget_to_renesas_usb3(gadget);
2287
2288         usb3->softconnect = !!is_on;
2289
2290         return 0;
2291 }
2292
2293 static int renesas_usb3_set_selfpowered(struct usb_gadget *gadget, int is_self)
2294 {
2295         gadget->is_selfpowered = !!is_self;
2296
2297         return 0;
2298 }
2299
2300 static const struct usb_gadget_ops renesas_usb3_gadget_ops = {
2301         .get_frame              = renesas_usb3_get_frame,
2302         .udc_start              = renesas_usb3_start,
2303         .udc_stop               = renesas_usb3_stop,
2304         .pullup                 = renesas_usb3_pullup,
2305         .set_selfpowered        = renesas_usb3_set_selfpowered,
2306 };
2307
2308 static ssize_t role_store(struct device *dev, struct device_attribute *attr,
2309                           const char *buf, size_t count)
2310 {
2311         struct renesas_usb3 *usb3 = dev_get_drvdata(dev);
2312         bool new_mode_is_host;
2313
2314         if (!usb3->driver)
2315                 return -ENODEV;
2316
2317         if (usb3->forced_b_device)
2318                 return -EBUSY;
2319
2320         if (sysfs_streq(buf, "host"))
2321                 new_mode_is_host = true;
2322         else if (sysfs_streq(buf, "peripheral"))
2323                 new_mode_is_host = false;
2324         else
2325                 return -EINVAL;
2326
2327         if (new_mode_is_host == usb3_is_host(usb3))
2328                 return -EINVAL;
2329
2330         usb3_mode_config(usb3, new_mode_is_host, usb3_is_a_device(usb3));
2331
2332         return count;
2333 }
2334
2335 static ssize_t role_show(struct device *dev, struct device_attribute *attr,
2336                          char *buf)
2337 {
2338         struct renesas_usb3 *usb3 = dev_get_drvdata(dev);
2339
2340         if (!usb3->driver)
2341                 return -ENODEV;
2342
2343         return sprintf(buf, "%s\n", usb3_is_host(usb3) ? "host" : "peripheral");
2344 }
2345 static DEVICE_ATTR_RW(role);
2346
2347 static int renesas_usb3_b_device_show(struct seq_file *s, void *unused)
2348 {
2349         struct renesas_usb3 *usb3 = s->private;
2350
2351         seq_printf(s, "%d\n", usb3->forced_b_device);
2352
2353         return 0;
2354 }
2355
2356 static int renesas_usb3_b_device_open(struct inode *inode, struct file *file)
2357 {
2358         return single_open(file, renesas_usb3_b_device_show, inode->i_private);
2359 }
2360
2361 static ssize_t renesas_usb3_b_device_write(struct file *file,
2362                                            const char __user *ubuf,
2363                                            size_t count, loff_t *ppos)
2364 {
2365         struct seq_file *s = file->private_data;
2366         struct renesas_usb3 *usb3 = s->private;
2367         char buf[32];
2368
2369         if (!usb3->driver)
2370                 return -ENODEV;
2371
2372         if (copy_from_user(&buf, ubuf, min_t(size_t, sizeof(buf) - 1, count)))
2373                 return -EFAULT;
2374
2375         usb3->start_to_connect = false;
2376         if (usb3->workaround_for_vbus && usb3->forced_b_device &&
2377             !strncmp(buf, "2", 1))
2378                 usb3->start_to_connect = true;
2379         else if (!strncmp(buf, "1", 1))
2380                 usb3->forced_b_device = true;
2381         else
2382                 usb3->forced_b_device = false;
2383
2384         if (usb3->workaround_for_vbus)
2385                 usb3_disconnect(usb3);
2386
2387         /* Let this driver call usb3_connect() if needed */
2388         usb3_check_id(usb3);
2389
2390         return count;
2391 }
2392
2393 static const struct file_operations renesas_usb3_b_device_fops = {
2394         .open = renesas_usb3_b_device_open,
2395         .write = renesas_usb3_b_device_write,
2396         .read = seq_read,
2397         .llseek = seq_lseek,
2398         .release = single_release,
2399 };
2400
2401 static void renesas_usb3_debugfs_init(struct renesas_usb3 *usb3,
2402                                       struct device *dev)
2403 {
2404         struct dentry *root, *file;
2405
2406         root = debugfs_create_dir(dev_name(dev), NULL);
2407         if (IS_ERR_OR_NULL(root)) {
2408                 dev_info(dev, "%s: Can't create the root\n", __func__);
2409                 return;
2410         }
2411
2412         file = debugfs_create_file("b_device", 0644, root, usb3,
2413                                    &renesas_usb3_b_device_fops);
2414         if (!file) {
2415                 dev_info(dev, "%s: Can't create debugfs mode\n", __func__);
2416                 debugfs_remove_recursive(root);
2417         } else {
2418                 usb3->dentry = root;
2419         }
2420 }
2421
2422 /*------- platform_driver ------------------------------------------------*/
2423 static int renesas_usb3_remove(struct platform_device *pdev)
2424 {
2425         struct renesas_usb3 *usb3 = platform_get_drvdata(pdev);
2426
2427         debugfs_remove_recursive(usb3->dentry);
2428         device_remove_file(&pdev->dev, &dev_attr_role);
2429
2430         usb_del_gadget_udc(&usb3->gadget);
2431         renesas_usb3_dma_free_prd(usb3, &pdev->dev);
2432
2433         __renesas_usb3_ep_free_request(usb3->ep0_req);
2434
2435         return 0;
2436 }
2437
2438 static int renesas_usb3_init_ep(struct renesas_usb3 *usb3, struct device *dev,
2439                                 const struct renesas_usb3_priv *priv)
2440 {
2441         struct renesas_usb3_ep *usb3_ep;
2442         int i;
2443
2444         /* calculate num_usb3_eps from renesas_usb3_priv */
2445         usb3->num_usb3_eps = priv->ramsize_per_ramif * priv->num_ramif * 2 /
2446                              priv->ramsize_per_pipe + 1;
2447
2448         if (usb3->num_usb3_eps > USB3_MAX_NUM_PIPES)
2449                 usb3->num_usb3_eps = USB3_MAX_NUM_PIPES;
2450
2451         usb3->usb3_ep = devm_kzalloc(dev, sizeof(*usb3_ep) * usb3->num_usb3_eps,
2452                                      GFP_KERNEL);
2453         if (!usb3->usb3_ep)
2454                 return -ENOMEM;
2455
2456         dev_dbg(dev, "%s: num_usb3_eps = %d\n", __func__, usb3->num_usb3_eps);
2457         /*
2458          * This driver prepares pipes as follows:
2459          *  - odd pipes = IN pipe
2460          *  - even pipes = OUT pipe (except pipe 0)
2461          */
2462         usb3_for_each_ep(usb3_ep, usb3, i) {
2463                 snprintf(usb3_ep->ep_name, sizeof(usb3_ep->ep_name), "ep%d", i);
2464                 usb3_ep->usb3 = usb3;
2465                 usb3_ep->num = i;
2466                 usb3_ep->ep.name = usb3_ep->ep_name;
2467                 usb3_ep->ep.ops = &renesas_usb3_ep_ops;
2468                 INIT_LIST_HEAD(&usb3_ep->queue);
2469                 INIT_LIST_HEAD(&usb3_ep->ep.ep_list);
2470                 if (!i) {
2471                         /* for control pipe */
2472                         usb3->gadget.ep0 = &usb3_ep->ep;
2473                         usb_ep_set_maxpacket_limit(&usb3_ep->ep,
2474                                                 USB3_EP0_SS_MAX_PACKET_SIZE);
2475                         usb3_ep->ep.caps.type_control = true;
2476                         usb3_ep->ep.caps.dir_in = true;
2477                         usb3_ep->ep.caps.dir_out = true;
2478                         continue;
2479                 }
2480
2481                 /* for bulk or interrupt pipe */
2482                 usb_ep_set_maxpacket_limit(&usb3_ep->ep, ~0);
2483                 list_add_tail(&usb3_ep->ep.ep_list, &usb3->gadget.ep_list);
2484                 usb3_ep->ep.caps.type_bulk = true;
2485                 usb3_ep->ep.caps.type_int = true;
2486                 if (i & 1)
2487                         usb3_ep->ep.caps.dir_in = true;
2488                 else
2489                         usb3_ep->ep.caps.dir_out = true;
2490         }
2491
2492         return 0;
2493 }
2494
2495 static void renesas_usb3_init_ram(struct renesas_usb3 *usb3, struct device *dev,
2496                                   const struct renesas_usb3_priv *priv)
2497 {
2498         struct renesas_usb3_ep *usb3_ep;
2499         int i;
2500         u32 ramif[2], basead[2];        /* index 0 = for IN pipes */
2501         u32 *cur_ramif, *cur_basead;
2502         u32 val;
2503
2504         memset(ramif, 0, sizeof(ramif));
2505         memset(basead, 0, sizeof(basead));
2506
2507         /*
2508          * This driver prepares pipes as follows:
2509          *  - all pipes = the same size as "ramsize_per_pipe"
2510          * Please refer to the "Method of Specifying RAM Mapping"
2511          */
2512         usb3_for_each_ep(usb3_ep, usb3, i) {
2513                 if (!i)
2514                         continue;       /* out of scope if ep num = 0 */
2515                 if (usb3_ep->ep.caps.dir_in) {
2516                         cur_ramif = &ramif[0];
2517                         cur_basead = &basead[0];
2518                 } else {
2519                         cur_ramif = &ramif[1];
2520                         cur_basead = &basead[1];
2521                 }
2522
2523                 if (*cur_basead > priv->ramsize_per_ramif)
2524                         continue;       /* out of memory for IN or OUT pipe */
2525
2526                 /* calculate rammap_val */
2527                 val = PN_RAMMAP_RAMIF(*cur_ramif);
2528                 val |= usb3_calc_ramarea(priv->ramsize_per_pipe);
2529                 val |= PN_RAMMAP_BASEAD(*cur_basead);
2530                 usb3_ep->rammap_val = val;
2531
2532                 dev_dbg(dev, "ep%2d: val = %08x, ramif = %d, base = %x\n",
2533                         i, val, *cur_ramif, *cur_basead);
2534
2535                 /* update current ramif */
2536                 if (*cur_ramif + 1 == priv->num_ramif) {
2537                         *cur_ramif = 0;
2538                         *cur_basead += priv->ramsize_per_pipe;
2539                 } else {
2540                         (*cur_ramif)++;
2541                 }
2542         }
2543 }
2544
2545 static const struct renesas_usb3_priv renesas_usb3_priv_r8a7795_es1 = {
2546         .ramsize_per_ramif = SZ_16K,
2547         .num_ramif = 2,
2548         .ramsize_per_pipe = SZ_4K,
2549         .workaround_for_vbus = true,
2550 };
2551
2552 static const struct renesas_usb3_priv renesas_usb3_priv_gen3 = {
2553         .ramsize_per_ramif = SZ_16K,
2554         .num_ramif = 4,
2555         .ramsize_per_pipe = SZ_4K,
2556 };
2557
2558 static const struct of_device_id usb3_of_match[] = {
2559         {
2560                 .compatible = "renesas,r8a7795-usb3-peri",
2561                 .data = &renesas_usb3_priv_gen3,
2562         },
2563         {
2564                 .compatible = "renesas,rcar-gen3-usb3-peri",
2565                 .data = &renesas_usb3_priv_gen3,
2566         },
2567         { },
2568 };
2569 MODULE_DEVICE_TABLE(of, usb3_of_match);
2570
2571 static const struct soc_device_attribute renesas_usb3_quirks_match[] = {
2572         {
2573                 .soc_id = "r8a7795", .revision = "ES1.*",
2574                 .data = &renesas_usb3_priv_r8a7795_es1,
2575         },
2576         { /* sentinel */ },
2577 };
2578
2579 static const unsigned int renesas_usb3_cable[] = {
2580         EXTCON_USB,
2581         EXTCON_USB_HOST,
2582         EXTCON_NONE,
2583 };
2584
2585 static int renesas_usb3_probe(struct platform_device *pdev)
2586 {
2587         struct renesas_usb3 *usb3;
2588         struct resource *res;
2589         const struct of_device_id *match;
2590         int irq, ret;
2591         const struct renesas_usb3_priv *priv;
2592         const struct soc_device_attribute *attr;
2593
2594         match = of_match_node(usb3_of_match, pdev->dev.of_node);
2595         if (!match)
2596                 return -ENODEV;
2597
2598         attr = soc_device_match(renesas_usb3_quirks_match);
2599         if (attr)
2600                 priv = attr->data;
2601         else
2602                 priv = match->data;
2603
2604         irq = platform_get_irq(pdev, 0);
2605         if (irq < 0) {
2606                 dev_err(&pdev->dev, "Failed to get IRQ: %d\n", irq);
2607                 return irq;
2608         }
2609
2610         usb3 = devm_kzalloc(&pdev->dev, sizeof(*usb3), GFP_KERNEL);
2611         if (!usb3)
2612                 return -ENOMEM;
2613
2614         res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
2615         usb3->reg = devm_ioremap_resource(&pdev->dev, res);
2616         if (IS_ERR(usb3->reg))
2617                 return PTR_ERR(usb3->reg);
2618
2619         platform_set_drvdata(pdev, usb3);
2620         spin_lock_init(&usb3->lock);
2621
2622         usb3->gadget.ops = &renesas_usb3_gadget_ops;
2623         usb3->gadget.name = udc_name;
2624         usb3->gadget.max_speed = USB_SPEED_SUPER;
2625         INIT_LIST_HEAD(&usb3->gadget.ep_list);
2626         ret = renesas_usb3_init_ep(usb3, &pdev->dev, priv);
2627         if (ret < 0)
2628                 return ret;
2629         renesas_usb3_init_ram(usb3, &pdev->dev, priv);
2630
2631         ret = devm_request_irq(&pdev->dev, irq, renesas_usb3_irq, 0,
2632                                dev_name(&pdev->dev), usb3);
2633         if (ret < 0)
2634                 return ret;
2635
2636         INIT_WORK(&usb3->extcon_work, renesas_usb3_extcon_work);
2637         usb3->extcon = devm_extcon_dev_allocate(&pdev->dev, renesas_usb3_cable);
2638         if (IS_ERR(usb3->extcon))
2639                 return PTR_ERR(usb3->extcon);
2640
2641         ret = devm_extcon_dev_register(&pdev->dev, usb3->extcon);
2642         if (ret < 0) {
2643                 dev_err(&pdev->dev, "Failed to register extcon\n");
2644                 return ret;
2645         }
2646
2647         /* for ep0 handling */
2648         usb3->ep0_req = __renesas_usb3_ep_alloc_request(GFP_KERNEL);
2649         if (!usb3->ep0_req)
2650                 return -ENOMEM;
2651
2652         ret = renesas_usb3_dma_alloc_prd(usb3, &pdev->dev);
2653         if (ret < 0)
2654                 goto err_alloc_prd;
2655
2656         ret = usb_add_gadget_udc(&pdev->dev, &usb3->gadget);
2657         if (ret < 0)
2658                 goto err_add_udc;
2659
2660         ret = device_create_file(&pdev->dev, &dev_attr_role);
2661         if (ret < 0)
2662                 goto err_dev_create;
2663
2664         usb3->workaround_for_vbus = priv->workaround_for_vbus;
2665
2666         renesas_usb3_debugfs_init(usb3, &pdev->dev);
2667
2668         dev_info(&pdev->dev, "probed\n");
2669
2670         return 0;
2671
2672 err_dev_create:
2673         usb_del_gadget_udc(&usb3->gadget);
2674
2675 err_add_udc:
2676         renesas_usb3_dma_free_prd(usb3, &pdev->dev);
2677
2678 err_alloc_prd:
2679         __renesas_usb3_ep_free_request(usb3->ep0_req);
2680
2681         return ret;
2682 }
2683
2684 static struct platform_driver renesas_usb3_driver = {
2685         .probe          = renesas_usb3_probe,
2686         .remove         = renesas_usb3_remove,
2687         .driver         = {
2688                 .name = (char *)udc_name,
2689                 .of_match_table = of_match_ptr(usb3_of_match),
2690         },
2691 };
2692 module_platform_driver(renesas_usb3_driver);
2693
2694 MODULE_DESCRIPTION("Renesas USB3.0 Peripheral driver");
2695 MODULE_LICENSE("GPL v2");
2696 MODULE_AUTHOR("Yoshihiro Shimoda <yoshihiro.shimoda.uh@renesas.com>");
2697 MODULE_ALIAS("platform:renesas_usb3");