drivers/pci/host/pcie-iproc.c

   1 /*
   2  * Copyright (C) 2014 Hauke Mehrtens <hauke@hauke-m.de>
   3  * Copyright (C) 2015 Broadcom Corporation
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License as
   7  * published by the Free Software Foundation version 2.
   8  *
   9  * This program is distributed "as is" WITHOUT ANY WARRANTY of any
  10  * kind, whether express or implied; without even the implied warranty
  11  * of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  */
  14
  15 #include <linux/kernel.h>
  16 #include <linux/pci.h>
  17 #include <linux/msi.h>
  18 #include <linux/clk.h>
  19 #include <linux/module.h>
  20 #include <linux/mbus.h>
  21 #include <linux/slab.h>
  22 #include <linux/delay.h>
  23 #include <linux/interrupt.h>
  24 #include <linux/platform_device.h>
  25 #include <linux/of_address.h>
  26 #include <linux/of_pci.h>
  27 #include <linux/of_irq.h>
  28 #include <linux/of_platform.h>
  29 #include <linux/phy/phy.h>
  30
  31 #include "pcie-iproc.h"
  32
  33 #define EP_PERST_SOURCE_SELECT_SHIFT 2
  34 #define EP_PERST_SOURCE_SELECT       BIT(EP_PERST_SOURCE_SELECT_SHIFT)
  35 #define EP_MODE_SURVIVE_PERST_SHIFT  1
  36 #define EP_MODE_SURVIVE_PERST        BIT(EP_MODE_SURVIVE_PERST_SHIFT)
  37 #define RC_PCIE_RST_OUTPUT_SHIFT     0
  38 #define RC_PCIE_RST_OUTPUT           BIT(RC_PCIE_RST_OUTPUT_SHIFT)
  39 #define PAXC_RESET_MASK              0x7f
  40
  41 #define CFG_IND_ADDR_MASK            0x00001ffc
  42
  43 #define CFG_ADDR_BUS_NUM_SHIFT       20
  44 #define CFG_ADDR_BUS_NUM_MASK        0x0ff00000
  45 #define CFG_ADDR_DEV_NUM_SHIFT       15
  46 #define CFG_ADDR_DEV_NUM_MASK        0x000f8000
  47 #define CFG_ADDR_FUNC_NUM_SHIFT      12
  48 #define CFG_ADDR_FUNC_NUM_MASK       0x00007000
  49 #define CFG_ADDR_REG_NUM_SHIFT       2
  50 #define CFG_ADDR_REG_NUM_MASK        0x00000ffc
  51 #define CFG_ADDR_CFG_TYPE_SHIFT      0
  52 #define CFG_ADDR_CFG_TYPE_MASK       0x00000003
  53
  54 #define SYS_RC_INTX_MASK             0xf
  55
  56 #define PCIE_PHYLINKUP_SHIFT         3
  57 #define PCIE_PHYLINKUP               BIT(PCIE_PHYLINKUP_SHIFT)
  58 #define PCIE_DL_ACTIVE_SHIFT         2
  59 #define PCIE_DL_ACTIVE               BIT(PCIE_DL_ACTIVE_SHIFT)
  60
  61 #define OARR_VALID_SHIFT             0
  62 #define OARR_VALID                   BIT(OARR_VALID_SHIFT)
  63 #define OARR_SIZE_CFG_SHIFT          1
  64 #define OARR_SIZE_CFG                BIT(OARR_SIZE_CFG_SHIFT)
  65
  66 #define PCI_EXP_CAP                     0xac
  67
  68 #define MAX_NUM_OB_WINDOWS           2
  69
  70 #define IPROC_PCIE_REG_INVALID 0xffff
  71
  72 enum iproc_pcie_reg {
  73         IPROC_PCIE_CLK_CTRL = 0,
  74         IPROC_PCIE_CFG_IND_ADDR,
  75         IPROC_PCIE_CFG_IND_DATA,
  76         IPROC_PCIE_CFG_ADDR,
  77         IPROC_PCIE_CFG_DATA,
  78         IPROC_PCIE_INTX_EN,
  79         IPROC_PCIE_OARR_LO,
  80         IPROC_PCIE_OARR_HI,
  81         IPROC_PCIE_OMAP_LO,
  82         IPROC_PCIE_OMAP_HI,
  83         IPROC_PCIE_LINK_STATUS,
  84 };
  85
  86 /* iProc PCIe PAXB registers */
  87 static const u16 iproc_pcie_reg_paxb[] = {
  88         [IPROC_PCIE_CLK_CTRL]     = 0x000,
  89         [IPROC_PCIE_CFG_IND_ADDR] = 0x120,
  90         [IPROC_PCIE_CFG_IND_DATA] = 0x124,
  91         [IPROC_PCIE_CFG_ADDR]     = 0x1f8,
  92         [IPROC_PCIE_CFG_DATA]     = 0x1fc,
  93         [IPROC_PCIE_INTX_EN]      = 0x330,
  94         [IPROC_PCIE_OARR_LO]      = 0xd20,
  95         [IPROC_PCIE_OARR_HI]      = 0xd24,
  96         [IPROC_PCIE_OMAP_LO]      = 0xd40,
  97         [IPROC_PCIE_OMAP_HI]      = 0xd44,
  98         [IPROC_PCIE_LINK_STATUS]  = 0xf0c,
  99 };
 100
 101 /* iProc PCIe PAXC v1 registers */
 102 static const u16 iproc_pcie_reg_paxc[] = {
 103         [IPROC_PCIE_CLK_CTRL]     = 0x000,
 104         [IPROC_PCIE_CFG_IND_ADDR] = 0x1f0,
 105         [IPROC_PCIE_CFG_IND_DATA] = 0x1f4,
 106         [IPROC_PCIE_CFG_ADDR]     = 0x1f8,
 107         [IPROC_PCIE_CFG_DATA]     = 0x1fc,
 108         [IPROC_PCIE_INTX_EN]      = IPROC_PCIE_REG_INVALID,
 109         [IPROC_PCIE_OARR_LO]      = IPROC_PCIE_REG_INVALID,
 110         [IPROC_PCIE_OARR_HI]      = IPROC_PCIE_REG_INVALID,
 111         [IPROC_PCIE_OMAP_LO]      = IPROC_PCIE_REG_INVALID,
 112         [IPROC_PCIE_OMAP_HI]      = IPROC_PCIE_REG_INVALID,
 113         [IPROC_PCIE_LINK_STATUS]  = IPROC_PCIE_REG_INVALID,
 114 };
 115
 116 static inline struct iproc_pcie *iproc_data(struct pci_bus *bus)
 117 {
 118         struct iproc_pcie *pcie;
 119 #ifdef CONFIG_ARM
 120         struct pci_sys_data *sys = bus->sysdata;
 121
 122         pcie = sys->private_data;
 123 #else
 124         pcie = bus->sysdata;
 125 #endif
 126         return pcie;
 127 }
 128
 129 static inline bool iproc_pcie_reg_is_invalid(u16 reg_offset)
 130 {
 131         return !!(reg_offset == IPROC_PCIE_REG_INVALID);
 132 }
 133
 134 static inline u16 iproc_pcie_reg_offset(struct iproc_pcie *pcie,
 135                                         enum iproc_pcie_reg reg)
 136 {
 137         return pcie->reg_offsets[reg];
 138 }
 139
 140 static inline u32 iproc_pcie_read_reg(struct iproc_pcie *pcie,
 141                                       enum iproc_pcie_reg reg)
 142 {
 143         u16 offset = iproc_pcie_reg_offset(pcie, reg);
 144
 145         if (iproc_pcie_reg_is_invalid(offset))
 146                 return 0;
 147
 148         return readl(pcie->base + offset);
 149 }
 150
 151 static inline void iproc_pcie_write_reg(struct iproc_pcie *pcie,
 152                                         enum iproc_pcie_reg reg, u32 val)
 153 {
 154         u16 offset = iproc_pcie_reg_offset(pcie, reg);
 155
 156         if (iproc_pcie_reg_is_invalid(offset))
 157                 return;
 158
 159         writel(val, pcie->base + offset);
 160 }
 161
 162 static inline void iproc_pcie_ob_write(struct iproc_pcie *pcie,
 163                                        enum iproc_pcie_reg reg,
 164                                        unsigned window, u32 val)
 165 {
 166         u16 offset = iproc_pcie_reg_offset(pcie, reg);
 167
 168         if (iproc_pcie_reg_is_invalid(offset))
 169                 return;
 170
 171         writel(val, pcie->base + offset + (window * 8));
 172 }
 173
 174 /**
 175  * Note access to the configuration registers are protected at the higher layer
 176  * by 'pci_lock' in drivers/pci/access.c
 177  */
 178 static void __iomem *iproc_pcie_map_cfg_bus(struct pci_bus *bus,
 179                                             unsigned int devfn,
 180                                             int where)
 181 {
 182         struct iproc_pcie *pcie = iproc_data(bus);
 183         unsigned slot = PCI_SLOT(devfn);
 184         unsigned fn = PCI_FUNC(devfn);
 185         unsigned busno = bus->number;
 186         u32 val;
 187         u16 offset;
 188
 189         /* root complex access */
 190         if (busno == 0) {
 191                 if (slot > 0 || fn > 0)
 192                         return NULL;
 193
 194                 iproc_pcie_write_reg(pcie, IPROC_PCIE_CFG_IND_ADDR,
 195                                      where & CFG_IND_ADDR_MASK);
 196                 offset = iproc_pcie_reg_offset(pcie, IPROC_PCIE_CFG_IND_DATA);
 197                 if (iproc_pcie_reg_is_invalid(offset))
 198                         return NULL;
 199                 else
 200                         return (pcie->base + offset);
 201         }
 202
 203         /*
 204          * PAXC is connected to an internally emulated EP within the SoC.  It
 205          * allows only one device.
 206          */
 207         if (pcie->type == IPROC_PCIE_PAXC)
 208                 if (slot > 0)
 209                         return NULL;
 210
 211         /* EP device access */
 212         val = (busno << CFG_ADDR_BUS_NUM_SHIFT) |
 213                 (slot << CFG_ADDR_DEV_NUM_SHIFT) |
 214                 (fn << CFG_ADDR_FUNC_NUM_SHIFT) |
 215                 (where & CFG_ADDR_REG_NUM_MASK) |
 216                 (1 & CFG_ADDR_CFG_TYPE_MASK);
 217         iproc_pcie_write_reg(pcie, IPROC_PCIE_CFG_ADDR, val);
 218         offset = iproc_pcie_reg_offset(pcie, IPROC_PCIE_CFG_DATA);
 219         if (iproc_pcie_reg_is_invalid(offset))
 220                 return NULL;
 221         else
 222                 return (pcie->base + offset);
 223 }
 224
 225 static struct pci_ops iproc_pcie_ops = {
 226         .map_bus = iproc_pcie_map_cfg_bus,
 227         .read = pci_generic_config_read32,
 228         .write = pci_generic_config_write32,
 229 };
 230
 231 static void iproc_pcie_reset(struct iproc_pcie *pcie)
 232 {
 233         u32 val;
 234
 235         if (pcie->type == IPROC_PCIE_PAXC) {
 236                 val = iproc_pcie_read_reg(pcie, IPROC_PCIE_CLK_CTRL);
 237                 val &= ~PAXC_RESET_MASK;
 238                 iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);
 239                 udelay(100);
 240                 val |= PAXC_RESET_MASK;
 241                 iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);
 242                 udelay(100);
 243                 return;
 244         }
 245
 246         /*
 247          * Select perst_b signal as reset source. Put the device into reset,
 248          * and then bring it out of reset
 249          */
 250         val = iproc_pcie_read_reg(pcie, IPROC_PCIE_CLK_CTRL);
 251         val &= ~EP_PERST_SOURCE_SELECT & ~EP_MODE_SURVIVE_PERST &
 252                 ~RC_PCIE_RST_OUTPUT;
 253         iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);
 254         udelay(250);
 255
 256         val |= RC_PCIE_RST_OUTPUT;
 257         iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);
 258         msleep(100);
 259 }
 260
 261 static int iproc_pcie_check_link(struct iproc_pcie *pcie, struct pci_bus *bus)
 262 {
 263         struct device *dev = pcie->dev;
 264         u8 hdr_type;
 265         u32 link_ctrl, class, val;
 266         u16 pos = PCI_EXP_CAP, link_status;
 267         bool link_is_active = false;
 268
 269         /*
 270          * PAXC connects to emulated endpoint devices directly and does not
 271          * have a Serdes.  Therefore skip the link detection logic here.
 272          */
 273         if (pcie->type == IPROC_PCIE_PAXC)
 274                 return 0;
 275
 276         val = iproc_pcie_read_reg(pcie, IPROC_PCIE_LINK_STATUS);
 277         if (!(val & PCIE_PHYLINKUP) || !(val & PCIE_DL_ACTIVE)) {
 278                 dev_err(dev, "PHY or data link is INACTIVE!\n");
 279                 return -ENODEV;
 280         }
 281
 282         /* make sure we are not in EP mode */
 283         pci_bus_read_config_byte(bus, 0, PCI_HEADER_TYPE, &hdr_type);
 284         if ((hdr_type & 0x7f) != PCI_HEADER_TYPE_BRIDGE) {
 285                 dev_err(dev, "in EP mode, hdr=%#02x\n", hdr_type);
 286                 return -EFAULT;
 287         }
 288
 289         /* force class to PCI_CLASS_BRIDGE_PCI (0x0604) */
 290 #define PCI_BRIDGE_CTRL_REG_OFFSET 0x43c
 291 #define PCI_CLASS_BRIDGE_MASK      0xffff00
 292 #define PCI_CLASS_BRIDGE_SHIFT     8
 293         pci_bus_read_config_dword(bus, 0, PCI_BRIDGE_CTRL_REG_OFFSET, &class);
 294         class &= ~PCI_CLASS_BRIDGE_MASK;
 295         class |= (PCI_CLASS_BRIDGE_PCI << PCI_CLASS_BRIDGE_SHIFT);
 296         pci_bus_write_config_dword(bus, 0, PCI_BRIDGE_CTRL_REG_OFFSET, class);
 297
 298         /* check link status to see if link is active */
 299         pci_bus_read_config_word(bus, 0, pos + PCI_EXP_LNKSTA, &link_status);
 300         if (link_status & PCI_EXP_LNKSTA_NLW)
 301                 link_is_active = true;
 302
 303         if (!link_is_active) {
 304                 /* try GEN 1 link speed */
 305 #define PCI_TARGET_LINK_SPEED_MASK    0xf
 306 #define PCI_TARGET_LINK_SPEED_GEN2    0x2
 307 #define PCI_TARGET_LINK_SPEED_GEN1    0x1
 308                 pci_bus_read_config_dword(bus, 0,
 309                                           pos + PCI_EXP_LNKCTL2,
 310                                           &link_ctrl);
 311                 if ((link_ctrl & PCI_TARGET_LINK_SPEED_MASK) ==
 312                     PCI_TARGET_LINK_SPEED_GEN2) {
 313                         link_ctrl &= ~PCI_TARGET_LINK_SPEED_MASK;
 314                         link_ctrl |= PCI_TARGET_LINK_SPEED_GEN1;
 315                         pci_bus_write_config_dword(bus, 0,
 316                                            pos + PCI_EXP_LNKCTL2,
 317                                            link_ctrl);
 318                         msleep(100);
 319
 320                         pci_bus_read_config_word(bus, 0, pos + PCI_EXP_LNKSTA,
 321                                                  &link_status);
 322                         if (link_status & PCI_EXP_LNKSTA_NLW)
 323                                 link_is_active = true;
 324                 }
 325         }
 326
 327         dev_info(dev, "link: %s\n", link_is_active ? "UP" : "DOWN");
 328
 329         return link_is_active ? 0 : -ENODEV;
 330 }
 331
 332 static void iproc_pcie_enable(struct iproc_pcie *pcie)
 333 {
 334         iproc_pcie_write_reg(pcie, IPROC_PCIE_INTX_EN, SYS_RC_INTX_MASK);
 335 }
 336
 337 /**
 338  * Some iProc SoCs require the SW to configure the outbound address mapping
 339  *
 340  * Outbound address translation:
 341  *
 342  * iproc_pcie_address = axi_address - axi_offset
 343  * OARR = iproc_pcie_address
 344  * OMAP = pci_addr
 345  *
 346  * axi_addr -> iproc_pcie_address -> OARR -> OMAP -> pci_address
 347  */
 348 static int iproc_pcie_setup_ob(struct iproc_pcie *pcie, u64 axi_addr,
 349                                u64 pci_addr, resource_size_t size)
 350 {
 351         struct iproc_pcie_ob *ob = &pcie->ob;
 352         struct device *dev = pcie->dev;
 353         unsigned i;
 354         u64 max_size = (u64)ob->window_size * MAX_NUM_OB_WINDOWS;
 355         u64 remainder;
 356
 357         if (size > max_size) {
 358                 dev_err(dev,
 359                         "res size %pap exceeds max supported size 0x%llx\n",
 360                         &size, max_size);
 361                 return -EINVAL;
 362         }
 363
 364         div64_u64_rem(size, ob->window_size, &remainder);
 365         if (remainder) {
 366                 dev_err(dev,
 367                         "res size %pap needs to be multiple of window size %pap\n",
 368                         &size, &ob->window_size);
 369                 return -EINVAL;
 370         }
 371
 372         if (axi_addr < ob->axi_offset) {
 373                 dev_err(dev, "axi address %pap less than offset %pap\n",
 374                         &axi_addr, &ob->axi_offset);
 375                 return -EINVAL;
 376         }
 377
 378         /*
 379          * Translate the AXI address to the internal address used by the iProc
 380          * PCIe core before programming the OARR
 381          */
 382         axi_addr -= ob->axi_offset;
 383
 384         for (i = 0; i < MAX_NUM_OB_WINDOWS; i++) {
 385                 iproc_pcie_ob_write(pcie, IPROC_PCIE_OARR_LO, i,
 386                                     lower_32_bits(axi_addr) | OARR_VALID |
 387                                     (ob->set_oarr_size ? 1 : 0));
 388                 iproc_pcie_ob_write(pcie, IPROC_PCIE_OARR_HI, i,
 389                                     upper_32_bits(axi_addr));
 390                 iproc_pcie_ob_write(pcie, IPROC_PCIE_OMAP_LO, i,
 391                                     lower_32_bits(pci_addr));
 392                 iproc_pcie_ob_write(pcie, IPROC_PCIE_OMAP_HI, i,
 393                                     upper_32_bits(pci_addr));
 394
 395                 size -= ob->window_size;
 396                 if (size == 0)
 397                         break;
 398
 399                 axi_addr += ob->window_size;
 400                 pci_addr += ob->window_size;
 401         }
 402
 403         return 0;
 404 }
 405
 406 static int iproc_pcie_map_ranges(struct iproc_pcie *pcie,
 407                                  struct list_head *resources)
 408 {
 409         struct device *dev = pcie->dev;
 410         struct resource_entry *window;
 411         int ret;
 412
 413         resource_list_for_each_entry(window, resources) {
 414                 struct resource *res = window->res;
 415                 u64 res_type = resource_type(res);
 416
 417                 switch (res_type) {
 418                 case IORESOURCE_IO:
 419                 case IORESOURCE_BUS:
 420                         break;
 421                 case IORESOURCE_MEM:
 422                         ret = iproc_pcie_setup_ob(pcie, res->start,
 423                                                   res->start - window->offset,
 424                                                   resource_size(res));
 425                         if (ret)
 426                                 return ret;
 427                         break;
 428                 default:
 429                         dev_err(dev, "invalid resource %pR\n", res);
 430                         return -EINVAL;
 431                 }
 432         }
 433
 434         return 0;
 435 }
 436
 437 static int iproc_pcie_msi_enable(struct iproc_pcie *pcie)
 438 {
 439         struct device_node *msi_node;
 440
 441         msi_node = of_parse_phandle(pcie->dev->of_node, "msi-parent", 0);
 442         if (!msi_node)
 443                 return -ENODEV;
 444
 445         /*
 446          * If another MSI controller is being used, the call below should fail
 447          * but that is okay
 448          */
 449         return iproc_msi_init(pcie, msi_node);
 450 }
 451
 452 static void iproc_pcie_msi_disable(struct iproc_pcie *pcie)
 453 {
 454         iproc_msi_exit(pcie);
 455 }
 456
 457 int iproc_pcie_setup(struct iproc_pcie *pcie, struct list_head *res)
 458 {
 459         struct device *dev;
 460         int ret;
 461         void *sysdata;
 462         struct pci_bus *bus;
 463
 464         dev = pcie->dev;
 465         ret = devm_request_pci_bus_resources(dev, res);
 466         if (ret)
 467                 return ret;
 468
 469         ret = phy_init(pcie->phy);
 470         if (ret) {
 471                 dev_err(dev, "unable to initialize PCIe PHY\n");
 472                 return ret;
 473         }
 474
 475         ret = phy_power_on(pcie->phy);
 476         if (ret) {
 477                 dev_err(dev, "unable to power on PCIe PHY\n");
 478                 goto err_exit_phy;
 479         }
 480
 481         switch (pcie->type) {
 482         case IPROC_PCIE_PAXB:
 483                 pcie->reg_offsets = iproc_pcie_reg_paxb;
 484                 break;
 485         case IPROC_PCIE_PAXC:
 486                 pcie->reg_offsets = iproc_pcie_reg_paxc;
 487                 break;
 488         default:
 489                 dev_err(dev, "incompatible iProc PCIe interface\n");
 490                 ret = -EINVAL;
 491                 goto err_power_off_phy;
 492         }
 493
 494         iproc_pcie_reset(pcie);
 495
 496         if (pcie->need_ob_cfg) {
 497                 ret = iproc_pcie_map_ranges(pcie, res);
 498                 if (ret) {
 499                         dev_err(dev, "map failed\n");
 500                         goto err_power_off_phy;
 501                 }
 502         }
 503
 504 #ifdef CONFIG_ARM
 505         pcie->sysdata.private_data = pcie;
 506         sysdata = &pcie->sysdata;
 507 #else
 508         sysdata = pcie;
 509 #endif
 510
 511         bus = pci_create_root_bus(dev, 0, &iproc_pcie_ops, sysdata, res);
 512         if (!bus) {
 513                 dev_err(dev, "unable to create PCI root bus\n");
 514                 ret = -ENOMEM;
 515                 goto err_power_off_phy;
 516         }
 517         pcie->root_bus = bus;
 518
 519         ret = iproc_pcie_check_link(pcie, bus);
 520         if (ret) {
 521                 dev_err(dev, "no PCIe EP device detected\n");
 522                 goto err_rm_root_bus;
 523         }
 524
 525         iproc_pcie_enable(pcie);
 526
 527         if (IS_ENABLED(CONFIG_PCI_MSI))
 528                 if (iproc_pcie_msi_enable(pcie))
 529                         dev_info(dev, "not using iProc MSI\n");
 530
 531         pci_scan_child_bus(bus);
 532         pci_assign_unassigned_bus_resources(bus);
 533         pci_fixup_irqs(pci_common_swizzle, pcie->map_irq);
 534         pci_bus_add_devices(bus);
 535
 536         return 0;
 537
 538 err_rm_root_bus:
 539         pci_stop_root_bus(bus);
 540         pci_remove_root_bus(bus);
 541
 542 err_power_off_phy:
 543         phy_power_off(pcie->phy);
 544 err_exit_phy:
 545         phy_exit(pcie->phy);
 546         return ret;
 547 }
 548 EXPORT_SYMBOL(iproc_pcie_setup);
 549
 550 int iproc_pcie_remove(struct iproc_pcie *pcie)
 551 {
 552         pci_stop_root_bus(pcie->root_bus);
 553         pci_remove_root_bus(pcie->root_bus);
 554
 555         iproc_pcie_msi_disable(pcie);
 556
 557         phy_power_off(pcie->phy);
 558         phy_exit(pcie->phy);
 559
 560         return 0;
 561 }
 562 EXPORT_SYMBOL(iproc_pcie_remove);
 563
 564 MODULE_AUTHOR("Ray Jui <rjui@broadcom.com>");
 565 MODULE_DESCRIPTION("Broadcom iPROC PCIe common driver");
 566 MODULE_LICENSE("GPL v2");