2 * PCIe host controller driver for Xilinx AXI PCIe Bridge
4 * Copyright (c) 2012 - 2014 Xilinx, Inc.
6 * Based on the Tegra PCIe driver
8 * Bits taken from Synopsys Designware Host controller driver and
9 * ARM PCI Host generic driver.
11 * This program is free software: you can redistribute it and/or modify
12 * it under the terms of the GNU General Public License as published by
13 * the Free Software Foundation, either version 2 of the License, or
14 * (at your option) any later version.
17 #include <linux/interrupt.h>
18 #include <linux/irq.h>
19 #include <linux/irqdomain.h>
20 #include <linux/kernel.h>
21 #include <linux/init.h>
22 #include <linux/msi.h>
23 #include <linux/of_address.h>
24 #include <linux/of_pci.h>
25 #include <linux/of_platform.h>
26 #include <linux/of_irq.h>
27 #include <linux/pci.h>
28 #include <linux/platform_device.h>
30 /* Register definitions */
31 #define XILINX_PCIE_REG_BIR 0x00000130
32 #define XILINX_PCIE_REG_IDR 0x00000138
33 #define XILINX_PCIE_REG_IMR 0x0000013c
34 #define XILINX_PCIE_REG_PSCR 0x00000144
35 #define XILINX_PCIE_REG_RPSC 0x00000148
36 #define XILINX_PCIE_REG_MSIBASE1 0x0000014c
37 #define XILINX_PCIE_REG_MSIBASE2 0x00000150
38 #define XILINX_PCIE_REG_RPEFR 0x00000154
39 #define XILINX_PCIE_REG_RPIFR1 0x00000158
40 #define XILINX_PCIE_REG_RPIFR2 0x0000015c
42 /* Interrupt registers definitions */
43 #define XILINX_PCIE_INTR_LINK_DOWN BIT(0)
44 #define XILINX_PCIE_INTR_ECRC_ERR BIT(1)
45 #define XILINX_PCIE_INTR_STR_ERR BIT(2)
46 #define XILINX_PCIE_INTR_HOT_RESET BIT(3)
47 #define XILINX_PCIE_INTR_CFG_TIMEOUT BIT(8)
48 #define XILINX_PCIE_INTR_CORRECTABLE BIT(9)
49 #define XILINX_PCIE_INTR_NONFATAL BIT(10)
50 #define XILINX_PCIE_INTR_FATAL BIT(11)
51 #define XILINX_PCIE_INTR_INTX BIT(16)
52 #define XILINX_PCIE_INTR_MSI BIT(17)
53 #define XILINX_PCIE_INTR_SLV_UNSUPP BIT(20)
54 #define XILINX_PCIE_INTR_SLV_UNEXP BIT(21)
55 #define XILINX_PCIE_INTR_SLV_COMPL BIT(22)
56 #define XILINX_PCIE_INTR_SLV_ERRP BIT(23)
57 #define XILINX_PCIE_INTR_SLV_CMPABT BIT(24)
58 #define XILINX_PCIE_INTR_SLV_ILLBUR BIT(25)
59 #define XILINX_PCIE_INTR_MST_DECERR BIT(26)
60 #define XILINX_PCIE_INTR_MST_SLVERR BIT(27)
61 #define XILINX_PCIE_INTR_MST_ERRP BIT(28)
62 #define XILINX_PCIE_IMR_ALL_MASK 0x1FF30FED
63 #define XILINX_PCIE_IDR_ALL_MASK 0xFFFFFFFF
65 /* Root Port Error FIFO Read Register definitions */
66 #define XILINX_PCIE_RPEFR_ERR_VALID BIT(18)
67 #define XILINX_PCIE_RPEFR_REQ_ID GENMASK(15, 0)
68 #define XILINX_PCIE_RPEFR_ALL_MASK 0xFFFFFFFF
70 /* Root Port Interrupt FIFO Read Register 1 definitions */
71 #define XILINX_PCIE_RPIFR1_INTR_VALID BIT(31)
72 #define XILINX_PCIE_RPIFR1_MSI_INTR BIT(30)
73 #define XILINX_PCIE_RPIFR1_INTR_MASK GENMASK(28, 27)
74 #define XILINX_PCIE_RPIFR1_ALL_MASK 0xFFFFFFFF
75 #define XILINX_PCIE_RPIFR1_INTR_SHIFT 27
77 /* Bridge Info Register definitions */
78 #define XILINX_PCIE_BIR_ECAM_SZ_MASK GENMASK(18, 16)
79 #define XILINX_PCIE_BIR_ECAM_SZ_SHIFT 16
81 /* Root Port Interrupt FIFO Read Register 2 definitions */
82 #define XILINX_PCIE_RPIFR2_MSG_DATA GENMASK(15, 0)
84 /* Root Port Status/control Register definitions */
85 #define XILINX_PCIE_REG_RPSC_BEN BIT(0)
87 /* Phy Status/Control Register definitions */
88 #define XILINX_PCIE_REG_PSCR_LNKUP BIT(11)
90 /* ECAM definitions */
91 #define ECAM_BUS_NUM_SHIFT 20
92 #define ECAM_DEV_NUM_SHIFT 12
94 /* Number of MSI IRQs */
95 #define XILINX_NUM_MSI_IRQS 128
98 * struct xilinx_pcie_port - PCIe port information
99 * @reg_base: IO Mapped Register Base
100 * @irq: Interrupt number
101 * @msi_pages: MSI pages
102 * @root_busno: Root Bus number
103 * @dev: Device pointer
104 * @msi_domain: MSI IRQ domain pointer
105 * @leg_domain: Legacy IRQ domain pointer
106 * @resources: Bus Resources
108 struct xilinx_pcie_port {
109 void __iomem *reg_base;
111 unsigned long msi_pages;
114 struct irq_domain *msi_domain;
115 struct irq_domain *leg_domain;
116 struct list_head resources;
119 static DECLARE_BITMAP(msi_irq_in_use, XILINX_NUM_MSI_IRQS);
121 static inline u32 pcie_read(struct xilinx_pcie_port *port, u32 reg)
123 return readl(port->reg_base + reg);
126 static inline void pcie_write(struct xilinx_pcie_port *port, u32 val, u32 reg)
128 writel(val, port->reg_base + reg);
131 static inline bool xilinx_pcie_link_is_up(struct xilinx_pcie_port *port)
133 return (pcie_read(port, XILINX_PCIE_REG_PSCR) &
134 XILINX_PCIE_REG_PSCR_LNKUP) ? 1 : 0;
138 * xilinx_pcie_clear_err_interrupts - Clear Error Interrupts
139 * @port: PCIe port information
141 static void xilinx_pcie_clear_err_interrupts(struct xilinx_pcie_port *port)
143 struct device *dev = port->dev;
144 unsigned long val = pcie_read(port, XILINX_PCIE_REG_RPEFR);
146 if (val & XILINX_PCIE_RPEFR_ERR_VALID) {
147 dev_dbg(dev, "Requester ID %lu\n",
148 val & XILINX_PCIE_RPEFR_REQ_ID);
149 pcie_write(port, XILINX_PCIE_RPEFR_ALL_MASK,
150 XILINX_PCIE_REG_RPEFR);
155 * xilinx_pcie_valid_device - Check if a valid device is present on bus
156 * @bus: PCI Bus structure
157 * @devfn: device/function
159 * Return: 'true' on success and 'false' if invalid device is found
161 static bool xilinx_pcie_valid_device(struct pci_bus *bus, unsigned int devfn)
163 struct xilinx_pcie_port *port = bus->sysdata;
165 /* Check if link is up when trying to access downstream ports */
166 if (bus->number != port->root_busno)
167 if (!xilinx_pcie_link_is_up(port))
170 /* Only one device down on each root port */
171 if (bus->number == port->root_busno && devfn > 0)
178 * xilinx_pcie_map_bus - Get configuration base
179 * @bus: PCI Bus structure
180 * @devfn: Device/function
181 * @where: Offset from base
183 * Return: Base address of the configuration space needed to be
186 static void __iomem *xilinx_pcie_map_bus(struct pci_bus *bus,
187 unsigned int devfn, int where)
189 struct xilinx_pcie_port *port = bus->sysdata;
192 if (!xilinx_pcie_valid_device(bus, devfn))
195 relbus = (bus->number << ECAM_BUS_NUM_SHIFT) |
196 (devfn << ECAM_DEV_NUM_SHIFT);
198 return port->reg_base + relbus + where;
201 /* PCIe operations */
202 static struct pci_ops xilinx_pcie_ops = {
203 .map_bus = xilinx_pcie_map_bus,
204 .read = pci_generic_config_read,
205 .write = pci_generic_config_write,
211 * xilinx_pcie_destroy_msi - Free MSI number
212 * @irq: IRQ to be freed
214 static void xilinx_pcie_destroy_msi(unsigned int irq)
216 struct msi_desc *msi;
217 struct xilinx_pcie_port *port;
218 struct irq_data *d = irq_get_irq_data(irq);
219 irq_hw_number_t hwirq = irqd_to_hwirq(d);
221 if (!test_bit(hwirq, msi_irq_in_use)) {
222 msi = irq_get_msi_desc(irq);
223 port = msi_desc_to_pci_sysdata(msi);
224 dev_err(port->dev, "Trying to free unused MSI#%d\n", irq);
226 clear_bit(hwirq, msi_irq_in_use);
231 * xilinx_pcie_assign_msi - Allocate MSI number
233 * Return: A valid IRQ on success and error value on failure.
235 static int xilinx_pcie_assign_msi(void)
239 pos = find_first_zero_bit(msi_irq_in_use, XILINX_NUM_MSI_IRQS);
240 if (pos < XILINX_NUM_MSI_IRQS)
241 set_bit(pos, msi_irq_in_use);
249 * xilinx_msi_teardown_irq - Destroy the MSI
250 * @chip: MSI Chip descriptor
251 * @irq: MSI IRQ to destroy
253 static void xilinx_msi_teardown_irq(struct msi_controller *chip,
256 xilinx_pcie_destroy_msi(irq);
257 irq_dispose_mapping(irq);
261 * xilinx_pcie_msi_setup_irq - Setup MSI request
262 * @chip: MSI chip pointer
263 * @pdev: PCIe device pointer
264 * @desc: MSI descriptor pointer
266 * Return: '0' on success and error value on failure
268 static int xilinx_pcie_msi_setup_irq(struct msi_controller *chip,
269 struct pci_dev *pdev,
270 struct msi_desc *desc)
272 struct xilinx_pcie_port *port = pdev->bus->sysdata;
276 phys_addr_t msg_addr;
278 hwirq = xilinx_pcie_assign_msi();
282 irq = irq_create_mapping(port->msi_domain, hwirq);
286 irq_set_msi_desc(irq, desc);
288 msg_addr = virt_to_phys((void *)port->msi_pages);
291 msg.address_lo = msg_addr;
294 pci_write_msi_msg(irq, &msg);
299 /* MSI Chip Descriptor */
300 static struct msi_controller xilinx_pcie_msi_chip = {
301 .setup_irq = xilinx_pcie_msi_setup_irq,
302 .teardown_irq = xilinx_msi_teardown_irq,
305 /* HW Interrupt Chip Descriptor */
306 static struct irq_chip xilinx_msi_irq_chip = {
307 .name = "Xilinx PCIe MSI",
308 .irq_enable = pci_msi_unmask_irq,
309 .irq_disable = pci_msi_mask_irq,
310 .irq_mask = pci_msi_mask_irq,
311 .irq_unmask = pci_msi_unmask_irq,
315 * xilinx_pcie_msi_map - Set the handler for the MSI and mark IRQ as valid
316 * @domain: IRQ domain
317 * @irq: Virtual IRQ number
318 * @hwirq: HW interrupt number
320 * Return: Always returns 0.
322 static int xilinx_pcie_msi_map(struct irq_domain *domain, unsigned int irq,
323 irq_hw_number_t hwirq)
325 irq_set_chip_and_handler(irq, &xilinx_msi_irq_chip, handle_simple_irq);
326 irq_set_chip_data(irq, domain->host_data);
331 /* IRQ Domain operations */
332 static const struct irq_domain_ops msi_domain_ops = {
333 .map = xilinx_pcie_msi_map,
337 * xilinx_pcie_enable_msi - Enable MSI support
338 * @port: PCIe port information
340 static int xilinx_pcie_enable_msi(struct xilinx_pcie_port *port)
342 phys_addr_t msg_addr;
344 port->msi_pages = __get_free_pages(GFP_KERNEL, 0);
345 if (!port->msi_pages)
348 msg_addr = virt_to_phys((void *)port->msi_pages);
349 pcie_write(port, 0x0, XILINX_PCIE_REG_MSIBASE1);
350 pcie_write(port, msg_addr, XILINX_PCIE_REG_MSIBASE2);
358 * xilinx_pcie_intx_map - Set the handler for the INTx and mark IRQ as valid
359 * @domain: IRQ domain
360 * @irq: Virtual IRQ number
361 * @hwirq: HW interrupt number
363 * Return: Always returns 0.
365 static int xilinx_pcie_intx_map(struct irq_domain *domain, unsigned int irq,
366 irq_hw_number_t hwirq)
368 irq_set_chip_and_handler(irq, &dummy_irq_chip, handle_simple_irq);
369 irq_set_chip_data(irq, domain->host_data);
374 /* INTx IRQ Domain operations */
375 static const struct irq_domain_ops intx_domain_ops = {
376 .map = xilinx_pcie_intx_map,
379 /* PCIe HW Functions */
382 * xilinx_pcie_intr_handler - Interrupt Service Handler
384 * @data: PCIe port information
386 * Return: IRQ_HANDLED on success and IRQ_NONE on failure
388 static irqreturn_t xilinx_pcie_intr_handler(int irq, void *data)
390 struct xilinx_pcie_port *port = (struct xilinx_pcie_port *)data;
391 struct device *dev = port->dev;
392 u32 val, mask, status, msi_data;
394 /* Read interrupt decode and mask registers */
395 val = pcie_read(port, XILINX_PCIE_REG_IDR);
396 mask = pcie_read(port, XILINX_PCIE_REG_IMR);
402 if (status & XILINX_PCIE_INTR_LINK_DOWN)
403 dev_warn(dev, "Link Down\n");
405 if (status & XILINX_PCIE_INTR_ECRC_ERR)
406 dev_warn(dev, "ECRC failed\n");
408 if (status & XILINX_PCIE_INTR_STR_ERR)
409 dev_warn(dev, "Streaming error\n");
411 if (status & XILINX_PCIE_INTR_HOT_RESET)
412 dev_info(dev, "Hot reset\n");
414 if (status & XILINX_PCIE_INTR_CFG_TIMEOUT)
415 dev_warn(dev, "ECAM access timeout\n");
417 if (status & XILINX_PCIE_INTR_CORRECTABLE) {
418 dev_warn(dev, "Correctable error message\n");
419 xilinx_pcie_clear_err_interrupts(port);
422 if (status & XILINX_PCIE_INTR_NONFATAL) {
423 dev_warn(dev, "Non fatal error message\n");
424 xilinx_pcie_clear_err_interrupts(port);
427 if (status & XILINX_PCIE_INTR_FATAL) {
428 dev_warn(dev, "Fatal error message\n");
429 xilinx_pcie_clear_err_interrupts(port);
432 if (status & XILINX_PCIE_INTR_INTX) {
433 /* INTx interrupt received */
434 val = pcie_read(port, XILINX_PCIE_REG_RPIFR1);
436 /* Check whether interrupt valid */
437 if (!(val & XILINX_PCIE_RPIFR1_INTR_VALID)) {
438 dev_warn(dev, "RP Intr FIFO1 read error\n");
442 if (!(val & XILINX_PCIE_RPIFR1_MSI_INTR)) {
443 /* Clear interrupt FIFO register 1 */
444 pcie_write(port, XILINX_PCIE_RPIFR1_ALL_MASK,
445 XILINX_PCIE_REG_RPIFR1);
447 /* Handle INTx Interrupt */
448 val = ((val & XILINX_PCIE_RPIFR1_INTR_MASK) >>
449 XILINX_PCIE_RPIFR1_INTR_SHIFT) + 1;
450 generic_handle_irq(irq_find_mapping(port->leg_domain,
455 if (status & XILINX_PCIE_INTR_MSI) {
457 val = pcie_read(port, XILINX_PCIE_REG_RPIFR1);
459 if (!(val & XILINX_PCIE_RPIFR1_INTR_VALID)) {
460 dev_warn(dev, "RP Intr FIFO1 read error\n");
464 if (val & XILINX_PCIE_RPIFR1_MSI_INTR) {
465 msi_data = pcie_read(port, XILINX_PCIE_REG_RPIFR2) &
466 XILINX_PCIE_RPIFR2_MSG_DATA;
468 /* Clear interrupt FIFO register 1 */
469 pcie_write(port, XILINX_PCIE_RPIFR1_ALL_MASK,
470 XILINX_PCIE_REG_RPIFR1);
472 if (IS_ENABLED(CONFIG_PCI_MSI)) {
473 /* Handle MSI Interrupt */
474 generic_handle_irq(msi_data);
479 if (status & XILINX_PCIE_INTR_SLV_UNSUPP)
480 dev_warn(dev, "Slave unsupported request\n");
482 if (status & XILINX_PCIE_INTR_SLV_UNEXP)
483 dev_warn(dev, "Slave unexpected completion\n");
485 if (status & XILINX_PCIE_INTR_SLV_COMPL)
486 dev_warn(dev, "Slave completion timeout\n");
488 if (status & XILINX_PCIE_INTR_SLV_ERRP)
489 dev_warn(dev, "Slave Error Poison\n");
491 if (status & XILINX_PCIE_INTR_SLV_CMPABT)
492 dev_warn(dev, "Slave Completer Abort\n");
494 if (status & XILINX_PCIE_INTR_SLV_ILLBUR)
495 dev_warn(dev, "Slave Illegal Burst\n");
497 if (status & XILINX_PCIE_INTR_MST_DECERR)
498 dev_warn(dev, "Master decode error\n");
500 if (status & XILINX_PCIE_INTR_MST_SLVERR)
501 dev_warn(dev, "Master slave error\n");
503 if (status & XILINX_PCIE_INTR_MST_ERRP)
504 dev_warn(dev, "Master error poison\n");
507 /* Clear the Interrupt Decode register */
508 pcie_write(port, status, XILINX_PCIE_REG_IDR);
514 * xilinx_pcie_init_irq_domain - Initialize IRQ domain
515 * @port: PCIe port information
517 * Return: '0' on success and error value on failure
519 static int xilinx_pcie_init_irq_domain(struct xilinx_pcie_port *port)
521 struct device *dev = port->dev;
522 struct device_node *node = dev->of_node;
523 struct device_node *pcie_intc_node;
527 pcie_intc_node = of_get_next_child(node, NULL);
528 if (!pcie_intc_node) {
529 dev_err(dev, "No PCIe Intc node found\n");
533 port->leg_domain = irq_domain_add_linear(pcie_intc_node, 4,
536 of_node_put(pcie_intc_node);
537 if (!port->leg_domain) {
538 dev_err(dev, "Failed to get a INTx IRQ domain\n");
543 if (IS_ENABLED(CONFIG_PCI_MSI)) {
544 port->msi_domain = irq_domain_add_linear(node,
547 &xilinx_pcie_msi_chip);
548 if (!port->msi_domain) {
549 dev_err(dev, "Failed to get a MSI IRQ domain\n");
553 ret = xilinx_pcie_enable_msi(port);
562 * xilinx_pcie_init_port - Initialize hardware
563 * @port: PCIe port information
565 static void xilinx_pcie_init_port(struct xilinx_pcie_port *port)
567 struct device *dev = port->dev;
569 if (xilinx_pcie_link_is_up(port))
570 dev_info(dev, "PCIe Link is UP\n");
572 dev_info(dev, "PCIe Link is DOWN\n");
574 /* Disable all interrupts */
575 pcie_write(port, ~XILINX_PCIE_IDR_ALL_MASK,
576 XILINX_PCIE_REG_IMR);
578 /* Clear pending interrupts */
579 pcie_write(port, pcie_read(port, XILINX_PCIE_REG_IDR) &
580 XILINX_PCIE_IMR_ALL_MASK,
581 XILINX_PCIE_REG_IDR);
583 /* Enable all interrupts */
584 pcie_write(port, XILINX_PCIE_IMR_ALL_MASK, XILINX_PCIE_REG_IMR);
586 /* Enable the Bridge enable bit */
587 pcie_write(port, pcie_read(port, XILINX_PCIE_REG_RPSC) |
588 XILINX_PCIE_REG_RPSC_BEN,
589 XILINX_PCIE_REG_RPSC);
593 * xilinx_pcie_parse_dt - Parse Device tree
594 * @port: PCIe port information
596 * Return: '0' on success and error value on failure
598 static int xilinx_pcie_parse_dt(struct xilinx_pcie_port *port)
600 struct device *dev = port->dev;
601 struct device_node *node = dev->of_node;
602 struct resource regs;
606 type = of_get_property(node, "device_type", NULL);
607 if (!type || strcmp(type, "pci")) {
608 dev_err(dev, "invalid \"device_type\" %s\n", type);
612 err = of_address_to_resource(node, 0, ®s);
614 dev_err(dev, "missing \"reg\" property\n");
618 port->reg_base = devm_ioremap_resource(dev, ®s);
619 if (IS_ERR(port->reg_base))
620 return PTR_ERR(port->reg_base);
622 port->irq = irq_of_parse_and_map(node, 0);
623 err = devm_request_irq(dev, port->irq, xilinx_pcie_intr_handler,
624 IRQF_SHARED | IRQF_NO_THREAD,
625 "xilinx-pcie", port);
627 dev_err(dev, "unable to request irq %d\n", port->irq);
635 * xilinx_pcie_probe - Probe function
636 * @pdev: Platform device pointer
638 * Return: '0' on success and error value on failure
640 static int xilinx_pcie_probe(struct platform_device *pdev)
642 struct device *dev = &pdev->dev;
643 struct xilinx_pcie_port *port;
646 resource_size_t iobase = 0;
652 port = devm_kzalloc(dev, sizeof(*port), GFP_KERNEL);
658 err = xilinx_pcie_parse_dt(port);
660 dev_err(dev, "Parsing DT failed\n");
664 xilinx_pcie_init_port(port);
666 err = xilinx_pcie_init_irq_domain(port);
668 dev_err(dev, "Failed creating IRQ Domain\n");
672 err = of_pci_get_host_bridge_resources(dev->of_node, 0, 0xff, &res,
675 dev_err(dev, "Getting bridge resources failed\n");
679 err = devm_request_pci_bus_resources(dev, &res);
683 bus = pci_create_root_bus(dev, 0, &xilinx_pcie_ops, port, &res);
689 #ifdef CONFIG_PCI_MSI
690 xilinx_pcie_msi_chip.dev = dev;
691 bus->msi = &xilinx_pcie_msi_chip;
693 pci_scan_child_bus(bus);
694 pci_assign_unassigned_bus_resources(bus);
695 #ifndef CONFIG_MICROBLAZE
696 pci_fixup_irqs(pci_common_swizzle, of_irq_parse_and_map_pci);
698 pci_bus_add_devices(bus);
702 pci_free_resource_list(&res);
706 static struct of_device_id xilinx_pcie_of_match[] = {
707 { .compatible = "xlnx,axi-pcie-host-1.00.a", },
711 static struct platform_driver xilinx_pcie_driver = {
713 .name = "xilinx-pcie",
714 .of_match_table = xilinx_pcie_of_match,
715 .suppress_bind_attrs = true,
717 .probe = xilinx_pcie_probe,
719 builtin_platform_driver(xilinx_pcie_driver);