GNU Linux-libre 4.14.294-gnu1
[releases.git] / drivers / hwtracing / coresight / coresight-cpu-debug.c
1 /*
2  * Copyright (c) 2017 Linaro Limited. All rights reserved.
3  *
4  * Author: Leo Yan <leo.yan@linaro.org>
5  *
6  * This program is free software; you can redistribute it and/or modify it
7  * under the terms of the GNU General Public License version 2 as published by
8  * the Free Software Foundation.
9  *
10  * This program is distributed in the hope that it will be useful, but WITHOUT
11  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
12  * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License for
13  * more details.
14  *
15  * You should have received a copy of the GNU General Public License along with
16  * this program.  If not, see <http://www.gnu.org/licenses/>.
17  *
18  */
19 #include <linux/amba/bus.h>
20 #include <linux/coresight.h>
21 #include <linux/cpu.h>
22 #include <linux/debugfs.h>
23 #include <linux/delay.h>
24 #include <linux/device.h>
25 #include <linux/err.h>
26 #include <linux/init.h>
27 #include <linux/io.h>
28 #include <linux/iopoll.h>
29 #include <linux/kernel.h>
30 #include <linux/module.h>
31 #include <linux/moduleparam.h>
32 #include <linux/pm_qos.h>
33 #include <linux/slab.h>
34 #include <linux/smp.h>
35 #include <linux/types.h>
36 #include <linux/uaccess.h>
37
38 #include "coresight-priv.h"
39
40 #define EDPCSR                          0x0A0
41 #define EDCIDSR                         0x0A4
42 #define EDVIDSR                         0x0A8
43 #define EDPCSR_HI                       0x0AC
44 #define EDOSLAR                         0x300
45 #define EDPRCR                          0x310
46 #define EDPRSR                          0x314
47 #define EDDEVID1                        0xFC4
48 #define EDDEVID                         0xFC8
49
50 #define EDPCSR_PROHIBITED               0xFFFFFFFF
51
52 /* bits definition for EDPCSR */
53 #define EDPCSR_THUMB                    BIT(0)
54 #define EDPCSR_ARM_INST_MASK            GENMASK(31, 2)
55 #define EDPCSR_THUMB_INST_MASK          GENMASK(31, 1)
56
57 /* bits definition for EDPRCR */
58 #define EDPRCR_COREPURQ                 BIT(3)
59 #define EDPRCR_CORENPDRQ                BIT(0)
60
61 /* bits definition for EDPRSR */
62 #define EDPRSR_DLK                      BIT(6)
63 #define EDPRSR_PU                       BIT(0)
64
65 /* bits definition for EDVIDSR */
66 #define EDVIDSR_NS                      BIT(31)
67 #define EDVIDSR_E2                      BIT(30)
68 #define EDVIDSR_E3                      BIT(29)
69 #define EDVIDSR_HV                      BIT(28)
70 #define EDVIDSR_VMID                    GENMASK(7, 0)
71
72 /*
73  * bits definition for EDDEVID1:PSCROffset
74  *
75  * NOTE: armv8 and armv7 have different definition for the register,
76  * so consolidate the bits definition as below:
77  *
78  * 0b0000 - Sample offset applies based on the instruction state, we
79  *          rely on EDDEVID to check if EDPCSR is implemented or not
80  * 0b0001 - No offset applies.
81  * 0b0010 - No offset applies, but do not use in AArch32 mode
82  *
83  */
84 #define EDDEVID1_PCSR_OFFSET_MASK       GENMASK(3, 0)
85 #define EDDEVID1_PCSR_OFFSET_INS_SET    (0x0)
86 #define EDDEVID1_PCSR_NO_OFFSET_DIS_AARCH32     (0x2)
87
88 /* bits definition for EDDEVID */
89 #define EDDEVID_PCSAMPLE_MODE           GENMASK(3, 0)
90 #define EDDEVID_IMPL_EDPCSR             (0x1)
91 #define EDDEVID_IMPL_EDPCSR_EDCIDSR     (0x2)
92 #define EDDEVID_IMPL_FULL               (0x3)
93
94 #define DEBUG_WAIT_SLEEP                1000
95 #define DEBUG_WAIT_TIMEOUT              32000
96
97 struct debug_drvdata {
98         void __iomem    *base;
99         struct device   *dev;
100         int             cpu;
101
102         bool            edpcsr_present;
103         bool            edcidsr_present;
104         bool            edvidsr_present;
105         bool            pc_has_offset;
106
107         u32             edpcsr;
108         u32             edpcsr_hi;
109         u32             edprsr;
110         u32             edvidsr;
111         u32             edcidsr;
112 };
113
114 static DEFINE_MUTEX(debug_lock);
115 static DEFINE_PER_CPU(struct debug_drvdata *, debug_drvdata);
116 static int debug_count;
117 static struct dentry *debug_debugfs_dir;
118
119 static bool debug_enable;
120 module_param_named(enable, debug_enable, bool, 0600);
121 MODULE_PARM_DESC(enable, "Control to enable coresight CPU debug functionality");
122
123 static void debug_os_unlock(struct debug_drvdata *drvdata)
124 {
125         /* Unlocks the debug registers */
126         writel_relaxed(0x0, drvdata->base + EDOSLAR);
127
128         /* Make sure the registers are unlocked before accessing */
129         wmb();
130 }
131
132 /*
133  * According to ARM DDI 0487A.k, before access external debug
134  * registers should firstly check the access permission; if any
135  * below condition has been met then cannot access debug
136  * registers to avoid lockup issue:
137  *
138  * - CPU power domain is powered off;
139  * - The OS Double Lock is locked;
140  *
141  * By checking EDPRSR can get to know if meet these conditions.
142  */
143 static bool debug_access_permitted(struct debug_drvdata *drvdata)
144 {
145         /* CPU is powered off */
146         if (!(drvdata->edprsr & EDPRSR_PU))
147                 return false;
148
149         /* The OS Double Lock is locked */
150         if (drvdata->edprsr & EDPRSR_DLK)
151                 return false;
152
153         return true;
154 }
155
156 static void debug_force_cpu_powered_up(struct debug_drvdata *drvdata)
157 {
158         u32 edprcr;
159
160 try_again:
161
162         /*
163          * Send request to power management controller and assert
164          * DBGPWRUPREQ signal; if power management controller has
165          * sane implementation, it should enable CPU power domain
166          * in case CPU is in low power state.
167          */
168         edprcr = readl_relaxed(drvdata->base + EDPRCR);
169         edprcr |= EDPRCR_COREPURQ;
170         writel_relaxed(edprcr, drvdata->base + EDPRCR);
171
172         /* Wait for CPU to be powered up (timeout~=32ms) */
173         if (readx_poll_timeout_atomic(readl_relaxed, drvdata->base + EDPRSR,
174                         drvdata->edprsr, (drvdata->edprsr & EDPRSR_PU),
175                         DEBUG_WAIT_SLEEP, DEBUG_WAIT_TIMEOUT)) {
176                 /*
177                  * Unfortunately the CPU cannot be powered up, so return
178                  * back and later has no permission to access other
179                  * registers. For this case, should disable CPU low power
180                  * states to ensure CPU power domain is enabled!
181                  */
182                 dev_err(drvdata->dev, "%s: power up request for CPU%d failed\n",
183                         __func__, drvdata->cpu);
184                 return;
185         }
186
187         /*
188          * At this point the CPU is powered up, so set the no powerdown
189          * request bit so we don't lose power and emulate power down.
190          */
191         edprcr = readl_relaxed(drvdata->base + EDPRCR);
192         edprcr |= EDPRCR_COREPURQ | EDPRCR_CORENPDRQ;
193         writel_relaxed(edprcr, drvdata->base + EDPRCR);
194
195         drvdata->edprsr = readl_relaxed(drvdata->base + EDPRSR);
196
197         /* The core power domain got switched off on use, try again */
198         if (unlikely(!(drvdata->edprsr & EDPRSR_PU)))
199                 goto try_again;
200 }
201
202 static void debug_read_regs(struct debug_drvdata *drvdata)
203 {
204         u32 save_edprcr;
205
206         CS_UNLOCK(drvdata->base);
207
208         /* Unlock os lock */
209         debug_os_unlock(drvdata);
210
211         /* Save EDPRCR register */
212         save_edprcr = readl_relaxed(drvdata->base + EDPRCR);
213
214         /*
215          * Ensure CPU power domain is enabled to let registers
216          * are accessiable.
217          */
218         debug_force_cpu_powered_up(drvdata);
219
220         if (!debug_access_permitted(drvdata))
221                 goto out;
222
223         drvdata->edpcsr = readl_relaxed(drvdata->base + EDPCSR);
224
225         /*
226          * As described in ARM DDI 0487A.k, if the processing
227          * element (PE) is in debug state, or sample-based
228          * profiling is prohibited, EDPCSR reads as 0xFFFFFFFF;
229          * EDCIDSR, EDVIDSR and EDPCSR_HI registers also become
230          * UNKNOWN state. So directly bail out for this case.
231          */
232         if (drvdata->edpcsr == EDPCSR_PROHIBITED)
233                 goto out;
234
235         /*
236          * A read of the EDPCSR normally has the side-effect of
237          * indirectly writing to EDCIDSR, EDVIDSR and EDPCSR_HI;
238          * at this point it's safe to read value from them.
239          */
240         if (IS_ENABLED(CONFIG_64BIT))
241                 drvdata->edpcsr_hi = readl_relaxed(drvdata->base + EDPCSR_HI);
242
243         if (drvdata->edcidsr_present)
244                 drvdata->edcidsr = readl_relaxed(drvdata->base + EDCIDSR);
245
246         if (drvdata->edvidsr_present)
247                 drvdata->edvidsr = readl_relaxed(drvdata->base + EDVIDSR);
248
249 out:
250         /* Restore EDPRCR register */
251         writel_relaxed(save_edprcr, drvdata->base + EDPRCR);
252
253         CS_LOCK(drvdata->base);
254 }
255
256 #ifdef CONFIG_64BIT
257 static unsigned long debug_adjust_pc(struct debug_drvdata *drvdata)
258 {
259         return (unsigned long)drvdata->edpcsr_hi << 32 |
260                (unsigned long)drvdata->edpcsr;
261 }
262 #else
263 static unsigned long debug_adjust_pc(struct debug_drvdata *drvdata)
264 {
265         unsigned long arm_inst_offset = 0, thumb_inst_offset = 0;
266         unsigned long pc;
267
268         pc = (unsigned long)drvdata->edpcsr;
269
270         if (drvdata->pc_has_offset) {
271                 arm_inst_offset = 8;
272                 thumb_inst_offset = 4;
273         }
274
275         /* Handle thumb instruction */
276         if (pc & EDPCSR_THUMB) {
277                 pc = (pc & EDPCSR_THUMB_INST_MASK) - thumb_inst_offset;
278                 return pc;
279         }
280
281         /*
282          * Handle arm instruction offset, if the arm instruction
283          * is not 4 byte alignment then it's possible the case
284          * for implementation defined; keep original value for this
285          * case and print info for notice.
286          */
287         if (pc & BIT(1))
288                 dev_emerg(drvdata->dev,
289                           "Instruction offset is implementation defined\n");
290         else
291                 pc = (pc & EDPCSR_ARM_INST_MASK) - arm_inst_offset;
292
293         return pc;
294 }
295 #endif
296
297 static void debug_dump_regs(struct debug_drvdata *drvdata)
298 {
299         struct device *dev = drvdata->dev;
300         unsigned long pc;
301
302         dev_emerg(dev, " EDPRSR:  %08x (Power:%s DLK:%s)\n",
303                   drvdata->edprsr,
304                   drvdata->edprsr & EDPRSR_PU ? "On" : "Off",
305                   drvdata->edprsr & EDPRSR_DLK ? "Lock" : "Unlock");
306
307         if (!debug_access_permitted(drvdata)) {
308                 dev_emerg(dev, "No permission to access debug registers!\n");
309                 return;
310         }
311
312         if (drvdata->edpcsr == EDPCSR_PROHIBITED) {
313                 dev_emerg(dev, "CPU is in Debug state or profiling is prohibited!\n");
314                 return;
315         }
316
317         pc = debug_adjust_pc(drvdata);
318         dev_emerg(dev, " EDPCSR:  [<%px>] %pS\n", (void *)pc, (void *)pc);
319
320         if (drvdata->edcidsr_present)
321                 dev_emerg(dev, " EDCIDSR: %08x\n", drvdata->edcidsr);
322
323         if (drvdata->edvidsr_present)
324                 dev_emerg(dev, " EDVIDSR: %08x (State:%s Mode:%s Width:%dbits VMID:%x)\n",
325                           drvdata->edvidsr,
326                           drvdata->edvidsr & EDVIDSR_NS ?
327                           "Non-secure" : "Secure",
328                           drvdata->edvidsr & EDVIDSR_E3 ? "EL3" :
329                                 (drvdata->edvidsr & EDVIDSR_E2 ?
330                                  "EL2" : "EL1/0"),
331                           drvdata->edvidsr & EDVIDSR_HV ? 64 : 32,
332                           drvdata->edvidsr & (u32)EDVIDSR_VMID);
333 }
334
335 static void debug_init_arch_data(void *info)
336 {
337         struct debug_drvdata *drvdata = info;
338         u32 mode, pcsr_offset;
339         u32 eddevid, eddevid1;
340
341         CS_UNLOCK(drvdata->base);
342
343         /* Read device info */
344         eddevid  = readl_relaxed(drvdata->base + EDDEVID);
345         eddevid1 = readl_relaxed(drvdata->base + EDDEVID1);
346
347         CS_LOCK(drvdata->base);
348
349         /* Parse implementation feature */
350         mode = eddevid & EDDEVID_PCSAMPLE_MODE;
351         pcsr_offset = eddevid1 & EDDEVID1_PCSR_OFFSET_MASK;
352
353         drvdata->edpcsr_present  = false;
354         drvdata->edcidsr_present = false;
355         drvdata->edvidsr_present = false;
356         drvdata->pc_has_offset   = false;
357
358         switch (mode) {
359         case EDDEVID_IMPL_FULL:
360                 drvdata->edvidsr_present = true;
361                 /* Fall through */
362         case EDDEVID_IMPL_EDPCSR_EDCIDSR:
363                 drvdata->edcidsr_present = true;
364                 /* Fall through */
365         case EDDEVID_IMPL_EDPCSR:
366                 /*
367                  * In ARM DDI 0487A.k, the EDDEVID1.PCSROffset is used to
368                  * define if has the offset for PC sampling value; if read
369                  * back EDDEVID1.PCSROffset == 0x2, then this means the debug
370                  * module does not sample the instruction set state when
371                  * armv8 CPU in AArch32 state.
372                  */
373                 drvdata->edpcsr_present =
374                         ((IS_ENABLED(CONFIG_64BIT) && pcsr_offset != 0) ||
375                          (pcsr_offset != EDDEVID1_PCSR_NO_OFFSET_DIS_AARCH32));
376
377                 drvdata->pc_has_offset =
378                         (pcsr_offset == EDDEVID1_PCSR_OFFSET_INS_SET);
379                 break;
380         default:
381                 break;
382         }
383 }
384
385 /*
386  * Dump out information on panic.
387  */
388 static int debug_notifier_call(struct notifier_block *self,
389                                unsigned long v, void *p)
390 {
391         int cpu;
392         struct debug_drvdata *drvdata;
393
394         /* Bail out if we can't acquire the mutex or the functionality is off */
395         if (!mutex_trylock(&debug_lock))
396                 return NOTIFY_DONE;
397
398         if (!debug_enable)
399                 goto skip_dump;
400
401         pr_emerg("ARM external debug module:\n");
402
403         for_each_possible_cpu(cpu) {
404                 drvdata = per_cpu(debug_drvdata, cpu);
405                 if (!drvdata)
406                         continue;
407
408                 dev_emerg(drvdata->dev, "CPU[%d]:\n", drvdata->cpu);
409
410                 debug_read_regs(drvdata);
411                 debug_dump_regs(drvdata);
412         }
413
414 skip_dump:
415         mutex_unlock(&debug_lock);
416         return NOTIFY_DONE;
417 }
418
419 static struct notifier_block debug_notifier = {
420         .notifier_call = debug_notifier_call,
421 };
422
423 static int debug_enable_func(void)
424 {
425         struct debug_drvdata *drvdata;
426         int cpu, ret = 0;
427         cpumask_t mask;
428
429         /*
430          * Use cpumask to track which debug power domains have
431          * been powered on and use it to handle failure case.
432          */
433         cpumask_clear(&mask);
434
435         for_each_possible_cpu(cpu) {
436                 drvdata = per_cpu(debug_drvdata, cpu);
437                 if (!drvdata)
438                         continue;
439
440                 ret = pm_runtime_get_sync(drvdata->dev);
441                 if (ret < 0)
442                         goto err;
443                 else
444                         cpumask_set_cpu(cpu, &mask);
445         }
446
447         return 0;
448
449 err:
450         /*
451          * If pm_runtime_get_sync() has failed, need rollback on
452          * all the other CPUs that have been enabled before that.
453          */
454         for_each_cpu(cpu, &mask) {
455                 drvdata = per_cpu(debug_drvdata, cpu);
456                 pm_runtime_put_noidle(drvdata->dev);
457         }
458
459         return ret;
460 }
461
462 static int debug_disable_func(void)
463 {
464         struct debug_drvdata *drvdata;
465         int cpu, ret, err = 0;
466
467         /*
468          * Disable debug power domains, records the error and keep
469          * circling through all other CPUs when an error has been
470          * encountered.
471          */
472         for_each_possible_cpu(cpu) {
473                 drvdata = per_cpu(debug_drvdata, cpu);
474                 if (!drvdata)
475                         continue;
476
477                 ret = pm_runtime_put(drvdata->dev);
478                 if (ret < 0)
479                         err = ret;
480         }
481
482         return err;
483 }
484
485 static ssize_t debug_func_knob_write(struct file *f,
486                 const char __user *buf, size_t count, loff_t *ppos)
487 {
488         u8 val;
489         int ret;
490
491         ret = kstrtou8_from_user(buf, count, 2, &val);
492         if (ret)
493                 return ret;
494
495         mutex_lock(&debug_lock);
496
497         if (val == debug_enable)
498                 goto out;
499
500         if (val)
501                 ret = debug_enable_func();
502         else
503                 ret = debug_disable_func();
504
505         if (ret) {
506                 pr_err("%s: unable to %s debug function: %d\n",
507                        __func__, val ? "enable" : "disable", ret);
508                 goto err;
509         }
510
511         debug_enable = val;
512 out:
513         ret = count;
514 err:
515         mutex_unlock(&debug_lock);
516         return ret;
517 }
518
519 static ssize_t debug_func_knob_read(struct file *f,
520                 char __user *ubuf, size_t count, loff_t *ppos)
521 {
522         ssize_t ret;
523         char buf[3];
524
525         mutex_lock(&debug_lock);
526         snprintf(buf, sizeof(buf), "%d\n", debug_enable);
527         mutex_unlock(&debug_lock);
528
529         ret = simple_read_from_buffer(ubuf, count, ppos, buf, sizeof(buf));
530         return ret;
531 }
532
533 static const struct file_operations debug_func_knob_fops = {
534         .open   = simple_open,
535         .read   = debug_func_knob_read,
536         .write  = debug_func_knob_write,
537 };
538
539 static int debug_func_init(void)
540 {
541         struct dentry *file;
542         int ret;
543
544         /* Create debugfs node */
545         debug_debugfs_dir = debugfs_create_dir("coresight_cpu_debug", NULL);
546         if (!debug_debugfs_dir) {
547                 pr_err("%s: unable to create debugfs directory\n", __func__);
548                 return -ENOMEM;
549         }
550
551         file = debugfs_create_file("enable", 0644, debug_debugfs_dir, NULL,
552                                    &debug_func_knob_fops);
553         if (!file) {
554                 pr_err("%s: unable to create enable knob file\n", __func__);
555                 ret = -ENOMEM;
556                 goto err;
557         }
558
559         /* Register function to be called for panic */
560         ret = atomic_notifier_chain_register(&panic_notifier_list,
561                                              &debug_notifier);
562         if (ret) {
563                 pr_err("%s: unable to register notifier: %d\n",
564                        __func__, ret);
565                 goto err;
566         }
567
568         return 0;
569
570 err:
571         debugfs_remove_recursive(debug_debugfs_dir);
572         return ret;
573 }
574
575 static void debug_func_exit(void)
576 {
577         atomic_notifier_chain_unregister(&panic_notifier_list,
578                                          &debug_notifier);
579         debugfs_remove_recursive(debug_debugfs_dir);
580 }
581
582 static int debug_probe(struct amba_device *adev, const struct amba_id *id)
583 {
584         void __iomem *base;
585         struct device *dev = &adev->dev;
586         struct debug_drvdata *drvdata;
587         struct resource *res = &adev->res;
588         struct device_node *np = adev->dev.of_node;
589         int ret;
590
591         drvdata = devm_kzalloc(dev, sizeof(*drvdata), GFP_KERNEL);
592         if (!drvdata)
593                 return -ENOMEM;
594
595         drvdata->cpu = np ? of_coresight_get_cpu(np) : 0;
596         if (per_cpu(debug_drvdata, drvdata->cpu)) {
597                 dev_err(dev, "CPU%d drvdata has already been initialized\n",
598                         drvdata->cpu);
599                 return -EBUSY;
600         }
601
602         drvdata->dev = &adev->dev;
603         amba_set_drvdata(adev, drvdata);
604
605         /* Validity for the resource is already checked by the AMBA core */
606         base = devm_ioremap_resource(dev, res);
607         if (IS_ERR(base))
608                 return PTR_ERR(base);
609
610         drvdata->base = base;
611
612         get_online_cpus();
613         per_cpu(debug_drvdata, drvdata->cpu) = drvdata;
614         ret = smp_call_function_single(drvdata->cpu, debug_init_arch_data,
615                                        drvdata, 1);
616         put_online_cpus();
617
618         if (ret) {
619                 dev_err(dev, "CPU%d debug arch init failed\n", drvdata->cpu);
620                 goto err;
621         }
622
623         if (!drvdata->edpcsr_present) {
624                 dev_err(dev, "CPU%d sample-based profiling isn't implemented\n",
625                         drvdata->cpu);
626                 ret = -ENXIO;
627                 goto err;
628         }
629
630         if (!debug_count++) {
631                 ret = debug_func_init();
632                 if (ret)
633                         goto err_func_init;
634         }
635
636         mutex_lock(&debug_lock);
637         /* Turn off debug power domain if debugging is disabled */
638         if (!debug_enable)
639                 pm_runtime_put(dev);
640         mutex_unlock(&debug_lock);
641
642         dev_info(dev, "Coresight debug-CPU%d initialized\n", drvdata->cpu);
643         return 0;
644
645 err_func_init:
646         debug_count--;
647 err:
648         per_cpu(debug_drvdata, drvdata->cpu) = NULL;
649         return ret;
650 }
651
652 static int debug_remove(struct amba_device *adev)
653 {
654         struct device *dev = &adev->dev;
655         struct debug_drvdata *drvdata = amba_get_drvdata(adev);
656
657         per_cpu(debug_drvdata, drvdata->cpu) = NULL;
658
659         mutex_lock(&debug_lock);
660         /* Turn off debug power domain before rmmod the module */
661         if (debug_enable)
662                 pm_runtime_put(dev);
663         mutex_unlock(&debug_lock);
664
665         if (!--debug_count)
666                 debug_func_exit();
667
668         return 0;
669 }
670
671 static const struct amba_id debug_ids[] = {
672         {       /* Debug for Cortex-A53 */
673                 .id     = 0x000bbd03,
674                 .mask   = 0x000fffff,
675         },
676         {       /* Debug for Cortex-A57 */
677                 .id     = 0x000bbd07,
678                 .mask   = 0x000fffff,
679         },
680         {       /* Debug for Cortex-A72 */
681                 .id     = 0x000bbd08,
682                 .mask   = 0x000fffff,
683         },
684         {       /* Debug for Cortex-A73 */
685                 .id     = 0x000bbd09,
686                 .mask   = 0x000fffff,
687         },
688         { 0, 0 },
689 };
690
691 static struct amba_driver debug_driver = {
692         .drv = {
693                 .name   = "coresight-cpu-debug",
694                 .suppress_bind_attrs = true,
695         },
696         .probe          = debug_probe,
697         .remove         = debug_remove,
698         .id_table       = debug_ids,
699 };
700
701 module_amba_driver(debug_driver);
702
703 MODULE_AUTHOR("Leo Yan <leo.yan@linaro.org>");
704 MODULE_DESCRIPTION("ARM Coresight CPU Debug Driver");
705 MODULE_LICENSE("GPL");