GNU Linux-libre 4.19.263-gnu1
[releases.git] / arch / x86 / kernel / cpu / intel_rdt.h
1 /* SPDX-License-Identifier: GPL-2.0 */
2 #ifndef _ASM_X86_INTEL_RDT_H
3 #define _ASM_X86_INTEL_RDT_H
4
5 #include <linux/sched.h>
6 #include <linux/kernfs.h>
7 #include <linux/jump_label.h>
8
9 #define IA32_L3_QOS_CFG         0xc81
10 #define IA32_L2_QOS_CFG         0xc82
11 #define IA32_L3_CBM_BASE        0xc90
12 #define IA32_L2_CBM_BASE        0xd10
13 #define IA32_MBA_THRTL_BASE     0xd50
14
15 #define L3_QOS_CDP_ENABLE       0x01ULL
16
17 #define L2_QOS_CDP_ENABLE       0x01ULL
18
19 /*
20  * Event IDs are used to program IA32_QM_EVTSEL before reading event
21  * counter from IA32_QM_CTR
22  */
23 #define QOS_L3_OCCUP_EVENT_ID           0x01
24 #define QOS_L3_MBM_TOTAL_EVENT_ID       0x02
25 #define QOS_L3_MBM_LOCAL_EVENT_ID       0x03
26
27 #define CQM_LIMBOCHECK_INTERVAL 1000
28
29 #define MBM_CNTR_WIDTH                  24
30 #define MBM_OVERFLOW_INTERVAL           1000
31 #define MAX_MBA_BW                      100u
32
33 #define RMID_VAL_ERROR                  BIT_ULL(63)
34 #define RMID_VAL_UNAVAIL                BIT_ULL(62)
35
36 DECLARE_STATIC_KEY_FALSE(rdt_enable_key);
37
38 /**
39  * struct mon_evt - Entry in the event list of a resource
40  * @evtid:              event id
41  * @name:               name of the event
42  */
43 struct mon_evt {
44         u32                     evtid;
45         char                    *name;
46         struct list_head        list;
47 };
48
49 /**
50  * struct mon_data_bits - Monitoring details for each event file
51  * @rid:               Resource id associated with the event file.
52  * @evtid:             Event id associated with the event file
53  * @domid:             The domain to which the event file belongs
54  */
55 union mon_data_bits {
56         void *priv;
57         struct {
58                 unsigned int rid        : 10;
59                 unsigned int evtid      : 8;
60                 unsigned int domid      : 14;
61         } u;
62 };
63
64 struct rmid_read {
65         struct rdtgroup         *rgrp;
66         struct rdt_domain       *d;
67         int                     evtid;
68         bool                    first;
69         u64                     val;
70 };
71
72 extern unsigned int intel_cqm_threshold;
73 extern bool rdt_alloc_capable;
74 extern bool rdt_mon_capable;
75 extern unsigned int rdt_mon_features;
76
77 enum rdt_group_type {
78         RDTCTRL_GROUP = 0,
79         RDTMON_GROUP,
80         RDT_NUM_GROUP,
81 };
82
83 /**
84  * enum rdtgrp_mode - Mode of a RDT resource group
85  * @RDT_MODE_SHAREABLE: This resource group allows sharing of its allocations
86  * @RDT_MODE_EXCLUSIVE: No sharing of this resource group's allocations allowed
87  * @RDT_MODE_PSEUDO_LOCKSETUP: Resource group will be used for Pseudo-Locking
88  * @RDT_MODE_PSEUDO_LOCKED: No sharing of this resource group's allocations
89  *                          allowed AND the allocations are Cache Pseudo-Locked
90  *
91  * The mode of a resource group enables control over the allowed overlap
92  * between allocations associated with different resource groups (classes
93  * of service). User is able to modify the mode of a resource group by
94  * writing to the "mode" resctrl file associated with the resource group.
95  *
96  * The "shareable", "exclusive", and "pseudo-locksetup" modes are set by
97  * writing the appropriate text to the "mode" file. A resource group enters
98  * "pseudo-locked" mode after the schemata is written while the resource
99  * group is in "pseudo-locksetup" mode.
100  */
101 enum rdtgrp_mode {
102         RDT_MODE_SHAREABLE = 0,
103         RDT_MODE_EXCLUSIVE,
104         RDT_MODE_PSEUDO_LOCKSETUP,
105         RDT_MODE_PSEUDO_LOCKED,
106
107         /* Must be last */
108         RDT_NUM_MODES,
109 };
110
111 /**
112  * struct mongroup - store mon group's data in resctrl fs.
113  * @mon_data_kn         kernlfs node for the mon_data directory
114  * @parent:                     parent rdtgrp
115  * @crdtgrp_list:               child rdtgroup node list
116  * @rmid:                       rmid for this rdtgroup
117  */
118 struct mongroup {
119         struct kernfs_node      *mon_data_kn;
120         struct rdtgroup         *parent;
121         struct list_head        crdtgrp_list;
122         u32                     rmid;
123 };
124
125 /**
126  * struct pseudo_lock_region - pseudo-lock region information
127  * @r:                  RDT resource to which this pseudo-locked region
128  *                      belongs
129  * @d:                  RDT domain to which this pseudo-locked region
130  *                      belongs
131  * @cbm:                bitmask of the pseudo-locked region
132  * @lock_thread_wq:     waitqueue used to wait on the pseudo-locking thread
133  *                      completion
134  * @thread_done:        variable used by waitqueue to test if pseudo-locking
135  *                      thread completed
136  * @cpu:                core associated with the cache on which the setup code
137  *                      will be run
138  * @line_size:          size of the cache lines
139  * @size:               size of pseudo-locked region in bytes
140  * @kmem:               the kernel memory associated with pseudo-locked region
141  * @minor:              minor number of character device associated with this
142  *                      region
143  * @debugfs_dir:        pointer to this region's directory in the debugfs
144  *                      filesystem
145  * @pm_reqs:            Power management QoS requests related to this region
146  */
147 struct pseudo_lock_region {
148         struct rdt_resource     *r;
149         struct rdt_domain       *d;
150         u32                     cbm;
151         wait_queue_head_t       lock_thread_wq;
152         int                     thread_done;
153         int                     cpu;
154         unsigned int            line_size;
155         unsigned int            size;
156         void                    *kmem;
157         unsigned int            minor;
158         struct dentry           *debugfs_dir;
159         struct list_head        pm_reqs;
160 };
161
162 /**
163  * struct rdtgroup - store rdtgroup's data in resctrl file system.
164  * @kn:                         kernfs node
165  * @rdtgroup_list:              linked list for all rdtgroups
166  * @closid:                     closid for this rdtgroup
167  * @cpu_mask:                   CPUs assigned to this rdtgroup
168  * @flags:                      status bits
169  * @waitcount:                  how many cpus expect to find this
170  *                              group when they acquire rdtgroup_mutex
171  * @type:                       indicates type of this rdtgroup - either
172  *                              monitor only or ctrl_mon group
173  * @mon:                        mongroup related data
174  * @mode:                       mode of resource group
175  * @plr:                        pseudo-locked region
176  */
177 struct rdtgroup {
178         struct kernfs_node              *kn;
179         struct list_head                rdtgroup_list;
180         u32                             closid;
181         struct cpumask                  cpu_mask;
182         int                             flags;
183         atomic_t                        waitcount;
184         enum rdt_group_type             type;
185         struct mongroup                 mon;
186         enum rdtgrp_mode                mode;
187         struct pseudo_lock_region       *plr;
188 };
189
190 /* rdtgroup.flags */
191 #define RDT_DELETED             1
192
193 /* rftype.flags */
194 #define RFTYPE_FLAGS_CPUS_LIST  1
195
196 /*
197  * Define the file type flags for base and info directories.
198  */
199 #define RFTYPE_INFO                     BIT(0)
200 #define RFTYPE_BASE                     BIT(1)
201 #define RF_CTRLSHIFT                    4
202 #define RF_MONSHIFT                     5
203 #define RF_TOPSHIFT                     6
204 #define RFTYPE_CTRL                     BIT(RF_CTRLSHIFT)
205 #define RFTYPE_MON                      BIT(RF_MONSHIFT)
206 #define RFTYPE_TOP                      BIT(RF_TOPSHIFT)
207 #define RFTYPE_RES_CACHE                BIT(8)
208 #define RFTYPE_RES_MB                   BIT(9)
209 #define RF_CTRL_INFO                    (RFTYPE_INFO | RFTYPE_CTRL)
210 #define RF_MON_INFO                     (RFTYPE_INFO | RFTYPE_MON)
211 #define RF_TOP_INFO                     (RFTYPE_INFO | RFTYPE_TOP)
212 #define RF_CTRL_BASE                    (RFTYPE_BASE | RFTYPE_CTRL)
213
214 /* List of all resource groups */
215 extern struct list_head rdt_all_groups;
216
217 extern int max_name_width, max_data_width;
218
219 int __init rdtgroup_init(void);
220 void __exit rdtgroup_exit(void);
221
222 /**
223  * struct rftype - describe each file in the resctrl file system
224  * @name:       File name
225  * @mode:       Access mode
226  * @kf_ops:     File operations
227  * @flags:      File specific RFTYPE_FLAGS_* flags
228  * @fflags:     File specific RF_* or RFTYPE_* flags
229  * @seq_show:   Show content of the file
230  * @write:      Write to the file
231  */
232 struct rftype {
233         char                    *name;
234         umode_t                 mode;
235         struct kernfs_ops       *kf_ops;
236         unsigned long           flags;
237         unsigned long           fflags;
238
239         int (*seq_show)(struct kernfs_open_file *of,
240                         struct seq_file *sf, void *v);
241         /*
242          * write() is the generic write callback which maps directly to
243          * kernfs write operation and overrides all other operations.
244          * Maximum write size is determined by ->max_write_len.
245          */
246         ssize_t (*write)(struct kernfs_open_file *of,
247                          char *buf, size_t nbytes, loff_t off);
248 };
249
250 /**
251  * struct mbm_state - status for each MBM counter in each domain
252  * @chunks:     Total data moved (multiply by rdt_group.mon_scale to get bytes)
253  * @prev_msr    Value of IA32_QM_CTR for this RMID last time we read it
254  * @prev_bw_msr:Value of previous IA32_QM_CTR for bandwidth counting
255  * @prev_bw     The most recent bandwidth in MBps
256  * @delta_bw    Difference between the current and previous bandwidth
257  * @delta_comp  Indicates whether to compute the delta_bw
258  */
259 struct mbm_state {
260         u64     chunks;
261         u64     prev_msr;
262         u64     prev_bw_msr;
263         u32     prev_bw;
264         u32     delta_bw;
265         bool    delta_comp;
266 };
267
268 /**
269  * struct rdt_domain - group of cpus sharing an RDT resource
270  * @list:       all instances of this resource
271  * @id:         unique id for this instance
272  * @cpu_mask:   which cpus share this resource
273  * @rmid_busy_llc:
274  *              bitmap of which limbo RMIDs are above threshold
275  * @mbm_total:  saved state for MBM total bandwidth
276  * @mbm_local:  saved state for MBM local bandwidth
277  * @mbm_over:   worker to periodically read MBM h/w counters
278  * @cqm_limbo:  worker to periodically read CQM h/w counters
279  * @mbm_work_cpu:
280  *              worker cpu for MBM h/w counters
281  * @cqm_work_cpu:
282  *              worker cpu for CQM h/w counters
283  * @ctrl_val:   array of cache or mem ctrl values (indexed by CLOSID)
284  * @mbps_val:   When mba_sc is enabled, this holds the bandwidth in MBps
285  * @new_ctrl:   new ctrl value to be loaded
286  * @have_new_ctrl: did user provide new_ctrl for this domain
287  * @plr:        pseudo-locked region (if any) associated with domain
288  */
289 struct rdt_domain {
290         struct list_head                list;
291         int                             id;
292         struct cpumask                  cpu_mask;
293         unsigned long                   *rmid_busy_llc;
294         struct mbm_state                *mbm_total;
295         struct mbm_state                *mbm_local;
296         struct delayed_work             mbm_over;
297         struct delayed_work             cqm_limbo;
298         int                             mbm_work_cpu;
299         int                             cqm_work_cpu;
300         u32                             *ctrl_val;
301         u32                             *mbps_val;
302         u32                             new_ctrl;
303         bool                            have_new_ctrl;
304         struct pseudo_lock_region       *plr;
305 };
306
307 /**
308  * struct msr_param - set a range of MSRs from a domain
309  * @res:       The resource to use
310  * @low:       Beginning index from base MSR
311  * @high:      End index
312  */
313 struct msr_param {
314         struct rdt_resource     *res;
315         int                     low;
316         int                     high;
317 };
318
319 /**
320  * struct rdt_cache - Cache allocation related data
321  * @cbm_len:            Length of the cache bit mask
322  * @min_cbm_bits:       Minimum number of consecutive bits to be set
323  * @cbm_idx_mult:       Multiplier of CBM index
324  * @cbm_idx_offset:     Offset of CBM index. CBM index is computed by:
325  *                      closid * cbm_idx_multi + cbm_idx_offset
326  *                      in a cache bit mask
327  * @shareable_bits:     Bitmask of shareable resource with other
328  *                      executing entities
329  */
330 struct rdt_cache {
331         unsigned int    cbm_len;
332         unsigned int    min_cbm_bits;
333         unsigned int    cbm_idx_mult;
334         unsigned int    cbm_idx_offset;
335         unsigned int    shareable_bits;
336 };
337
338 /**
339  * struct rdt_membw - Memory bandwidth allocation related data
340  * @max_delay:          Max throttle delay. Delay is the hardware
341  *                      representation for memory bandwidth.
342  * @min_bw:             Minimum memory bandwidth percentage user can request
343  * @bw_gran:            Granularity at which the memory bandwidth is allocated
344  * @delay_linear:       True if memory B/W delay is in linear scale
345  * @mba_sc:             True if MBA software controller(mba_sc) is enabled
346  * @mb_map:             Mapping of memory B/W percentage to memory B/W delay
347  */
348 struct rdt_membw {
349         u32             max_delay;
350         u32             min_bw;
351         u32             bw_gran;
352         u32             delay_linear;
353         bool            mba_sc;
354         u32             *mb_map;
355 };
356
357 static inline bool is_llc_occupancy_enabled(void)
358 {
359         return (rdt_mon_features & (1 << QOS_L3_OCCUP_EVENT_ID));
360 }
361
362 static inline bool is_mbm_total_enabled(void)
363 {
364         return (rdt_mon_features & (1 << QOS_L3_MBM_TOTAL_EVENT_ID));
365 }
366
367 static inline bool is_mbm_local_enabled(void)
368 {
369         return (rdt_mon_features & (1 << QOS_L3_MBM_LOCAL_EVENT_ID));
370 }
371
372 static inline bool is_mbm_enabled(void)
373 {
374         return (is_mbm_total_enabled() || is_mbm_local_enabled());
375 }
376
377 static inline bool is_mbm_event(int e)
378 {
379         return (e >= QOS_L3_MBM_TOTAL_EVENT_ID &&
380                 e <= QOS_L3_MBM_LOCAL_EVENT_ID);
381 }
382
383 struct rdt_parse_data {
384         struct rdtgroup         *rdtgrp;
385         char                    *buf;
386 };
387
388 /**
389  * struct rdt_resource - attributes of an RDT resource
390  * @rid:                The index of the resource
391  * @alloc_enabled:      Is allocation enabled on this machine
392  * @mon_enabled:                Is monitoring enabled for this feature
393  * @alloc_capable:      Is allocation available on this machine
394  * @mon_capable:                Is monitor feature available on this machine
395  * @name:               Name to use in "schemata" file
396  * @num_closid:         Number of CLOSIDs available
397  * @cache_level:        Which cache level defines scope of this resource
398  * @default_ctrl:       Specifies default cache cbm or memory B/W percent.
399  * @msr_base:           Base MSR address for CBMs
400  * @msr_update:         Function pointer to update QOS MSRs
401  * @data_width:         Character width of data when displaying
402  * @domains:            All domains for this resource
403  * @cache:              Cache allocation related data
404  * @format_str:         Per resource format string to show domain value
405  * @parse_ctrlval:      Per resource function pointer to parse control values
406  * @evt_list:                   List of monitoring events
407  * @num_rmid:                   Number of RMIDs available
408  * @mon_scale:                  cqm counter * mon_scale = occupancy in bytes
409  * @fflags:                     flags to choose base and info files
410  */
411 struct rdt_resource {
412         int                     rid;
413         bool                    alloc_enabled;
414         bool                    mon_enabled;
415         bool                    alloc_capable;
416         bool                    mon_capable;
417         char                    *name;
418         int                     num_closid;
419         int                     cache_level;
420         u32                     default_ctrl;
421         unsigned int            msr_base;
422         void (*msr_update)      (struct rdt_domain *d, struct msr_param *m,
423                                  struct rdt_resource *r);
424         int                     data_width;
425         struct list_head        domains;
426         struct rdt_cache        cache;
427         struct rdt_membw        membw;
428         const char              *format_str;
429         int (*parse_ctrlval)(struct rdt_parse_data *data,
430                              struct rdt_resource *r,
431                              struct rdt_domain *d);
432         struct list_head        evt_list;
433         int                     num_rmid;
434         unsigned int            mon_scale;
435         unsigned long           fflags;
436 };
437
438 int parse_cbm(struct rdt_parse_data *data, struct rdt_resource *r,
439               struct rdt_domain *d);
440 int parse_bw(struct rdt_parse_data *data, struct rdt_resource *r,
441              struct rdt_domain *d);
442
443 extern struct mutex rdtgroup_mutex;
444
445 extern struct rdt_resource rdt_resources_all[];
446 extern struct rdtgroup rdtgroup_default;
447 DECLARE_STATIC_KEY_FALSE(rdt_alloc_enable_key);
448
449 extern struct dentry *debugfs_resctrl;
450
451 enum {
452         RDT_RESOURCE_L3,
453         RDT_RESOURCE_L3DATA,
454         RDT_RESOURCE_L3CODE,
455         RDT_RESOURCE_L2,
456         RDT_RESOURCE_L2DATA,
457         RDT_RESOURCE_L2CODE,
458         RDT_RESOURCE_MBA,
459
460         /* Must be the last */
461         RDT_NUM_RESOURCES,
462 };
463
464 #define for_each_capable_rdt_resource(r)                                      \
465         for (r = rdt_resources_all; r < rdt_resources_all + RDT_NUM_RESOURCES;\
466              r++)                                                             \
467                 if (r->alloc_capable || r->mon_capable)
468
469 #define for_each_alloc_capable_rdt_resource(r)                                \
470         for (r = rdt_resources_all; r < rdt_resources_all + RDT_NUM_RESOURCES;\
471              r++)                                                             \
472                 if (r->alloc_capable)
473
474 #define for_each_mon_capable_rdt_resource(r)                                  \
475         for (r = rdt_resources_all; r < rdt_resources_all + RDT_NUM_RESOURCES;\
476              r++)                                                             \
477                 if (r->mon_capable)
478
479 #define for_each_alloc_enabled_rdt_resource(r)                                \
480         for (r = rdt_resources_all; r < rdt_resources_all + RDT_NUM_RESOURCES;\
481              r++)                                                             \
482                 if (r->alloc_enabled)
483
484 #define for_each_mon_enabled_rdt_resource(r)                                  \
485         for (r = rdt_resources_all; r < rdt_resources_all + RDT_NUM_RESOURCES;\
486              r++)                                                             \
487                 if (r->mon_enabled)
488
489 /* CPUID.(EAX=10H, ECX=ResID=1).EAX */
490 union cpuid_0x10_1_eax {
491         struct {
492                 unsigned int cbm_len:5;
493         } split;
494         unsigned int full;
495 };
496
497 /* CPUID.(EAX=10H, ECX=ResID=3).EAX */
498 union cpuid_0x10_3_eax {
499         struct {
500                 unsigned int max_delay:12;
501         } split;
502         unsigned int full;
503 };
504
505 /* CPUID.(EAX=10H, ECX=ResID).EDX */
506 union cpuid_0x10_x_edx {
507         struct {
508                 unsigned int cos_max:16;
509         } split;
510         unsigned int full;
511 };
512
513 void rdt_last_cmd_clear(void);
514 void rdt_last_cmd_puts(const char *s);
515 void rdt_last_cmd_printf(const char *fmt, ...);
516
517 void rdt_ctrl_update(void *arg);
518 struct rdtgroup *rdtgroup_kn_lock_live(struct kernfs_node *kn);
519 void rdtgroup_kn_unlock(struct kernfs_node *kn);
520 int rdtgroup_kn_mode_restrict(struct rdtgroup *r, const char *name);
521 int rdtgroup_kn_mode_restore(struct rdtgroup *r, const char *name,
522                              umode_t mask);
523 struct rdt_domain *rdt_find_domain(struct rdt_resource *r, int id,
524                                    struct list_head **pos);
525 ssize_t rdtgroup_schemata_write(struct kernfs_open_file *of,
526                                 char *buf, size_t nbytes, loff_t off);
527 int rdtgroup_schemata_show(struct kernfs_open_file *of,
528                            struct seq_file *s, void *v);
529 bool rdtgroup_cbm_overlaps(struct rdt_resource *r, struct rdt_domain *d,
530                            unsigned long cbm, int closid, bool exclusive);
531 unsigned int rdtgroup_cbm_to_size(struct rdt_resource *r, struct rdt_domain *d,
532                                   unsigned long cbm);
533 enum rdtgrp_mode rdtgroup_mode_by_closid(int closid);
534 int rdtgroup_tasks_assigned(struct rdtgroup *r);
535 int rdtgroup_locksetup_enter(struct rdtgroup *rdtgrp);
536 int rdtgroup_locksetup_exit(struct rdtgroup *rdtgrp);
537 bool rdtgroup_cbm_overlaps_pseudo_locked(struct rdt_domain *d, unsigned long cbm);
538 bool rdtgroup_pseudo_locked_in_hierarchy(struct rdt_domain *d);
539 int rdt_pseudo_lock_init(void);
540 void rdt_pseudo_lock_release(void);
541 int rdtgroup_pseudo_lock_create(struct rdtgroup *rdtgrp);
542 void rdtgroup_pseudo_lock_remove(struct rdtgroup *rdtgrp);
543 struct rdt_domain *get_domain_from_cpu(int cpu, struct rdt_resource *r);
544 int update_domains(struct rdt_resource *r, int closid);
545 int closids_supported(void);
546 void closid_free(int closid);
547 int alloc_rmid(void);
548 void free_rmid(u32 rmid);
549 int rdt_get_mon_l3_config(struct rdt_resource *r);
550 void mon_event_count(void *info);
551 int rdtgroup_mondata_show(struct seq_file *m, void *arg);
552 void rmdir_mondata_subdir_allrdtgrp(struct rdt_resource *r,
553                                     unsigned int dom_id);
554 void mkdir_mondata_subdir_allrdtgrp(struct rdt_resource *r,
555                                     struct rdt_domain *d);
556 void mon_event_read(struct rmid_read *rr, struct rdt_domain *d,
557                     struct rdtgroup *rdtgrp, int evtid, int first);
558 void mbm_setup_overflow_handler(struct rdt_domain *dom,
559                                 unsigned long delay_ms);
560 void mbm_handle_overflow(struct work_struct *work);
561 bool is_mba_sc(struct rdt_resource *r);
562 void setup_default_ctrlval(struct rdt_resource *r, u32 *dc, u32 *dm);
563 u32 delay_bw_map(unsigned long bw, struct rdt_resource *r);
564 void cqm_setup_limbo_handler(struct rdt_domain *dom, unsigned long delay_ms);
565 void cqm_handle_limbo(struct work_struct *work);
566 bool has_busy_rmid(struct rdt_resource *r, struct rdt_domain *d);
567 void __check_limbo(struct rdt_domain *d, bool force_free);
568 void rdt_domain_reconfigure_cdp(struct rdt_resource *r);
569
570 #endif /* _ASM_X86_INTEL_RDT_H */