GNU Linux-libre 5.19-rc6-gnu
[releases.git] / drivers / iommu / ioasid.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  * I/O Address Space ID allocator. There is one global IOASID space, split into
4  * subsets. Users create a subset with DECLARE_IOASID_SET, then allocate and
5  * free IOASIDs with ioasid_alloc() and ioasid_free().
6  */
7 #include <linux/ioasid.h>
8 #include <linux/module.h>
9 #include <linux/slab.h>
10 #include <linux/spinlock.h>
11 #include <linux/xarray.h>
12
13 struct ioasid_data {
14         ioasid_t id;
15         struct ioasid_set *set;
16         void *private;
17         struct rcu_head rcu;
18 };
19
20 /*
21  * struct ioasid_allocator_data - Internal data structure to hold information
22  * about an allocator. There are two types of allocators:
23  *
24  * - Default allocator always has its own XArray to track the IOASIDs allocated.
25  * - Custom allocators may share allocation helpers with different private data.
26  *   Custom allocators that share the same helper functions also share the same
27  *   XArray.
28  * Rules:
29  * 1. Default allocator is always available, not dynamically registered. This is
30  *    to prevent race conditions with early boot code that want to register
31  *    custom allocators or allocate IOASIDs.
32  * 2. Custom allocators take precedence over the default allocator.
33  * 3. When all custom allocators sharing the same helper functions are
34  *    unregistered (e.g. due to hotplug), all outstanding IOASIDs must be
35  *    freed. Otherwise, outstanding IOASIDs will be lost and orphaned.
36  * 4. When switching between custom allocators sharing the same helper
37  *    functions, outstanding IOASIDs are preserved.
38  * 5. When switching between custom allocator and default allocator, all IOASIDs
39  *    must be freed to ensure unadulterated space for the new allocator.
40  *
41  * @ops:        allocator helper functions and its data
42  * @list:       registered custom allocators
43  * @slist:      allocators share the same ops but different data
44  * @flags:      attributes of the allocator
45  * @xa:         xarray holds the IOASID space
46  * @rcu:        used for kfree_rcu when unregistering allocator
47  */
48 struct ioasid_allocator_data {
49         struct ioasid_allocator_ops *ops;
50         struct list_head list;
51         struct list_head slist;
52 #define IOASID_ALLOCATOR_CUSTOM BIT(0) /* Needs framework to track results */
53         unsigned long flags;
54         struct xarray xa;
55         struct rcu_head rcu;
56 };
57
58 static DEFINE_SPINLOCK(ioasid_allocator_lock);
59 static LIST_HEAD(allocators_list);
60
61 static ioasid_t default_alloc(ioasid_t min, ioasid_t max, void *opaque);
62 static void default_free(ioasid_t ioasid, void *opaque);
63
64 static struct ioasid_allocator_ops default_ops = {
65         .alloc = default_alloc,
66         .free = default_free,
67 };
68
69 static struct ioasid_allocator_data default_allocator = {
70         .ops = &default_ops,
71         .flags = 0,
72         .xa = XARRAY_INIT(ioasid_xa, XA_FLAGS_ALLOC),
73 };
74
75 static struct ioasid_allocator_data *active_allocator = &default_allocator;
76
77 static ioasid_t default_alloc(ioasid_t min, ioasid_t max, void *opaque)
78 {
79         ioasid_t id;
80
81         if (xa_alloc(&default_allocator.xa, &id, opaque, XA_LIMIT(min, max), GFP_ATOMIC)) {
82                 pr_err("Failed to alloc ioasid from %d to %d\n", min, max);
83                 return INVALID_IOASID;
84         }
85
86         return id;
87 }
88
89 static void default_free(ioasid_t ioasid, void *opaque)
90 {
91         struct ioasid_data *ioasid_data;
92
93         ioasid_data = xa_erase(&default_allocator.xa, ioasid);
94         kfree_rcu(ioasid_data, rcu);
95 }
96
97 /* Allocate and initialize a new custom allocator with its helper functions */
98 static struct ioasid_allocator_data *ioasid_alloc_allocator(struct ioasid_allocator_ops *ops)
99 {
100         struct ioasid_allocator_data *ia_data;
101
102         ia_data = kzalloc(sizeof(*ia_data), GFP_ATOMIC);
103         if (!ia_data)
104                 return NULL;
105
106         xa_init_flags(&ia_data->xa, XA_FLAGS_ALLOC);
107         INIT_LIST_HEAD(&ia_data->slist);
108         ia_data->flags |= IOASID_ALLOCATOR_CUSTOM;
109         ia_data->ops = ops;
110
111         /* For tracking custom allocators that share the same ops */
112         list_add_tail(&ops->list, &ia_data->slist);
113
114         return ia_data;
115 }
116
117 static bool use_same_ops(struct ioasid_allocator_ops *a, struct ioasid_allocator_ops *b)
118 {
119         return (a->free == b->free) && (a->alloc == b->alloc);
120 }
121
122 /**
123  * ioasid_register_allocator - register a custom allocator
124  * @ops: the custom allocator ops to be registered
125  *
126  * Custom allocators take precedence over the default xarray based allocator.
127  * Private data associated with the IOASID allocated by the custom allocators
128  * are managed by IOASID framework similar to data stored in xa by default
129  * allocator.
130  *
131  * There can be multiple allocators registered but only one is active. In case
132  * of runtime removal of a custom allocator, the next one is activated based
133  * on the registration ordering.
134  *
135  * Multiple allocators can share the same alloc() function, in this case the
136  * IOASID space is shared.
137  */
138 int ioasid_register_allocator(struct ioasid_allocator_ops *ops)
139 {
140         struct ioasid_allocator_data *ia_data;
141         struct ioasid_allocator_data *pallocator;
142         int ret = 0;
143
144         spin_lock(&ioasid_allocator_lock);
145
146         ia_data = ioasid_alloc_allocator(ops);
147         if (!ia_data) {
148                 ret = -ENOMEM;
149                 goto out_unlock;
150         }
151
152         /*
153          * No particular preference, we activate the first one and keep
154          * the later registered allocators in a list in case the first one gets
155          * removed due to hotplug.
156          */
157         if (list_empty(&allocators_list)) {
158                 WARN_ON(active_allocator != &default_allocator);
159                 /* Use this new allocator if default is not active */
160                 if (xa_empty(&active_allocator->xa)) {
161                         rcu_assign_pointer(active_allocator, ia_data);
162                         list_add_tail(&ia_data->list, &allocators_list);
163                         goto out_unlock;
164                 }
165                 pr_warn("Default allocator active with outstanding IOASID\n");
166                 ret = -EAGAIN;
167                 goto out_free;
168         }
169
170         /* Check if the allocator is already registered */
171         list_for_each_entry(pallocator, &allocators_list, list) {
172                 if (pallocator->ops == ops) {
173                         pr_err("IOASID allocator already registered\n");
174                         ret = -EEXIST;
175                         goto out_free;
176                 } else if (use_same_ops(pallocator->ops, ops)) {
177                         /*
178                          * If the new allocator shares the same ops,
179                          * then they will share the same IOASID space.
180                          * We should put them under the same xarray.
181                          */
182                         list_add_tail(&ops->list, &pallocator->slist);
183                         goto out_free;
184                 }
185         }
186         list_add_tail(&ia_data->list, &allocators_list);
187
188         spin_unlock(&ioasid_allocator_lock);
189         return 0;
190 out_free:
191         kfree(ia_data);
192 out_unlock:
193         spin_unlock(&ioasid_allocator_lock);
194         return ret;
195 }
196 EXPORT_SYMBOL_GPL(ioasid_register_allocator);
197
198 /**
199  * ioasid_unregister_allocator - Remove a custom IOASID allocator ops
200  * @ops: the custom allocator to be removed
201  *
202  * Remove an allocator from the list, activate the next allocator in
203  * the order it was registered. Or revert to default allocator if all
204  * custom allocators are unregistered without outstanding IOASIDs.
205  */
206 void ioasid_unregister_allocator(struct ioasid_allocator_ops *ops)
207 {
208         struct ioasid_allocator_data *pallocator;
209         struct ioasid_allocator_ops *sops;
210
211         spin_lock(&ioasid_allocator_lock);
212         if (list_empty(&allocators_list)) {
213                 pr_warn("No custom IOASID allocators active!\n");
214                 goto exit_unlock;
215         }
216
217         list_for_each_entry(pallocator, &allocators_list, list) {
218                 if (!use_same_ops(pallocator->ops, ops))
219                         continue;
220
221                 if (list_is_singular(&pallocator->slist)) {
222                         /* No shared helper functions */
223                         list_del(&pallocator->list);
224                         /*
225                          * All IOASIDs should have been freed before
226                          * the last allocator that shares the same ops
227                          * is unregistered.
228                          */
229                         WARN_ON(!xa_empty(&pallocator->xa));
230                         if (list_empty(&allocators_list)) {
231                                 pr_info("No custom IOASID allocators, switch to default.\n");
232                                 rcu_assign_pointer(active_allocator, &default_allocator);
233                         } else if (pallocator == active_allocator) {
234                                 rcu_assign_pointer(active_allocator,
235                                                 list_first_entry(&allocators_list,
236                                                                 struct ioasid_allocator_data, list));
237                                 pr_info("IOASID allocator changed");
238                         }
239                         kfree_rcu(pallocator, rcu);
240                         break;
241                 }
242                 /*
243                  * Find the matching shared ops to delete,
244                  * but keep outstanding IOASIDs
245                  */
246                 list_for_each_entry(sops, &pallocator->slist, list) {
247                         if (sops == ops) {
248                                 list_del(&ops->list);
249                                 break;
250                         }
251                 }
252                 break;
253         }
254
255 exit_unlock:
256         spin_unlock(&ioasid_allocator_lock);
257 }
258 EXPORT_SYMBOL_GPL(ioasid_unregister_allocator);
259
260 /**
261  * ioasid_set_data - Set private data for an allocated ioasid
262  * @ioasid: the ID to set data
263  * @data:   the private data
264  *
265  * For IOASID that is already allocated, private data can be set
266  * via this API. Future lookup can be done via ioasid_find.
267  */
268 int ioasid_set_data(ioasid_t ioasid, void *data)
269 {
270         struct ioasid_data *ioasid_data;
271         int ret = 0;
272
273         spin_lock(&ioasid_allocator_lock);
274         ioasid_data = xa_load(&active_allocator->xa, ioasid);
275         if (ioasid_data)
276                 rcu_assign_pointer(ioasid_data->private, data);
277         else
278                 ret = -ENOENT;
279         spin_unlock(&ioasid_allocator_lock);
280
281         /*
282          * Wait for readers to stop accessing the old private data, so the
283          * caller can free it.
284          */
285         if (!ret)
286                 synchronize_rcu();
287
288         return ret;
289 }
290 EXPORT_SYMBOL_GPL(ioasid_set_data);
291
292 /**
293  * ioasid_alloc - Allocate an IOASID
294  * @set: the IOASID set
295  * @min: the minimum ID (inclusive)
296  * @max: the maximum ID (inclusive)
297  * @private: data private to the caller
298  *
299  * Allocate an ID between @min and @max. The @private pointer is stored
300  * internally and can be retrieved with ioasid_find().
301  *
302  * Return: the allocated ID on success, or %INVALID_IOASID on failure.
303  */
304 ioasid_t ioasid_alloc(struct ioasid_set *set, ioasid_t min, ioasid_t max,
305                       void *private)
306 {
307         struct ioasid_data *data;
308         void *adata;
309         ioasid_t id;
310
311         data = kzalloc(sizeof(*data), GFP_ATOMIC);
312         if (!data)
313                 return INVALID_IOASID;
314
315         data->set = set;
316         data->private = private;
317
318         /*
319          * Custom allocator needs allocator data to perform platform specific
320          * operations.
321          */
322         spin_lock(&ioasid_allocator_lock);
323         adata = active_allocator->flags & IOASID_ALLOCATOR_CUSTOM ? active_allocator->ops->pdata : data;
324         id = active_allocator->ops->alloc(min, max, adata);
325         if (id == INVALID_IOASID) {
326                 pr_err("Failed ASID allocation %lu\n", active_allocator->flags);
327                 goto exit_free;
328         }
329
330         if ((active_allocator->flags & IOASID_ALLOCATOR_CUSTOM) &&
331              xa_alloc(&active_allocator->xa, &id, data, XA_LIMIT(id, id), GFP_ATOMIC)) {
332                 /* Custom allocator needs framework to store and track allocation results */
333                 pr_err("Failed to alloc ioasid from %d\n", id);
334                 active_allocator->ops->free(id, active_allocator->ops->pdata);
335                 goto exit_free;
336         }
337         data->id = id;
338
339         spin_unlock(&ioasid_allocator_lock);
340         return id;
341 exit_free:
342         spin_unlock(&ioasid_allocator_lock);
343         kfree(data);
344         return INVALID_IOASID;
345 }
346 EXPORT_SYMBOL_GPL(ioasid_alloc);
347
348 /**
349  * ioasid_free - Free an ioasid
350  * @ioasid: the ID to remove
351  */
352 void ioasid_free(ioasid_t ioasid)
353 {
354         struct ioasid_data *ioasid_data;
355
356         spin_lock(&ioasid_allocator_lock);
357         ioasid_data = xa_load(&active_allocator->xa, ioasid);
358         if (!ioasid_data) {
359                 pr_err("Trying to free unknown IOASID %u\n", ioasid);
360                 goto exit_unlock;
361         }
362
363         active_allocator->ops->free(ioasid, active_allocator->ops->pdata);
364         /* Custom allocator needs additional steps to free the xa element */
365         if (active_allocator->flags & IOASID_ALLOCATOR_CUSTOM) {
366                 ioasid_data = xa_erase(&active_allocator->xa, ioasid);
367                 kfree_rcu(ioasid_data, rcu);
368         }
369
370 exit_unlock:
371         spin_unlock(&ioasid_allocator_lock);
372 }
373 EXPORT_SYMBOL_GPL(ioasid_free);
374
375 /**
376  * ioasid_find - Find IOASID data
377  * @set: the IOASID set
378  * @ioasid: the IOASID to find
379  * @getter: function to call on the found object
380  *
381  * The optional getter function allows to take a reference to the found object
382  * under the rcu lock. The function can also check if the object is still valid:
383  * if @getter returns false, then the object is invalid and NULL is returned.
384  *
385  * If the IOASID exists, return the private pointer passed to ioasid_alloc.
386  * Private data can be NULL if not set. Return an error if the IOASID is not
387  * found, or if @set is not NULL and the IOASID does not belong to the set.
388  */
389 void *ioasid_find(struct ioasid_set *set, ioasid_t ioasid,
390                   bool (*getter)(void *))
391 {
392         void *priv;
393         struct ioasid_data *ioasid_data;
394         struct ioasid_allocator_data *idata;
395
396         rcu_read_lock();
397         idata = rcu_dereference(active_allocator);
398         ioasid_data = xa_load(&idata->xa, ioasid);
399         if (!ioasid_data) {
400                 priv = ERR_PTR(-ENOENT);
401                 goto unlock;
402         }
403         if (set && ioasid_data->set != set) {
404                 /* data found but does not belong to the set */
405                 priv = ERR_PTR(-EACCES);
406                 goto unlock;
407         }
408         /* Now IOASID and its set is verified, we can return the private data */
409         priv = rcu_dereference(ioasid_data->private);
410         if (getter && !getter(priv))
411                 priv = NULL;
412 unlock:
413         rcu_read_unlock();
414
415         return priv;
416 }
417 EXPORT_SYMBOL_GPL(ioasid_find);
418
419 MODULE_AUTHOR("Jean-Philippe Brucker <jean-philippe.brucker@arm.com>");
420 MODULE_AUTHOR("Jacob Pan <jacob.jun.pan@linux.intel.com>");
421 MODULE_DESCRIPTION("IO Address Space ID (IOASID) allocator");
422 MODULE_LICENSE("GPL");