drivers/dma/of-dma.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  * Device tree helpers for DMA request / controller
   4  *
   5  * Based on of_gpio.c
   6  *
   7  * Copyright (C) 2012 Texas Instruments Incorporated - http://www.ti.com/
   8  */
   9
  10 #include <linux/device.h>
  11 #include <linux/err.h>
  12 #include <linux/module.h>
  13 #include <linux/mutex.h>
  14 #include <linux/slab.h>
  15 #include <linux/of.h>
  16 #include <linux/of_dma.h>
  17
  18 static LIST_HEAD(of_dma_list);
  19 static DEFINE_MUTEX(of_dma_lock);
  20
  21 /**
  22  * of_dma_find_controller - Get a DMA controller in DT DMA helpers list
  23  * @dma_spec:   pointer to DMA specifier as found in the device tree
  24  *
  25  * Finds a DMA controller with matching device node and number for dma cells
  26  * in a list of registered DMA controllers. If a match is found a valid pointer
  27  * to the DMA data stored is retuned. A NULL pointer is returned if no match is
  28  * found.
  29  */
  30 static struct of_dma *of_dma_find_controller(struct of_phandle_args *dma_spec)
  31 {
  32         struct of_dma *ofdma;
  33
  34         list_for_each_entry(ofdma, &of_dma_list, of_dma_controllers)
  35                 if (ofdma->of_node == dma_spec->np)
  36                         return ofdma;
  37
  38         pr_debug("%s: can't find DMA controller %pOF\n", __func__,
  39                  dma_spec->np);
  40
  41         return NULL;
  42 }
  43
  44 /**
  45  * of_dma_router_xlate - translation function for router devices
  46  * @dma_spec:   pointer to DMA specifier as found in the device tree
  47  * @of_dma:     pointer to DMA controller data (router information)
  48  *
  49  * The function creates new dma_spec to be passed to the router driver's
  50  * of_dma_route_allocate() function to prepare a dma_spec which will be used
  51  * to request channel from the real DMA controller.
  52  */
  53 static struct dma_chan *of_dma_router_xlate(struct of_phandle_args *dma_spec,
  54                                             struct of_dma *ofdma)
  55 {
  56         struct dma_chan         *chan;
  57         struct of_dma           *ofdma_target;
  58         struct of_phandle_args  dma_spec_target;
  59         void                    *route_data;
  60
  61         /* translate the request for the real DMA controller */
  62         memcpy(&dma_spec_target, dma_spec, sizeof(dma_spec_target));
  63         route_data = ofdma->of_dma_route_allocate(&dma_spec_target, ofdma);
  64         if (IS_ERR(route_data))
  65                 return NULL;
  66
  67         ofdma_target = of_dma_find_controller(&dma_spec_target);
  68         if (!ofdma_target) {
  69                 ofdma->dma_router->route_free(ofdma->dma_router->dev,
  70                                               route_data);
  71                 chan = ERR_PTR(-EPROBE_DEFER);
  72                 goto err;
  73         }
  74
  75         chan = ofdma_target->of_dma_xlate(&dma_spec_target, ofdma_target);
  76         if (IS_ERR_OR_NULL(chan)) {
  77                 ofdma->dma_router->route_free(ofdma->dma_router->dev,
  78                                               route_data);
  79         } else {
  80                 chan->router = ofdma->dma_router;
  81                 chan->route_data = route_data;
  82         }
  83
  84 err:
  85         /*
  86          * Need to put the node back since the ofdma->of_dma_route_allocate
  87          * has taken it for generating the new, translated dma_spec
  88          */
  89         of_node_put(dma_spec_target.np);
  90         return chan;
  91 }
  92
  93 /**
  94  * of_dma_controller_register - Register a DMA controller to DT DMA helpers
  95  * @np:                 device node of DMA controller
  96  * @of_dma_xlate:       translation function which converts a phandle
  97  *                      arguments list into a dma_chan structure
  98  * @data                pointer to controller specific data to be used by
  99  *                      translation function
 100  *
 101  * Returns 0 on success or appropriate errno value on error.
 102  *
 103  * Allocated memory should be freed with appropriate of_dma_controller_free()
 104  * call.
 105  */
 106 int of_dma_controller_register(struct device_node *np,
 107                                 struct dma_chan *(*of_dma_xlate)
 108                                 (struct of_phandle_args *, struct of_dma *),
 109                                 void *data)
 110 {
 111         struct of_dma   *ofdma;
 112
 113         if (!np || !of_dma_xlate) {
 114                 pr_err("%s: not enough information provided\n", __func__);
 115                 return -EINVAL;
 116         }
 117
 118         ofdma = kzalloc(sizeof(*ofdma), GFP_KERNEL);
 119         if (!ofdma)
 120                 return -ENOMEM;
 121
 122         ofdma->of_node = np;
 123         ofdma->of_dma_xlate = of_dma_xlate;
 124         ofdma->of_dma_data = data;
 125
 126         /* Now queue of_dma controller structure in list */
 127         mutex_lock(&of_dma_lock);
 128         list_add_tail(&ofdma->of_dma_controllers, &of_dma_list);
 129         mutex_unlock(&of_dma_lock);
 130
 131         return 0;
 132 }
 133 EXPORT_SYMBOL_GPL(of_dma_controller_register);
 134
 135 /**
 136  * of_dma_controller_free - Remove a DMA controller from DT DMA helpers list
 137  * @np:         device node of DMA controller
 138  *
 139  * Memory allocated by of_dma_controller_register() is freed here.
 140  */
 141 void of_dma_controller_free(struct device_node *np)
 142 {
 143         struct of_dma *ofdma;
 144
 145         mutex_lock(&of_dma_lock);
 146
 147         list_for_each_entry(ofdma, &of_dma_list, of_dma_controllers)
 148                 if (ofdma->of_node == np) {
 149                         list_del(&ofdma->of_dma_controllers);
 150                         kfree(ofdma);
 151                         break;
 152                 }
 153
 154         mutex_unlock(&of_dma_lock);
 155 }
 156 EXPORT_SYMBOL_GPL(of_dma_controller_free);
 157
 158 /**
 159  * of_dma_router_register - Register a DMA router to DT DMA helpers as a
 160  *                          controller
 161  * @np:                         device node of DMA router
 162  * @of_dma_route_allocate:      setup function for the router which need to
 163  *                              modify the dma_spec for the DMA controller to
 164  *                              use and to set up the requested route.
 165  * @dma_router:                 pointer to dma_router structure to be used when
 166  *                              the route need to be free up.
 167  *
 168  * Returns 0 on success or appropriate errno value on error.
 169  *
 170  * Allocated memory should be freed with appropriate of_dma_controller_free()
 171  * call.
 172  */
 173 int of_dma_router_register(struct device_node *np,
 174                            void *(*of_dma_route_allocate)
 175                            (struct of_phandle_args *, struct of_dma *),
 176                            struct dma_router *dma_router)
 177 {
 178         struct of_dma   *ofdma;
 179
 180         if (!np || !of_dma_route_allocate || !dma_router) {
 181                 pr_err("%s: not enough information provided\n", __func__);
 182                 return -EINVAL;
 183         }
 184
 185         ofdma = kzalloc(sizeof(*ofdma), GFP_KERNEL);
 186         if (!ofdma)
 187                 return -ENOMEM;
 188
 189         ofdma->of_node = np;
 190         ofdma->of_dma_xlate = of_dma_router_xlate;
 191         ofdma->of_dma_route_allocate = of_dma_route_allocate;
 192         ofdma->dma_router = dma_router;
 193
 194         /* Now queue of_dma controller structure in list */
 195         mutex_lock(&of_dma_lock);
 196         list_add_tail(&ofdma->of_dma_controllers, &of_dma_list);
 197         mutex_unlock(&of_dma_lock);
 198
 199         return 0;
 200 }
 201 EXPORT_SYMBOL_GPL(of_dma_router_register);
 202
 203 /**
 204  * of_dma_match_channel - Check if a DMA specifier matches name
 205  * @np:         device node to look for DMA channels
 206  * @name:       channel name to be matched
 207  * @index:      index of DMA specifier in list of DMA specifiers
 208  * @dma_spec:   pointer to DMA specifier as found in the device tree
 209  *
 210  * Check if the DMA specifier pointed to by the index in a list of DMA
 211  * specifiers, matches the name provided. Returns 0 if the name matches and
 212  * a valid pointer to the DMA specifier is found. Otherwise returns -ENODEV.
 213  */
 214 static int of_dma_match_channel(struct device_node *np, const char *name,
 215                                 int index, struct of_phandle_args *dma_spec)
 216 {
 217         const char *s;
 218
 219         if (of_property_read_string_index(np, "dma-names", index, &s))
 220                 return -ENODEV;
 221
 222         if (strcmp(name, s))
 223                 return -ENODEV;
 224
 225         if (of_parse_phandle_with_args(np, "dmas", "#dma-cells", index,
 226                                        dma_spec))
 227                 return -ENODEV;
 228
 229         return 0;
 230 }
 231
 232 /**
 233  * of_dma_request_slave_channel - Get the DMA slave channel
 234  * @np:         device node to get DMA request from
 235  * @name:       name of desired channel
 236  *
 237  * Returns pointer to appropriate DMA channel on success or an error pointer.
 238  */
 239 struct dma_chan *of_dma_request_slave_channel(struct device_node *np,
 240                                               const char *name)
 241 {
 242         struct of_phandle_args  dma_spec;
 243         struct of_dma           *ofdma;
 244         struct dma_chan         *chan;
 245         int                     count, i, start;
 246         int                     ret_no_channel = -ENODEV;
 247         static atomic_t         last_index;
 248
 249         if (!np || !name) {
 250                 pr_err("%s: not enough information provided\n", __func__);
 251                 return ERR_PTR(-ENODEV);
 252         }
 253
 254         /* Silently fail if there is not even the "dmas" property */
 255         if (!of_find_property(np, "dmas", NULL))
 256                 return ERR_PTR(-ENODEV);
 257
 258         count = of_property_count_strings(np, "dma-names");
 259         if (count < 0) {
 260                 pr_err("%s: dma-names property of node '%pOF' missing or empty\n",
 261                         __func__, np);
 262                 return ERR_PTR(-ENODEV);
 263         }
 264
 265         /*
 266          * approximate an average distribution across multiple
 267          * entries with the same name
 268          */
 269         start = atomic_inc_return(&last_index);
 270         for (i = 0; i < count; i++) {
 271                 if (of_dma_match_channel(np, name,
 272                                          (i + start) % count,
 273                                          &dma_spec))
 274                         continue;
 275
 276                 mutex_lock(&of_dma_lock);
 277                 ofdma = of_dma_find_controller(&dma_spec);
 278
 279                 if (ofdma) {
 280                         chan = ofdma->of_dma_xlate(&dma_spec, ofdma);
 281                 } else {
 282                         ret_no_channel = -EPROBE_DEFER;
 283                         chan = NULL;
 284                 }
 285
 286                 mutex_unlock(&of_dma_lock);
 287
 288                 of_node_put(dma_spec.np);
 289
 290                 if (chan)
 291                         return chan;
 292         }
 293
 294         return ERR_PTR(ret_no_channel);
 295 }
 296 EXPORT_SYMBOL_GPL(of_dma_request_slave_channel);
 297
 298 /**
 299  * of_dma_simple_xlate - Simple DMA engine translation function
 300  * @dma_spec:   pointer to DMA specifier as found in the device tree
 301  * @of_dma:     pointer to DMA controller data
 302  *
 303  * A simple translation function for devices that use a 32-bit value for the
 304  * filter_param when calling the DMA engine dma_request_channel() function.
 305  * Note that this translation function requires that #dma-cells is equal to 1
 306  * and the argument of the dma specifier is the 32-bit filter_param. Returns
 307  * pointer to appropriate dma channel on success or NULL on error.
 308  */
 309 struct dma_chan *of_dma_simple_xlate(struct of_phandle_args *dma_spec,
 310                                                 struct of_dma *ofdma)
 311 {
 312         int count = dma_spec->args_count;
 313         struct of_dma_filter_info *info = ofdma->of_dma_data;
 314
 315         if (!info || !info->filter_fn)
 316                 return NULL;
 317
 318         if (count != 1)
 319                 return NULL;
 320
 321         return __dma_request_channel(&info->dma_cap, info->filter_fn,
 322                                      &dma_spec->args[0], dma_spec->np);
 323 }
 324 EXPORT_SYMBOL_GPL(of_dma_simple_xlate);
 325
 326 /**
 327  * of_dma_xlate_by_chan_id - Translate dt property to DMA channel by channel id
 328  * @dma_spec:   pointer to DMA specifier as found in the device tree
 329  * @of_dma:     pointer to DMA controller data
 330  *
 331  * This function can be used as the of xlate callback for DMA driver which wants
 332  * to match the channel based on the channel id. When using this xlate function
 333  * the #dma-cells propety of the DMA controller dt node needs to be set to 1.
 334  * The data parameter of of_dma_controller_register must be a pointer to the
 335  * dma_device struct the function should match upon.
 336  *
 337  * Returns pointer to appropriate dma channel on success or NULL on error.
 338  */
 339 struct dma_chan *of_dma_xlate_by_chan_id(struct of_phandle_args *dma_spec,
 340                                          struct of_dma *ofdma)
 341 {
 342         struct dma_device *dev = ofdma->of_dma_data;
 343         struct dma_chan *chan, *candidate = NULL;
 344
 345         if (!dev || dma_spec->args_count != 1)
 346                 return NULL;
 347
 348         list_for_each_entry(chan, &dev->channels, device_node)
 349                 if (chan->chan_id == dma_spec->args[0]) {
 350                         candidate = chan;
 351                         break;
 352                 }
 353
 354         if (!candidate)
 355                 return NULL;
 356
 357         return dma_get_slave_channel(candidate);
 358 }
 359 EXPORT_SYMBOL_GPL(of_dma_xlate_by_chan_id);