drivers/mailbox/mailbox.c

   1 /*
   2  * Mailbox: Common code for Mailbox controllers and users
   3  *
   4  * Copyright (C) 2013-2014 Linaro Ltd.
   5  * Author: Jassi Brar <jassisinghbrar@gmail.com>
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  */
  11
  12 #include <linux/interrupt.h>
  13 #include <linux/spinlock.h>
  14 #include <linux/mutex.h>
  15 #include <linux/delay.h>
  16 #include <linux/slab.h>
  17 #include <linux/err.h>
  18 #include <linux/module.h>
  19 #include <linux/device.h>
  20 #include <linux/bitops.h>
  21 #include <linux/mailbox_client.h>
  22 #include <linux/mailbox_controller.h>
  23
  24 #include "mailbox.h"
  25
  26 static LIST_HEAD(mbox_cons);
  27 static DEFINE_MUTEX(con_mutex);
  28
  29 static int add_to_rbuf(struct mbox_chan *chan, void *mssg)
  30 {
  31         int idx;
  32         unsigned long flags;
  33
  34         spin_lock_irqsave(&chan->lock, flags);
  35
  36         /* See if there is any space left */
  37         if (chan->msg_count == MBOX_TX_QUEUE_LEN) {
  38                 spin_unlock_irqrestore(&chan->lock, flags);
  39                 return -ENOBUFS;
  40         }
  41
  42         idx = chan->msg_free;
  43         chan->msg_data[idx] = mssg;
  44         chan->msg_count++;
  45
  46         if (idx == MBOX_TX_QUEUE_LEN - 1)
  47                 chan->msg_free = 0;
  48         else
  49                 chan->msg_free++;
  50
  51         spin_unlock_irqrestore(&chan->lock, flags);
  52
  53         return idx;
  54 }
  55
  56 static void msg_submit(struct mbox_chan *chan)
  57 {
  58         unsigned count, idx;
  59         unsigned long flags;
  60         void *data;
  61         int err = -EBUSY;
  62
  63         spin_lock_irqsave(&chan->lock, flags);
  64
  65         if (!chan->msg_count || chan->active_req)
  66                 goto exit;
  67
  68         count = chan->msg_count;
  69         idx = chan->msg_free;
  70         if (idx >= count)
  71                 idx -= count;
  72         else
  73                 idx += MBOX_TX_QUEUE_LEN - count;
  74
  75         data = chan->msg_data[idx];
  76
  77         if (chan->cl->tx_prepare)
  78                 chan->cl->tx_prepare(chan->cl, data);
  79         /* Try to submit a message to the MBOX controller */
  80         err = chan->mbox->ops->send_data(chan, data);
  81         if (!err) {
  82                 chan->active_req = data;
  83                 chan->msg_count--;
  84         }
  85 exit:
  86         spin_unlock_irqrestore(&chan->lock, flags);
  87
  88         if (!err && (chan->txdone_method & TXDONE_BY_POLL)) {
  89                 /* kick start the timer immediately to avoid delays */
  90                 spin_lock_irqsave(&chan->mbox->poll_hrt_lock, flags);
  91                 hrtimer_start(&chan->mbox->poll_hrt, 0, HRTIMER_MODE_REL);
  92                 spin_unlock_irqrestore(&chan->mbox->poll_hrt_lock, flags);
  93         }
  94 }
  95
  96 static void tx_tick(struct mbox_chan *chan, int r)
  97 {
  98         unsigned long flags;
  99         void *mssg;
 100
 101         spin_lock_irqsave(&chan->lock, flags);
 102         mssg = chan->active_req;
 103         chan->active_req = NULL;
 104         spin_unlock_irqrestore(&chan->lock, flags);
 105
 106         /* Submit next message */
 107         msg_submit(chan);
 108
 109         if (!mssg)
 110                 return;
 111
 112         /* Notify the client */
 113         if (chan->cl->tx_done)
 114                 chan->cl->tx_done(chan->cl, mssg, r);
 115
 116         if (r != -ETIME && chan->cl->tx_block)
 117                 complete(&chan->tx_complete);
 118 }
 119
 120 static enum hrtimer_restart txdone_hrtimer(struct hrtimer *hrtimer)
 121 {
 122         struct mbox_controller *mbox =
 123                 container_of(hrtimer, struct mbox_controller, poll_hrt);
 124         bool txdone, resched = false;
 125         int i;
 126         unsigned long flags;
 127
 128         for (i = 0; i < mbox->num_chans; i++) {
 129                 struct mbox_chan *chan = &mbox->chans[i];
 130
 131                 if (chan->active_req && chan->cl) {
 132                         txdone = chan->mbox->ops->last_tx_done(chan);
 133                         if (txdone)
 134                                 tx_tick(chan, 0);
 135                         else
 136                                 resched = true;
 137                 }
 138         }
 139
 140         if (resched) {
 141                 spin_lock_irqsave(&mbox->poll_hrt_lock, flags);
 142                 if (!hrtimer_is_queued(hrtimer))
 143                         hrtimer_forward_now(hrtimer, ms_to_ktime(mbox->txpoll_period));
 144                 spin_unlock_irqrestore(&mbox->poll_hrt_lock, flags);
 145
 146                 return HRTIMER_RESTART;
 147         }
 148         return HRTIMER_NORESTART;
 149 }
 150
 151 /**
 152  * mbox_chan_received_data - A way for controller driver to push data
 153  *                              received from remote to the upper layer.
 154  * @chan: Pointer to the mailbox channel on which RX happened.
 155  * @mssg: Client specific message typecasted as void *
 156  *
 157  * After startup and before shutdown any data received on the chan
 158  * is passed on to the API via atomic mbox_chan_received_data().
 159  * The controller should ACK the RX only after this call returns.
 160  */
 161 void mbox_chan_received_data(struct mbox_chan *chan, void *mssg)
 162 {
 163         /* No buffering the received data */
 164         if (chan->cl->rx_callback)
 165                 chan->cl->rx_callback(chan->cl, mssg);
 166 }
 167 EXPORT_SYMBOL_GPL(mbox_chan_received_data);
 168
 169 /**
 170  * mbox_chan_txdone - A way for controller driver to notify the
 171  *                      framework that the last TX has completed.
 172  * @chan: Pointer to the mailbox chan on which TX happened.
 173  * @r: Status of last TX - OK or ERROR
 174  *
 175  * The controller that has IRQ for TX ACK calls this atomic API
 176  * to tick the TX state machine. It works only if txdone_irq
 177  * is set by the controller.
 178  */
 179 void mbox_chan_txdone(struct mbox_chan *chan, int r)
 180 {
 181         if (unlikely(!(chan->txdone_method & TXDONE_BY_IRQ))) {
 182                 dev_err(chan->mbox->dev,
 183                        "Controller can't run the TX ticker\n");
 184                 return;
 185         }
 186
 187         tx_tick(chan, r);
 188 }
 189 EXPORT_SYMBOL_GPL(mbox_chan_txdone);
 190
 191 /**
 192  * mbox_client_txdone - The way for a client to run the TX state machine.
 193  * @chan: Mailbox channel assigned to this client.
 194  * @r: Success status of last transmission.
 195  *
 196  * The client/protocol had received some 'ACK' packet and it notifies
 197  * the API that the last packet was sent successfully. This only works
 198  * if the controller can't sense TX-Done.
 199  */
 200 void mbox_client_txdone(struct mbox_chan *chan, int r)
 201 {
 202         if (unlikely(!(chan->txdone_method & TXDONE_BY_ACK))) {
 203                 dev_err(chan->mbox->dev, "Client can't run the TX ticker\n");
 204                 return;
 205         }
 206
 207         tx_tick(chan, r);
 208 }
 209 EXPORT_SYMBOL_GPL(mbox_client_txdone);
 210
 211 /**
 212  * mbox_client_peek_data - A way for client driver to pull data
 213  *                      received from remote by the controller.
 214  * @chan: Mailbox channel assigned to this client.
 215  *
 216  * A poke to controller driver for any received data.
 217  * The data is actually passed onto client via the
 218  * mbox_chan_received_data()
 219  * The call can be made from atomic context, so the controller's
 220  * implementation of peek_data() must not sleep.
 221  *
 222  * Return: True, if controller has, and is going to push after this,
 223  *          some data.
 224  *         False, if controller doesn't have any data to be read.
 225  */
 226 bool mbox_client_peek_data(struct mbox_chan *chan)
 227 {
 228         if (chan->mbox->ops->peek_data)
 229                 return chan->mbox->ops->peek_data(chan);
 230
 231         return false;
 232 }
 233 EXPORT_SYMBOL_GPL(mbox_client_peek_data);
 234
 235 /**
 236  * mbox_send_message -  For client to submit a message to be
 237  *                              sent to the remote.
 238  * @chan: Mailbox channel assigned to this client.
 239  * @mssg: Client specific message typecasted.
 240  *
 241  * For client to submit data to the controller destined for a remote
 242  * processor. If the client had set 'tx_block', the call will return
 243  * either when the remote receives the data or when 'tx_tout' millisecs
 244  * run out.
 245  *  In non-blocking mode, the requests are buffered by the API and a
 246  * non-negative token is returned for each queued request. If the request
 247  * is not queued, a negative token is returned. Upon failure or successful
 248  * TX, the API calls 'tx_done' from atomic context, from which the client
 249  * could submit yet another request.
 250  * The pointer to message should be preserved until it is sent
 251  * over the chan, i.e, tx_done() is made.
 252  * This function could be called from atomic context as it simply
 253  * queues the data and returns a token against the request.
 254  *
 255  * Return: Non-negative integer for successful submission (non-blocking mode)
 256  *      or transmission over chan (blocking mode).
 257  *      Negative value denotes failure.
 258  */
 259 int mbox_send_message(struct mbox_chan *chan, void *mssg)
 260 {
 261         int t;
 262
 263         if (!chan || !chan->cl)
 264                 return -EINVAL;
 265
 266         t = add_to_rbuf(chan, mssg);
 267         if (t < 0) {
 268                 dev_err(chan->mbox->dev, "Try increasing MBOX_TX_QUEUE_LEN\n");
 269                 return t;
 270         }
 271
 272         msg_submit(chan);
 273
 274         if (chan->cl->tx_block) {
 275                 unsigned long wait;
 276                 int ret;
 277
 278                 if (!chan->cl->tx_tout) /* wait forever */
 279                         wait = msecs_to_jiffies(3600000);
 280                 else
 281                         wait = msecs_to_jiffies(chan->cl->tx_tout);
 282
 283                 ret = wait_for_completion_timeout(&chan->tx_complete, wait);
 284                 if (ret == 0) {
 285                         t = -ETIME;
 286                         tx_tick(chan, t);
 287                 }
 288         }
 289
 290         return t;
 291 }
 292 EXPORT_SYMBOL_GPL(mbox_send_message);
 293
 294 /**
 295  * mbox_request_channel - Request a mailbox channel.
 296  * @cl: Identity of the client requesting the channel.
 297  * @index: Index of mailbox specifier in 'mboxes' property.
 298  *
 299  * The Client specifies its requirements and capabilities while asking for
 300  * a mailbox channel. It can't be called from atomic context.
 301  * The channel is exclusively allocated and can't be used by another
 302  * client before the owner calls mbox_free_channel.
 303  * After assignment, any packet received on this channel will be
 304  * handed over to the client via the 'rx_callback'.
 305  * The framework holds reference to the client, so the mbox_client
 306  * structure shouldn't be modified until the mbox_free_channel returns.
 307  *
 308  * Return: Pointer to the channel assigned to the client if successful.
 309  *              ERR_PTR for request failure.
 310  */
 311 struct mbox_chan *mbox_request_channel(struct mbox_client *cl, int index)
 312 {
 313         struct device *dev = cl->dev;
 314         struct mbox_controller *mbox;
 315         struct of_phandle_args spec;
 316         struct mbox_chan *chan;
 317         unsigned long flags;
 318         int ret;
 319
 320         if (!dev || !dev->of_node) {
 321                 pr_debug("%s: No owner device node\n", __func__);
 322                 return ERR_PTR(-ENODEV);
 323         }
 324
 325         mutex_lock(&con_mutex);
 326
 327         if (of_parse_phandle_with_args(dev->of_node, "mboxes",
 328                                        "#mbox-cells", index, &spec)) {
 329                 dev_dbg(dev, "%s: can't parse \"mboxes\" property\n", __func__);
 330                 mutex_unlock(&con_mutex);
 331                 return ERR_PTR(-ENODEV);
 332         }
 333
 334         chan = ERR_PTR(-EPROBE_DEFER);
 335         list_for_each_entry(mbox, &mbox_cons, node)
 336                 if (mbox->dev->of_node == spec.np) {
 337                         chan = mbox->of_xlate(mbox, &spec);
 338                         break;
 339                 }
 340
 341         of_node_put(spec.np);
 342
 343         if (IS_ERR(chan)) {
 344                 mutex_unlock(&con_mutex);
 345                 return chan;
 346         }
 347
 348         if (chan->cl || !try_module_get(mbox->dev->driver->owner)) {
 349                 dev_dbg(dev, "%s: mailbox not free\n", __func__);
 350                 mutex_unlock(&con_mutex);
 351                 return ERR_PTR(-EBUSY);
 352         }
 353
 354         spin_lock_irqsave(&chan->lock, flags);
 355         chan->msg_free = 0;
 356         chan->msg_count = 0;
 357         chan->active_req = NULL;
 358         chan->cl = cl;
 359         init_completion(&chan->tx_complete);
 360
 361         if (chan->txdone_method == TXDONE_BY_POLL && cl->knows_txdone)
 362                 chan->txdone_method = TXDONE_BY_ACK;
 363
 364         spin_unlock_irqrestore(&chan->lock, flags);
 365
 366         if (chan->mbox->ops->startup) {
 367                 ret = chan->mbox->ops->startup(chan);
 368
 369                 if (ret) {
 370                         dev_err(dev, "Unable to startup the chan (%d)\n", ret);
 371                         mbox_free_channel(chan);
 372                         chan = ERR_PTR(ret);
 373                 }
 374         }
 375
 376         mutex_unlock(&con_mutex);
 377         return chan;
 378 }
 379 EXPORT_SYMBOL_GPL(mbox_request_channel);
 380
 381 struct mbox_chan *mbox_request_channel_byname(struct mbox_client *cl,
 382                                               const char *name)
 383 {
 384         struct device_node *np = cl->dev->of_node;
 385         struct property *prop;
 386         const char *mbox_name;
 387         int index = 0;
 388
 389         if (!np) {
 390                 dev_err(cl->dev, "%s() currently only supports DT\n", __func__);
 391                 return ERR_PTR(-EINVAL);
 392         }
 393
 394         if (!of_get_property(np, "mbox-names", NULL)) {
 395                 dev_err(cl->dev,
 396                         "%s() requires an \"mbox-names\" property\n", __func__);
 397                 return ERR_PTR(-EINVAL);
 398         }
 399
 400         of_property_for_each_string(np, "mbox-names", prop, mbox_name) {
 401                 if (!strncmp(name, mbox_name, strlen(name)))
 402                         return mbox_request_channel(cl, index);
 403                 index++;
 404         }
 405
 406         dev_err(cl->dev, "%s() could not locate channel named \"%s\"\n",
 407                 __func__, name);
 408         return ERR_PTR(-EINVAL);
 409 }
 410 EXPORT_SYMBOL_GPL(mbox_request_channel_byname);
 411
 412 /**
 413  * mbox_free_channel - The client relinquishes control of a mailbox
 414  *                      channel by this call.
 415  * @chan: The mailbox channel to be freed.
 416  */
 417 void mbox_free_channel(struct mbox_chan *chan)
 418 {
 419         unsigned long flags;
 420
 421         if (!chan || !chan->cl)
 422                 return;
 423
 424         if (chan->mbox->ops->shutdown)
 425                 chan->mbox->ops->shutdown(chan);
 426
 427         /* The queued TX requests are simply aborted, no callbacks are made */
 428         spin_lock_irqsave(&chan->lock, flags);
 429         chan->cl = NULL;
 430         chan->active_req = NULL;
 431         if (chan->txdone_method == TXDONE_BY_ACK)
 432                 chan->txdone_method = TXDONE_BY_POLL;
 433
 434         module_put(chan->mbox->dev->driver->owner);
 435         spin_unlock_irqrestore(&chan->lock, flags);
 436 }
 437 EXPORT_SYMBOL_GPL(mbox_free_channel);
 438
 439 static struct mbox_chan *
 440 of_mbox_index_xlate(struct mbox_controller *mbox,
 441                     const struct of_phandle_args *sp)
 442 {
 443         int ind = sp->args[0];
 444
 445         if (ind >= mbox->num_chans)
 446                 return ERR_PTR(-EINVAL);
 447
 448         return &mbox->chans[ind];
 449 }
 450
 451 /**
 452  * mbox_controller_register - Register the mailbox controller
 453  * @mbox:       Pointer to the mailbox controller.
 454  *
 455  * The controller driver registers its communication channels
 456  */
 457 int mbox_controller_register(struct mbox_controller *mbox)
 458 {
 459         int i, txdone;
 460
 461         /* Sanity check */
 462         if (!mbox || !mbox->dev || !mbox->ops || !mbox->num_chans)
 463                 return -EINVAL;
 464
 465         if (mbox->txdone_irq)
 466                 txdone = TXDONE_BY_IRQ;
 467         else if (mbox->txdone_poll)
 468                 txdone = TXDONE_BY_POLL;
 469         else /* It has to be ACK then */
 470                 txdone = TXDONE_BY_ACK;
 471
 472         if (txdone == TXDONE_BY_POLL) {
 473
 474                 if (!mbox->ops->last_tx_done) {
 475                         dev_err(mbox->dev, "last_tx_done method is absent\n");
 476                         return -EINVAL;
 477                 }
 478
 479                 hrtimer_init(&mbox->poll_hrt, CLOCK_MONOTONIC,
 480                              HRTIMER_MODE_REL);
 481                 mbox->poll_hrt.function = txdone_hrtimer;
 482                 spin_lock_init(&mbox->poll_hrt_lock);
 483         }
 484
 485         for (i = 0; i < mbox->num_chans; i++) {
 486                 struct mbox_chan *chan = &mbox->chans[i];
 487
 488                 chan->cl = NULL;
 489                 chan->mbox = mbox;
 490                 chan->txdone_method = txdone;
 491                 spin_lock_init(&chan->lock);
 492         }
 493
 494         if (!mbox->of_xlate)
 495                 mbox->of_xlate = of_mbox_index_xlate;
 496
 497         mutex_lock(&con_mutex);
 498         list_add_tail(&mbox->node, &mbox_cons);
 499         mutex_unlock(&con_mutex);
 500
 501         return 0;
 502 }
 503 EXPORT_SYMBOL_GPL(mbox_controller_register);
 504
 505 /**
 506  * mbox_controller_unregister - Unregister the mailbox controller
 507  * @mbox:       Pointer to the mailbox controller.
 508  */
 509 void mbox_controller_unregister(struct mbox_controller *mbox)
 510 {
 511         int i;
 512
 513         if (!mbox)
 514                 return;
 515
 516         mutex_lock(&con_mutex);
 517
 518         list_del(&mbox->node);
 519
 520         for (i = 0; i < mbox->num_chans; i++)
 521                 mbox_free_channel(&mbox->chans[i]);
 522
 523         if (mbox->txdone_poll)
 524                 hrtimer_cancel(&mbox->poll_hrt);
 525
 526         mutex_unlock(&con_mutex);
 527 }
 528 EXPORT_SYMBOL_GPL(mbox_controller_unregister);