drivers/usb/gadget/function/u_ether.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * u_ether.c -- Ethernet-over-USB link layer utilities for Gadget stack
   4  *
   5  * Copyright (C) 2003-2005,2008 David Brownell
   6  * Copyright (C) 2003-2004 Robert Schwebel, Benedikt Spranger
   7  * Copyright (C) 2008 Nokia Corporation
   8  */
   9
  10 /* #define VERBOSE_DEBUG */
  11
  12 #include <linux/kernel.h>
  13 #include <linux/module.h>
  14 #include <linux/gfp.h>
  15 #include <linux/device.h>
  16 #include <linux/ctype.h>
  17 #include <linux/etherdevice.h>
  18 #include <linux/ethtool.h>
  19 #include <linux/if_vlan.h>
  20
  21 #include "u_ether.h"
  22
  23
  24 /*
  25  * This component encapsulates the Ethernet link glue needed to provide
  26  * one (!) network link through the USB gadget stack, normally "usb0".
  27  *
  28  * The control and data models are handled by the function driver which
  29  * connects to this code; such as CDC Ethernet (ECM or EEM),
  30  * "CDC Subset", or RNDIS.  That includes all descriptor and endpoint
  31  * management.
  32  *
  33  * Link level addressing is handled by this component using module
  34  * parameters; if no such parameters are provided, random link level
  35  * addresses are used.  Each end of the link uses one address.  The
  36  * host end address is exported in various ways, and is often recorded
  37  * in configuration databases.
  38  *
  39  * The driver which assembles each configuration using such a link is
  40  * responsible for ensuring that each configuration includes at most one
  41  * instance of is network link.  (The network layer provides ways for
  42  * this single "physical" link to be used by multiple virtual links.)
  43  */
  44
  45 #define UETH__VERSION   "29-May-2008"
  46
  47 /* Experiments show that both Linux and Windows hosts allow up to 16k
  48  * frame sizes. Set the max MTU size to 15k+52 to prevent allocating 32k
  49  * blocks and still have efficient handling. */
  50 #define GETHER_MAX_MTU_SIZE 15412
  51 #define GETHER_MAX_ETH_FRAME_LEN (GETHER_MAX_MTU_SIZE + ETH_HLEN)
  52
  53 struct eth_dev {
  54         /* lock is held while accessing port_usb
  55          */
  56         spinlock_t              lock;
  57         struct gether           *port_usb;
  58
  59         struct net_device       *net;
  60         struct usb_gadget       *gadget;
  61
  62         spinlock_t              req_lock;       /* guard {rx,tx}_reqs */
  63         struct list_head        tx_reqs, rx_reqs;
  64         atomic_t                tx_qlen;
  65
  66         struct sk_buff_head     rx_frames;
  67
  68         unsigned                qmult;
  69
  70         unsigned                header_len;
  71         struct sk_buff          *(*wrap)(struct gether *, struct sk_buff *skb);
  72         int                     (*unwrap)(struct gether *,
  73                                                 struct sk_buff *skb,
  74                                                 struct sk_buff_head *list);
  75
  76         struct work_struct      work;
  77
  78         unsigned long           todo;
  79 #define WORK_RX_MEMORY          0
  80
  81         bool                    zlp;
  82         bool                    no_skb_reserve;
  83         u8                      host_mac[ETH_ALEN];
  84         u8                      dev_mac[ETH_ALEN];
  85 };
  86
  87 /*-------------------------------------------------------------------------*/
  88
  89 #define RX_EXTRA        20      /* bytes guarding against rx overflows */
  90
  91 #define DEFAULT_QLEN    2       /* double buffering by default */
  92
  93 /* for dual-speed hardware, use deeper queues at high/super speed */
  94 static inline int qlen(struct usb_gadget *gadget, unsigned qmult)
  95 {
  96         if (gadget_is_dualspeed(gadget) && (gadget->speed == USB_SPEED_HIGH ||
  97                                             gadget->speed >= USB_SPEED_SUPER))
  98                 return qmult * DEFAULT_QLEN;
  99         else
 100                 return DEFAULT_QLEN;
 101 }
 102
 103 /*-------------------------------------------------------------------------*/
 104
 105 /* REVISIT there must be a better way than having two sets
 106  * of debug calls ...
 107  */
 108
 109 #undef DBG
 110 #undef VDBG
 111 #undef ERROR
 112 #undef INFO
 113
 114 #define xprintk(d, level, fmt, args...) \
 115         printk(level "%s: " fmt , (d)->net->name , ## args)
 116
 117 #ifdef DEBUG
 118 #undef DEBUG
 119 #define DBG(dev, fmt, args...) \
 120         xprintk(dev , KERN_DEBUG , fmt , ## args)
 121 #else
 122 #define DBG(dev, fmt, args...) \
 123         do { } while (0)
 124 #endif /* DEBUG */
 125
 126 #ifdef VERBOSE_DEBUG
 127 #define VDBG    DBG
 128 #else
 129 #define VDBG(dev, fmt, args...) \
 130         do { } while (0)
 131 #endif /* DEBUG */
 132
 133 #define ERROR(dev, fmt, args...) \
 134         xprintk(dev , KERN_ERR , fmt , ## args)
 135 #define INFO(dev, fmt, args...) \
 136         xprintk(dev , KERN_INFO , fmt , ## args)
 137
 138 /*-------------------------------------------------------------------------*/
 139
 140 /* NETWORK DRIVER HOOKUP (to the layer above this driver) */
 141
 142 static void eth_get_drvinfo(struct net_device *net, struct ethtool_drvinfo *p)
 143 {
 144         struct eth_dev *dev = netdev_priv(net);
 145
 146         strlcpy(p->driver, "g_ether", sizeof(p->driver));
 147         strlcpy(p->version, UETH__VERSION, sizeof(p->version));
 148         strlcpy(p->fw_version, dev->gadget->name, sizeof(p->fw_version));
 149         strlcpy(p->bus_info, dev_name(&dev->gadget->dev), sizeof(p->bus_info));
 150 }
 151
 152 /* REVISIT can also support:
 153  *   - WOL (by tracking suspends and issuing remote wakeup)
 154  *   - msglevel (implies updated messaging)
 155  *   - ... probably more ethtool ops
 156  */
 157
 158 static const struct ethtool_ops ops = {
 159         .get_drvinfo = eth_get_drvinfo,
 160         .get_link = ethtool_op_get_link,
 161 };
 162
 163 static void defer_kevent(struct eth_dev *dev, int flag)
 164 {
 165         if (test_and_set_bit(flag, &dev->todo))
 166                 return;
 167         if (!schedule_work(&dev->work))
 168                 ERROR(dev, "kevent %d may have been dropped\n", flag);
 169         else
 170                 DBG(dev, "kevent %d scheduled\n", flag);
 171 }
 172
 173 static void rx_complete(struct usb_ep *ep, struct usb_request *req);
 174
 175 static int
 176 rx_submit(struct eth_dev *dev, struct usb_request *req, gfp_t gfp_flags)
 177 {
 178         struct usb_gadget *g = dev->gadget;
 179         struct sk_buff  *skb;
 180         int             retval = -ENOMEM;
 181         size_t          size = 0;
 182         struct usb_ep   *out;
 183         unsigned long   flags;
 184
 185         spin_lock_irqsave(&dev->lock, flags);
 186         if (dev->port_usb)
 187                 out = dev->port_usb->out_ep;
 188         else
 189                 out = NULL;
 190
 191         if (!out)
 192         {
 193                 spin_unlock_irqrestore(&dev->lock, flags);
 194                 return -ENOTCONN;
 195         }
 196
 197         /* Padding up to RX_EXTRA handles minor disagreements with host.
 198          * Normally we use the USB "terminate on short read" convention;
 199          * so allow up to (N*maxpacket), since that memory is normally
 200          * already allocated.  Some hardware doesn't deal well with short
 201          * reads (e.g. DMA must be N*maxpacket), so for now don't trim a
 202          * byte off the end (to force hardware errors on overflow).
 203          *
 204          * RNDIS uses internal framing, and explicitly allows senders to
 205          * pad to end-of-packet.  That's potentially nice for speed, but
 206          * means receivers can't recover lost synch on their own (because
 207          * new packets don't only start after a short RX).
 208          */
 209         size += sizeof(struct ethhdr) + dev->net->mtu + RX_EXTRA;
 210         size += dev->port_usb->header_len;
 211
 212         if (g->quirk_ep_out_aligned_size) {
 213                 size += out->maxpacket - 1;
 214                 size -= size % out->maxpacket;
 215         }
 216
 217         if (dev->port_usb->is_fixed)
 218                 size = max_t(size_t, size, dev->port_usb->fixed_out_len);
 219         spin_unlock_irqrestore(&dev->lock, flags);
 220
 221         skb = __netdev_alloc_skb(dev->net, size + NET_IP_ALIGN, gfp_flags);
 222         if (skb == NULL) {
 223                 DBG(dev, "no rx skb\n");
 224                 goto enomem;
 225         }
 226
 227         /* Some platforms perform better when IP packets are aligned,
 228          * but on at least one, checksumming fails otherwise.  Note:
 229          * RNDIS headers involve variable numbers of LE32 values.
 230          */
 231         if (likely(!dev->no_skb_reserve))
 232                 skb_reserve(skb, NET_IP_ALIGN);
 233
 234         req->buf = skb->data;
 235         req->length = size;
 236         req->complete = rx_complete;
 237         req->context = skb;
 238
 239         retval = usb_ep_queue(out, req, gfp_flags);
 240         if (retval == -ENOMEM)
 241 enomem:
 242                 defer_kevent(dev, WORK_RX_MEMORY);
 243         if (retval) {
 244                 DBG(dev, "rx submit --> %d\n", retval);
 245                 if (skb)
 246                         dev_kfree_skb_any(skb);
 247                 spin_lock_irqsave(&dev->req_lock, flags);
 248                 list_add(&req->list, &dev->rx_reqs);
 249                 spin_unlock_irqrestore(&dev->req_lock, flags);
 250         }
 251         return retval;
 252 }
 253
 254 static void rx_complete(struct usb_ep *ep, struct usb_request *req)
 255 {
 256         struct sk_buff  *skb = req->context, *skb2;
 257         struct eth_dev  *dev = ep->driver_data;
 258         int             status = req->status;
 259
 260         switch (status) {
 261
 262         /* normal completion */
 263         case 0:
 264                 skb_put(skb, req->actual);
 265
 266                 if (dev->unwrap) {
 267                         unsigned long   flags;
 268
 269                         spin_lock_irqsave(&dev->lock, flags);
 270                         if (dev->port_usb) {
 271                                 status = dev->unwrap(dev->port_usb,
 272                                                         skb,
 273                                                         &dev->rx_frames);
 274                         } else {
 275                                 dev_kfree_skb_any(skb);
 276                                 status = -ENOTCONN;
 277                         }
 278                         spin_unlock_irqrestore(&dev->lock, flags);
 279                 } else {
 280                         skb_queue_tail(&dev->rx_frames, skb);
 281                 }
 282                 skb = NULL;
 283
 284                 skb2 = skb_dequeue(&dev->rx_frames);
 285                 while (skb2) {
 286                         if (status < 0
 287                                         || ETH_HLEN > skb2->len
 288                                         || skb2->len > GETHER_MAX_ETH_FRAME_LEN) {
 289                                 dev->net->stats.rx_errors++;
 290                                 dev->net->stats.rx_length_errors++;
 291                                 DBG(dev, "rx length %d\n", skb2->len);
 292                                 dev_kfree_skb_any(skb2);
 293                                 goto next_frame;
 294                         }
 295                         skb2->protocol = eth_type_trans(skb2, dev->net);
 296                         dev->net->stats.rx_packets++;
 297                         dev->net->stats.rx_bytes += skb2->len;
 298
 299                         /* no buffer copies needed, unless hardware can't
 300                          * use skb buffers.
 301                          */
 302                         status = netif_rx(skb2);
 303 next_frame:
 304                         skb2 = skb_dequeue(&dev->rx_frames);
 305                 }
 306                 break;
 307
 308         /* software-driven interface shutdown */
 309         case -ECONNRESET:               /* unlink */
 310         case -ESHUTDOWN:                /* disconnect etc */
 311                 VDBG(dev, "rx shutdown, code %d\n", status);
 312                 goto quiesce;
 313
 314         /* for hardware automagic (such as pxa) */
 315         case -ECONNABORTED:             /* endpoint reset */
 316                 DBG(dev, "rx %s reset\n", ep->name);
 317                 defer_kevent(dev, WORK_RX_MEMORY);
 318 quiesce:
 319                 dev_kfree_skb_any(skb);
 320                 goto clean;
 321
 322         /* data overrun */
 323         case -EOVERFLOW:
 324                 dev->net->stats.rx_over_errors++;
 325                 /* FALLTHROUGH */
 326
 327         default:
 328                 dev->net->stats.rx_errors++;
 329                 DBG(dev, "rx status %d\n", status);
 330                 break;
 331         }
 332
 333         if (skb)
 334                 dev_kfree_skb_any(skb);
 335         if (!netif_running(dev->net)) {
 336 clean:
 337                 spin_lock(&dev->req_lock);
 338                 list_add(&req->list, &dev->rx_reqs);
 339                 spin_unlock(&dev->req_lock);
 340                 req = NULL;
 341         }
 342         if (req)
 343                 rx_submit(dev, req, GFP_ATOMIC);
 344 }
 345
 346 static int prealloc(struct list_head *list, struct usb_ep *ep, unsigned n)
 347 {
 348         unsigned                i;
 349         struct usb_request      *req;
 350
 351         if (!n)
 352                 return -ENOMEM;
 353
 354         /* queue/recycle up to N requests */
 355         i = n;
 356         list_for_each_entry(req, list, list) {
 357                 if (i-- == 0)
 358                         goto extra;
 359         }
 360         while (i--) {
 361                 req = usb_ep_alloc_request(ep, GFP_ATOMIC);
 362                 if (!req)
 363                         return list_empty(list) ? -ENOMEM : 0;
 364                 list_add(&req->list, list);
 365         }
 366         return 0;
 367
 368 extra:
 369         /* free extras */
 370         for (;;) {
 371                 struct list_head        *next;
 372
 373                 next = req->list.next;
 374                 list_del(&req->list);
 375                 usb_ep_free_request(ep, req);
 376
 377                 if (next == list)
 378                         break;
 379
 380                 req = container_of(next, struct usb_request, list);
 381         }
 382         return 0;
 383 }
 384
 385 static int alloc_requests(struct eth_dev *dev, struct gether *link, unsigned n)
 386 {
 387         int     status;
 388
 389         spin_lock(&dev->req_lock);
 390         status = prealloc(&dev->tx_reqs, link->in_ep, n);
 391         if (status < 0)
 392                 goto fail;
 393         status = prealloc(&dev->rx_reqs, link->out_ep, n);
 394         if (status < 0)
 395                 goto fail;
 396         goto done;
 397 fail:
 398         DBG(dev, "can't alloc requests\n");
 399 done:
 400         spin_unlock(&dev->req_lock);
 401         return status;
 402 }
 403
 404 static void rx_fill(struct eth_dev *dev, gfp_t gfp_flags)
 405 {
 406         struct usb_request      *req;
 407         unsigned long           flags;
 408
 409         /* fill unused rxq slots with some skb */
 410         spin_lock_irqsave(&dev->req_lock, flags);
 411         while (!list_empty(&dev->rx_reqs)) {
 412                 req = list_first_entry(&dev->rx_reqs, struct usb_request, list);
 413                 list_del_init(&req->list);
 414                 spin_unlock_irqrestore(&dev->req_lock, flags);
 415
 416                 if (rx_submit(dev, req, gfp_flags) < 0) {
 417                         defer_kevent(dev, WORK_RX_MEMORY);
 418                         return;
 419                 }
 420
 421                 spin_lock_irqsave(&dev->req_lock, flags);
 422         }
 423         spin_unlock_irqrestore(&dev->req_lock, flags);
 424 }
 425
 426 static void eth_work(struct work_struct *work)
 427 {
 428         struct eth_dev  *dev = container_of(work, struct eth_dev, work);
 429
 430         if (test_and_clear_bit(WORK_RX_MEMORY, &dev->todo)) {
 431                 if (netif_running(dev->net))
 432                         rx_fill(dev, GFP_KERNEL);
 433         }
 434
 435         if (dev->todo)
 436                 DBG(dev, "work done, flags = 0x%lx\n", dev->todo);
 437 }
 438
 439 static void tx_complete(struct usb_ep *ep, struct usb_request *req)
 440 {
 441         struct sk_buff  *skb = req->context;
 442         struct eth_dev  *dev = ep->driver_data;
 443
 444         switch (req->status) {
 445         default:
 446                 dev->net->stats.tx_errors++;
 447                 VDBG(dev, "tx err %d\n", req->status);
 448                 /* FALLTHROUGH */
 449         case -ECONNRESET:               /* unlink */
 450         case -ESHUTDOWN:                /* disconnect etc */
 451                 dev_kfree_skb_any(skb);
 452                 break;
 453         case 0:
 454                 dev->net->stats.tx_bytes += skb->len;
 455                 dev_consume_skb_any(skb);
 456         }
 457         dev->net->stats.tx_packets++;
 458
 459         spin_lock(&dev->req_lock);
 460         list_add(&req->list, &dev->tx_reqs);
 461         spin_unlock(&dev->req_lock);
 462
 463         atomic_dec(&dev->tx_qlen);
 464         if (netif_carrier_ok(dev->net))
 465                 netif_wake_queue(dev->net);
 466 }
 467
 468 static inline int is_promisc(u16 cdc_filter)
 469 {
 470         return cdc_filter & USB_CDC_PACKET_TYPE_PROMISCUOUS;
 471 }
 472
 473 static netdev_tx_t eth_start_xmit(struct sk_buff *skb,
 474                                         struct net_device *net)
 475 {
 476         struct eth_dev          *dev = netdev_priv(net);
 477         int                     length = 0;
 478         int                     retval;
 479         struct usb_request      *req = NULL;
 480         unsigned long           flags;
 481         struct usb_ep           *in;
 482         u16                     cdc_filter;
 483
 484         spin_lock_irqsave(&dev->lock, flags);
 485         if (dev->port_usb) {
 486                 in = dev->port_usb->in_ep;
 487                 cdc_filter = dev->port_usb->cdc_filter;
 488         } else {
 489                 in = NULL;
 490                 cdc_filter = 0;
 491         }
 492         spin_unlock_irqrestore(&dev->lock, flags);
 493
 494         if (!in) {
 495                 if (skb)
 496                         dev_kfree_skb_any(skb);
 497                 return NETDEV_TX_OK;
 498         }
 499
 500         /* apply outgoing CDC or RNDIS filters */
 501         if (skb && !is_promisc(cdc_filter)) {
 502                 u8              *dest = skb->data;
 503
 504                 if (is_multicast_ether_addr(dest)) {
 505                         u16     type;
 506
 507                         /* ignores USB_CDC_PACKET_TYPE_MULTICAST and host
 508                          * SET_ETHERNET_MULTICAST_FILTERS requests
 509                          */
 510                         if (is_broadcast_ether_addr(dest))
 511                                 type = USB_CDC_PACKET_TYPE_BROADCAST;
 512                         else
 513                                 type = USB_CDC_PACKET_TYPE_ALL_MULTICAST;
 514                         if (!(cdc_filter & type)) {
 515                                 dev_kfree_skb_any(skb);
 516                                 return NETDEV_TX_OK;
 517                         }
 518                 }
 519                 /* ignores USB_CDC_PACKET_TYPE_DIRECTED */
 520         }
 521
 522         spin_lock_irqsave(&dev->req_lock, flags);
 523         /*
 524          * this freelist can be empty if an interrupt triggered disconnect()
 525          * and reconfigured the gadget (shutting down this queue) after the
 526          * network stack decided to xmit but before we got the spinlock.
 527          */
 528         if (list_empty(&dev->tx_reqs)) {
 529                 spin_unlock_irqrestore(&dev->req_lock, flags);
 530                 return NETDEV_TX_BUSY;
 531         }
 532
 533         req = list_first_entry(&dev->tx_reqs, struct usb_request, list);
 534         list_del(&req->list);
 535
 536         /* temporarily stop TX queue when the freelist empties */
 537         if (list_empty(&dev->tx_reqs))
 538                 netif_stop_queue(net);
 539         spin_unlock_irqrestore(&dev->req_lock, flags);
 540
 541         /* no buffer copies needed, unless the network stack did it
 542          * or the hardware can't use skb buffers.
 543          * or there's not enough space for extra headers we need
 544          */
 545         if (dev->wrap) {
 546                 unsigned long   flags;
 547
 548                 spin_lock_irqsave(&dev->lock, flags);
 549                 if (dev->port_usb)
 550                         skb = dev->wrap(dev->port_usb, skb);
 551                 spin_unlock_irqrestore(&dev->lock, flags);
 552                 if (!skb) {
 553                         /* Multi frame CDC protocols may store the frame for
 554                          * later which is not a dropped frame.
 555                          */
 556                         if (dev->port_usb &&
 557                                         dev->port_usb->supports_multi_frame)
 558                                 goto multiframe;
 559                         goto drop;
 560                 }
 561         }
 562
 563         length = skb->len;
 564         req->buf = skb->data;
 565         req->context = skb;
 566         req->complete = tx_complete;
 567
 568         /* NCM requires no zlp if transfer is dwNtbInMaxSize */
 569         if (dev->port_usb &&
 570             dev->port_usb->is_fixed &&
 571             length == dev->port_usb->fixed_in_len &&
 572             (length % in->maxpacket) == 0)
 573                 req->zero = 0;
 574         else
 575                 req->zero = 1;
 576
 577         /* use zlp framing on tx for strict CDC-Ether conformance,
 578          * though any robust network rx path ignores extra padding.
 579          * and some hardware doesn't like to write zlps.
 580          */
 581         if (req->zero && !dev->zlp && (length % in->maxpacket) == 0)
 582                 length++;
 583
 584         req->length = length;
 585
 586         retval = usb_ep_queue(in, req, GFP_ATOMIC);
 587         switch (retval) {
 588         default:
 589                 DBG(dev, "tx queue err %d\n", retval);
 590                 break;
 591         case 0:
 592                 netif_trans_update(net);
 593                 atomic_inc(&dev->tx_qlen);
 594         }
 595
 596         if (retval) {
 597                 dev_kfree_skb_any(skb);
 598 drop:
 599                 dev->net->stats.tx_dropped++;
 600 multiframe:
 601                 spin_lock_irqsave(&dev->req_lock, flags);
 602                 if (list_empty(&dev->tx_reqs))
 603                         netif_start_queue(net);
 604                 list_add(&req->list, &dev->tx_reqs);
 605                 spin_unlock_irqrestore(&dev->req_lock, flags);
 606         }
 607         return NETDEV_TX_OK;
 608 }
 609
 610 /*-------------------------------------------------------------------------*/
 611
 612 static void eth_start(struct eth_dev *dev, gfp_t gfp_flags)
 613 {
 614         DBG(dev, "%s\n", __func__);
 615
 616         /* fill the rx queue */
 617         rx_fill(dev, gfp_flags);
 618
 619         /* and open the tx floodgates */
 620         atomic_set(&dev->tx_qlen, 0);
 621         netif_wake_queue(dev->net);
 622 }
 623
 624 static int eth_open(struct net_device *net)
 625 {
 626         struct eth_dev  *dev = netdev_priv(net);
 627         struct gether   *link;
 628
 629         DBG(dev, "%s\n", __func__);
 630         if (netif_carrier_ok(dev->net))
 631                 eth_start(dev, GFP_KERNEL);
 632
 633         spin_lock_irq(&dev->lock);
 634         link = dev->port_usb;
 635         if (link && link->open)
 636                 link->open(link);
 637         spin_unlock_irq(&dev->lock);
 638
 639         return 0;
 640 }
 641
 642 static int eth_stop(struct net_device *net)
 643 {
 644         struct eth_dev  *dev = netdev_priv(net);
 645         unsigned long   flags;
 646
 647         VDBG(dev, "%s\n", __func__);
 648         netif_stop_queue(net);
 649
 650         DBG(dev, "stop stats: rx/tx %ld/%ld, errs %ld/%ld\n",
 651                 dev->net->stats.rx_packets, dev->net->stats.tx_packets,
 652                 dev->net->stats.rx_errors, dev->net->stats.tx_errors
 653                 );
 654
 655         /* ensure there are no more active requests */
 656         spin_lock_irqsave(&dev->lock, flags);
 657         if (dev->port_usb) {
 658                 struct gether   *link = dev->port_usb;
 659                 const struct usb_endpoint_descriptor *in;
 660                 const struct usb_endpoint_descriptor *out;
 661
 662                 if (link->close)
 663                         link->close(link);
 664
 665                 /* NOTE:  we have no abort-queue primitive we could use
 666                  * to cancel all pending I/O.  Instead, we disable then
 667                  * reenable the endpoints ... this idiom may leave toggle
 668                  * wrong, but that's a self-correcting error.
 669                  *
 670                  * REVISIT:  we *COULD* just let the transfers complete at
 671                  * their own pace; the network stack can handle old packets.
 672                  * For the moment we leave this here, since it works.
 673                  */
 674                 in = link->in_ep->desc;
 675                 out = link->out_ep->desc;
 676                 usb_ep_disable(link->in_ep);
 677                 usb_ep_disable(link->out_ep);
 678                 if (netif_carrier_ok(net)) {
 679                         DBG(dev, "host still using in/out endpoints\n");
 680                         link->in_ep->desc = in;
 681                         link->out_ep->desc = out;
 682                         usb_ep_enable(link->in_ep);
 683                         usb_ep_enable(link->out_ep);
 684                 }
 685         }
 686         spin_unlock_irqrestore(&dev->lock, flags);
 687
 688         return 0;
 689 }
 690
 691 /*-------------------------------------------------------------------------*/
 692
 693 static int get_ether_addr(const char *str, u8 *dev_addr)
 694 {
 695         if (str) {
 696                 unsigned        i;
 697
 698                 for (i = 0; i < 6; i++) {
 699                         unsigned char num;
 700
 701                         if ((*str == '.') || (*str == ':'))
 702                                 str++;
 703                         num = hex_to_bin(*str++) << 4;
 704                         num |= hex_to_bin(*str++);
 705                         dev_addr [i] = num;
 706                 }
 707                 if (is_valid_ether_addr(dev_addr))
 708                         return 0;
 709         }
 710         eth_random_addr(dev_addr);
 711         return 1;
 712 }
 713
 714 static int get_ether_addr_str(u8 dev_addr[ETH_ALEN], char *str, int len)
 715 {
 716         if (len < 18)
 717                 return -EINVAL;
 718
 719         snprintf(str, len, "%pM", dev_addr);
 720         return 18;
 721 }
 722
 723 static const struct net_device_ops eth_netdev_ops = {
 724         .ndo_open               = eth_open,
 725         .ndo_stop               = eth_stop,
 726         .ndo_start_xmit         = eth_start_xmit,
 727         .ndo_set_mac_address    = eth_mac_addr,
 728         .ndo_validate_addr      = eth_validate_addr,
 729 };
 730
 731 static struct device_type gadget_type = {
 732         .name   = "gadget",
 733 };
 734
 735 /**
 736  * gether_setup_name - initialize one ethernet-over-usb link
 737  * @g: gadget to associated with these links
 738  * @ethaddr: NULL, or a buffer in which the ethernet address of the
 739  *      host side of the link is recorded
 740  * @netname: name for network device (for example, "usb")
 741  * Context: may sleep
 742  *
 743  * This sets up the single network link that may be exported by a
 744  * gadget driver using this framework.  The link layer addresses are
 745  * set up using module parameters.
 746  *
 747  * Returns an eth_dev pointer on success, or an ERR_PTR on failure.
 748  */
 749 struct eth_dev *gether_setup_name(struct usb_gadget *g,
 750                 const char *dev_addr, const char *host_addr,
 751                 u8 ethaddr[ETH_ALEN], unsigned qmult, const char *netname)
 752 {
 753         struct eth_dev          *dev;
 754         struct net_device       *net;
 755         int                     status;
 756
 757         net = alloc_etherdev(sizeof *dev);
 758         if (!net)
 759                 return ERR_PTR(-ENOMEM);
 760
 761         dev = netdev_priv(net);
 762         spin_lock_init(&dev->lock);
 763         spin_lock_init(&dev->req_lock);
 764         INIT_WORK(&dev->work, eth_work);
 765         INIT_LIST_HEAD(&dev->tx_reqs);
 766         INIT_LIST_HEAD(&dev->rx_reqs);
 767
 768         skb_queue_head_init(&dev->rx_frames);
 769
 770         /* network device setup */
 771         dev->net = net;
 772         dev->qmult = qmult;
 773         snprintf(net->name, sizeof(net->name), "%s%%d", netname);
 774
 775         if (get_ether_addr(dev_addr, net->dev_addr))
 776                 dev_warn(&g->dev,
 777                         "using random %s ethernet address\n", "self");
 778         if (get_ether_addr(host_addr, dev->host_mac))
 779                 dev_warn(&g->dev,
 780                         "using random %s ethernet address\n", "host");
 781
 782         if (ethaddr)
 783                 memcpy(ethaddr, dev->host_mac, ETH_ALEN);
 784
 785         net->netdev_ops = &eth_netdev_ops;
 786
 787         net->ethtool_ops = &ops;
 788
 789         /* MTU range: 14 - 15412 */
 790         net->min_mtu = ETH_HLEN;
 791         net->max_mtu = GETHER_MAX_MTU_SIZE;
 792
 793         dev->gadget = g;
 794         SET_NETDEV_DEV(net, &g->dev);
 795         SET_NETDEV_DEVTYPE(net, &gadget_type);
 796
 797         status = register_netdev(net);
 798         if (status < 0) {
 799                 dev_dbg(&g->dev, "register_netdev failed, %d\n", status);
 800                 free_netdev(net);
 801                 dev = ERR_PTR(status);
 802         } else {
 803                 INFO(dev, "MAC %pM\n", net->dev_addr);
 804                 INFO(dev, "HOST MAC %pM\n", dev->host_mac);
 805
 806                 /*
 807                  * two kinds of host-initiated state changes:
 808                  *  - iff DATA transfer is active, carrier is "on"
 809                  *  - tx queueing enabled if open *and* carrier is "on"
 810                  */
 811                 netif_carrier_off(net);
 812         }
 813
 814         return dev;
 815 }
 816 EXPORT_SYMBOL_GPL(gether_setup_name);
 817
 818 struct net_device *gether_setup_name_default(const char *netname)
 819 {
 820         struct net_device       *net;
 821         struct eth_dev          *dev;
 822
 823         net = alloc_etherdev(sizeof(*dev));
 824         if (!net)
 825                 return ERR_PTR(-ENOMEM);
 826
 827         dev = netdev_priv(net);
 828         spin_lock_init(&dev->lock);
 829         spin_lock_init(&dev->req_lock);
 830         INIT_WORK(&dev->work, eth_work);
 831         INIT_LIST_HEAD(&dev->tx_reqs);
 832         INIT_LIST_HEAD(&dev->rx_reqs);
 833
 834         skb_queue_head_init(&dev->rx_frames);
 835
 836         /* network device setup */
 837         dev->net = net;
 838         dev->qmult = QMULT_DEFAULT;
 839         snprintf(net->name, sizeof(net->name), "%s%%d", netname);
 840
 841         eth_random_addr(dev->dev_mac);
 842         pr_warn("using random %s ethernet address\n", "self");
 843         eth_random_addr(dev->host_mac);
 844         pr_warn("using random %s ethernet address\n", "host");
 845
 846         net->netdev_ops = &eth_netdev_ops;
 847
 848         net->ethtool_ops = &ops;
 849         SET_NETDEV_DEVTYPE(net, &gadget_type);
 850
 851         /* MTU range: 14 - 15412 */
 852         net->min_mtu = ETH_HLEN;
 853         net->max_mtu = GETHER_MAX_MTU_SIZE;
 854
 855         return net;
 856 }
 857 EXPORT_SYMBOL_GPL(gether_setup_name_default);
 858
 859 int gether_register_netdev(struct net_device *net)
 860 {
 861         struct eth_dev *dev;
 862         struct usb_gadget *g;
 863         struct sockaddr sa;
 864         int status;
 865
 866         if (!net->dev.parent)
 867                 return -EINVAL;
 868         dev = netdev_priv(net);
 869         g = dev->gadget;
 870         status = register_netdev(net);
 871         if (status < 0) {
 872                 dev_dbg(&g->dev, "register_netdev failed, %d\n", status);
 873                 return status;
 874         } else {
 875                 INFO(dev, "HOST MAC %pM\n", dev->host_mac);
 876
 877                 /* two kinds of host-initiated state changes:
 878                  *  - iff DATA transfer is active, carrier is "on"
 879                  *  - tx queueing enabled if open *and* carrier is "on"
 880                  */
 881                 netif_carrier_off(net);
 882         }
 883         sa.sa_family = net->type;
 884         memcpy(sa.sa_data, dev->dev_mac, ETH_ALEN);
 885         rtnl_lock();
 886         status = dev_set_mac_address(net, &sa);
 887         rtnl_unlock();
 888         if (status)
 889                 pr_warn("cannot set self ethernet address: %d\n", status);
 890         else
 891                 INFO(dev, "MAC %pM\n", dev->dev_mac);
 892
 893         return status;
 894 }
 895 EXPORT_SYMBOL_GPL(gether_register_netdev);
 896
 897 void gether_set_gadget(struct net_device *net, struct usb_gadget *g)
 898 {
 899         struct eth_dev *dev;
 900
 901         dev = netdev_priv(net);
 902         dev->gadget = g;
 903         SET_NETDEV_DEV(net, &g->dev);
 904 }
 905 EXPORT_SYMBOL_GPL(gether_set_gadget);
 906
 907 int gether_set_dev_addr(struct net_device *net, const char *dev_addr)
 908 {
 909         struct eth_dev *dev;
 910         u8 new_addr[ETH_ALEN];
 911
 912         dev = netdev_priv(net);
 913         if (get_ether_addr(dev_addr, new_addr))
 914                 return -EINVAL;
 915         memcpy(dev->dev_mac, new_addr, ETH_ALEN);
 916         return 0;
 917 }
 918 EXPORT_SYMBOL_GPL(gether_set_dev_addr);
 919
 920 int gether_get_dev_addr(struct net_device *net, char *dev_addr, int len)
 921 {
 922         struct eth_dev *dev;
 923         int ret;
 924
 925         dev = netdev_priv(net);
 926         ret = get_ether_addr_str(dev->dev_mac, dev_addr, len);
 927         if (ret + 1 < len) {
 928                 dev_addr[ret++] = '\n';
 929                 dev_addr[ret] = '\0';
 930         }
 931
 932         return ret;
 933 }
 934 EXPORT_SYMBOL_GPL(gether_get_dev_addr);
 935
 936 int gether_set_host_addr(struct net_device *net, const char *host_addr)
 937 {
 938         struct eth_dev *dev;
 939         u8 new_addr[ETH_ALEN];
 940
 941         dev = netdev_priv(net);
 942         if (get_ether_addr(host_addr, new_addr))
 943                 return -EINVAL;
 944         memcpy(dev->host_mac, new_addr, ETH_ALEN);
 945         return 0;
 946 }
 947 EXPORT_SYMBOL_GPL(gether_set_host_addr);
 948
 949 int gether_get_host_addr(struct net_device *net, char *host_addr, int len)
 950 {
 951         struct eth_dev *dev;
 952         int ret;
 953
 954         dev = netdev_priv(net);
 955         ret = get_ether_addr_str(dev->host_mac, host_addr, len);
 956         if (ret + 1 < len) {
 957                 host_addr[ret++] = '\n';
 958                 host_addr[ret] = '\0';
 959         }
 960
 961         return ret;
 962 }
 963 EXPORT_SYMBOL_GPL(gether_get_host_addr);
 964
 965 int gether_get_host_addr_cdc(struct net_device *net, char *host_addr, int len)
 966 {
 967         struct eth_dev *dev;
 968
 969         if (len < 13)
 970                 return -EINVAL;
 971
 972         dev = netdev_priv(net);
 973         snprintf(host_addr, len, "%pm", dev->host_mac);
 974
 975         return strlen(host_addr);
 976 }
 977 EXPORT_SYMBOL_GPL(gether_get_host_addr_cdc);
 978
 979 void gether_get_host_addr_u8(struct net_device *net, u8 host_mac[ETH_ALEN])
 980 {
 981         struct eth_dev *dev;
 982
 983         dev = netdev_priv(net);
 984         memcpy(host_mac, dev->host_mac, ETH_ALEN);
 985 }
 986 EXPORT_SYMBOL_GPL(gether_get_host_addr_u8);
 987
 988 void gether_set_qmult(struct net_device *net, unsigned qmult)
 989 {
 990         struct eth_dev *dev;
 991
 992         dev = netdev_priv(net);
 993         dev->qmult = qmult;
 994 }
 995 EXPORT_SYMBOL_GPL(gether_set_qmult);
 996
 997 unsigned gether_get_qmult(struct net_device *net)
 998 {
 999         struct eth_dev *dev;
1000
1001         dev = netdev_priv(net);
1002         return dev->qmult;
1003 }
1004 EXPORT_SYMBOL_GPL(gether_get_qmult);
1005
1006 int gether_get_ifname(struct net_device *net, char *name, int len)
1007 {
1008         int ret;
1009
1010         rtnl_lock();
1011         ret = snprintf(name, len, "%s\n", netdev_name(net));
1012         rtnl_unlock();
1013         return ret < len ? ret : len;
1014 }
1015 EXPORT_SYMBOL_GPL(gether_get_ifname);
1016
1017 /**
1018  * gether_cleanup - remove Ethernet-over-USB device
1019  * Context: may sleep
1020  *
1021  * This is called to free all resources allocated by @gether_setup().
1022  */
1023 void gether_cleanup(struct eth_dev *dev)
1024 {
1025         if (!dev)
1026                 return;
1027
1028         unregister_netdev(dev->net);
1029         flush_work(&dev->work);
1030         free_netdev(dev->net);
1031 }
1032 EXPORT_SYMBOL_GPL(gether_cleanup);
1033
1034 /**
1035  * gether_connect - notify network layer that USB link is active
1036  * @link: the USB link, set up with endpoints, descriptors matching
1037  *      current device speed, and any framing wrapper(s) set up.
1038  * Context: irqs blocked
1039  *
1040  * This is called to activate endpoints and let the network layer know
1041  * the connection is active ("carrier detect").  It may cause the I/O
1042  * queues to open and start letting network packets flow, but will in
1043  * any case activate the endpoints so that they respond properly to the
1044  * USB host.
1045  *
1046  * Verify net_device pointer returned using IS_ERR().  If it doesn't
1047  * indicate some error code (negative errno), ep->driver_data values
1048  * have been overwritten.
1049  */
1050 struct net_device *gether_connect(struct gether *link)
1051 {
1052         struct eth_dev          *dev = link->ioport;
1053         int                     result = 0;
1054
1055         if (!dev)
1056                 return ERR_PTR(-EINVAL);
1057
1058         link->in_ep->driver_data = dev;
1059         result = usb_ep_enable(link->in_ep);
1060         if (result != 0) {
1061                 DBG(dev, "enable %s --> %d\n",
1062                         link->in_ep->name, result);
1063                 goto fail0;
1064         }
1065
1066         link->out_ep->driver_data = dev;
1067         result = usb_ep_enable(link->out_ep);
1068         if (result != 0) {
1069                 DBG(dev, "enable %s --> %d\n",
1070                         link->out_ep->name, result);
1071                 goto fail1;
1072         }
1073
1074         if (result == 0)
1075                 result = alloc_requests(dev, link, qlen(dev->gadget,
1076                                         dev->qmult));
1077
1078         if (result == 0) {
1079                 dev->zlp = link->is_zlp_ok;
1080                 dev->no_skb_reserve = gadget_avoids_skb_reserve(dev->gadget);
1081                 DBG(dev, "qlen %d\n", qlen(dev->gadget, dev->qmult));
1082
1083                 dev->header_len = link->header_len;
1084                 dev->unwrap = link->unwrap;
1085                 dev->wrap = link->wrap;
1086
1087                 spin_lock(&dev->lock);
1088                 dev->port_usb = link;
1089                 if (netif_running(dev->net)) {
1090                         if (link->open)
1091                                 link->open(link);
1092                 } else {
1093                         if (link->close)
1094                                 link->close(link);
1095                 }
1096                 spin_unlock(&dev->lock);
1097
1098                 netif_carrier_on(dev->net);
1099                 if (netif_running(dev->net))
1100                         eth_start(dev, GFP_ATOMIC);
1101
1102         /* on error, disable any endpoints  */
1103         } else {
1104                 (void) usb_ep_disable(link->out_ep);
1105 fail1:
1106                 (void) usb_ep_disable(link->in_ep);
1107         }
1108 fail0:
1109         /* caller is responsible for cleanup on error */
1110         if (result < 0)
1111                 return ERR_PTR(result);
1112         return dev->net;
1113 }
1114 EXPORT_SYMBOL_GPL(gether_connect);
1115
1116 /**
1117  * gether_disconnect - notify network layer that USB link is inactive
1118  * @link: the USB link, on which gether_connect() was called
1119  * Context: irqs blocked
1120  *
1121  * This is called to deactivate endpoints and let the network layer know
1122  * the connection went inactive ("no carrier").
1123  *
1124  * On return, the state is as if gether_connect() had never been called.
1125  * The endpoints are inactive, and accordingly without active USB I/O.
1126  * Pointers to endpoint descriptors and endpoint private data are nulled.
1127  */
1128 void gether_disconnect(struct gether *link)
1129 {
1130         struct eth_dev          *dev = link->ioport;
1131         struct usb_request      *req;
1132
1133         WARN_ON(!dev);
1134         if (!dev)
1135                 return;
1136
1137         DBG(dev, "%s\n", __func__);
1138
1139         netif_stop_queue(dev->net);
1140         netif_carrier_off(dev->net);
1141
1142         /* disable endpoints, forcing (synchronous) completion
1143          * of all pending i/o.  then free the request objects
1144          * and forget about the endpoints.
1145          */
1146         usb_ep_disable(link->in_ep);
1147         spin_lock(&dev->req_lock);
1148         while (!list_empty(&dev->tx_reqs)) {
1149                 req = list_first_entry(&dev->tx_reqs, struct usb_request, list);
1150                 list_del(&req->list);
1151
1152                 spin_unlock(&dev->req_lock);
1153                 usb_ep_free_request(link->in_ep, req);
1154                 spin_lock(&dev->req_lock);
1155         }
1156         spin_unlock(&dev->req_lock);
1157         link->in_ep->desc = NULL;
1158
1159         usb_ep_disable(link->out_ep);
1160         spin_lock(&dev->req_lock);
1161         while (!list_empty(&dev->rx_reqs)) {
1162                 req = list_first_entry(&dev->rx_reqs, struct usb_request, list);
1163                 list_del(&req->list);
1164
1165                 spin_unlock(&dev->req_lock);
1166                 usb_ep_free_request(link->out_ep, req);
1167                 spin_lock(&dev->req_lock);
1168         }
1169         spin_unlock(&dev->req_lock);
1170         link->out_ep->desc = NULL;
1171
1172         /* finish forgetting about this USB link episode */
1173         dev->header_len = 0;
1174         dev->unwrap = NULL;
1175         dev->wrap = NULL;
1176
1177         spin_lock(&dev->lock);
1178         dev->port_usb = NULL;
1179         spin_unlock(&dev->lock);
1180 }
1181 EXPORT_SYMBOL_GPL(gether_disconnect);
1182
1183 MODULE_LICENSE("GPL");
1184 MODULE_AUTHOR("David Brownell");