6772eddf6ec08e7ea0dcd99746690f32e103b4be
[releases.git] / common.c
1 /* net/atm/common.c - ATM sockets (common part for PVC and SVC) */
2
3 /* Written 1995-2000 by Werner Almesberger, EPFL LRC/ICA */
4
5 #define pr_fmt(fmt) KBUILD_MODNAME ":%s: " fmt, __func__
6
7 #include <linux/module.h>
8 #include <linux/kmod.h>
9 #include <linux/net.h>          /* struct socket, struct proto_ops */
10 #include <linux/atm.h>          /* ATM stuff */
11 #include <linux/atmdev.h>
12 #include <linux/socket.h>       /* SOL_SOCKET */
13 #include <linux/errno.h>        /* error codes */
14 #include <linux/capability.h>
15 #include <linux/mm.h>
16 #include <linux/sched/signal.h>
17 #include <linux/time64.h>       /* 64-bit time for seconds */
18 #include <linux/skbuff.h>
19 #include <linux/bitops.h>
20 #include <linux/init.h>
21 #include <linux/slab.h>
22 #include <net/sock.h>           /* struct sock */
23 #include <linux/uaccess.h>
24 #include <linux/poll.h>
25
26 #include <linux/atomic.h>
27
28 #include "resources.h"          /* atm_find_dev */
29 #include "common.h"             /* prototypes */
30 #include "protocols.h"          /* atm_init_<transport> */
31 #include "addr.h"               /* address registry */
32 #include "signaling.h"          /* for WAITING and sigd_attach */
33
34 struct hlist_head vcc_hash[VCC_HTABLE_SIZE];
35 EXPORT_SYMBOL(vcc_hash);
36
37 DEFINE_RWLOCK(vcc_sklist_lock);
38 EXPORT_SYMBOL(vcc_sklist_lock);
39
40 static ATOMIC_NOTIFIER_HEAD(atm_dev_notify_chain);
41
42 static void __vcc_insert_socket(struct sock *sk)
43 {
44         struct atm_vcc *vcc = atm_sk(sk);
45         struct hlist_head *head = &vcc_hash[vcc->vci & (VCC_HTABLE_SIZE - 1)];
46         sk->sk_hash = vcc->vci & (VCC_HTABLE_SIZE - 1);
47         sk_add_node(sk, head);
48 }
49
50 void vcc_insert_socket(struct sock *sk)
51 {
52         write_lock_irq(&vcc_sklist_lock);
53         __vcc_insert_socket(sk);
54         write_unlock_irq(&vcc_sklist_lock);
55 }
56 EXPORT_SYMBOL(vcc_insert_socket);
57
58 static void vcc_remove_socket(struct sock *sk)
59 {
60         write_lock_irq(&vcc_sklist_lock);
61         sk_del_node_init(sk);
62         write_unlock_irq(&vcc_sklist_lock);
63 }
64
65 static bool vcc_tx_ready(struct atm_vcc *vcc, unsigned int size)
66 {
67         struct sock *sk = sk_atm(vcc);
68
69         if (sk_wmem_alloc_get(sk) && !atm_may_send(vcc, size)) {
70                 pr_debug("Sorry: wmem_alloc = %d, size = %d, sndbuf = %d\n",
71                          sk_wmem_alloc_get(sk), size, sk->sk_sndbuf);
72                 return false;
73         }
74         return true;
75 }
76
77 static void vcc_sock_destruct(struct sock *sk)
78 {
79         if (atomic_read(&sk->sk_rmem_alloc))
80                 printk(KERN_DEBUG "%s: rmem leakage (%d bytes) detected.\n",
81                        __func__, atomic_read(&sk->sk_rmem_alloc));
82
83         if (refcount_read(&sk->sk_wmem_alloc))
84                 printk(KERN_DEBUG "%s: wmem leakage (%d bytes) detected.\n",
85                        __func__, refcount_read(&sk->sk_wmem_alloc));
86 }
87
88 static void vcc_def_wakeup(struct sock *sk)
89 {
90         struct socket_wq *wq;
91
92         rcu_read_lock();
93         wq = rcu_dereference(sk->sk_wq);
94         if (skwq_has_sleeper(wq))
95                 wake_up(&wq->wait);
96         rcu_read_unlock();
97 }
98
99 static inline int vcc_writable(struct sock *sk)
100 {
101         struct atm_vcc *vcc = atm_sk(sk);
102
103         return (vcc->qos.txtp.max_sdu +
104                 refcount_read(&sk->sk_wmem_alloc)) <= sk->sk_sndbuf;
105 }
106
107 static void vcc_write_space(struct sock *sk)
108 {
109         struct socket_wq *wq;
110
111         rcu_read_lock();
112
113         if (vcc_writable(sk)) {
114                 wq = rcu_dereference(sk->sk_wq);
115                 if (skwq_has_sleeper(wq))
116                         wake_up_interruptible(&wq->wait);
117
118                 sk_wake_async(sk, SOCK_WAKE_SPACE, POLL_OUT);
119         }
120
121         rcu_read_unlock();
122 }
123
124 static void vcc_release_cb(struct sock *sk)
125 {
126         struct atm_vcc *vcc = atm_sk(sk);
127
128         if (vcc->release_cb)
129                 vcc->release_cb(vcc);
130 }
131
132 static struct proto vcc_proto = {
133         .name     = "VCC",
134         .owner    = THIS_MODULE,
135         .obj_size = sizeof(struct atm_vcc),
136         .release_cb = vcc_release_cb,
137 };
138
139 int vcc_create(struct net *net, struct socket *sock, int protocol, int family, int kern)
140 {
141         struct sock *sk;
142         struct atm_vcc *vcc;
143
144         sock->sk = NULL;
145         if (sock->type == SOCK_STREAM)
146                 return -EINVAL;
147         sk = sk_alloc(net, family, GFP_KERNEL, &vcc_proto, kern);
148         if (!sk)
149                 return -ENOMEM;
150         sock_init_data(sock, sk);
151         sk->sk_state_change = vcc_def_wakeup;
152         sk->sk_write_space = vcc_write_space;
153
154         vcc = atm_sk(sk);
155         vcc->dev = NULL;
156         memset(&vcc->local, 0, sizeof(struct sockaddr_atmsvc));
157         memset(&vcc->remote, 0, sizeof(struct sockaddr_atmsvc));
158         vcc->qos.txtp.max_sdu = 1 << 16; /* for meta VCs */
159         refcount_set(&sk->sk_wmem_alloc, 1);
160         atomic_set(&sk->sk_rmem_alloc, 0);
161         vcc->push = NULL;
162         vcc->pop = NULL;
163         vcc->owner = NULL;
164         vcc->push_oam = NULL;
165         vcc->release_cb = NULL;
166         vcc->vpi = vcc->vci = 0; /* no VCI/VPI yet */
167         vcc->atm_options = vcc->aal_options = 0;
168         sk->sk_destruct = vcc_sock_destruct;
169         return 0;
170 }
171
172 static void vcc_destroy_socket(struct sock *sk)
173 {
174         struct atm_vcc *vcc = atm_sk(sk);
175         struct sk_buff *skb;
176
177         set_bit(ATM_VF_CLOSE, &vcc->flags);
178         clear_bit(ATM_VF_READY, &vcc->flags);
179         if (vcc->dev) {
180                 if (vcc->dev->ops->close)
181                         vcc->dev->ops->close(vcc);
182                 if (vcc->push)
183                         vcc->push(vcc, NULL); /* atmarpd has no push */
184                 module_put(vcc->owner);
185
186                 while ((skb = skb_dequeue(&sk->sk_receive_queue)) != NULL) {
187                         atm_return(vcc, skb->truesize);
188                         kfree_skb(skb);
189                 }
190
191                 module_put(vcc->dev->ops->owner);
192                 atm_dev_put(vcc->dev);
193         }
194
195         vcc_remove_socket(sk);
196 }
197
198 int vcc_release(struct socket *sock)
199 {
200         struct sock *sk = sock->sk;
201
202         if (sk) {
203                 lock_sock(sk);
204                 vcc_destroy_socket(sock->sk);
205                 release_sock(sk);
206                 sock_put(sk);
207         }
208
209         return 0;
210 }
211
212 void vcc_release_async(struct atm_vcc *vcc, int reply)
213 {
214         struct sock *sk = sk_atm(vcc);
215
216         set_bit(ATM_VF_CLOSE, &vcc->flags);
217         sk->sk_shutdown |= RCV_SHUTDOWN;
218         sk->sk_err = -reply;
219         clear_bit(ATM_VF_WAITING, &vcc->flags);
220         sk->sk_state_change(sk);
221 }
222 EXPORT_SYMBOL(vcc_release_async);
223
224 void vcc_process_recv_queue(struct atm_vcc *vcc)
225 {
226         struct sk_buff_head queue, *rq;
227         struct sk_buff *skb, *tmp;
228         unsigned long flags;
229
230         __skb_queue_head_init(&queue);
231         rq = &sk_atm(vcc)->sk_receive_queue;
232
233         spin_lock_irqsave(&rq->lock, flags);
234         skb_queue_splice_init(rq, &queue);
235         spin_unlock_irqrestore(&rq->lock, flags);
236
237         skb_queue_walk_safe(&queue, skb, tmp) {
238                 __skb_unlink(skb, &queue);
239                 vcc->push(vcc, skb);
240         }
241 }
242 EXPORT_SYMBOL(vcc_process_recv_queue);
243
244 void atm_dev_signal_change(struct atm_dev *dev, char signal)
245 {
246         pr_debug("%s signal=%d dev=%p number=%d dev->signal=%d\n",
247                 __func__, signal, dev, dev->number, dev->signal);
248
249         /* atm driver sending invalid signal */
250         WARN_ON(signal < ATM_PHY_SIG_LOST || signal > ATM_PHY_SIG_FOUND);
251
252         if (dev->signal == signal)
253                 return; /* no change */
254
255         dev->signal = signal;
256
257         atomic_notifier_call_chain(&atm_dev_notify_chain, signal, dev);
258 }
259 EXPORT_SYMBOL(atm_dev_signal_change);
260
261 void atm_dev_release_vccs(struct atm_dev *dev)
262 {
263         int i;
264
265         write_lock_irq(&vcc_sklist_lock);
266         for (i = 0; i < VCC_HTABLE_SIZE; i++) {
267                 struct hlist_head *head = &vcc_hash[i];
268                 struct hlist_node *tmp;
269                 struct sock *s;
270                 struct atm_vcc *vcc;
271
272                 sk_for_each_safe(s, tmp, head) {
273                         vcc = atm_sk(s);
274                         if (vcc->dev == dev) {
275                                 vcc_release_async(vcc, -EPIPE);
276                                 sk_del_node_init(s);
277                         }
278                 }
279         }
280         write_unlock_irq(&vcc_sklist_lock);
281 }
282 EXPORT_SYMBOL(atm_dev_release_vccs);
283
284 static int adjust_tp(struct atm_trafprm *tp, unsigned char aal)
285 {
286         int max_sdu;
287
288         if (!tp->traffic_class)
289                 return 0;
290         switch (aal) {
291         case ATM_AAL0:
292                 max_sdu = ATM_CELL_SIZE-1;
293                 break;
294         case ATM_AAL34:
295                 max_sdu = ATM_MAX_AAL34_PDU;
296                 break;
297         default:
298                 pr_warn("AAL problems ... (%d)\n", aal);
299                 /* fall through */
300         case ATM_AAL5:
301                 max_sdu = ATM_MAX_AAL5_PDU;
302         }
303         if (!tp->max_sdu)
304                 tp->max_sdu = max_sdu;
305         else if (tp->max_sdu > max_sdu)
306                 return -EINVAL;
307         if (!tp->max_cdv)
308                 tp->max_cdv = ATM_MAX_CDV;
309         return 0;
310 }
311
312 static int check_ci(const struct atm_vcc *vcc, short vpi, int vci)
313 {
314         struct hlist_head *head = &vcc_hash[vci & (VCC_HTABLE_SIZE - 1)];
315         struct sock *s;
316         struct atm_vcc *walk;
317
318         sk_for_each(s, head) {
319                 walk = atm_sk(s);
320                 if (walk->dev != vcc->dev)
321                         continue;
322                 if (test_bit(ATM_VF_ADDR, &walk->flags) && walk->vpi == vpi &&
323                     walk->vci == vci && ((walk->qos.txtp.traffic_class !=
324                     ATM_NONE && vcc->qos.txtp.traffic_class != ATM_NONE) ||
325                     (walk->qos.rxtp.traffic_class != ATM_NONE &&
326                     vcc->qos.rxtp.traffic_class != ATM_NONE)))
327                         return -EADDRINUSE;
328         }
329
330         /* allow VCCs with same VPI/VCI iff they don't collide on
331            TX/RX (but we may refuse such sharing for other reasons,
332            e.g. if protocol requires to have both channels) */
333
334         return 0;
335 }
336
337 static int find_ci(const struct atm_vcc *vcc, short *vpi, int *vci)
338 {
339         static short p;        /* poor man's per-device cache */
340         static int c;
341         short old_p;
342         int old_c;
343         int err;
344
345         if (*vpi != ATM_VPI_ANY && *vci != ATM_VCI_ANY) {
346                 err = check_ci(vcc, *vpi, *vci);
347                 return err;
348         }
349         /* last scan may have left values out of bounds for current device */
350         if (*vpi != ATM_VPI_ANY)
351                 p = *vpi;
352         else if (p >= 1 << vcc->dev->ci_range.vpi_bits)
353                 p = 0;
354         if (*vci != ATM_VCI_ANY)
355                 c = *vci;
356         else if (c < ATM_NOT_RSV_VCI || c >= 1 << vcc->dev->ci_range.vci_bits)
357                         c = ATM_NOT_RSV_VCI;
358         old_p = p;
359         old_c = c;
360         do {
361                 if (!check_ci(vcc, p, c)) {
362                         *vpi = p;
363                         *vci = c;
364                         return 0;
365                 }
366                 if (*vci == ATM_VCI_ANY) {
367                         c++;
368                         if (c >= 1 << vcc->dev->ci_range.vci_bits)
369                                 c = ATM_NOT_RSV_VCI;
370                 }
371                 if ((c == ATM_NOT_RSV_VCI || *vci != ATM_VCI_ANY) &&
372                     *vpi == ATM_VPI_ANY) {
373                         p++;
374                         if (p >= 1 << vcc->dev->ci_range.vpi_bits)
375                                 p = 0;
376                 }
377         } while (old_p != p || old_c != c);
378         return -EADDRINUSE;
379 }
380
381 static int __vcc_connect(struct atm_vcc *vcc, struct atm_dev *dev, short vpi,
382                          int vci)
383 {
384         struct sock *sk = sk_atm(vcc);
385         int error;
386
387         if ((vpi != ATM_VPI_UNSPEC && vpi != ATM_VPI_ANY &&
388             vpi >> dev->ci_range.vpi_bits) || (vci != ATM_VCI_UNSPEC &&
389             vci != ATM_VCI_ANY && vci >> dev->ci_range.vci_bits))
390                 return -EINVAL;
391         if (vci > 0 && vci < ATM_NOT_RSV_VCI && !capable(CAP_NET_BIND_SERVICE))
392                 return -EPERM;
393         error = -ENODEV;
394         if (!try_module_get(dev->ops->owner))
395                 return error;
396         vcc->dev = dev;
397         write_lock_irq(&vcc_sklist_lock);
398         if (test_bit(ATM_DF_REMOVED, &dev->flags) ||
399             (error = find_ci(vcc, &vpi, &vci))) {
400                 write_unlock_irq(&vcc_sklist_lock);
401                 goto fail_module_put;
402         }
403         vcc->vpi = vpi;
404         vcc->vci = vci;
405         __vcc_insert_socket(sk);
406         write_unlock_irq(&vcc_sklist_lock);
407         switch (vcc->qos.aal) {
408         case ATM_AAL0:
409                 error = atm_init_aal0(vcc);
410                 vcc->stats = &dev->stats.aal0;
411                 break;
412         case ATM_AAL34:
413                 error = atm_init_aal34(vcc);
414                 vcc->stats = &dev->stats.aal34;
415                 break;
416         case ATM_NO_AAL:
417                 /* ATM_AAL5 is also used in the "0 for default" case */
418                 vcc->qos.aal = ATM_AAL5;
419                 /* fall through */
420         case ATM_AAL5:
421                 error = atm_init_aal5(vcc);
422                 vcc->stats = &dev->stats.aal5;
423                 break;
424         default:
425                 error = -EPROTOTYPE;
426         }
427         if (!error)
428                 error = adjust_tp(&vcc->qos.txtp, vcc->qos.aal);
429         if (!error)
430                 error = adjust_tp(&vcc->qos.rxtp, vcc->qos.aal);
431         if (error)
432                 goto fail;
433         pr_debug("VCC %d.%d, AAL %d\n", vpi, vci, vcc->qos.aal);
434         pr_debug("  TX: %d, PCR %d..%d, SDU %d\n",
435                  vcc->qos.txtp.traffic_class,
436                  vcc->qos.txtp.min_pcr,
437                  vcc->qos.txtp.max_pcr,
438                  vcc->qos.txtp.max_sdu);
439         pr_debug("  RX: %d, PCR %d..%d, SDU %d\n",
440                  vcc->qos.rxtp.traffic_class,
441                  vcc->qos.rxtp.min_pcr,
442                  vcc->qos.rxtp.max_pcr,
443                  vcc->qos.rxtp.max_sdu);
444
445         if (dev->ops->open) {
446                 error = dev->ops->open(vcc);
447                 if (error)
448                         goto fail;
449         }
450         return 0;
451
452 fail:
453         vcc_remove_socket(sk);
454 fail_module_put:
455         module_put(dev->ops->owner);
456         /* ensure we get dev module ref count correct */
457         vcc->dev = NULL;
458         return error;
459 }
460
461 int vcc_connect(struct socket *sock, int itf, short vpi, int vci)
462 {
463         struct atm_dev *dev;
464         struct atm_vcc *vcc = ATM_SD(sock);
465         int error;
466
467         pr_debug("(vpi %d, vci %d)\n", vpi, vci);
468         if (sock->state == SS_CONNECTED)
469                 return -EISCONN;
470         if (sock->state != SS_UNCONNECTED)
471                 return -EINVAL;
472         if (!(vpi || vci))
473                 return -EINVAL;
474
475         if (vpi != ATM_VPI_UNSPEC && vci != ATM_VCI_UNSPEC)
476                 clear_bit(ATM_VF_PARTIAL, &vcc->flags);
477         else
478                 if (test_bit(ATM_VF_PARTIAL, &vcc->flags))
479                         return -EINVAL;
480         pr_debug("(TX: cl %d,bw %d-%d,sdu %d; "
481                  "RX: cl %d,bw %d-%d,sdu %d,AAL %s%d)\n",
482                  vcc->qos.txtp.traffic_class, vcc->qos.txtp.min_pcr,
483                  vcc->qos.txtp.max_pcr, vcc->qos.txtp.max_sdu,
484                  vcc->qos.rxtp.traffic_class, vcc->qos.rxtp.min_pcr,
485                  vcc->qos.rxtp.max_pcr, vcc->qos.rxtp.max_sdu,
486                  vcc->qos.aal == ATM_AAL5 ? "" :
487                  vcc->qos.aal == ATM_AAL0 ? "" : " ??? code ",
488                  vcc->qos.aal == ATM_AAL0 ? 0 : vcc->qos.aal);
489         if (!test_bit(ATM_VF_HASQOS, &vcc->flags))
490                 return -EBADFD;
491         if (vcc->qos.txtp.traffic_class == ATM_ANYCLASS ||
492             vcc->qos.rxtp.traffic_class == ATM_ANYCLASS)
493                 return -EINVAL;
494         if (likely(itf != ATM_ITF_ANY)) {
495                 dev = try_then_request_module(atm_dev_lookup(itf),
496                                               "atm-device-%d", itf);
497         } else {
498                 dev = NULL;
499                 mutex_lock(&atm_dev_mutex);
500                 if (!list_empty(&atm_devs)) {
501                         dev = list_entry(atm_devs.next,
502                                          struct atm_dev, dev_list);
503                         atm_dev_hold(dev);
504                 }
505                 mutex_unlock(&atm_dev_mutex);
506         }
507         if (!dev)
508                 return -ENODEV;
509         error = __vcc_connect(vcc, dev, vpi, vci);
510         if (error) {
511                 atm_dev_put(dev);
512                 return error;
513         }
514         if (vpi == ATM_VPI_UNSPEC || vci == ATM_VCI_UNSPEC)
515                 set_bit(ATM_VF_PARTIAL, &vcc->flags);
516         if (test_bit(ATM_VF_READY, &ATM_SD(sock)->flags))
517                 sock->state = SS_CONNECTED;
518         return 0;
519 }
520
521 int vcc_recvmsg(struct socket *sock, struct msghdr *msg, size_t size,
522                 int flags)
523 {
524         struct sock *sk = sock->sk;
525         struct atm_vcc *vcc;
526         struct sk_buff *skb;
527         int copied, error = -EINVAL;
528
529         if (sock->state != SS_CONNECTED)
530                 return -ENOTCONN;
531
532         /* only handle MSG_DONTWAIT and MSG_PEEK */
533         if (flags & ~(MSG_DONTWAIT | MSG_PEEK))
534                 return -EOPNOTSUPP;
535
536         vcc = ATM_SD(sock);
537         if (test_bit(ATM_VF_RELEASED, &vcc->flags) ||
538             test_bit(ATM_VF_CLOSE, &vcc->flags) ||
539             !test_bit(ATM_VF_READY, &vcc->flags))
540                 return 0;
541
542         skb = skb_recv_datagram(sk, flags, flags & MSG_DONTWAIT, &error);
543         if (!skb)
544                 return error;
545
546         copied = skb->len;
547         if (copied > size) {
548                 copied = size;
549                 msg->msg_flags |= MSG_TRUNC;
550         }
551
552         error = skb_copy_datagram_msg(skb, 0, msg, copied);
553         if (error)
554                 return error;
555         sock_recv_ts_and_drops(msg, sk, skb);
556
557         if (!(flags & MSG_PEEK)) {
558                 pr_debug("%d -= %d\n", atomic_read(&sk->sk_rmem_alloc),
559                          skb->truesize);
560                 atm_return(vcc, skb->truesize);
561         }
562
563         skb_free_datagram(sk, skb);
564         return copied;
565 }
566
567 int vcc_sendmsg(struct socket *sock, struct msghdr *m, size_t size)
568 {
569         struct sock *sk = sock->sk;
570         DEFINE_WAIT(wait);
571         struct atm_vcc *vcc;
572         struct sk_buff *skb;
573         int eff, error;
574
575         lock_sock(sk);
576         if (sock->state != SS_CONNECTED) {
577                 error = -ENOTCONN;
578                 goto out;
579         }
580         if (m->msg_name) {
581                 error = -EISCONN;
582                 goto out;
583         }
584         vcc = ATM_SD(sock);
585         if (test_bit(ATM_VF_RELEASED, &vcc->flags) ||
586             test_bit(ATM_VF_CLOSE, &vcc->flags) ||
587             !test_bit(ATM_VF_READY, &vcc->flags)) {
588                 error = -EPIPE;
589                 send_sig(SIGPIPE, current, 0);
590                 goto out;
591         }
592         if (!size) {
593                 error = 0;
594                 goto out;
595         }
596         if (size > vcc->qos.txtp.max_sdu) {
597                 error = -EMSGSIZE;
598                 goto out;
599         }
600
601         eff = (size+3) & ~3; /* align to word boundary */
602         prepare_to_wait(sk_sleep(sk), &wait, TASK_INTERRUPTIBLE);
603         error = 0;
604         while (!vcc_tx_ready(vcc, eff)) {
605                 if (m->msg_flags & MSG_DONTWAIT) {
606                         error = -EAGAIN;
607                         break;
608                 }
609                 schedule();
610                 if (signal_pending(current)) {
611                         error = -ERESTARTSYS;
612                         break;
613                 }
614                 if (test_bit(ATM_VF_RELEASED, &vcc->flags) ||
615                     test_bit(ATM_VF_CLOSE, &vcc->flags) ||
616                     !test_bit(ATM_VF_READY, &vcc->flags)) {
617                         error = -EPIPE;
618                         send_sig(SIGPIPE, current, 0);
619                         break;
620                 }
621                 prepare_to_wait(sk_sleep(sk), &wait, TASK_INTERRUPTIBLE);
622         }
623         finish_wait(sk_sleep(sk), &wait);
624         if (error)
625                 goto out;
626
627         skb = alloc_skb(eff, GFP_KERNEL);
628         if (!skb) {
629                 error = -ENOMEM;
630                 goto out;
631         }
632         pr_debug("%d += %d\n", sk_wmem_alloc_get(sk), skb->truesize);
633         atm_account_tx(vcc, skb);
634
635         skb->dev = NULL; /* for paths shared with net_device interfaces */
636         if (!copy_from_iter_full(skb_put(skb, size), size, &m->msg_iter)) {
637                 kfree_skb(skb);
638                 error = -EFAULT;
639                 goto out;
640         }
641         if (eff != size)
642                 memset(skb->data + size, 0, eff-size);
643         error = vcc->dev->ops->send(vcc, skb);
644         error = error ? error : size;
645 out:
646         release_sock(sk);
647         return error;
648 }
649
650 __poll_t vcc_poll(struct file *file, struct socket *sock, poll_table *wait)
651 {
652         struct sock *sk = sock->sk;
653         struct atm_vcc *vcc;
654         __poll_t mask;
655
656         sock_poll_wait(file, sock, wait);
657         mask = 0;
658
659         vcc = ATM_SD(sock);
660
661         /* exceptional events */
662         if (sk->sk_err)
663                 mask = EPOLLERR;
664
665         if (test_bit(ATM_VF_RELEASED, &vcc->flags) ||
666             test_bit(ATM_VF_CLOSE, &vcc->flags))
667                 mask |= EPOLLHUP;
668
669         /* readable? */
670         if (!skb_queue_empty_lockless(&sk->sk_receive_queue))
671                 mask |= EPOLLIN | EPOLLRDNORM;
672
673         /* writable? */
674         if (sock->state == SS_CONNECTING &&
675             test_bit(ATM_VF_WAITING, &vcc->flags))
676                 return mask;
677
678         if (vcc->qos.txtp.traffic_class != ATM_NONE &&
679             vcc_writable(sk))
680                 mask |= EPOLLOUT | EPOLLWRNORM | EPOLLWRBAND;
681
682         return mask;
683 }
684
685 static int atm_change_qos(struct atm_vcc *vcc, struct atm_qos *qos)
686 {
687         int error;
688
689         /*
690          * Don't let the QoS change the already connected AAL type nor the
691          * traffic class.
692          */
693         if (qos->aal != vcc->qos.aal ||
694             qos->rxtp.traffic_class != vcc->qos.rxtp.traffic_class ||
695             qos->txtp.traffic_class != vcc->qos.txtp.traffic_class)
696                 return -EINVAL;
697         error = adjust_tp(&qos->txtp, qos->aal);
698         if (!error)
699                 error = adjust_tp(&qos->rxtp, qos->aal);
700         if (error)
701                 return error;
702         if (!vcc->dev->ops->change_qos)
703                 return -EOPNOTSUPP;
704         if (sk_atm(vcc)->sk_family == AF_ATMPVC)
705                 return vcc->dev->ops->change_qos(vcc, qos, ATM_MF_SET);
706         return svc_change_qos(vcc, qos);
707 }
708
709 static int check_tp(const struct atm_trafprm *tp)
710 {
711         /* @@@ Should be merged with adjust_tp */
712         if (!tp->traffic_class || tp->traffic_class == ATM_ANYCLASS)
713                 return 0;
714         if (tp->traffic_class != ATM_UBR && !tp->min_pcr && !tp->pcr &&
715             !tp->max_pcr)
716                 return -EINVAL;
717         if (tp->min_pcr == ATM_MAX_PCR)
718                 return -EINVAL;
719         if (tp->min_pcr && tp->max_pcr && tp->max_pcr != ATM_MAX_PCR &&
720             tp->min_pcr > tp->max_pcr)
721                 return -EINVAL;
722         /*
723          * We allow pcr to be outside [min_pcr,max_pcr], because later
724          * adjustment may still push it in the valid range.
725          */
726         return 0;
727 }
728
729 static int check_qos(const struct atm_qos *qos)
730 {
731         int error;
732
733         if (!qos->txtp.traffic_class && !qos->rxtp.traffic_class)
734                 return -EINVAL;
735         if (qos->txtp.traffic_class != qos->rxtp.traffic_class &&
736             qos->txtp.traffic_class && qos->rxtp.traffic_class &&
737             qos->txtp.traffic_class != ATM_ANYCLASS &&
738             qos->rxtp.traffic_class != ATM_ANYCLASS)
739                 return -EINVAL;
740         error = check_tp(&qos->txtp);
741         if (error)
742                 return error;
743         return check_tp(&qos->rxtp);
744 }
745
746 int vcc_setsockopt(struct socket *sock, int level, int optname,
747                    char __user *optval, unsigned int optlen)
748 {
749         struct atm_vcc *vcc;
750         unsigned long value;
751         int error;
752
753         if (__SO_LEVEL_MATCH(optname, level) && optlen != __SO_SIZE(optname))
754                 return -EINVAL;
755
756         vcc = ATM_SD(sock);
757         switch (optname) {
758         case SO_ATMQOS:
759         {
760                 struct atm_qos qos;
761
762                 if (copy_from_user(&qos, optval, sizeof(qos)))
763                         return -EFAULT;
764                 error = check_qos(&qos);
765                 if (error)
766                         return error;
767                 if (sock->state == SS_CONNECTED)
768                         return atm_change_qos(vcc, &qos);
769                 if (sock->state != SS_UNCONNECTED)
770                         return -EBADFD;
771                 vcc->qos = qos;
772                 set_bit(ATM_VF_HASQOS, &vcc->flags);
773                 return 0;
774         }
775         case SO_SETCLP:
776                 if (get_user(value, (unsigned long __user *)optval))
777                         return -EFAULT;
778                 if (value)
779                         vcc->atm_options |= ATM_ATMOPT_CLP;
780                 else
781                         vcc->atm_options &= ~ATM_ATMOPT_CLP;
782                 return 0;
783         default:
784                 if (level == SOL_SOCKET)
785                         return -EINVAL;
786                 break;
787         }
788         if (!vcc->dev || !vcc->dev->ops->setsockopt)
789                 return -EINVAL;
790         return vcc->dev->ops->setsockopt(vcc, level, optname, optval, optlen);
791 }
792
793 int vcc_getsockopt(struct socket *sock, int level, int optname,
794                    char __user *optval, int __user *optlen)
795 {
796         struct atm_vcc *vcc;
797         int len;
798
799         if (get_user(len, optlen))
800                 return -EFAULT;
801         if (__SO_LEVEL_MATCH(optname, level) && len != __SO_SIZE(optname))
802                 return -EINVAL;
803
804         vcc = ATM_SD(sock);
805         switch (optname) {
806         case SO_ATMQOS:
807                 if (!test_bit(ATM_VF_HASQOS, &vcc->flags))
808                         return -EINVAL;
809                 return copy_to_user(optval, &vcc->qos, sizeof(vcc->qos))
810                         ? -EFAULT : 0;
811         case SO_SETCLP:
812                 return put_user(vcc->atm_options & ATM_ATMOPT_CLP ? 1 : 0,
813                                 (unsigned long __user *)optval) ? -EFAULT : 0;
814         case SO_ATMPVC:
815         {
816                 struct sockaddr_atmpvc pvc;
817
818                 if (!vcc->dev || !test_bit(ATM_VF_ADDR, &vcc->flags))
819                         return -ENOTCONN;
820                 memset(&pvc, 0, sizeof(pvc));
821                 pvc.sap_family = AF_ATMPVC;
822                 pvc.sap_addr.itf = vcc->dev->number;
823                 pvc.sap_addr.vpi = vcc->vpi;
824                 pvc.sap_addr.vci = vcc->vci;
825                 return copy_to_user(optval, &pvc, sizeof(pvc)) ? -EFAULT : 0;
826         }
827         default:
828                 if (level == SOL_SOCKET)
829                         return -EINVAL;
830                 break;
831         }
832         if (!vcc->dev || !vcc->dev->ops->getsockopt)
833                 return -EINVAL;
834         return vcc->dev->ops->getsockopt(vcc, level, optname, optval, len);
835 }
836
837 int register_atmdevice_notifier(struct notifier_block *nb)
838 {
839         return atomic_notifier_chain_register(&atm_dev_notify_chain, nb);
840 }
841 EXPORT_SYMBOL_GPL(register_atmdevice_notifier);
842
843 void unregister_atmdevice_notifier(struct notifier_block *nb)
844 {
845         atomic_notifier_chain_unregister(&atm_dev_notify_chain, nb);
846 }
847 EXPORT_SYMBOL_GPL(unregister_atmdevice_notifier);
848
849 static int __init atm_init(void)
850 {
851         int error;
852
853         error = proto_register(&vcc_proto, 0);
854         if (error < 0)
855                 goto out;
856         error = atmpvc_init();
857         if (error < 0) {
858                 pr_err("atmpvc_init() failed with %d\n", error);
859                 goto out_unregister_vcc_proto;
860         }
861         error = atmsvc_init();
862         if (error < 0) {
863                 pr_err("atmsvc_init() failed with %d\n", error);
864                 goto out_atmpvc_exit;
865         }
866         error = atm_proc_init();
867         if (error < 0) {
868                 pr_err("atm_proc_init() failed with %d\n", error);
869                 goto out_atmsvc_exit;
870         }
871         error = atm_sysfs_init();
872         if (error < 0) {
873                 pr_err("atm_sysfs_init() failed with %d\n", error);
874                 goto out_atmproc_exit;
875         }
876 out:
877         return error;
878 out_atmproc_exit:
879         atm_proc_exit();
880 out_atmsvc_exit:
881         atmsvc_exit();
882 out_atmpvc_exit:
883         atmsvc_exit();
884 out_unregister_vcc_proto:
885         proto_unregister(&vcc_proto);
886         goto out;
887 }
888
889 static void __exit atm_exit(void)
890 {
891         atm_proc_exit();
892         atm_sysfs_exit();
893         atmsvc_exit();
894         atmpvc_exit();
895         proto_unregister(&vcc_proto);
896 }
897
898 subsys_initcall(atm_init);
899
900 module_exit(atm_exit);
901
902 MODULE_LICENSE("GPL");
903 MODULE_ALIAS_NETPROTO(PF_ATMPVC);
904 MODULE_ALIAS_NETPROTO(PF_ATMSVC);