GNU Linux-libre 5.15.137-gnu
[releases.git] / net / l2tp / l2tp_ip6.c
1 // SPDX-License-Identifier: GPL-2.0-or-later
2 /* L2TPv3 IP encapsulation support for IPv6
3  *
4  * Copyright (c) 2012 Katalix Systems Ltd
5  */
6
7 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
8
9 #include <linux/icmp.h>
10 #include <linux/module.h>
11 #include <linux/skbuff.h>
12 #include <linux/random.h>
13 #include <linux/socket.h>
14 #include <linux/l2tp.h>
15 #include <linux/in.h>
16 #include <linux/in6.h>
17 #include <net/sock.h>
18 #include <net/ip.h>
19 #include <net/icmp.h>
20 #include <net/udp.h>
21 #include <net/inet_common.h>
22 #include <net/tcp_states.h>
23 #include <net/protocol.h>
24 #include <net/xfrm.h>
25
26 #include <net/transp_v6.h>
27 #include <net/addrconf.h>
28 #include <net/ip6_route.h>
29
30 #include "l2tp_core.h"
31
32 struct l2tp_ip6_sock {
33         /* inet_sock has to be the first member of l2tp_ip6_sock */
34         struct inet_sock        inet;
35
36         u32                     conn_id;
37         u32                     peer_conn_id;
38
39         /* ipv6_pinfo has to be the last member of l2tp_ip6_sock, see
40          * inet6_sk_generic
41          */
42         struct ipv6_pinfo       inet6;
43 };
44
45 static DEFINE_RWLOCK(l2tp_ip6_lock);
46 static struct hlist_head l2tp_ip6_table;
47 static struct hlist_head l2tp_ip6_bind_table;
48
49 static inline struct l2tp_ip6_sock *l2tp_ip6_sk(const struct sock *sk)
50 {
51         return (struct l2tp_ip6_sock *)sk;
52 }
53
54 static struct sock *__l2tp_ip6_bind_lookup(const struct net *net,
55                                            const struct in6_addr *laddr,
56                                            const struct in6_addr *raddr,
57                                            int dif, u32 tunnel_id)
58 {
59         struct sock *sk;
60
61         sk_for_each_bound(sk, &l2tp_ip6_bind_table) {
62                 const struct in6_addr *sk_laddr = inet6_rcv_saddr(sk);
63                 const struct in6_addr *sk_raddr = &sk->sk_v6_daddr;
64                 const struct l2tp_ip6_sock *l2tp = l2tp_ip6_sk(sk);
65
66                 if (!net_eq(sock_net(sk), net))
67                         continue;
68
69                 if (sk->sk_bound_dev_if && dif && sk->sk_bound_dev_if != dif)
70                         continue;
71
72                 if (sk_laddr && !ipv6_addr_any(sk_laddr) &&
73                     !ipv6_addr_any(laddr) && !ipv6_addr_equal(sk_laddr, laddr))
74                         continue;
75
76                 if (!ipv6_addr_any(sk_raddr) && raddr &&
77                     !ipv6_addr_any(raddr) && !ipv6_addr_equal(sk_raddr, raddr))
78                         continue;
79
80                 if (l2tp->conn_id != tunnel_id)
81                         continue;
82
83                 goto found;
84         }
85
86         sk = NULL;
87 found:
88         return sk;
89 }
90
91 /* When processing receive frames, there are two cases to
92  * consider. Data frames consist of a non-zero session-id and an
93  * optional cookie. Control frames consist of a regular L2TP header
94  * preceded by 32-bits of zeros.
95  *
96  * L2TPv3 Session Header Over IP
97  *
98  *  0                   1                   2                   3
99  *  0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
100  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
101  * |                           Session ID                          |
102  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
103  * |               Cookie (optional, maximum 64 bits)...
104  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
105  *                                                                 |
106  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
107  *
108  * L2TPv3 Control Message Header Over IP
109  *
110  *  0                   1                   2                   3
111  *  0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
112  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
113  * |                      (32 bits of zeros)                       |
114  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
115  * |T|L|x|x|S|x|x|x|x|x|x|x|  Ver  |             Length            |
116  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
117  * |                     Control Connection ID                     |
118  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
119  * |               Ns              |               Nr              |
120  * +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
121  *
122  * All control frames are passed to userspace.
123  */
124 static int l2tp_ip6_recv(struct sk_buff *skb)
125 {
126         struct net *net = dev_net(skb->dev);
127         struct sock *sk;
128         u32 session_id;
129         u32 tunnel_id;
130         unsigned char *ptr, *optr;
131         struct l2tp_session *session;
132         struct l2tp_tunnel *tunnel = NULL;
133         struct ipv6hdr *iph;
134
135         if (!pskb_may_pull(skb, 4))
136                 goto discard;
137
138         /* Point to L2TP header */
139         optr = skb->data;
140         ptr = skb->data;
141         session_id = ntohl(*((__be32 *)ptr));
142         ptr += 4;
143
144         /* RFC3931: L2TP/IP packets have the first 4 bytes containing
145          * the session_id. If it is 0, the packet is a L2TP control
146          * frame and the session_id value can be discarded.
147          */
148         if (session_id == 0) {
149                 __skb_pull(skb, 4);
150                 goto pass_up;
151         }
152
153         /* Ok, this is a data packet. Lookup the session. */
154         session = l2tp_session_get(net, session_id);
155         if (!session)
156                 goto discard;
157
158         tunnel = session->tunnel;
159         if (!tunnel)
160                 goto discard_sess;
161
162         if (l2tp_v3_ensure_opt_in_linear(session, skb, &ptr, &optr))
163                 goto discard_sess;
164
165         l2tp_recv_common(session, skb, ptr, optr, 0, skb->len);
166         l2tp_session_dec_refcount(session);
167
168         return 0;
169
170 pass_up:
171         /* Get the tunnel_id from the L2TP header */
172         if (!pskb_may_pull(skb, 12))
173                 goto discard;
174
175         if ((skb->data[0] & 0xc0) != 0xc0)
176                 goto discard;
177
178         tunnel_id = ntohl(*(__be32 *)&skb->data[4]);
179         iph = ipv6_hdr(skb);
180
181         read_lock_bh(&l2tp_ip6_lock);
182         sk = __l2tp_ip6_bind_lookup(net, &iph->daddr, &iph->saddr,
183                                     inet6_iif(skb), tunnel_id);
184         if (!sk) {
185                 read_unlock_bh(&l2tp_ip6_lock);
186                 goto discard;
187         }
188         sock_hold(sk);
189         read_unlock_bh(&l2tp_ip6_lock);
190
191         if (!xfrm6_policy_check(sk, XFRM_POLICY_IN, skb))
192                 goto discard_put;
193
194         nf_reset_ct(skb);
195
196         return sk_receive_skb(sk, skb, 1);
197
198 discard_sess:
199         l2tp_session_dec_refcount(session);
200         goto discard;
201
202 discard_put:
203         sock_put(sk);
204
205 discard:
206         kfree_skb(skb);
207         return 0;
208 }
209
210 static int l2tp_ip6_hash(struct sock *sk)
211 {
212         if (sk_unhashed(sk)) {
213                 write_lock_bh(&l2tp_ip6_lock);
214                 sk_add_node(sk, &l2tp_ip6_table);
215                 write_unlock_bh(&l2tp_ip6_lock);
216         }
217         return 0;
218 }
219
220 static void l2tp_ip6_unhash(struct sock *sk)
221 {
222         if (sk_unhashed(sk))
223                 return;
224         write_lock_bh(&l2tp_ip6_lock);
225         sk_del_node_init(sk);
226         write_unlock_bh(&l2tp_ip6_lock);
227 }
228
229 static int l2tp_ip6_open(struct sock *sk)
230 {
231         /* Prevent autobind. We don't have ports. */
232         inet_sk(sk)->inet_num = IPPROTO_L2TP;
233
234         l2tp_ip6_hash(sk);
235         return 0;
236 }
237
238 static void l2tp_ip6_close(struct sock *sk, long timeout)
239 {
240         write_lock_bh(&l2tp_ip6_lock);
241         hlist_del_init(&sk->sk_bind_node);
242         sk_del_node_init(sk);
243         write_unlock_bh(&l2tp_ip6_lock);
244
245         sk_common_release(sk);
246 }
247
248 static void l2tp_ip6_destroy_sock(struct sock *sk)
249 {
250         struct l2tp_tunnel *tunnel = l2tp_sk_to_tunnel(sk);
251
252         lock_sock(sk);
253         ip6_flush_pending_frames(sk);
254         release_sock(sk);
255
256         if (tunnel)
257                 l2tp_tunnel_delete(tunnel);
258 }
259
260 static int l2tp_ip6_bind(struct sock *sk, struct sockaddr *uaddr, int addr_len)
261 {
262         struct inet_sock *inet = inet_sk(sk);
263         struct ipv6_pinfo *np = inet6_sk(sk);
264         struct sockaddr_l2tpip6 *addr = (struct sockaddr_l2tpip6 *)uaddr;
265         struct net *net = sock_net(sk);
266         __be32 v4addr = 0;
267         int bound_dev_if;
268         int addr_type;
269         int err;
270
271         if (addr->l2tp_family != AF_INET6)
272                 return -EINVAL;
273         if (addr_len < sizeof(*addr))
274                 return -EINVAL;
275
276         addr_type = ipv6_addr_type(&addr->l2tp_addr);
277
278         /* l2tp_ip6 sockets are IPv6 only */
279         if (addr_type == IPV6_ADDR_MAPPED)
280                 return -EADDRNOTAVAIL;
281
282         /* L2TP is point-point, not multicast */
283         if (addr_type & IPV6_ADDR_MULTICAST)
284                 return -EADDRNOTAVAIL;
285
286         lock_sock(sk);
287
288         err = -EINVAL;
289         if (!sock_flag(sk, SOCK_ZAPPED))
290                 goto out_unlock;
291
292         if (sk->sk_state != TCP_CLOSE)
293                 goto out_unlock;
294
295         bound_dev_if = sk->sk_bound_dev_if;
296
297         /* Check if the address belongs to the host. */
298         rcu_read_lock();
299         if (addr_type != IPV6_ADDR_ANY) {
300                 struct net_device *dev = NULL;
301
302                 if (addr_type & IPV6_ADDR_LINKLOCAL) {
303                         if (addr->l2tp_scope_id)
304                                 bound_dev_if = addr->l2tp_scope_id;
305
306                         /* Binding to link-local address requires an
307                          * interface.
308                          */
309                         if (!bound_dev_if)
310                                 goto out_unlock_rcu;
311
312                         err = -ENODEV;
313                         dev = dev_get_by_index_rcu(sock_net(sk), bound_dev_if);
314                         if (!dev)
315                                 goto out_unlock_rcu;
316                 }
317
318                 /* ipv4 addr of the socket is invalid.  Only the
319                  * unspecified and mapped address have a v4 equivalent.
320                  */
321                 v4addr = LOOPBACK4_IPV6;
322                 err = -EADDRNOTAVAIL;
323                 if (!ipv6_chk_addr(sock_net(sk), &addr->l2tp_addr, dev, 0))
324                         goto out_unlock_rcu;
325         }
326         rcu_read_unlock();
327
328         write_lock_bh(&l2tp_ip6_lock);
329         if (__l2tp_ip6_bind_lookup(net, &addr->l2tp_addr, NULL, bound_dev_if,
330                                    addr->l2tp_conn_id)) {
331                 write_unlock_bh(&l2tp_ip6_lock);
332                 err = -EADDRINUSE;
333                 goto out_unlock;
334         }
335
336         inet->inet_saddr = v4addr;
337         inet->inet_rcv_saddr = v4addr;
338         sk->sk_bound_dev_if = bound_dev_if;
339         sk->sk_v6_rcv_saddr = addr->l2tp_addr;
340         np->saddr = addr->l2tp_addr;
341
342         l2tp_ip6_sk(sk)->conn_id = addr->l2tp_conn_id;
343
344         sk_add_bind_node(sk, &l2tp_ip6_bind_table);
345         sk_del_node_init(sk);
346         write_unlock_bh(&l2tp_ip6_lock);
347
348         sock_reset_flag(sk, SOCK_ZAPPED);
349         release_sock(sk);
350         return 0;
351
352 out_unlock_rcu:
353         rcu_read_unlock();
354 out_unlock:
355         release_sock(sk);
356
357         return err;
358 }
359
360 static int l2tp_ip6_connect(struct sock *sk, struct sockaddr *uaddr,
361                             int addr_len)
362 {
363         struct sockaddr_l2tpip6 *lsa = (struct sockaddr_l2tpip6 *)uaddr;
364         struct sockaddr_in6     *usin = (struct sockaddr_in6 *)uaddr;
365         struct in6_addr *daddr;
366         int     addr_type;
367         int rc;
368
369         if (addr_len < sizeof(*lsa))
370                 return -EINVAL;
371
372         if (usin->sin6_family != AF_INET6)
373                 return -EINVAL;
374
375         addr_type = ipv6_addr_type(&usin->sin6_addr);
376         if (addr_type & IPV6_ADDR_MULTICAST)
377                 return -EINVAL;
378
379         if (addr_type & IPV6_ADDR_MAPPED) {
380                 daddr = &usin->sin6_addr;
381                 if (ipv4_is_multicast(daddr->s6_addr32[3]))
382                         return -EINVAL;
383         }
384
385         lock_sock(sk);
386
387          /* Must bind first - autobinding does not work */
388         if (sock_flag(sk, SOCK_ZAPPED)) {
389                 rc = -EINVAL;
390                 goto out_sk;
391         }
392
393         rc = __ip6_datagram_connect(sk, uaddr, addr_len);
394         if (rc < 0)
395                 goto out_sk;
396
397         l2tp_ip6_sk(sk)->peer_conn_id = lsa->l2tp_conn_id;
398
399         write_lock_bh(&l2tp_ip6_lock);
400         hlist_del_init(&sk->sk_bind_node);
401         sk_add_bind_node(sk, &l2tp_ip6_bind_table);
402         write_unlock_bh(&l2tp_ip6_lock);
403
404 out_sk:
405         release_sock(sk);
406
407         return rc;
408 }
409
410 static int l2tp_ip6_disconnect(struct sock *sk, int flags)
411 {
412         if (sock_flag(sk, SOCK_ZAPPED))
413                 return 0;
414
415         return __udp_disconnect(sk, flags);
416 }
417
418 static int l2tp_ip6_getname(struct socket *sock, struct sockaddr *uaddr,
419                             int peer)
420 {
421         struct sockaddr_l2tpip6 *lsa = (struct sockaddr_l2tpip6 *)uaddr;
422         struct sock *sk = sock->sk;
423         struct ipv6_pinfo *np = inet6_sk(sk);
424         struct l2tp_ip6_sock *lsk = l2tp_ip6_sk(sk);
425
426         lsa->l2tp_family = AF_INET6;
427         lsa->l2tp_flowinfo = 0;
428         lsa->l2tp_scope_id = 0;
429         lsa->l2tp_unused = 0;
430         if (peer) {
431                 if (!lsk->peer_conn_id)
432                         return -ENOTCONN;
433                 lsa->l2tp_conn_id = lsk->peer_conn_id;
434                 lsa->l2tp_addr = sk->sk_v6_daddr;
435                 if (np->sndflow)
436                         lsa->l2tp_flowinfo = np->flow_label;
437         } else {
438                 if (ipv6_addr_any(&sk->sk_v6_rcv_saddr))
439                         lsa->l2tp_addr = np->saddr;
440                 else
441                         lsa->l2tp_addr = sk->sk_v6_rcv_saddr;
442
443                 lsa->l2tp_conn_id = lsk->conn_id;
444         }
445         if (ipv6_addr_type(&lsa->l2tp_addr) & IPV6_ADDR_LINKLOCAL)
446                 lsa->l2tp_scope_id = sk->sk_bound_dev_if;
447         return sizeof(*lsa);
448 }
449
450 static int l2tp_ip6_backlog_recv(struct sock *sk, struct sk_buff *skb)
451 {
452         int rc;
453
454         /* Charge it to the socket, dropping if the queue is full. */
455         rc = sock_queue_rcv_skb(sk, skb);
456         if (rc < 0)
457                 goto drop;
458
459         return 0;
460
461 drop:
462         IP_INC_STATS(sock_net(sk), IPSTATS_MIB_INDISCARDS);
463         kfree_skb(skb);
464         return -1;
465 }
466
467 static int l2tp_ip6_push_pending_frames(struct sock *sk)
468 {
469         struct sk_buff *skb;
470         __be32 *transhdr = NULL;
471         int err = 0;
472
473         skb = skb_peek(&sk->sk_write_queue);
474         if (!skb)
475                 goto out;
476
477         transhdr = (__be32 *)skb_transport_header(skb);
478         *transhdr = 0;
479
480         err = ip6_push_pending_frames(sk);
481
482 out:
483         return err;
484 }
485
486 /* Userspace will call sendmsg() on the tunnel socket to send L2TP
487  * control frames.
488  */
489 static int l2tp_ip6_sendmsg(struct sock *sk, struct msghdr *msg, size_t len)
490 {
491         struct ipv6_txoptions opt_space;
492         DECLARE_SOCKADDR(struct sockaddr_l2tpip6 *, lsa, msg->msg_name);
493         struct in6_addr *daddr, *final_p, final;
494         struct ipv6_pinfo *np = inet6_sk(sk);
495         struct ipv6_txoptions *opt_to_free = NULL;
496         struct ipv6_txoptions *opt = NULL;
497         struct ip6_flowlabel *flowlabel = NULL;
498         struct dst_entry *dst = NULL;
499         struct flowi6 fl6;
500         struct ipcm6_cookie ipc6;
501         int addr_len = msg->msg_namelen;
502         int transhdrlen = 4; /* zero session-id */
503         int ulen;
504         int err;
505
506         /* Rough check on arithmetic overflow,
507          * better check is made in ip6_append_data().
508          */
509         if (len > INT_MAX - transhdrlen)
510                 return -EMSGSIZE;
511
512         /* Mirror BSD error message compatibility */
513         if (msg->msg_flags & MSG_OOB)
514                 return -EOPNOTSUPP;
515
516         /* Get and verify the address */
517         memset(&fl6, 0, sizeof(fl6));
518
519         fl6.flowi6_mark = sk->sk_mark;
520         fl6.flowi6_uid = sk->sk_uid;
521
522         ipcm6_init(&ipc6);
523
524         if (lsa) {
525                 if (addr_len < SIN6_LEN_RFC2133)
526                         return -EINVAL;
527
528                 if (lsa->l2tp_family && lsa->l2tp_family != AF_INET6)
529                         return -EAFNOSUPPORT;
530
531                 daddr = &lsa->l2tp_addr;
532                 if (np->sndflow) {
533                         fl6.flowlabel = lsa->l2tp_flowinfo & IPV6_FLOWINFO_MASK;
534                         if (fl6.flowlabel & IPV6_FLOWLABEL_MASK) {
535                                 flowlabel = fl6_sock_lookup(sk, fl6.flowlabel);
536                                 if (IS_ERR(flowlabel))
537                                         return -EINVAL;
538                         }
539                 }
540
541                 /* Otherwise it will be difficult to maintain
542                  * sk->sk_dst_cache.
543                  */
544                 if (sk->sk_state == TCP_ESTABLISHED &&
545                     ipv6_addr_equal(daddr, &sk->sk_v6_daddr))
546                         daddr = &sk->sk_v6_daddr;
547
548                 if (addr_len >= sizeof(struct sockaddr_in6) &&
549                     lsa->l2tp_scope_id &&
550                     ipv6_addr_type(daddr) & IPV6_ADDR_LINKLOCAL)
551                         fl6.flowi6_oif = lsa->l2tp_scope_id;
552         } else {
553                 if (sk->sk_state != TCP_ESTABLISHED)
554                         return -EDESTADDRREQ;
555
556                 daddr = &sk->sk_v6_daddr;
557                 fl6.flowlabel = np->flow_label;
558         }
559
560         if (fl6.flowi6_oif == 0)
561                 fl6.flowi6_oif = sk->sk_bound_dev_if;
562
563         if (msg->msg_controllen) {
564                 opt = &opt_space;
565                 memset(opt, 0, sizeof(struct ipv6_txoptions));
566                 opt->tot_len = sizeof(struct ipv6_txoptions);
567                 ipc6.opt = opt;
568
569                 err = ip6_datagram_send_ctl(sock_net(sk), sk, msg, &fl6, &ipc6);
570                 if (err < 0) {
571                         fl6_sock_release(flowlabel);
572                         return err;
573                 }
574                 if ((fl6.flowlabel & IPV6_FLOWLABEL_MASK) && !flowlabel) {
575                         flowlabel = fl6_sock_lookup(sk, fl6.flowlabel);
576                         if (IS_ERR(flowlabel))
577                                 return -EINVAL;
578                 }
579                 if (!(opt->opt_nflen | opt->opt_flen))
580                         opt = NULL;
581         }
582
583         if (!opt) {
584                 opt = txopt_get(np);
585                 opt_to_free = opt;
586         }
587         if (flowlabel)
588                 opt = fl6_merge_options(&opt_space, flowlabel, opt);
589         opt = ipv6_fixup_options(&opt_space, opt);
590         ipc6.opt = opt;
591
592         fl6.flowi6_proto = sk->sk_protocol;
593         if (!ipv6_addr_any(daddr))
594                 fl6.daddr = *daddr;
595         else
596                 fl6.daddr.s6_addr[15] = 0x1; /* :: means loopback (BSD'ism) */
597         if (ipv6_addr_any(&fl6.saddr) && !ipv6_addr_any(&np->saddr))
598                 fl6.saddr = np->saddr;
599
600         final_p = fl6_update_dst(&fl6, opt, &final);
601
602         if (!fl6.flowi6_oif && ipv6_addr_is_multicast(&fl6.daddr))
603                 fl6.flowi6_oif = np->mcast_oif;
604         else if (!fl6.flowi6_oif)
605                 fl6.flowi6_oif = np->ucast_oif;
606
607         security_sk_classify_flow(sk, flowi6_to_flowi_common(&fl6));
608
609         if (ipc6.tclass < 0)
610                 ipc6.tclass = np->tclass;
611
612         fl6.flowlabel = ip6_make_flowinfo(ipc6.tclass, fl6.flowlabel);
613
614         dst = ip6_dst_lookup_flow(sock_net(sk), sk, &fl6, final_p);
615         if (IS_ERR(dst)) {
616                 err = PTR_ERR(dst);
617                 goto out;
618         }
619
620         if (ipc6.hlimit < 0)
621                 ipc6.hlimit = ip6_sk_dst_hoplimit(np, &fl6, dst);
622
623         if (ipc6.dontfrag < 0)
624                 ipc6.dontfrag = np->dontfrag;
625
626         if (msg->msg_flags & MSG_CONFIRM)
627                 goto do_confirm;
628
629 back_from_confirm:
630         lock_sock(sk);
631         ulen = len + skb_queue_empty(&sk->sk_write_queue) ? transhdrlen : 0;
632         err = ip6_append_data(sk, ip_generic_getfrag, msg,
633                               ulen, transhdrlen, &ipc6,
634                               &fl6, (struct rt6_info *)dst,
635                               msg->msg_flags);
636         if (err)
637                 ip6_flush_pending_frames(sk);
638         else if (!(msg->msg_flags & MSG_MORE))
639                 err = l2tp_ip6_push_pending_frames(sk);
640         release_sock(sk);
641 done:
642         dst_release(dst);
643 out:
644         fl6_sock_release(flowlabel);
645         txopt_put(opt_to_free);
646
647         return err < 0 ? err : len;
648
649 do_confirm:
650         if (msg->msg_flags & MSG_PROBE)
651                 dst_confirm_neigh(dst, &fl6.daddr);
652         if (!(msg->msg_flags & MSG_PROBE) || len)
653                 goto back_from_confirm;
654         err = 0;
655         goto done;
656 }
657
658 static int l2tp_ip6_recvmsg(struct sock *sk, struct msghdr *msg, size_t len,
659                             int noblock, int flags, int *addr_len)
660 {
661         struct ipv6_pinfo *np = inet6_sk(sk);
662         DECLARE_SOCKADDR(struct sockaddr_l2tpip6 *, lsa, msg->msg_name);
663         size_t copied = 0;
664         int err = -EOPNOTSUPP;
665         struct sk_buff *skb;
666
667         if (flags & MSG_OOB)
668                 goto out;
669
670         if (flags & MSG_ERRQUEUE)
671                 return ipv6_recv_error(sk, msg, len, addr_len);
672
673         skb = skb_recv_datagram(sk, flags, noblock, &err);
674         if (!skb)
675                 goto out;
676
677         copied = skb->len;
678         if (len < copied) {
679                 msg->msg_flags |= MSG_TRUNC;
680                 copied = len;
681         }
682
683         err = skb_copy_datagram_msg(skb, 0, msg, copied);
684         if (err)
685                 goto done;
686
687         sock_recv_timestamp(msg, sk, skb);
688
689         /* Copy the address. */
690         if (lsa) {
691                 lsa->l2tp_family = AF_INET6;
692                 lsa->l2tp_unused = 0;
693                 lsa->l2tp_addr = ipv6_hdr(skb)->saddr;
694                 lsa->l2tp_flowinfo = 0;
695                 lsa->l2tp_scope_id = 0;
696                 lsa->l2tp_conn_id = 0;
697                 if (ipv6_addr_type(&lsa->l2tp_addr) & IPV6_ADDR_LINKLOCAL)
698                         lsa->l2tp_scope_id = inet6_iif(skb);
699                 *addr_len = sizeof(*lsa);
700         }
701
702         if (np->rxopt.all)
703                 ip6_datagram_recv_ctl(sk, msg, skb);
704
705         if (flags & MSG_TRUNC)
706                 copied = skb->len;
707 done:
708         skb_free_datagram(sk, skb);
709 out:
710         return err ? err : copied;
711 }
712
713 static struct proto l2tp_ip6_prot = {
714         .name              = "L2TP/IPv6",
715         .owner             = THIS_MODULE,
716         .init              = l2tp_ip6_open,
717         .close             = l2tp_ip6_close,
718         .bind              = l2tp_ip6_bind,
719         .connect           = l2tp_ip6_connect,
720         .disconnect        = l2tp_ip6_disconnect,
721         .ioctl             = l2tp_ioctl,
722         .destroy           = l2tp_ip6_destroy_sock,
723         .setsockopt        = ipv6_setsockopt,
724         .getsockopt        = ipv6_getsockopt,
725         .sendmsg           = l2tp_ip6_sendmsg,
726         .recvmsg           = l2tp_ip6_recvmsg,
727         .backlog_rcv       = l2tp_ip6_backlog_recv,
728         .hash              = l2tp_ip6_hash,
729         .unhash            = l2tp_ip6_unhash,
730         .obj_size          = sizeof(struct l2tp_ip6_sock),
731 };
732
733 static const struct proto_ops l2tp_ip6_ops = {
734         .family            = PF_INET6,
735         .owner             = THIS_MODULE,
736         .release           = inet6_release,
737         .bind              = inet6_bind,
738         .connect           = inet_dgram_connect,
739         .socketpair        = sock_no_socketpair,
740         .accept            = sock_no_accept,
741         .getname           = l2tp_ip6_getname,
742         .poll              = datagram_poll,
743         .ioctl             = inet6_ioctl,
744         .gettstamp         = sock_gettstamp,
745         .listen            = sock_no_listen,
746         .shutdown          = inet_shutdown,
747         .setsockopt        = sock_common_setsockopt,
748         .getsockopt        = sock_common_getsockopt,
749         .sendmsg           = inet_sendmsg,
750         .recvmsg           = sock_common_recvmsg,
751         .mmap              = sock_no_mmap,
752         .sendpage          = sock_no_sendpage,
753 #ifdef CONFIG_COMPAT
754         .compat_ioctl      = inet6_compat_ioctl,
755 #endif
756 };
757
758 static struct inet_protosw l2tp_ip6_protosw = {
759         .type           = SOCK_DGRAM,
760         .protocol       = IPPROTO_L2TP,
761         .prot           = &l2tp_ip6_prot,
762         .ops            = &l2tp_ip6_ops,
763 };
764
765 static struct inet6_protocol l2tp_ip6_protocol __read_mostly = {
766         .handler        = l2tp_ip6_recv,
767 };
768
769 static int __init l2tp_ip6_init(void)
770 {
771         int err;
772
773         pr_info("L2TP IP encapsulation support for IPv6 (L2TPv3)\n");
774
775         err = proto_register(&l2tp_ip6_prot, 1);
776         if (err != 0)
777                 goto out;
778
779         err = inet6_add_protocol(&l2tp_ip6_protocol, IPPROTO_L2TP);
780         if (err)
781                 goto out1;
782
783         inet6_register_protosw(&l2tp_ip6_protosw);
784         return 0;
785
786 out1:
787         proto_unregister(&l2tp_ip6_prot);
788 out:
789         return err;
790 }
791
792 static void __exit l2tp_ip6_exit(void)
793 {
794         inet6_unregister_protosw(&l2tp_ip6_protosw);
795         inet6_del_protocol(&l2tp_ip6_protocol, IPPROTO_L2TP);
796         proto_unregister(&l2tp_ip6_prot);
797 }
798
799 module_init(l2tp_ip6_init);
800 module_exit(l2tp_ip6_exit);
801
802 MODULE_LICENSE("GPL");
803 MODULE_AUTHOR("Chris Elston <celston@katalix.com>");
804 MODULE_DESCRIPTION("L2TP IP encapsulation for IPv6");
805 MODULE_VERSION("1.0");
806
807 /* Use the value of SOCK_DGRAM (2) directory, because __stringify doesn't like
808  * enums
809  */
810 MODULE_ALIAS_NET_PF_PROTO_TYPE(PF_INET6, 2, IPPROTO_L2TP);
811 MODULE_ALIAS_NET_PF_PROTO(PF_INET6, IPPROTO_L2TP);