GNU Linux-libre 5.15.137-gnu
[releases.git] / net / ipv6 / raw.c
1 // SPDX-License-Identifier: GPL-2.0-or-later
2 /*
3  *      RAW sockets for IPv6
4  *      Linux INET6 implementation
5  *
6  *      Authors:
7  *      Pedro Roque             <roque@di.fc.ul.pt>
8  *
9  *      Adapted from linux/net/ipv4/raw.c
10  *
11  *      Fixes:
12  *      Hideaki YOSHIFUJI       :       sin6_scope_id support
13  *      YOSHIFUJI,H.@USAGI      :       raw checksum (RFC2292(bis) compliance)
14  *      Kazunori MIYAZAWA @USAGI:       change process style to use ip6_append_data
15  */
16
17 #include <linux/errno.h>
18 #include <linux/types.h>
19 #include <linux/socket.h>
20 #include <linux/slab.h>
21 #include <linux/sockios.h>
22 #include <linux/net.h>
23 #include <linux/in6.h>
24 #include <linux/netdevice.h>
25 #include <linux/if_arp.h>
26 #include <linux/icmpv6.h>
27 #include <linux/netfilter.h>
28 #include <linux/netfilter_ipv6.h>
29 #include <linux/skbuff.h>
30 #include <linux/compat.h>
31 #include <linux/uaccess.h>
32 #include <asm/ioctls.h>
33
34 #include <net/net_namespace.h>
35 #include <net/ip.h>
36 #include <net/sock.h>
37 #include <net/snmp.h>
38
39 #include <net/ipv6.h>
40 #include <net/ndisc.h>
41 #include <net/protocol.h>
42 #include <net/ip6_route.h>
43 #include <net/ip6_checksum.h>
44 #include <net/addrconf.h>
45 #include <net/transp_v6.h>
46 #include <net/udp.h>
47 #include <net/inet_common.h>
48 #include <net/tcp_states.h>
49 #if IS_ENABLED(CONFIG_IPV6_MIP6)
50 #include <net/mip6.h>
51 #endif
52 #include <linux/mroute6.h>
53
54 #include <net/raw.h>
55 #include <net/rawv6.h>
56 #include <net/xfrm.h>
57
58 #include <linux/proc_fs.h>
59 #include <linux/seq_file.h>
60 #include <linux/export.h>
61
62 #define ICMPV6_HDRLEN   4       /* ICMPv6 header, RFC 4443 Section 2.1 */
63
64 struct raw_hashinfo raw_v6_hashinfo = {
65         .lock = __RW_LOCK_UNLOCKED(raw_v6_hashinfo.lock),
66 };
67 EXPORT_SYMBOL_GPL(raw_v6_hashinfo);
68
69 struct sock *__raw_v6_lookup(struct net *net, struct sock *sk,
70                 unsigned short num, const struct in6_addr *loc_addr,
71                 const struct in6_addr *rmt_addr, int dif, int sdif)
72 {
73         bool is_multicast = ipv6_addr_is_multicast(loc_addr);
74
75         sk_for_each_from(sk)
76                 if (inet_sk(sk)->inet_num == num) {
77
78                         if (!net_eq(sock_net(sk), net))
79                                 continue;
80
81                         if (!ipv6_addr_any(&sk->sk_v6_daddr) &&
82                             !ipv6_addr_equal(&sk->sk_v6_daddr, rmt_addr))
83                                 continue;
84
85                         if (!raw_sk_bound_dev_eq(net, sk->sk_bound_dev_if,
86                                                  dif, sdif))
87                                 continue;
88
89                         if (!ipv6_addr_any(&sk->sk_v6_rcv_saddr)) {
90                                 if (ipv6_addr_equal(&sk->sk_v6_rcv_saddr, loc_addr))
91                                         goto found;
92                                 if (is_multicast &&
93                                     inet6_mc_check(sk, loc_addr, rmt_addr))
94                                         goto found;
95                                 continue;
96                         }
97                         goto found;
98                 }
99         sk = NULL;
100 found:
101         return sk;
102 }
103 EXPORT_SYMBOL_GPL(__raw_v6_lookup);
104
105 /*
106  *      0 - deliver
107  *      1 - block
108  */
109 static int icmpv6_filter(const struct sock *sk, const struct sk_buff *skb)
110 {
111         struct icmp6hdr _hdr;
112         const struct icmp6hdr *hdr;
113
114         /* We require only the four bytes of the ICMPv6 header, not any
115          * additional bytes of message body in "struct icmp6hdr".
116          */
117         hdr = skb_header_pointer(skb, skb_transport_offset(skb),
118                                  ICMPV6_HDRLEN, &_hdr);
119         if (hdr) {
120                 const __u32 *data = &raw6_sk(sk)->filter.data[0];
121                 unsigned int type = hdr->icmp6_type;
122
123                 return (data[type >> 5] & (1U << (type & 31))) != 0;
124         }
125         return 1;
126 }
127
128 #if IS_ENABLED(CONFIG_IPV6_MIP6)
129 typedef int mh_filter_t(struct sock *sock, struct sk_buff *skb);
130
131 static mh_filter_t __rcu *mh_filter __read_mostly;
132
133 int rawv6_mh_filter_register(mh_filter_t filter)
134 {
135         rcu_assign_pointer(mh_filter, filter);
136         return 0;
137 }
138 EXPORT_SYMBOL(rawv6_mh_filter_register);
139
140 int rawv6_mh_filter_unregister(mh_filter_t filter)
141 {
142         RCU_INIT_POINTER(mh_filter, NULL);
143         synchronize_rcu();
144         return 0;
145 }
146 EXPORT_SYMBOL(rawv6_mh_filter_unregister);
147
148 #endif
149
150 /*
151  *      demultiplex raw sockets.
152  *      (should consider queueing the skb in the sock receive_queue
153  *      without calling rawv6.c)
154  *
155  *      Caller owns SKB so we must make clones.
156  */
157 static bool ipv6_raw_deliver(struct sk_buff *skb, int nexthdr)
158 {
159         const struct in6_addr *saddr;
160         const struct in6_addr *daddr;
161         struct sock *sk;
162         bool delivered = false;
163         __u8 hash;
164         struct net *net;
165
166         saddr = &ipv6_hdr(skb)->saddr;
167         daddr = saddr + 1;
168
169         hash = nexthdr & (RAW_HTABLE_SIZE - 1);
170
171         read_lock(&raw_v6_hashinfo.lock);
172         sk = sk_head(&raw_v6_hashinfo.ht[hash]);
173
174         if (!sk)
175                 goto out;
176
177         net = dev_net(skb->dev);
178         sk = __raw_v6_lookup(net, sk, nexthdr, daddr, saddr,
179                              inet6_iif(skb), inet6_sdif(skb));
180
181         while (sk) {
182                 int filtered;
183
184                 delivered = true;
185                 switch (nexthdr) {
186                 case IPPROTO_ICMPV6:
187                         filtered = icmpv6_filter(sk, skb);
188                         break;
189
190 #if IS_ENABLED(CONFIG_IPV6_MIP6)
191                 case IPPROTO_MH:
192                 {
193                         /* XXX: To validate MH only once for each packet,
194                          * this is placed here. It should be after checking
195                          * xfrm policy, however it doesn't. The checking xfrm
196                          * policy is placed in rawv6_rcv() because it is
197                          * required for each socket.
198                          */
199                         mh_filter_t *filter;
200
201                         filter = rcu_dereference(mh_filter);
202                         filtered = filter ? (*filter)(sk, skb) : 0;
203                         break;
204                 }
205 #endif
206                 default:
207                         filtered = 0;
208                         break;
209                 }
210
211                 if (filtered < 0)
212                         break;
213                 if (filtered == 0) {
214                         struct sk_buff *clone = skb_clone(skb, GFP_ATOMIC);
215
216                         /* Not releasing hash table! */
217                         if (clone) {
218                                 nf_reset_ct(clone);
219                                 rawv6_rcv(sk, clone);
220                         }
221                 }
222                 sk = __raw_v6_lookup(net, sk_next(sk), nexthdr, daddr, saddr,
223                                      inet6_iif(skb), inet6_sdif(skb));
224         }
225 out:
226         read_unlock(&raw_v6_hashinfo.lock);
227         return delivered;
228 }
229
230 bool raw6_local_deliver(struct sk_buff *skb, int nexthdr)
231 {
232         struct sock *raw_sk;
233
234         raw_sk = sk_head(&raw_v6_hashinfo.ht[nexthdr & (RAW_HTABLE_SIZE - 1)]);
235         if (raw_sk && !ipv6_raw_deliver(skb, nexthdr))
236                 raw_sk = NULL;
237
238         return raw_sk != NULL;
239 }
240
241 /* This cleans up af_inet6 a bit. -DaveM */
242 static int rawv6_bind(struct sock *sk, struct sockaddr *uaddr, int addr_len)
243 {
244         struct inet_sock *inet = inet_sk(sk);
245         struct ipv6_pinfo *np = inet6_sk(sk);
246         struct sockaddr_in6 *addr = (struct sockaddr_in6 *) uaddr;
247         __be32 v4addr = 0;
248         int addr_type;
249         int err;
250
251         if (addr_len < SIN6_LEN_RFC2133)
252                 return -EINVAL;
253
254         if (addr->sin6_family != AF_INET6)
255                 return -EINVAL;
256
257         addr_type = ipv6_addr_type(&addr->sin6_addr);
258
259         /* Raw sockets are IPv6 only */
260         if (addr_type == IPV6_ADDR_MAPPED)
261                 return -EADDRNOTAVAIL;
262
263         lock_sock(sk);
264
265         err = -EINVAL;
266         if (sk->sk_state != TCP_CLOSE)
267                 goto out;
268
269         rcu_read_lock();
270         /* Check if the address belongs to the host. */
271         if (addr_type != IPV6_ADDR_ANY) {
272                 struct net_device *dev = NULL;
273
274                 if (__ipv6_addr_needs_scope_id(addr_type)) {
275                         if (addr_len >= sizeof(struct sockaddr_in6) &&
276                             addr->sin6_scope_id) {
277                                 /* Override any existing binding, if another
278                                  * one is supplied by user.
279                                  */
280                                 sk->sk_bound_dev_if = addr->sin6_scope_id;
281                         }
282
283                         /* Binding to link-local address requires an interface */
284                         if (!sk->sk_bound_dev_if)
285                                 goto out_unlock;
286                 }
287
288                 if (sk->sk_bound_dev_if) {
289                         err = -ENODEV;
290                         dev = dev_get_by_index_rcu(sock_net(sk),
291                                                    sk->sk_bound_dev_if);
292                         if (!dev)
293                                 goto out_unlock;
294                 }
295
296                 /* ipv4 addr of the socket is invalid.  Only the
297                  * unspecified and mapped address have a v4 equivalent.
298                  */
299                 v4addr = LOOPBACK4_IPV6;
300                 if (!(addr_type & IPV6_ADDR_MULTICAST) &&
301                     !ipv6_can_nonlocal_bind(sock_net(sk), inet)) {
302                         err = -EADDRNOTAVAIL;
303                         if (!ipv6_chk_addr(sock_net(sk), &addr->sin6_addr,
304                                            dev, 0)) {
305                                 goto out_unlock;
306                         }
307                 }
308         }
309
310         inet->inet_rcv_saddr = inet->inet_saddr = v4addr;
311         sk->sk_v6_rcv_saddr = addr->sin6_addr;
312         if (!(addr_type & IPV6_ADDR_MULTICAST))
313                 np->saddr = addr->sin6_addr;
314         err = 0;
315 out_unlock:
316         rcu_read_unlock();
317 out:
318         release_sock(sk);
319         return err;
320 }
321
322 static void rawv6_err(struct sock *sk, struct sk_buff *skb,
323                struct inet6_skb_parm *opt,
324                u8 type, u8 code, int offset, __be32 info)
325 {
326         struct inet_sock *inet = inet_sk(sk);
327         struct ipv6_pinfo *np = inet6_sk(sk);
328         int err;
329         int harderr;
330
331         /* Report error on raw socket, if:
332            1. User requested recverr.
333            2. Socket is connected (otherwise the error indication
334               is useless without recverr and error is hard.
335          */
336         if (!np->recverr && sk->sk_state != TCP_ESTABLISHED)
337                 return;
338
339         harderr = icmpv6_err_convert(type, code, &err);
340         if (type == ICMPV6_PKT_TOOBIG) {
341                 ip6_sk_update_pmtu(skb, sk, info);
342                 harderr = (np->pmtudisc == IPV6_PMTUDISC_DO);
343         }
344         if (type == NDISC_REDIRECT) {
345                 ip6_sk_redirect(skb, sk);
346                 return;
347         }
348         if (np->recverr) {
349                 u8 *payload = skb->data;
350                 if (!inet->hdrincl)
351                         payload += offset;
352                 ipv6_icmp_error(sk, skb, err, 0, ntohl(info), payload);
353         }
354
355         if (np->recverr || harderr) {
356                 sk->sk_err = err;
357                 sk_error_report(sk);
358         }
359 }
360
361 void raw6_icmp_error(struct sk_buff *skb, int nexthdr,
362                 u8 type, u8 code, int inner_offset, __be32 info)
363 {
364         struct sock *sk;
365         int hash;
366         const struct in6_addr *saddr, *daddr;
367         struct net *net;
368
369         hash = nexthdr & (RAW_HTABLE_SIZE - 1);
370
371         read_lock(&raw_v6_hashinfo.lock);
372         sk = sk_head(&raw_v6_hashinfo.ht[hash]);
373         if (sk) {
374                 /* Note: ipv6_hdr(skb) != skb->data */
375                 const struct ipv6hdr *ip6h = (const struct ipv6hdr *)skb->data;
376                 saddr = &ip6h->saddr;
377                 daddr = &ip6h->daddr;
378                 net = dev_net(skb->dev);
379
380                 while ((sk = __raw_v6_lookup(net, sk, nexthdr, saddr, daddr,
381                                              inet6_iif(skb), inet6_iif(skb)))) {
382                         rawv6_err(sk, skb, NULL, type, code,
383                                         inner_offset, info);
384                         sk = sk_next(sk);
385                 }
386         }
387         read_unlock(&raw_v6_hashinfo.lock);
388 }
389
390 static inline int rawv6_rcv_skb(struct sock *sk, struct sk_buff *skb)
391 {
392         if ((raw6_sk(sk)->checksum || rcu_access_pointer(sk->sk_filter)) &&
393             skb_checksum_complete(skb)) {
394                 atomic_inc(&sk->sk_drops);
395                 kfree_skb(skb);
396                 return NET_RX_DROP;
397         }
398
399         /* Charge it to the socket. */
400         skb_dst_drop(skb);
401         if (sock_queue_rcv_skb(sk, skb) < 0) {
402                 kfree_skb(skb);
403                 return NET_RX_DROP;
404         }
405
406         return 0;
407 }
408
409 /*
410  *      This is next to useless...
411  *      if we demultiplex in network layer we don't need the extra call
412  *      just to queue the skb...
413  *      maybe we could have the network decide upon a hint if it
414  *      should call raw_rcv for demultiplexing
415  */
416 int rawv6_rcv(struct sock *sk, struct sk_buff *skb)
417 {
418         struct inet_sock *inet = inet_sk(sk);
419         struct raw6_sock *rp = raw6_sk(sk);
420
421         if (!xfrm6_policy_check(sk, XFRM_POLICY_IN, skb)) {
422                 atomic_inc(&sk->sk_drops);
423                 kfree_skb(skb);
424                 return NET_RX_DROP;
425         }
426
427         if (!rp->checksum)
428                 skb->ip_summed = CHECKSUM_UNNECESSARY;
429
430         if (skb->ip_summed == CHECKSUM_COMPLETE) {
431                 skb_postpull_rcsum(skb, skb_network_header(skb),
432                                    skb_network_header_len(skb));
433                 if (!csum_ipv6_magic(&ipv6_hdr(skb)->saddr,
434                                      &ipv6_hdr(skb)->daddr,
435                                      skb->len, inet->inet_num, skb->csum))
436                         skb->ip_summed = CHECKSUM_UNNECESSARY;
437         }
438         if (!skb_csum_unnecessary(skb))
439                 skb->csum = ~csum_unfold(csum_ipv6_magic(&ipv6_hdr(skb)->saddr,
440                                                          &ipv6_hdr(skb)->daddr,
441                                                          skb->len,
442                                                          inet->inet_num, 0));
443
444         if (inet->hdrincl) {
445                 if (skb_checksum_complete(skb)) {
446                         atomic_inc(&sk->sk_drops);
447                         kfree_skb(skb);
448                         return NET_RX_DROP;
449                 }
450         }
451
452         rawv6_rcv_skb(sk, skb);
453         return 0;
454 }
455
456
457 /*
458  *      This should be easy, if there is something there
459  *      we return it, otherwise we block.
460  */
461
462 static int rawv6_recvmsg(struct sock *sk, struct msghdr *msg, size_t len,
463                          int noblock, int flags, int *addr_len)
464 {
465         struct ipv6_pinfo *np = inet6_sk(sk);
466         DECLARE_SOCKADDR(struct sockaddr_in6 *, sin6, msg->msg_name);
467         struct sk_buff *skb;
468         size_t copied;
469         int err;
470
471         if (flags & MSG_OOB)
472                 return -EOPNOTSUPP;
473
474         if (flags & MSG_ERRQUEUE)
475                 return ipv6_recv_error(sk, msg, len, addr_len);
476
477         if (np->rxpmtu && np->rxopt.bits.rxpmtu)
478                 return ipv6_recv_rxpmtu(sk, msg, len, addr_len);
479
480         skb = skb_recv_datagram(sk, flags, noblock, &err);
481         if (!skb)
482                 goto out;
483
484         copied = skb->len;
485         if (copied > len) {
486                 copied = len;
487                 msg->msg_flags |= MSG_TRUNC;
488         }
489
490         if (skb_csum_unnecessary(skb)) {
491                 err = skb_copy_datagram_msg(skb, 0, msg, copied);
492         } else if (msg->msg_flags&MSG_TRUNC) {
493                 if (__skb_checksum_complete(skb))
494                         goto csum_copy_err;
495                 err = skb_copy_datagram_msg(skb, 0, msg, copied);
496         } else {
497                 err = skb_copy_and_csum_datagram_msg(skb, 0, msg);
498                 if (err == -EINVAL)
499                         goto csum_copy_err;
500         }
501         if (err)
502                 goto out_free;
503
504         /* Copy the address. */
505         if (sin6) {
506                 sin6->sin6_family = AF_INET6;
507                 sin6->sin6_port = 0;
508                 sin6->sin6_addr = ipv6_hdr(skb)->saddr;
509                 sin6->sin6_flowinfo = 0;
510                 sin6->sin6_scope_id = ipv6_iface_scope_id(&sin6->sin6_addr,
511                                                           inet6_iif(skb));
512                 *addr_len = sizeof(*sin6);
513         }
514
515         sock_recv_ts_and_drops(msg, sk, skb);
516
517         if (np->rxopt.all)
518                 ip6_datagram_recv_ctl(sk, msg, skb);
519
520         err = copied;
521         if (flags & MSG_TRUNC)
522                 err = skb->len;
523
524 out_free:
525         skb_free_datagram(sk, skb);
526 out:
527         return err;
528
529 csum_copy_err:
530         skb_kill_datagram(sk, skb, flags);
531
532         /* Error for blocking case is chosen to masquerade
533            as some normal condition.
534          */
535         err = (flags&MSG_DONTWAIT) ? -EAGAIN : -EHOSTUNREACH;
536         goto out;
537 }
538
539 static int rawv6_push_pending_frames(struct sock *sk, struct flowi6 *fl6,
540                                      struct raw6_sock *rp)
541 {
542         struct ipv6_txoptions *opt;
543         struct sk_buff *skb;
544         int err = 0;
545         int offset;
546         int len;
547         int total_len;
548         __wsum tmp_csum;
549         __sum16 csum;
550
551         if (!rp->checksum)
552                 goto send;
553
554         skb = skb_peek(&sk->sk_write_queue);
555         if (!skb)
556                 goto out;
557
558         offset = rp->offset;
559         total_len = inet_sk(sk)->cork.base.length;
560         opt = inet6_sk(sk)->cork.opt;
561         total_len -= opt ? opt->opt_flen : 0;
562
563         if (offset >= total_len - 1) {
564                 err = -EINVAL;
565                 ip6_flush_pending_frames(sk);
566                 goto out;
567         }
568
569         /* should be check HW csum miyazawa */
570         if (skb_queue_len(&sk->sk_write_queue) == 1) {
571                 /*
572                  * Only one fragment on the socket.
573                  */
574                 tmp_csum = skb->csum;
575         } else {
576                 struct sk_buff *csum_skb = NULL;
577                 tmp_csum = 0;
578
579                 skb_queue_walk(&sk->sk_write_queue, skb) {
580                         tmp_csum = csum_add(tmp_csum, skb->csum);
581
582                         if (csum_skb)
583                                 continue;
584
585                         len = skb->len - skb_transport_offset(skb);
586                         if (offset >= len) {
587                                 offset -= len;
588                                 continue;
589                         }
590
591                         csum_skb = skb;
592                 }
593
594                 skb = csum_skb;
595         }
596
597         offset += skb_transport_offset(skb);
598         err = skb_copy_bits(skb, offset, &csum, 2);
599         if (err < 0) {
600                 ip6_flush_pending_frames(sk);
601                 goto out;
602         }
603
604         /* in case cksum was not initialized */
605         if (unlikely(csum))
606                 tmp_csum = csum_sub(tmp_csum, csum_unfold(csum));
607
608         csum = csum_ipv6_magic(&fl6->saddr, &fl6->daddr,
609                                total_len, fl6->flowi6_proto, tmp_csum);
610
611         if (csum == 0 && fl6->flowi6_proto == IPPROTO_UDP)
612                 csum = CSUM_MANGLED_0;
613
614         BUG_ON(skb_store_bits(skb, offset, &csum, 2));
615
616 send:
617         err = ip6_push_pending_frames(sk);
618 out:
619         return err;
620 }
621
622 static int rawv6_send_hdrinc(struct sock *sk, struct msghdr *msg, int length,
623                         struct flowi6 *fl6, struct dst_entry **dstp,
624                         unsigned int flags, const struct sockcm_cookie *sockc)
625 {
626         struct ipv6_pinfo *np = inet6_sk(sk);
627         struct net *net = sock_net(sk);
628         struct ipv6hdr *iph;
629         struct sk_buff *skb;
630         int err;
631         struct rt6_info *rt = (struct rt6_info *)*dstp;
632         int hlen = LL_RESERVED_SPACE(rt->dst.dev);
633         int tlen = rt->dst.dev->needed_tailroom;
634
635         if (length > rt->dst.dev->mtu) {
636                 ipv6_local_error(sk, EMSGSIZE, fl6, rt->dst.dev->mtu);
637                 return -EMSGSIZE;
638         }
639         if (length < sizeof(struct ipv6hdr))
640                 return -EINVAL;
641         if (flags&MSG_PROBE)
642                 goto out;
643
644         skb = sock_alloc_send_skb(sk,
645                                   length + hlen + tlen + 15,
646                                   flags & MSG_DONTWAIT, &err);
647         if (!skb)
648                 goto error;
649         skb_reserve(skb, hlen);
650
651         skb->protocol = htons(ETH_P_IPV6);
652         skb->priority = sk->sk_priority;
653         skb->mark = sockc->mark;
654         skb->tstamp = sockc->transmit_time;
655
656         skb_put(skb, length);
657         skb_reset_network_header(skb);
658         iph = ipv6_hdr(skb);
659
660         skb->ip_summed = CHECKSUM_NONE;
661
662         skb_setup_tx_timestamp(skb, sockc->tsflags);
663
664         if (flags & MSG_CONFIRM)
665                 skb_set_dst_pending_confirm(skb, 1);
666
667         skb->transport_header = skb->network_header;
668         err = memcpy_from_msg(iph, msg, length);
669         if (err) {
670                 err = -EFAULT;
671                 kfree_skb(skb);
672                 goto error;
673         }
674
675         skb_dst_set(skb, &rt->dst);
676         *dstp = NULL;
677
678         /* if egress device is enslaved to an L3 master device pass the
679          * skb to its handler for processing
680          */
681         skb = l3mdev_ip6_out(sk, skb);
682         if (unlikely(!skb))
683                 return 0;
684
685         /* Acquire rcu_read_lock() in case we need to use rt->rt6i_idev
686          * in the error path. Since skb has been freed, the dst could
687          * have been queued for deletion.
688          */
689         rcu_read_lock();
690         IP6_UPD_PO_STATS(net, rt->rt6i_idev, IPSTATS_MIB_OUT, skb->len);
691         err = NF_HOOK(NFPROTO_IPV6, NF_INET_LOCAL_OUT, net, sk, skb,
692                       NULL, rt->dst.dev, dst_output);
693         if (err > 0)
694                 err = net_xmit_errno(err);
695         if (err) {
696                 IP6_INC_STATS(net, rt->rt6i_idev, IPSTATS_MIB_OUTDISCARDS);
697                 rcu_read_unlock();
698                 goto error_check;
699         }
700         rcu_read_unlock();
701 out:
702         return 0;
703
704 error:
705         IP6_INC_STATS(net, rt->rt6i_idev, IPSTATS_MIB_OUTDISCARDS);
706 error_check:
707         if (err == -ENOBUFS && !np->recverr)
708                 err = 0;
709         return err;
710 }
711
712 struct raw6_frag_vec {
713         struct msghdr *msg;
714         int hlen;
715         char c[4];
716 };
717
718 static int rawv6_probe_proto_opt(struct raw6_frag_vec *rfv, struct flowi6 *fl6)
719 {
720         int err = 0;
721         switch (fl6->flowi6_proto) {
722         case IPPROTO_ICMPV6:
723                 rfv->hlen = 2;
724                 err = memcpy_from_msg(rfv->c, rfv->msg, rfv->hlen);
725                 if (!err) {
726                         fl6->fl6_icmp_type = rfv->c[0];
727                         fl6->fl6_icmp_code = rfv->c[1];
728                 }
729                 break;
730         case IPPROTO_MH:
731                 rfv->hlen = 4;
732                 err = memcpy_from_msg(rfv->c, rfv->msg, rfv->hlen);
733                 if (!err)
734                         fl6->fl6_mh_type = rfv->c[2];
735         }
736         return err;
737 }
738
739 static int raw6_getfrag(void *from, char *to, int offset, int len, int odd,
740                        struct sk_buff *skb)
741 {
742         struct raw6_frag_vec *rfv = from;
743
744         if (offset < rfv->hlen) {
745                 int copy = min(rfv->hlen - offset, len);
746
747                 if (skb->ip_summed == CHECKSUM_PARTIAL)
748                         memcpy(to, rfv->c + offset, copy);
749                 else
750                         skb->csum = csum_block_add(
751                                 skb->csum,
752                                 csum_partial_copy_nocheck(rfv->c + offset,
753                                                           to, copy),
754                                 odd);
755
756                 odd = 0;
757                 offset += copy;
758                 to += copy;
759                 len -= copy;
760
761                 if (!len)
762                         return 0;
763         }
764
765         offset -= rfv->hlen;
766
767         return ip_generic_getfrag(rfv->msg, to, offset, len, odd, skb);
768 }
769
770 static int rawv6_sendmsg(struct sock *sk, struct msghdr *msg, size_t len)
771 {
772         struct ipv6_txoptions *opt_to_free = NULL;
773         struct ipv6_txoptions opt_space;
774         DECLARE_SOCKADDR(struct sockaddr_in6 *, sin6, msg->msg_name);
775         struct in6_addr *daddr, *final_p, final;
776         struct inet_sock *inet = inet_sk(sk);
777         struct ipv6_pinfo *np = inet6_sk(sk);
778         struct raw6_sock *rp = raw6_sk(sk);
779         struct ipv6_txoptions *opt = NULL;
780         struct ip6_flowlabel *flowlabel = NULL;
781         struct dst_entry *dst = NULL;
782         struct raw6_frag_vec rfv;
783         struct flowi6 fl6;
784         struct ipcm6_cookie ipc6;
785         int addr_len = msg->msg_namelen;
786         int hdrincl;
787         u16 proto;
788         int err;
789
790         /* Rough check on arithmetic overflow,
791            better check is made in ip6_append_data().
792          */
793         if (len > INT_MAX)
794                 return -EMSGSIZE;
795
796         /* Mirror BSD error message compatibility */
797         if (msg->msg_flags & MSG_OOB)
798                 return -EOPNOTSUPP;
799
800         /* hdrincl should be READ_ONCE(inet->hdrincl)
801          * but READ_ONCE() doesn't work with bit fields.
802          * Doing this indirectly yields the same result.
803          */
804         hdrincl = inet->hdrincl;
805         hdrincl = READ_ONCE(hdrincl);
806
807         /*
808          *      Get and verify the address.
809          */
810         memset(&fl6, 0, sizeof(fl6));
811
812         fl6.flowi6_mark = sk->sk_mark;
813         fl6.flowi6_uid = sk->sk_uid;
814
815         ipcm6_init(&ipc6);
816         ipc6.sockc.tsflags = sk->sk_tsflags;
817         ipc6.sockc.mark = sk->sk_mark;
818
819         if (sin6) {
820                 if (addr_len < SIN6_LEN_RFC2133)
821                         return -EINVAL;
822
823                 if (sin6->sin6_family && sin6->sin6_family != AF_INET6)
824                         return -EAFNOSUPPORT;
825
826                 /* port is the proto value [0..255] carried in nexthdr */
827                 proto = ntohs(sin6->sin6_port);
828
829                 if (!proto)
830                         proto = inet->inet_num;
831                 else if (proto != inet->inet_num &&
832                          inet->inet_num != IPPROTO_RAW)
833                         return -EINVAL;
834
835                 if (proto > 255)
836                         return -EINVAL;
837
838                 daddr = &sin6->sin6_addr;
839                 if (np->sndflow) {
840                         fl6.flowlabel = sin6->sin6_flowinfo&IPV6_FLOWINFO_MASK;
841                         if (fl6.flowlabel&IPV6_FLOWLABEL_MASK) {
842                                 flowlabel = fl6_sock_lookup(sk, fl6.flowlabel);
843                                 if (IS_ERR(flowlabel))
844                                         return -EINVAL;
845                         }
846                 }
847
848                 /*
849                  * Otherwise it will be difficult to maintain
850                  * sk->sk_dst_cache.
851                  */
852                 if (sk->sk_state == TCP_ESTABLISHED &&
853                     ipv6_addr_equal(daddr, &sk->sk_v6_daddr))
854                         daddr = &sk->sk_v6_daddr;
855
856                 if (addr_len >= sizeof(struct sockaddr_in6) &&
857                     sin6->sin6_scope_id &&
858                     __ipv6_addr_needs_scope_id(__ipv6_addr_type(daddr)))
859                         fl6.flowi6_oif = sin6->sin6_scope_id;
860         } else {
861                 if (sk->sk_state != TCP_ESTABLISHED)
862                         return -EDESTADDRREQ;
863
864                 proto = inet->inet_num;
865                 daddr = &sk->sk_v6_daddr;
866                 fl6.flowlabel = np->flow_label;
867         }
868
869         if (fl6.flowi6_oif == 0)
870                 fl6.flowi6_oif = sk->sk_bound_dev_if;
871
872         if (msg->msg_controllen) {
873                 opt = &opt_space;
874                 memset(opt, 0, sizeof(struct ipv6_txoptions));
875                 opt->tot_len = sizeof(struct ipv6_txoptions);
876                 ipc6.opt = opt;
877
878                 err = ip6_datagram_send_ctl(sock_net(sk), sk, msg, &fl6, &ipc6);
879                 if (err < 0) {
880                         fl6_sock_release(flowlabel);
881                         return err;
882                 }
883                 if ((fl6.flowlabel&IPV6_FLOWLABEL_MASK) && !flowlabel) {
884                         flowlabel = fl6_sock_lookup(sk, fl6.flowlabel);
885                         if (IS_ERR(flowlabel))
886                                 return -EINVAL;
887                 }
888                 if (!(opt->opt_nflen|opt->opt_flen))
889                         opt = NULL;
890         }
891         if (!opt) {
892                 opt = txopt_get(np);
893                 opt_to_free = opt;
894         }
895         if (flowlabel)
896                 opt = fl6_merge_options(&opt_space, flowlabel, opt);
897         opt = ipv6_fixup_options(&opt_space, opt);
898
899         fl6.flowi6_proto = proto;
900         fl6.flowi6_mark = ipc6.sockc.mark;
901
902         if (!hdrincl) {
903                 rfv.msg = msg;
904                 rfv.hlen = 0;
905                 err = rawv6_probe_proto_opt(&rfv, &fl6);
906                 if (err)
907                         goto out;
908         }
909
910         if (!ipv6_addr_any(daddr))
911                 fl6.daddr = *daddr;
912         else
913                 fl6.daddr.s6_addr[15] = 0x1; /* :: means loopback (BSD'ism) */
914         if (ipv6_addr_any(&fl6.saddr) && !ipv6_addr_any(&np->saddr))
915                 fl6.saddr = np->saddr;
916
917         final_p = fl6_update_dst(&fl6, opt, &final);
918
919         if (!fl6.flowi6_oif && ipv6_addr_is_multicast(&fl6.daddr))
920                 fl6.flowi6_oif = np->mcast_oif;
921         else if (!fl6.flowi6_oif)
922                 fl6.flowi6_oif = np->ucast_oif;
923         security_sk_classify_flow(sk, flowi6_to_flowi_common(&fl6));
924
925         if (hdrincl)
926                 fl6.flowi6_flags |= FLOWI_FLAG_KNOWN_NH;
927
928         if (ipc6.tclass < 0)
929                 ipc6.tclass = np->tclass;
930
931         fl6.flowlabel = ip6_make_flowinfo(ipc6.tclass, fl6.flowlabel);
932
933         dst = ip6_dst_lookup_flow(sock_net(sk), sk, &fl6, final_p);
934         if (IS_ERR(dst)) {
935                 err = PTR_ERR(dst);
936                 goto out;
937         }
938         if (ipc6.hlimit < 0)
939                 ipc6.hlimit = ip6_sk_dst_hoplimit(np, &fl6, dst);
940
941         if (ipc6.dontfrag < 0)
942                 ipc6.dontfrag = np->dontfrag;
943
944         if (msg->msg_flags&MSG_CONFIRM)
945                 goto do_confirm;
946
947 back_from_confirm:
948         if (hdrincl)
949                 err = rawv6_send_hdrinc(sk, msg, len, &fl6, &dst,
950                                         msg->msg_flags, &ipc6.sockc);
951         else {
952                 ipc6.opt = opt;
953                 lock_sock(sk);
954                 err = ip6_append_data(sk, raw6_getfrag, &rfv,
955                         len, 0, &ipc6, &fl6, (struct rt6_info *)dst,
956                         msg->msg_flags);
957
958                 if (err)
959                         ip6_flush_pending_frames(sk);
960                 else if (!(msg->msg_flags & MSG_MORE))
961                         err = rawv6_push_pending_frames(sk, &fl6, rp);
962                 release_sock(sk);
963         }
964 done:
965         dst_release(dst);
966 out:
967         fl6_sock_release(flowlabel);
968         txopt_put(opt_to_free);
969         return err < 0 ? err : len;
970 do_confirm:
971         if (msg->msg_flags & MSG_PROBE)
972                 dst_confirm_neigh(dst, &fl6.daddr);
973         if (!(msg->msg_flags & MSG_PROBE) || len)
974                 goto back_from_confirm;
975         err = 0;
976         goto done;
977 }
978
979 static int rawv6_seticmpfilter(struct sock *sk, int level, int optname,
980                                sockptr_t optval, int optlen)
981 {
982         switch (optname) {
983         case ICMPV6_FILTER:
984                 if (optlen > sizeof(struct icmp6_filter))
985                         optlen = sizeof(struct icmp6_filter);
986                 if (copy_from_sockptr(&raw6_sk(sk)->filter, optval, optlen))
987                         return -EFAULT;
988                 return 0;
989         default:
990                 return -ENOPROTOOPT;
991         }
992
993         return 0;
994 }
995
996 static int rawv6_geticmpfilter(struct sock *sk, int level, int optname,
997                                char __user *optval, int __user *optlen)
998 {
999         int len;
1000
1001         switch (optname) {
1002         case ICMPV6_FILTER:
1003                 if (get_user(len, optlen))
1004                         return -EFAULT;
1005                 if (len < 0)
1006                         return -EINVAL;
1007                 if (len > sizeof(struct icmp6_filter))
1008                         len = sizeof(struct icmp6_filter);
1009                 if (put_user(len, optlen))
1010                         return -EFAULT;
1011                 if (copy_to_user(optval, &raw6_sk(sk)->filter, len))
1012                         return -EFAULT;
1013                 return 0;
1014         default:
1015                 return -ENOPROTOOPT;
1016         }
1017
1018         return 0;
1019 }
1020
1021
1022 static int do_rawv6_setsockopt(struct sock *sk, int level, int optname,
1023                                sockptr_t optval, unsigned int optlen)
1024 {
1025         struct raw6_sock *rp = raw6_sk(sk);
1026         int val;
1027
1028         if (optlen < sizeof(val))
1029                 return -EINVAL;
1030
1031         if (copy_from_sockptr(&val, optval, sizeof(val)))
1032                 return -EFAULT;
1033
1034         switch (optname) {
1035         case IPV6_HDRINCL:
1036                 if (sk->sk_type != SOCK_RAW)
1037                         return -EINVAL;
1038                 inet_sk(sk)->hdrincl = !!val;
1039                 return 0;
1040         case IPV6_CHECKSUM:
1041                 if (inet_sk(sk)->inet_num == IPPROTO_ICMPV6 &&
1042                     level == IPPROTO_IPV6) {
1043                         /*
1044                          * RFC3542 tells that IPV6_CHECKSUM socket
1045                          * option in the IPPROTO_IPV6 level is not
1046                          * allowed on ICMPv6 sockets.
1047                          * If you want to set it, use IPPROTO_RAW
1048                          * level IPV6_CHECKSUM socket option
1049                          * (Linux extension).
1050                          */
1051                         return -EINVAL;
1052                 }
1053
1054                 /* You may get strange result with a positive odd offset;
1055                    RFC2292bis agrees with me. */
1056                 if (val > 0 && (val&1))
1057                         return -EINVAL;
1058                 if (val < 0) {
1059                         rp->checksum = 0;
1060                 } else {
1061                         rp->checksum = 1;
1062                         rp->offset = val;
1063                 }
1064
1065                 return 0;
1066
1067         default:
1068                 return -ENOPROTOOPT;
1069         }
1070 }
1071
1072 static int rawv6_setsockopt(struct sock *sk, int level, int optname,
1073                             sockptr_t optval, unsigned int optlen)
1074 {
1075         switch (level) {
1076         case SOL_RAW:
1077                 break;
1078
1079         case SOL_ICMPV6:
1080                 if (inet_sk(sk)->inet_num != IPPROTO_ICMPV6)
1081                         return -EOPNOTSUPP;
1082                 return rawv6_seticmpfilter(sk, level, optname, optval, optlen);
1083         case SOL_IPV6:
1084                 if (optname == IPV6_CHECKSUM ||
1085                     optname == IPV6_HDRINCL)
1086                         break;
1087                 fallthrough;
1088         default:
1089                 return ipv6_setsockopt(sk, level, optname, optval, optlen);
1090         }
1091
1092         return do_rawv6_setsockopt(sk, level, optname, optval, optlen);
1093 }
1094
1095 static int do_rawv6_getsockopt(struct sock *sk, int level, int optname,
1096                             char __user *optval, int __user *optlen)
1097 {
1098         struct raw6_sock *rp = raw6_sk(sk);
1099         int val, len;
1100
1101         if (get_user(len, optlen))
1102                 return -EFAULT;
1103
1104         switch (optname) {
1105         case IPV6_HDRINCL:
1106                 val = inet_sk(sk)->hdrincl;
1107                 break;
1108         case IPV6_CHECKSUM:
1109                 /*
1110                  * We allow getsockopt() for IPPROTO_IPV6-level
1111                  * IPV6_CHECKSUM socket option on ICMPv6 sockets
1112                  * since RFC3542 is silent about it.
1113                  */
1114                 if (rp->checksum == 0)
1115                         val = -1;
1116                 else
1117                         val = rp->offset;
1118                 break;
1119
1120         default:
1121                 return -ENOPROTOOPT;
1122         }
1123
1124         len = min_t(unsigned int, sizeof(int), len);
1125
1126         if (put_user(len, optlen))
1127                 return -EFAULT;
1128         if (copy_to_user(optval, &val, len))
1129                 return -EFAULT;
1130         return 0;
1131 }
1132
1133 static int rawv6_getsockopt(struct sock *sk, int level, int optname,
1134                           char __user *optval, int __user *optlen)
1135 {
1136         switch (level) {
1137         case SOL_RAW:
1138                 break;
1139
1140         case SOL_ICMPV6:
1141                 if (inet_sk(sk)->inet_num != IPPROTO_ICMPV6)
1142                         return -EOPNOTSUPP;
1143                 return rawv6_geticmpfilter(sk, level, optname, optval, optlen);
1144         case SOL_IPV6:
1145                 if (optname == IPV6_CHECKSUM ||
1146                     optname == IPV6_HDRINCL)
1147                         break;
1148                 fallthrough;
1149         default:
1150                 return ipv6_getsockopt(sk, level, optname, optval, optlen);
1151         }
1152
1153         return do_rawv6_getsockopt(sk, level, optname, optval, optlen);
1154 }
1155
1156 static int rawv6_ioctl(struct sock *sk, int cmd, unsigned long arg)
1157 {
1158         switch (cmd) {
1159         case SIOCOUTQ: {
1160                 int amount = sk_wmem_alloc_get(sk);
1161
1162                 return put_user(amount, (int __user *)arg);
1163         }
1164         case SIOCINQ: {
1165                 struct sk_buff *skb;
1166                 int amount = 0;
1167
1168                 spin_lock_bh(&sk->sk_receive_queue.lock);
1169                 skb = skb_peek(&sk->sk_receive_queue);
1170                 if (skb)
1171                         amount = skb->len;
1172                 spin_unlock_bh(&sk->sk_receive_queue.lock);
1173                 return put_user(amount, (int __user *)arg);
1174         }
1175
1176         default:
1177 #ifdef CONFIG_IPV6_MROUTE
1178                 return ip6mr_ioctl(sk, cmd, (void __user *)arg);
1179 #else
1180                 return -ENOIOCTLCMD;
1181 #endif
1182         }
1183 }
1184
1185 #ifdef CONFIG_COMPAT
1186 static int compat_rawv6_ioctl(struct sock *sk, unsigned int cmd, unsigned long arg)
1187 {
1188         switch (cmd) {
1189         case SIOCOUTQ:
1190         case SIOCINQ:
1191                 return -ENOIOCTLCMD;
1192         default:
1193 #ifdef CONFIG_IPV6_MROUTE
1194                 return ip6mr_compat_ioctl(sk, cmd, compat_ptr(arg));
1195 #else
1196                 return -ENOIOCTLCMD;
1197 #endif
1198         }
1199 }
1200 #endif
1201
1202 static void rawv6_close(struct sock *sk, long timeout)
1203 {
1204         if (inet_sk(sk)->inet_num == IPPROTO_RAW)
1205                 ip6_ra_control(sk, -1);
1206         ip6mr_sk_done(sk);
1207         sk_common_release(sk);
1208 }
1209
1210 static void raw6_destroy(struct sock *sk)
1211 {
1212         lock_sock(sk);
1213         ip6_flush_pending_frames(sk);
1214         release_sock(sk);
1215 }
1216
1217 static int rawv6_init_sk(struct sock *sk)
1218 {
1219         struct raw6_sock *rp = raw6_sk(sk);
1220
1221         switch (inet_sk(sk)->inet_num) {
1222         case IPPROTO_ICMPV6:
1223                 rp->checksum = 1;
1224                 rp->offset   = 2;
1225                 break;
1226         case IPPROTO_MH:
1227                 rp->checksum = 1;
1228                 rp->offset   = 4;
1229                 break;
1230         default:
1231                 break;
1232         }
1233         return 0;
1234 }
1235
1236 struct proto rawv6_prot = {
1237         .name              = "RAWv6",
1238         .owner             = THIS_MODULE,
1239         .close             = rawv6_close,
1240         .destroy           = raw6_destroy,
1241         .connect           = ip6_datagram_connect_v6_only,
1242         .disconnect        = __udp_disconnect,
1243         .ioctl             = rawv6_ioctl,
1244         .init              = rawv6_init_sk,
1245         .setsockopt        = rawv6_setsockopt,
1246         .getsockopt        = rawv6_getsockopt,
1247         .sendmsg           = rawv6_sendmsg,
1248         .recvmsg           = rawv6_recvmsg,
1249         .bind              = rawv6_bind,
1250         .backlog_rcv       = rawv6_rcv_skb,
1251         .hash              = raw_hash_sk,
1252         .unhash            = raw_unhash_sk,
1253         .obj_size          = sizeof(struct raw6_sock),
1254         .useroffset        = offsetof(struct raw6_sock, filter),
1255         .usersize          = sizeof_field(struct raw6_sock, filter),
1256         .h.raw_hash        = &raw_v6_hashinfo,
1257 #ifdef CONFIG_COMPAT
1258         .compat_ioctl      = compat_rawv6_ioctl,
1259 #endif
1260         .diag_destroy      = raw_abort,
1261 };
1262
1263 #ifdef CONFIG_PROC_FS
1264 static int raw6_seq_show(struct seq_file *seq, void *v)
1265 {
1266         if (v == SEQ_START_TOKEN) {
1267                 seq_puts(seq, IPV6_SEQ_DGRAM_HEADER);
1268         } else {
1269                 struct sock *sp = v;
1270                 __u16 srcp  = inet_sk(sp)->inet_num;
1271                 ip6_dgram_sock_seq_show(seq, v, srcp, 0,
1272                                         raw_seq_private(seq)->bucket);
1273         }
1274         return 0;
1275 }
1276
1277 static const struct seq_operations raw6_seq_ops = {
1278         .start =        raw_seq_start,
1279         .next =         raw_seq_next,
1280         .stop =         raw_seq_stop,
1281         .show =         raw6_seq_show,
1282 };
1283
1284 static int __net_init raw6_init_net(struct net *net)
1285 {
1286         if (!proc_create_net_data("raw6", 0444, net->proc_net, &raw6_seq_ops,
1287                         sizeof(struct raw_iter_state), &raw_v6_hashinfo))
1288                 return -ENOMEM;
1289
1290         return 0;
1291 }
1292
1293 static void __net_exit raw6_exit_net(struct net *net)
1294 {
1295         remove_proc_entry("raw6", net->proc_net);
1296 }
1297
1298 static struct pernet_operations raw6_net_ops = {
1299         .init = raw6_init_net,
1300         .exit = raw6_exit_net,
1301 };
1302
1303 int __init raw6_proc_init(void)
1304 {
1305         return register_pernet_subsys(&raw6_net_ops);
1306 }
1307
1308 void raw6_proc_exit(void)
1309 {
1310         unregister_pernet_subsys(&raw6_net_ops);
1311 }
1312 #endif  /* CONFIG_PROC_FS */
1313
1314 /* Same as inet6_dgram_ops, sans udp_poll.  */
1315 const struct proto_ops inet6_sockraw_ops = {
1316         .family            = PF_INET6,
1317         .owner             = THIS_MODULE,
1318         .release           = inet6_release,
1319         .bind              = inet6_bind,
1320         .connect           = inet_dgram_connect,        /* ok           */
1321         .socketpair        = sock_no_socketpair,        /* a do nothing */
1322         .accept            = sock_no_accept,            /* a do nothing */
1323         .getname           = inet6_getname,
1324         .poll              = datagram_poll,             /* ok           */
1325         .ioctl             = inet6_ioctl,               /* must change  */
1326         .gettstamp         = sock_gettstamp,
1327         .listen            = sock_no_listen,            /* ok           */
1328         .shutdown          = inet_shutdown,             /* ok           */
1329         .setsockopt        = sock_common_setsockopt,    /* ok           */
1330         .getsockopt        = sock_common_getsockopt,    /* ok           */
1331         .sendmsg           = inet_sendmsg,              /* ok           */
1332         .recvmsg           = sock_common_recvmsg,       /* ok           */
1333         .mmap              = sock_no_mmap,
1334         .sendpage          = sock_no_sendpage,
1335 #ifdef CONFIG_COMPAT
1336         .compat_ioctl      = inet6_compat_ioctl,
1337 #endif
1338 };
1339
1340 static struct inet_protosw rawv6_protosw = {
1341         .type           = SOCK_RAW,
1342         .protocol       = IPPROTO_IP,   /* wild card */
1343         .prot           = &rawv6_prot,
1344         .ops            = &inet6_sockraw_ops,
1345         .flags          = INET_PROTOSW_REUSE,
1346 };
1347
1348 int __init rawv6_init(void)
1349 {
1350         return inet6_register_protosw(&rawv6_protosw);
1351 }
1352
1353 void rawv6_exit(void)
1354 {
1355         inet6_unregister_protosw(&rawv6_protosw);
1356 }