net/ipv6/seg6_iptunnel.c

   1 // SPDX-License-Identifier: GPL-2.0-or-later
   2 /*
   3  *  SR-IPv6 implementation
   4  *
   5  *  Author:
   6  *  David Lebrun <david.lebrun@uclouvain.be>
   7  */
   8
   9 #include <linux/types.h>
  10 #include <linux/skbuff.h>
  11 #include <linux/net.h>
  12 #include <linux/module.h>
  13 #include <net/ip.h>
  14 #include <net/ip_tunnels.h>
  15 #include <net/lwtunnel.h>
  16 #include <net/netevent.h>
  17 #include <net/netns/generic.h>
  18 #include <net/ip6_fib.h>
  19 #include <net/route.h>
  20 #include <net/seg6.h>
  21 #include <linux/seg6.h>
  22 #include <linux/seg6_iptunnel.h>
  23 #include <net/addrconf.h>
  24 #include <net/ip6_route.h>
  25 #include <net/dst_cache.h>
  26 #ifdef CONFIG_IPV6_SEG6_HMAC
  27 #include <net/seg6_hmac.h>
  28 #endif
  29
  30 struct seg6_lwt {
  31         struct dst_cache cache;
  32         struct seg6_iptunnel_encap tuninfo[0];
  33 };
  34
  35 static inline struct seg6_lwt *seg6_lwt_lwtunnel(struct lwtunnel_state *lwt)
  36 {
  37         return (struct seg6_lwt *)lwt->data;
  38 }
  39
  40 static inline struct seg6_iptunnel_encap *
  41 seg6_encap_lwtunnel(struct lwtunnel_state *lwt)
  42 {
  43         return seg6_lwt_lwtunnel(lwt)->tuninfo;
  44 }
  45
  46 static const struct nla_policy seg6_iptunnel_policy[SEG6_IPTUNNEL_MAX + 1] = {
  47         [SEG6_IPTUNNEL_SRH]     = { .type = NLA_BINARY },
  48 };
  49
  50 static int nla_put_srh(struct sk_buff *skb, int attrtype,
  51                        struct seg6_iptunnel_encap *tuninfo)
  52 {
  53         struct seg6_iptunnel_encap *data;
  54         struct nlattr *nla;
  55         int len;
  56
  57         len = SEG6_IPTUN_ENCAP_SIZE(tuninfo);
  58
  59         nla = nla_reserve(skb, attrtype, len);
  60         if (!nla)
  61                 return -EMSGSIZE;
  62
  63         data = nla_data(nla);
  64         memcpy(data, tuninfo, len);
  65
  66         return 0;
  67 }
  68
  69 static void set_tun_src(struct net *net, struct net_device *dev,
  70                         struct in6_addr *daddr, struct in6_addr *saddr)
  71 {
  72         struct seg6_pernet_data *sdata = seg6_pernet(net);
  73         struct in6_addr *tun_src;
  74
  75         rcu_read_lock();
  76
  77         tun_src = rcu_dereference(sdata->tun_src);
  78
  79         if (!ipv6_addr_any(tun_src)) {
  80                 memcpy(saddr, tun_src, sizeof(struct in6_addr));
  81         } else {
  82                 ipv6_dev_get_saddr(net, dev, daddr, IPV6_PREFER_SRC_PUBLIC,
  83                                    saddr);
  84         }
  85
  86         rcu_read_unlock();
  87 }
  88
  89 /* Compute flowlabel for outer IPv6 header */
  90 static __be32 seg6_make_flowlabel(struct net *net, struct sk_buff *skb,
  91                                   struct ipv6hdr *inner_hdr)
  92 {
  93         int do_flowlabel = net->ipv6.sysctl.seg6_flowlabel;
  94         __be32 flowlabel = 0;
  95         u32 hash;
  96
  97         if (do_flowlabel > 0) {
  98                 hash = skb_get_hash(skb);
  99                 hash = rol32(hash, 16);
 100                 flowlabel = (__force __be32)hash & IPV6_FLOWLABEL_MASK;
 101         } else if (!do_flowlabel && skb->protocol == htons(ETH_P_IPV6)) {
 102                 flowlabel = ip6_flowlabel(inner_hdr);
 103         }
 104         return flowlabel;
 105 }
 106
 107 /* encapsulate an IPv6 packet within an outer IPv6 header with a given SRH */
 108 int seg6_do_srh_encap(struct sk_buff *skb, struct ipv6_sr_hdr *osrh, int proto)
 109 {
 110         struct dst_entry *dst = skb_dst(skb);
 111         struct net *net = dev_net(dst->dev);
 112         struct ipv6hdr *hdr, *inner_hdr;
 113         struct ipv6_sr_hdr *isrh;
 114         int hdrlen, tot_len, err;
 115         __be32 flowlabel;
 116
 117         hdrlen = (osrh->hdrlen + 1) << 3;
 118         tot_len = hdrlen + sizeof(*hdr);
 119
 120         err = skb_cow_head(skb, tot_len + skb->mac_len);
 121         if (unlikely(err))
 122                 return err;
 123
 124         inner_hdr = ipv6_hdr(skb);
 125         flowlabel = seg6_make_flowlabel(net, skb, inner_hdr);
 126
 127         skb_push(skb, tot_len);
 128         skb_reset_network_header(skb);
 129         skb_mac_header_rebuild(skb);
 130         hdr = ipv6_hdr(skb);
 131
 132         /* inherit tc, flowlabel and hlim
 133          * hlim will be decremented in ip6_forward() afterwards and
 134          * decapsulation will overwrite inner hlim with outer hlim
 135          */
 136
 137         if (skb->protocol == htons(ETH_P_IPV6)) {
 138                 ip6_flow_hdr(hdr, ip6_tclass(ip6_flowinfo(inner_hdr)),
 139                              flowlabel);
 140                 hdr->hop_limit = inner_hdr->hop_limit;
 141         } else {
 142                 ip6_flow_hdr(hdr, 0, flowlabel);
 143                 hdr->hop_limit = ip6_dst_hoplimit(skb_dst(skb));
 144
 145                 memset(IP6CB(skb), 0, sizeof(*IP6CB(skb)));
 146
 147                 /* the control block has been erased, so we have to set the
 148                  * iif once again.
 149                  * We read the receiving interface index directly from the
 150                  * skb->skb_iif as it is done in the IPv4 receiving path (i.e.:
 151                  * ip_rcv_core(...)).
 152                  */
 153                 IP6CB(skb)->iif = skb->skb_iif;
 154         }
 155
 156         hdr->nexthdr = NEXTHDR_ROUTING;
 157
 158         isrh = (void *)hdr + sizeof(*hdr);
 159         memcpy(isrh, osrh, hdrlen);
 160
 161         isrh->nexthdr = proto;
 162
 163         hdr->daddr = isrh->segments[isrh->first_segment];
 164         set_tun_src(net, dst->dev, &hdr->daddr, &hdr->saddr);
 165
 166 #ifdef CONFIG_IPV6_SEG6_HMAC
 167         if (sr_has_hmac(isrh)) {
 168                 err = seg6_push_hmac(net, &hdr->saddr, isrh);
 169                 if (unlikely(err))
 170                         return err;
 171         }
 172 #endif
 173
 174         hdr->payload_len = htons(skb->len - sizeof(struct ipv6hdr));
 175
 176         skb_postpush_rcsum(skb, hdr, tot_len);
 177
 178         return 0;
 179 }
 180 EXPORT_SYMBOL_GPL(seg6_do_srh_encap);
 181
 182 /* insert an SRH within an IPv6 packet, just after the IPv6 header */
 183 int seg6_do_srh_inline(struct sk_buff *skb, struct ipv6_sr_hdr *osrh)
 184 {
 185         struct ipv6hdr *hdr, *oldhdr;
 186         struct ipv6_sr_hdr *isrh;
 187         int hdrlen, err;
 188
 189         hdrlen = (osrh->hdrlen + 1) << 3;
 190
 191         err = skb_cow_head(skb, hdrlen + skb->mac_len);
 192         if (unlikely(err))
 193                 return err;
 194
 195         oldhdr = ipv6_hdr(skb);
 196
 197         skb_pull(skb, sizeof(struct ipv6hdr));
 198         skb_postpull_rcsum(skb, skb_network_header(skb),
 199                            sizeof(struct ipv6hdr));
 200
 201         skb_push(skb, sizeof(struct ipv6hdr) + hdrlen);
 202         skb_reset_network_header(skb);
 203         skb_mac_header_rebuild(skb);
 204
 205         hdr = ipv6_hdr(skb);
 206
 207         memmove(hdr, oldhdr, sizeof(*hdr));
 208
 209         isrh = (void *)hdr + sizeof(*hdr);
 210         memcpy(isrh, osrh, hdrlen);
 211
 212         isrh->nexthdr = hdr->nexthdr;
 213         hdr->nexthdr = NEXTHDR_ROUTING;
 214
 215         isrh->segments[0] = hdr->daddr;
 216         hdr->daddr = isrh->segments[isrh->first_segment];
 217
 218 #ifdef CONFIG_IPV6_SEG6_HMAC
 219         if (sr_has_hmac(isrh)) {
 220                 struct net *net = dev_net(skb_dst(skb)->dev);
 221
 222                 err = seg6_push_hmac(net, &hdr->saddr, isrh);
 223                 if (unlikely(err))
 224                         return err;
 225         }
 226 #endif
 227
 228         hdr->payload_len = htons(skb->len - sizeof(struct ipv6hdr));
 229
 230         skb_postpush_rcsum(skb, hdr, sizeof(struct ipv6hdr) + hdrlen);
 231
 232         return 0;
 233 }
 234 EXPORT_SYMBOL_GPL(seg6_do_srh_inline);
 235
 236 static int seg6_do_srh(struct sk_buff *skb)
 237 {
 238         struct dst_entry *dst = skb_dst(skb);
 239         struct seg6_iptunnel_encap *tinfo;
 240         int proto, err = 0;
 241
 242         tinfo = seg6_encap_lwtunnel(dst->lwtstate);
 243
 244         switch (tinfo->mode) {
 245         case SEG6_IPTUN_MODE_INLINE:
 246                 if (skb->protocol != htons(ETH_P_IPV6))
 247                         return -EINVAL;
 248
 249                 err = seg6_do_srh_inline(skb, tinfo->srh);
 250                 if (err)
 251                         return err;
 252                 break;
 253         case SEG6_IPTUN_MODE_ENCAP:
 254                 err = iptunnel_handle_offloads(skb, SKB_GSO_IPXIP6);
 255                 if (err)
 256                         return err;
 257
 258                 if (skb->protocol == htons(ETH_P_IPV6))
 259                         proto = IPPROTO_IPV6;
 260                 else if (skb->protocol == htons(ETH_P_IP))
 261                         proto = IPPROTO_IPIP;
 262                 else
 263                         return -EINVAL;
 264
 265                 err = seg6_do_srh_encap(skb, tinfo->srh, proto);
 266                 if (err)
 267                         return err;
 268
 269                 skb_set_inner_transport_header(skb, skb_transport_offset(skb));
 270                 skb_set_inner_protocol(skb, skb->protocol);
 271                 skb->protocol = htons(ETH_P_IPV6);
 272                 break;
 273         case SEG6_IPTUN_MODE_L2ENCAP:
 274                 if (!skb_mac_header_was_set(skb))
 275                         return -EINVAL;
 276
 277                 if (pskb_expand_head(skb, skb->mac_len, 0, GFP_ATOMIC) < 0)
 278                         return -ENOMEM;
 279
 280                 skb_mac_header_rebuild(skb);
 281                 skb_push(skb, skb->mac_len);
 282
 283                 err = seg6_do_srh_encap(skb, tinfo->srh, NEXTHDR_NONE);
 284                 if (err)
 285                         return err;
 286
 287                 skb->protocol = htons(ETH_P_IPV6);
 288                 break;
 289         }
 290
 291         skb_set_transport_header(skb, sizeof(struct ipv6hdr));
 292
 293         return 0;
 294 }
 295
 296 static int seg6_input(struct sk_buff *skb)
 297 {
 298         struct dst_entry *orig_dst = skb_dst(skb);
 299         struct dst_entry *dst = NULL;
 300         struct seg6_lwt *slwt;
 301         int err;
 302
 303         err = seg6_do_srh(skb);
 304         if (unlikely(err)) {
 305                 kfree_skb(skb);
 306                 return err;
 307         }
 308
 309         slwt = seg6_lwt_lwtunnel(orig_dst->lwtstate);
 310
 311         preempt_disable();
 312         dst = dst_cache_get(&slwt->cache);
 313         preempt_enable();
 314
 315         skb_dst_drop(skb);
 316
 317         if (!dst) {
 318                 ip6_route_input(skb);
 319                 dst = skb_dst(skb);
 320                 if (!dst->error) {
 321                         preempt_disable();
 322                         dst_cache_set_ip6(&slwt->cache, dst,
 323                                           &ipv6_hdr(skb)->saddr);
 324                         preempt_enable();
 325                 }
 326         } else {
 327                 skb_dst_set(skb, dst);
 328         }
 329
 330         err = skb_cow_head(skb, LL_RESERVED_SPACE(dst->dev));
 331         if (unlikely(err))
 332                 return err;
 333
 334         return dst_input(skb);
 335 }
 336
 337 static int seg6_output(struct net *net, struct sock *sk, struct sk_buff *skb)
 338 {
 339         struct dst_entry *orig_dst = skb_dst(skb);
 340         struct dst_entry *dst = NULL;
 341         struct seg6_lwt *slwt;
 342         int err = -EINVAL;
 343
 344         err = seg6_do_srh(skb);
 345         if (unlikely(err))
 346                 goto drop;
 347
 348         slwt = seg6_lwt_lwtunnel(orig_dst->lwtstate);
 349
 350         preempt_disable();
 351         dst = dst_cache_get(&slwt->cache);
 352         preempt_enable();
 353
 354         if (unlikely(!dst)) {
 355                 struct ipv6hdr *hdr = ipv6_hdr(skb);
 356                 struct flowi6 fl6;
 357
 358                 memset(&fl6, 0, sizeof(fl6));
 359                 fl6.daddr = hdr->daddr;
 360                 fl6.saddr = hdr->saddr;
 361                 fl6.flowlabel = ip6_flowinfo(hdr);
 362                 fl6.flowi6_mark = skb->mark;
 363                 fl6.flowi6_proto = hdr->nexthdr;
 364
 365                 dst = ip6_route_output(net, NULL, &fl6);
 366                 if (dst->error) {
 367                         err = dst->error;
 368                         dst_release(dst);
 369                         goto drop;
 370                 }
 371
 372                 preempt_disable();
 373                 dst_cache_set_ip6(&slwt->cache, dst, &fl6.saddr);
 374                 preempt_enable();
 375         }
 376
 377         skb_dst_drop(skb);
 378         skb_dst_set(skb, dst);
 379
 380         err = skb_cow_head(skb, LL_RESERVED_SPACE(dst->dev));
 381         if (unlikely(err))
 382                 goto drop;
 383
 384         return dst_output(net, sk, skb);
 385 drop:
 386         kfree_skb(skb);
 387         return err;
 388 }
 389
 390 static int seg6_build_state(struct nlattr *nla,
 391                             unsigned int family, const void *cfg,
 392                             struct lwtunnel_state **ts,
 393                             struct netlink_ext_ack *extack)
 394 {
 395         struct nlattr *tb[SEG6_IPTUNNEL_MAX + 1];
 396         struct seg6_iptunnel_encap *tuninfo;
 397         struct lwtunnel_state *newts;
 398         int tuninfo_len, min_size;
 399         struct seg6_lwt *slwt;
 400         int err;
 401
 402         if (family != AF_INET && family != AF_INET6)
 403                 return -EINVAL;
 404
 405         err = nla_parse_nested_deprecated(tb, SEG6_IPTUNNEL_MAX, nla,
 406                                           seg6_iptunnel_policy, extack);
 407
 408         if (err < 0)
 409                 return err;
 410
 411         if (!tb[SEG6_IPTUNNEL_SRH])
 412                 return -EINVAL;
 413
 414         tuninfo = nla_data(tb[SEG6_IPTUNNEL_SRH]);
 415         tuninfo_len = nla_len(tb[SEG6_IPTUNNEL_SRH]);
 416
 417         /* tuninfo must contain at least the iptunnel encap structure,
 418          * the SRH and one segment
 419          */
 420         min_size = sizeof(*tuninfo) + sizeof(struct ipv6_sr_hdr) +
 421                    sizeof(struct in6_addr);
 422         if (tuninfo_len < min_size)
 423                 return -EINVAL;
 424
 425         switch (tuninfo->mode) {
 426         case SEG6_IPTUN_MODE_INLINE:
 427                 if (family != AF_INET6)
 428                         return -EINVAL;
 429
 430                 break;
 431         case SEG6_IPTUN_MODE_ENCAP:
 432                 break;
 433         case SEG6_IPTUN_MODE_L2ENCAP:
 434                 break;
 435         default:
 436                 return -EINVAL;
 437         }
 438
 439         /* verify that SRH is consistent */
 440         if (!seg6_validate_srh(tuninfo->srh, tuninfo_len - sizeof(*tuninfo)))
 441                 return -EINVAL;
 442
 443         newts = lwtunnel_state_alloc(tuninfo_len + sizeof(*slwt));
 444         if (!newts)
 445                 return -ENOMEM;
 446
 447         slwt = seg6_lwt_lwtunnel(newts);
 448
 449         err = dst_cache_init(&slwt->cache, GFP_ATOMIC);
 450         if (err) {
 451                 kfree(newts);
 452                 return err;
 453         }
 454
 455         memcpy(&slwt->tuninfo, tuninfo, tuninfo_len);
 456
 457         newts->type = LWTUNNEL_ENCAP_SEG6;
 458         newts->flags |= LWTUNNEL_STATE_INPUT_REDIRECT;
 459
 460         if (tuninfo->mode != SEG6_IPTUN_MODE_L2ENCAP)
 461                 newts->flags |= LWTUNNEL_STATE_OUTPUT_REDIRECT;
 462
 463         newts->headroom = seg6_lwt_headroom(tuninfo);
 464
 465         *ts = newts;
 466
 467         return 0;
 468 }
 469
 470 static void seg6_destroy_state(struct lwtunnel_state *lwt)
 471 {
 472         dst_cache_destroy(&seg6_lwt_lwtunnel(lwt)->cache);
 473 }
 474
 475 static int seg6_fill_encap_info(struct sk_buff *skb,
 476                                 struct lwtunnel_state *lwtstate)
 477 {
 478         struct seg6_iptunnel_encap *tuninfo = seg6_encap_lwtunnel(lwtstate);
 479
 480         if (nla_put_srh(skb, SEG6_IPTUNNEL_SRH, tuninfo))
 481                 return -EMSGSIZE;
 482
 483         return 0;
 484 }
 485
 486 static int seg6_encap_nlsize(struct lwtunnel_state *lwtstate)
 487 {
 488         struct seg6_iptunnel_encap *tuninfo = seg6_encap_lwtunnel(lwtstate);
 489
 490         return nla_total_size(SEG6_IPTUN_ENCAP_SIZE(tuninfo));
 491 }
 492
 493 static int seg6_encap_cmp(struct lwtunnel_state *a, struct lwtunnel_state *b)
 494 {
 495         struct seg6_iptunnel_encap *a_hdr = seg6_encap_lwtunnel(a);
 496         struct seg6_iptunnel_encap *b_hdr = seg6_encap_lwtunnel(b);
 497         int len = SEG6_IPTUN_ENCAP_SIZE(a_hdr);
 498
 499         if (len != SEG6_IPTUN_ENCAP_SIZE(b_hdr))
 500                 return 1;
 501
 502         return memcmp(a_hdr, b_hdr, len);
 503 }
 504
 505 static const struct lwtunnel_encap_ops seg6_iptun_ops = {
 506         .build_state = seg6_build_state,
 507         .destroy_state = seg6_destroy_state,
 508         .output = seg6_output,
 509         .input = seg6_input,
 510         .fill_encap = seg6_fill_encap_info,
 511         .get_encap_size = seg6_encap_nlsize,
 512         .cmp_encap = seg6_encap_cmp,
 513         .owner = THIS_MODULE,
 514 };
 515
 516 int __init seg6_iptunnel_init(void)
 517 {
 518         return lwtunnel_encap_add_ops(&seg6_iptun_ops, LWTUNNEL_ENCAP_SEG6);
 519 }
 520
 521 void seg6_iptunnel_exit(void)
 522 {
 523         lwtunnel_encap_del_ops(&seg6_iptun_ops, LWTUNNEL_ENCAP_SEG6);
 524 }