drivers/vdpa/vdpa.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  * vDPA bus.
   4  *
   5  * Copyright (c) 2020, Red Hat. All rights reserved.
   6  *     Author: Jason Wang <jasowang@redhat.com>
   7  *
   8  */
   9
  10 #include <linux/module.h>
  11 #include <linux/idr.h>
  12 #include <linux/slab.h>
  13 #include <linux/vdpa.h>
  14 #include <uapi/linux/vdpa.h>
  15 #include <net/genetlink.h>
  16 #include <linux/mod_devicetable.h>
  17
  18 static LIST_HEAD(mdev_head);
  19 /* A global mutex that protects vdpa management device and device level operations. */
  20 static DEFINE_MUTEX(vdpa_dev_mutex);
  21 static DEFINE_IDA(vdpa_index_ida);
  22
  23 static struct genl_family vdpa_nl_family;
  24
  25 static int vdpa_dev_probe(struct device *d)
  26 {
  27         struct vdpa_device *vdev = dev_to_vdpa(d);
  28         struct vdpa_driver *drv = drv_to_vdpa(vdev->dev.driver);
  29         int ret = 0;
  30
  31         if (drv && drv->probe)
  32                 ret = drv->probe(vdev);
  33
  34         return ret;
  35 }
  36
  37 static void vdpa_dev_remove(struct device *d)
  38 {
  39         struct vdpa_device *vdev = dev_to_vdpa(d);
  40         struct vdpa_driver *drv = drv_to_vdpa(vdev->dev.driver);
  41
  42         if (drv && drv->remove)
  43                 drv->remove(vdev);
  44 }
  45
  46 static struct bus_type vdpa_bus = {
  47         .name  = "vdpa",
  48         .probe = vdpa_dev_probe,
  49         .remove = vdpa_dev_remove,
  50 };
  51
  52 static void vdpa_release_dev(struct device *d)
  53 {
  54         struct vdpa_device *vdev = dev_to_vdpa(d);
  55         const struct vdpa_config_ops *ops = vdev->config;
  56
  57         if (ops->free)
  58                 ops->free(vdev);
  59
  60         ida_simple_remove(&vdpa_index_ida, vdev->index);
  61         kfree(vdev);
  62 }
  63
  64 /**
  65  * __vdpa_alloc_device - allocate and initilaize a vDPA device
  66  * This allows driver to some prepartion after device is
  67  * initialized but before registered.
  68  * @parent: the parent device
  69  * @config: the bus operations that is supported by this device
  70  * @size: size of the parent structure that contains private data
  71  * @name: name of the vdpa device; optional.
  72  * @use_va: indicate whether virtual address must be used by this device
  73  *
  74  * Driver should use vdpa_alloc_device() wrapper macro instead of
  75  * using this directly.
  76  *
  77  * Return: Returns an error when parent/config/dma_dev is not set or fail to get
  78  *         ida.
  79  */
  80 struct vdpa_device *__vdpa_alloc_device(struct device *parent,
  81                                         const struct vdpa_config_ops *config,
  82                                         size_t size, const char *name,
  83                                         bool use_va)
  84 {
  85         struct vdpa_device *vdev;
  86         int err = -EINVAL;
  87
  88         if (!config)
  89                 goto err;
  90
  91         if (!!config->dma_map != !!config->dma_unmap)
  92                 goto err;
  93
  94         /* It should only work for the device that use on-chip IOMMU */
  95         if (use_va && !(config->dma_map || config->set_map))
  96                 goto err;
  97
  98         err = -ENOMEM;
  99         vdev = kzalloc(size, GFP_KERNEL);
 100         if (!vdev)
 101                 goto err;
 102
 103         err = ida_alloc(&vdpa_index_ida, GFP_KERNEL);
 104         if (err < 0)
 105                 goto err_ida;
 106
 107         vdev->dev.bus = &vdpa_bus;
 108         vdev->dev.parent = parent;
 109         vdev->dev.release = vdpa_release_dev;
 110         vdev->index = err;
 111         vdev->config = config;
 112         vdev->features_valid = false;
 113         vdev->use_va = use_va;
 114
 115         if (name)
 116                 err = dev_set_name(&vdev->dev, "%s", name);
 117         else
 118                 err = dev_set_name(&vdev->dev, "vdpa%u", vdev->index);
 119         if (err)
 120                 goto err_name;
 121
 122         device_initialize(&vdev->dev);
 123
 124         return vdev;
 125
 126 err_name:
 127         ida_simple_remove(&vdpa_index_ida, vdev->index);
 128 err_ida:
 129         kfree(vdev);
 130 err:
 131         return ERR_PTR(err);
 132 }
 133 EXPORT_SYMBOL_GPL(__vdpa_alloc_device);
 134
 135 static int vdpa_name_match(struct device *dev, const void *data)
 136 {
 137         struct vdpa_device *vdev = container_of(dev, struct vdpa_device, dev);
 138
 139         return (strcmp(dev_name(&vdev->dev), data) == 0);
 140 }
 141
 142 static int __vdpa_register_device(struct vdpa_device *vdev, int nvqs)
 143 {
 144         struct device *dev;
 145
 146         vdev->nvqs = nvqs;
 147
 148         lockdep_assert_held(&vdpa_dev_mutex);
 149         dev = bus_find_device(&vdpa_bus, NULL, dev_name(&vdev->dev), vdpa_name_match);
 150         if (dev) {
 151                 put_device(dev);
 152                 return -EEXIST;
 153         }
 154         return device_add(&vdev->dev);
 155 }
 156
 157 /**
 158  * _vdpa_register_device - register a vDPA device with vdpa lock held
 159  * Caller must have a succeed call of vdpa_alloc_device() before.
 160  * Caller must invoke this routine in the management device dev_add()
 161  * callback after setting up valid mgmtdev for this vdpa device.
 162  * @vdev: the vdpa device to be registered to vDPA bus
 163  * @nvqs: number of virtqueues supported by this device
 164  *
 165  * Return: Returns an error when fail to add device to vDPA bus
 166  */
 167 int _vdpa_register_device(struct vdpa_device *vdev, int nvqs)
 168 {
 169         if (!vdev->mdev)
 170                 return -EINVAL;
 171
 172         return __vdpa_register_device(vdev, nvqs);
 173 }
 174 EXPORT_SYMBOL_GPL(_vdpa_register_device);
 175
 176 /**
 177  * vdpa_register_device - register a vDPA device
 178  * Callers must have a succeed call of vdpa_alloc_device() before.
 179  * @vdev: the vdpa device to be registered to vDPA bus
 180  * @nvqs: number of virtqueues supported by this device
 181  *
 182  * Return: Returns an error when fail to add to vDPA bus
 183  */
 184 int vdpa_register_device(struct vdpa_device *vdev, int nvqs)
 185 {
 186         int err;
 187
 188         mutex_lock(&vdpa_dev_mutex);
 189         err = __vdpa_register_device(vdev, nvqs);
 190         mutex_unlock(&vdpa_dev_mutex);
 191         return err;
 192 }
 193 EXPORT_SYMBOL_GPL(vdpa_register_device);
 194
 195 /**
 196  * _vdpa_unregister_device - unregister a vDPA device
 197  * Caller must invoke this routine as part of management device dev_del()
 198  * callback.
 199  * @vdev: the vdpa device to be unregisted from vDPA bus
 200  */
 201 void _vdpa_unregister_device(struct vdpa_device *vdev)
 202 {
 203         lockdep_assert_held(&vdpa_dev_mutex);
 204         WARN_ON(!vdev->mdev);
 205         device_unregister(&vdev->dev);
 206 }
 207 EXPORT_SYMBOL_GPL(_vdpa_unregister_device);
 208
 209 /**
 210  * vdpa_unregister_device - unregister a vDPA device
 211  * @vdev: the vdpa device to be unregisted from vDPA bus
 212  */
 213 void vdpa_unregister_device(struct vdpa_device *vdev)
 214 {
 215         mutex_lock(&vdpa_dev_mutex);
 216         device_unregister(&vdev->dev);
 217         mutex_unlock(&vdpa_dev_mutex);
 218 }
 219 EXPORT_SYMBOL_GPL(vdpa_unregister_device);
 220
 221 /**
 222  * __vdpa_register_driver - register a vDPA device driver
 223  * @drv: the vdpa device driver to be registered
 224  * @owner: module owner of the driver
 225  *
 226  * Return: Returns an err when fail to do the registration
 227  */
 228 int __vdpa_register_driver(struct vdpa_driver *drv, struct module *owner)
 229 {
 230         drv->driver.bus = &vdpa_bus;
 231         drv->driver.owner = owner;
 232
 233         return driver_register(&drv->driver);
 234 }
 235 EXPORT_SYMBOL_GPL(__vdpa_register_driver);
 236
 237 /**
 238  * vdpa_unregister_driver - unregister a vDPA device driver
 239  * @drv: the vdpa device driver to be unregistered
 240  */
 241 void vdpa_unregister_driver(struct vdpa_driver *drv)
 242 {
 243         driver_unregister(&drv->driver);
 244 }
 245 EXPORT_SYMBOL_GPL(vdpa_unregister_driver);
 246
 247 /**
 248  * vdpa_mgmtdev_register - register a vdpa management device
 249  *
 250  * @mdev: Pointer to vdpa management device
 251  * vdpa_mgmtdev_register() register a vdpa management device which supports
 252  * vdpa device management.
 253  * Return: Returns 0 on success or failure when required callback ops are not
 254  *         initialized.
 255  */
 256 int vdpa_mgmtdev_register(struct vdpa_mgmt_dev *mdev)
 257 {
 258         if (!mdev->device || !mdev->ops || !mdev->ops->dev_add || !mdev->ops->dev_del)
 259                 return -EINVAL;
 260
 261         INIT_LIST_HEAD(&mdev->list);
 262         mutex_lock(&vdpa_dev_mutex);
 263         list_add_tail(&mdev->list, &mdev_head);
 264         mutex_unlock(&vdpa_dev_mutex);
 265         return 0;
 266 }
 267 EXPORT_SYMBOL_GPL(vdpa_mgmtdev_register);
 268
 269 static int vdpa_match_remove(struct device *dev, void *data)
 270 {
 271         struct vdpa_device *vdev = container_of(dev, struct vdpa_device, dev);
 272         struct vdpa_mgmt_dev *mdev = vdev->mdev;
 273
 274         if (mdev == data)
 275                 mdev->ops->dev_del(mdev, vdev);
 276         return 0;
 277 }
 278
 279 void vdpa_mgmtdev_unregister(struct vdpa_mgmt_dev *mdev)
 280 {
 281         mutex_lock(&vdpa_dev_mutex);
 282
 283         list_del(&mdev->list);
 284
 285         /* Filter out all the entries belong to this management device and delete it. */
 286         bus_for_each_dev(&vdpa_bus, NULL, mdev, vdpa_match_remove);
 287
 288         mutex_unlock(&vdpa_dev_mutex);
 289 }
 290 EXPORT_SYMBOL_GPL(vdpa_mgmtdev_unregister);
 291
 292 static bool mgmtdev_handle_match(const struct vdpa_mgmt_dev *mdev,
 293                                  const char *busname, const char *devname)
 294 {
 295         /* Bus name is optional for simulated management device, so ignore the
 296          * device with bus if bus attribute is provided.
 297          */
 298         if ((busname && !mdev->device->bus) || (!busname && mdev->device->bus))
 299                 return false;
 300
 301         if (!busname && strcmp(dev_name(mdev->device), devname) == 0)
 302                 return true;
 303
 304         if (busname && (strcmp(mdev->device->bus->name, busname) == 0) &&
 305             (strcmp(dev_name(mdev->device), devname) == 0))
 306                 return true;
 307
 308         return false;
 309 }
 310
 311 static struct vdpa_mgmt_dev *vdpa_mgmtdev_get_from_attr(struct nlattr **attrs)
 312 {
 313         struct vdpa_mgmt_dev *mdev;
 314         const char *busname = NULL;
 315         const char *devname;
 316
 317         if (!attrs[VDPA_ATTR_MGMTDEV_DEV_NAME])
 318                 return ERR_PTR(-EINVAL);
 319         devname = nla_data(attrs[VDPA_ATTR_MGMTDEV_DEV_NAME]);
 320         if (attrs[VDPA_ATTR_MGMTDEV_BUS_NAME])
 321                 busname = nla_data(attrs[VDPA_ATTR_MGMTDEV_BUS_NAME]);
 322
 323         list_for_each_entry(mdev, &mdev_head, list) {
 324                 if (mgmtdev_handle_match(mdev, busname, devname))
 325                         return mdev;
 326         }
 327         return ERR_PTR(-ENODEV);
 328 }
 329
 330 static int vdpa_nl_mgmtdev_handle_fill(struct sk_buff *msg, const struct vdpa_mgmt_dev *mdev)
 331 {
 332         if (mdev->device->bus &&
 333             nla_put_string(msg, VDPA_ATTR_MGMTDEV_BUS_NAME, mdev->device->bus->name))
 334                 return -EMSGSIZE;
 335         if (nla_put_string(msg, VDPA_ATTR_MGMTDEV_DEV_NAME, dev_name(mdev->device)))
 336                 return -EMSGSIZE;
 337         return 0;
 338 }
 339
 340 static int vdpa_mgmtdev_fill(const struct vdpa_mgmt_dev *mdev, struct sk_buff *msg,
 341                              u32 portid, u32 seq, int flags)
 342 {
 343         u64 supported_classes = 0;
 344         void *hdr;
 345         int i = 0;
 346         int err;
 347
 348         hdr = genlmsg_put(msg, portid, seq, &vdpa_nl_family, flags, VDPA_CMD_MGMTDEV_NEW);
 349         if (!hdr)
 350                 return -EMSGSIZE;
 351         err = vdpa_nl_mgmtdev_handle_fill(msg, mdev);
 352         if (err)
 353                 goto msg_err;
 354
 355         while (mdev->id_table[i].device) {
 356                 if (mdev->id_table[i].device <= 63)
 357                         supported_classes |= BIT_ULL(mdev->id_table[i].device);
 358                 i++;
 359         }
 360
 361         if (nla_put_u64_64bit(msg, VDPA_ATTR_MGMTDEV_SUPPORTED_CLASSES,
 362                               supported_classes, VDPA_ATTR_UNSPEC)) {
 363                 err = -EMSGSIZE;
 364                 goto msg_err;
 365         }
 366
 367         genlmsg_end(msg, hdr);
 368         return 0;
 369
 370 msg_err:
 371         genlmsg_cancel(msg, hdr);
 372         return err;
 373 }
 374
 375 static int vdpa_nl_cmd_mgmtdev_get_doit(struct sk_buff *skb, struct genl_info *info)
 376 {
 377         struct vdpa_mgmt_dev *mdev;
 378         struct sk_buff *msg;
 379         int err;
 380
 381         msg = nlmsg_new(NLMSG_DEFAULT_SIZE, GFP_KERNEL);
 382         if (!msg)
 383                 return -ENOMEM;
 384
 385         mutex_lock(&vdpa_dev_mutex);
 386         mdev = vdpa_mgmtdev_get_from_attr(info->attrs);
 387         if (IS_ERR(mdev)) {
 388                 mutex_unlock(&vdpa_dev_mutex);
 389                 NL_SET_ERR_MSG_MOD(info->extack, "Fail to find the specified mgmt device");
 390                 err = PTR_ERR(mdev);
 391                 goto out;
 392         }
 393
 394         err = vdpa_mgmtdev_fill(mdev, msg, info->snd_portid, info->snd_seq, 0);
 395         mutex_unlock(&vdpa_dev_mutex);
 396         if (err)
 397                 goto out;
 398         err = genlmsg_reply(msg, info);
 399         return err;
 400
 401 out:
 402         nlmsg_free(msg);
 403         return err;
 404 }
 405
 406 static int
 407 vdpa_nl_cmd_mgmtdev_get_dumpit(struct sk_buff *msg, struct netlink_callback *cb)
 408 {
 409         struct vdpa_mgmt_dev *mdev;
 410         int start = cb->args[0];
 411         int idx = 0;
 412         int err;
 413
 414         mutex_lock(&vdpa_dev_mutex);
 415         list_for_each_entry(mdev, &mdev_head, list) {
 416                 if (idx < start) {
 417                         idx++;
 418                         continue;
 419                 }
 420                 err = vdpa_mgmtdev_fill(mdev, msg, NETLINK_CB(cb->skb).portid,
 421                                         cb->nlh->nlmsg_seq, NLM_F_MULTI);
 422                 if (err)
 423                         goto out;
 424                 idx++;
 425         }
 426 out:
 427         mutex_unlock(&vdpa_dev_mutex);
 428         cb->args[0] = idx;
 429         return msg->len;
 430 }
 431
 432 static int vdpa_nl_cmd_dev_add_set_doit(struct sk_buff *skb, struct genl_info *info)
 433 {
 434         struct vdpa_mgmt_dev *mdev;
 435         const char *name;
 436         int err = 0;
 437
 438         if (!info->attrs[VDPA_ATTR_DEV_NAME])
 439                 return -EINVAL;
 440
 441         name = nla_data(info->attrs[VDPA_ATTR_DEV_NAME]);
 442
 443         mutex_lock(&vdpa_dev_mutex);
 444         mdev = vdpa_mgmtdev_get_from_attr(info->attrs);
 445         if (IS_ERR(mdev)) {
 446                 NL_SET_ERR_MSG_MOD(info->extack, "Fail to find the specified management device");
 447                 err = PTR_ERR(mdev);
 448                 goto err;
 449         }
 450
 451         err = mdev->ops->dev_add(mdev, name);
 452 err:
 453         mutex_unlock(&vdpa_dev_mutex);
 454         return err;
 455 }
 456
 457 static int vdpa_nl_cmd_dev_del_set_doit(struct sk_buff *skb, struct genl_info *info)
 458 {
 459         struct vdpa_mgmt_dev *mdev;
 460         struct vdpa_device *vdev;
 461         struct device *dev;
 462         const char *name;
 463         int err = 0;
 464
 465         if (!info->attrs[VDPA_ATTR_DEV_NAME])
 466                 return -EINVAL;
 467         name = nla_data(info->attrs[VDPA_ATTR_DEV_NAME]);
 468
 469         mutex_lock(&vdpa_dev_mutex);
 470         dev = bus_find_device(&vdpa_bus, NULL, name, vdpa_name_match);
 471         if (!dev) {
 472                 NL_SET_ERR_MSG_MOD(info->extack, "device not found");
 473                 err = -ENODEV;
 474                 goto dev_err;
 475         }
 476         vdev = container_of(dev, struct vdpa_device, dev);
 477         if (!vdev->mdev) {
 478                 NL_SET_ERR_MSG_MOD(info->extack, "Only user created device can be deleted by user");
 479                 err = -EINVAL;
 480                 goto mdev_err;
 481         }
 482         mdev = vdev->mdev;
 483         mdev->ops->dev_del(mdev, vdev);
 484 mdev_err:
 485         put_device(dev);
 486 dev_err:
 487         mutex_unlock(&vdpa_dev_mutex);
 488         return err;
 489 }
 490
 491 static int
 492 vdpa_dev_fill(struct vdpa_device *vdev, struct sk_buff *msg, u32 portid, u32 seq,
 493               int flags, struct netlink_ext_ack *extack)
 494 {
 495         u16 max_vq_size;
 496         u32 device_id;
 497         u32 vendor_id;
 498         void *hdr;
 499         int err;
 500
 501         hdr = genlmsg_put(msg, portid, seq, &vdpa_nl_family, flags, VDPA_CMD_DEV_NEW);
 502         if (!hdr)
 503                 return -EMSGSIZE;
 504
 505         err = vdpa_nl_mgmtdev_handle_fill(msg, vdev->mdev);
 506         if (err)
 507                 goto msg_err;
 508
 509         device_id = vdev->config->get_device_id(vdev);
 510         vendor_id = vdev->config->get_vendor_id(vdev);
 511         max_vq_size = vdev->config->get_vq_num_max(vdev);
 512
 513         err = -EMSGSIZE;
 514         if (nla_put_string(msg, VDPA_ATTR_DEV_NAME, dev_name(&vdev->dev)))
 515                 goto msg_err;
 516         if (nla_put_u32(msg, VDPA_ATTR_DEV_ID, device_id))
 517                 goto msg_err;
 518         if (nla_put_u32(msg, VDPA_ATTR_DEV_VENDOR_ID, vendor_id))
 519                 goto msg_err;
 520         if (nla_put_u32(msg, VDPA_ATTR_DEV_MAX_VQS, vdev->nvqs))
 521                 goto msg_err;
 522         if (nla_put_u16(msg, VDPA_ATTR_DEV_MAX_VQ_SIZE, max_vq_size))
 523                 goto msg_err;
 524
 525         genlmsg_end(msg, hdr);
 526         return 0;
 527
 528 msg_err:
 529         genlmsg_cancel(msg, hdr);
 530         return err;
 531 }
 532
 533 static int vdpa_nl_cmd_dev_get_doit(struct sk_buff *skb, struct genl_info *info)
 534 {
 535         struct vdpa_device *vdev;
 536         struct sk_buff *msg;
 537         const char *devname;
 538         struct device *dev;
 539         int err;
 540
 541         if (!info->attrs[VDPA_ATTR_DEV_NAME])
 542                 return -EINVAL;
 543         devname = nla_data(info->attrs[VDPA_ATTR_DEV_NAME]);
 544         msg = nlmsg_new(NLMSG_DEFAULT_SIZE, GFP_KERNEL);
 545         if (!msg)
 546                 return -ENOMEM;
 547
 548         mutex_lock(&vdpa_dev_mutex);
 549         dev = bus_find_device(&vdpa_bus, NULL, devname, vdpa_name_match);
 550         if (!dev) {
 551                 NL_SET_ERR_MSG_MOD(info->extack, "device not found");
 552                 err = -ENODEV;
 553                 goto err;
 554         }
 555         vdev = container_of(dev, struct vdpa_device, dev);
 556         if (!vdev->mdev) {
 557                 err = -EINVAL;
 558                 goto mdev_err;
 559         }
 560         err = vdpa_dev_fill(vdev, msg, info->snd_portid, info->snd_seq, 0, info->extack);
 561         if (err)
 562                 goto mdev_err;
 563
 564         err = genlmsg_reply(msg, info);
 565         put_device(dev);
 566         mutex_unlock(&vdpa_dev_mutex);
 567         return err;
 568
 569 mdev_err:
 570         put_device(dev);
 571 err:
 572         mutex_unlock(&vdpa_dev_mutex);
 573         nlmsg_free(msg);
 574         return err;
 575 }
 576
 577 struct vdpa_dev_dump_info {
 578         struct sk_buff *msg;
 579         struct netlink_callback *cb;
 580         int start_idx;
 581         int idx;
 582 };
 583
 584 static int vdpa_dev_dump(struct device *dev, void *data)
 585 {
 586         struct vdpa_device *vdev = container_of(dev, struct vdpa_device, dev);
 587         struct vdpa_dev_dump_info *info = data;
 588         int err;
 589
 590         if (!vdev->mdev)
 591                 return 0;
 592         if (info->idx < info->start_idx) {
 593                 info->idx++;
 594                 return 0;
 595         }
 596         err = vdpa_dev_fill(vdev, info->msg, NETLINK_CB(info->cb->skb).portid,
 597                             info->cb->nlh->nlmsg_seq, NLM_F_MULTI, info->cb->extack);
 598         if (err)
 599                 return err;
 600
 601         info->idx++;
 602         return 0;
 603 }
 604
 605 static int vdpa_nl_cmd_dev_get_dumpit(struct sk_buff *msg, struct netlink_callback *cb)
 606 {
 607         struct vdpa_dev_dump_info info;
 608
 609         info.msg = msg;
 610         info.cb = cb;
 611         info.start_idx = cb->args[0];
 612         info.idx = 0;
 613
 614         mutex_lock(&vdpa_dev_mutex);
 615         bus_for_each_dev(&vdpa_bus, NULL, &info, vdpa_dev_dump);
 616         mutex_unlock(&vdpa_dev_mutex);
 617         cb->args[0] = info.idx;
 618         return msg->len;
 619 }
 620
 621 static const struct nla_policy vdpa_nl_policy[VDPA_ATTR_MAX + 1] = {
 622         [VDPA_ATTR_MGMTDEV_BUS_NAME] = { .type = NLA_NUL_STRING },
 623         [VDPA_ATTR_MGMTDEV_DEV_NAME] = { .type = NLA_STRING },
 624         [VDPA_ATTR_DEV_NAME] = { .type = NLA_STRING },
 625 };
 626
 627 static const struct genl_ops vdpa_nl_ops[] = {
 628         {
 629                 .cmd = VDPA_CMD_MGMTDEV_GET,
 630                 .validate = GENL_DONT_VALIDATE_STRICT | GENL_DONT_VALIDATE_DUMP,
 631                 .doit = vdpa_nl_cmd_mgmtdev_get_doit,
 632                 .dumpit = vdpa_nl_cmd_mgmtdev_get_dumpit,
 633         },
 634         {
 635                 .cmd = VDPA_CMD_DEV_NEW,
 636                 .validate = GENL_DONT_VALIDATE_STRICT | GENL_DONT_VALIDATE_DUMP,
 637                 .doit = vdpa_nl_cmd_dev_add_set_doit,
 638                 .flags = GENL_ADMIN_PERM,
 639         },
 640         {
 641                 .cmd = VDPA_CMD_DEV_DEL,
 642                 .validate = GENL_DONT_VALIDATE_STRICT | GENL_DONT_VALIDATE_DUMP,
 643                 .doit = vdpa_nl_cmd_dev_del_set_doit,
 644                 .flags = GENL_ADMIN_PERM,
 645         },
 646         {
 647                 .cmd = VDPA_CMD_DEV_GET,
 648                 .validate = GENL_DONT_VALIDATE_STRICT | GENL_DONT_VALIDATE_DUMP,
 649                 .doit = vdpa_nl_cmd_dev_get_doit,
 650                 .dumpit = vdpa_nl_cmd_dev_get_dumpit,
 651         },
 652 };
 653
 654 static struct genl_family vdpa_nl_family __ro_after_init = {
 655         .name = VDPA_GENL_NAME,
 656         .version = VDPA_GENL_VERSION,
 657         .maxattr = VDPA_ATTR_MAX,
 658         .policy = vdpa_nl_policy,
 659         .netnsok = false,
 660         .module = THIS_MODULE,
 661         .ops = vdpa_nl_ops,
 662         .n_ops = ARRAY_SIZE(vdpa_nl_ops),
 663 };
 664
 665 static int vdpa_init(void)
 666 {
 667         int err;
 668
 669         err = bus_register(&vdpa_bus);
 670         if (err)
 671                 return err;
 672         err = genl_register_family(&vdpa_nl_family);
 673         if (err)
 674                 goto err;
 675         return 0;
 676
 677 err:
 678         bus_unregister(&vdpa_bus);
 679         return err;
 680 }
 681
 682 static void __exit vdpa_exit(void)
 683 {
 684         genl_unregister_family(&vdpa_nl_family);
 685         bus_unregister(&vdpa_bus);
 686         ida_destroy(&vdpa_index_ida);
 687 }
 688 core_initcall(vdpa_init);
 689 module_exit(vdpa_exit);
 690
 691 MODULE_AUTHOR("Jason Wang <jasowang@redhat.com>");
 692 MODULE_LICENSE("GPL v2");