drivers/infiniband/hw/usnic/usnic_vnic.c

   1 /*
   2  * Copyright (c) 2013, Cisco Systems, Inc. All rights reserved.
   3  *
   4  * This software is available to you under a choice of one of two
   5  * licenses.  You may choose to be licensed under the terms of the GNU
   6  * General Public License (GPL) Version 2, available from the file
   7  * COPYING in the main directory of this source tree, or the
   8  * BSD license below:
   9  *
  10  *     Redistribution and use in source and binary forms, with or
  11  *     without modification, are permitted provided that the following
  12  *     conditions are met:
  13  *
  14  *      - Redistributions of source code must retain the above
  15  *        copyright notice, this list of conditions and the following
  16  *        disclaimer.
  17  *
  18  *      - Redistributions in binary form must reproduce the above
  19  *        copyright notice, this list of conditions and the following
  20  *        disclaimer in the documentation and/or other materials
  21  *        provided with the distribution.
  22  *
  23  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  24  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  25  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  26  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  27  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  28  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  29  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  30  * SOFTWARE.
  31  *
  32  */
  33 #include <linux/errno.h>
  34 #include <linux/module.h>
  35 #include <linux/pci.h>
  36
  37 #include "usnic_ib.h"
  38 #include "vnic_resource.h"
  39 #include "usnic_log.h"
  40 #include "usnic_vnic.h"
  41
  42 struct usnic_vnic {
  43         struct vnic_dev                 *vdev;
  44         struct vnic_dev_bar             bar[PCI_NUM_RESOURCES];
  45         struct usnic_vnic_res_chunk     chunks[USNIC_VNIC_RES_TYPE_MAX];
  46         spinlock_t                      res_lock;
  47 };
  48
  49 static enum vnic_res_type _to_vnic_res_type(enum usnic_vnic_res_type res_type)
  50 {
  51 #define DEFINE_USNIC_VNIC_RES_AT(usnic_vnic_res_t, vnic_res_type, desc, val) \
  52                 vnic_res_type,
  53 #define DEFINE_USNIC_VNIC_RES(usnic_vnic_res_t, vnic_res_type, desc) \
  54                 vnic_res_type,
  55         static enum vnic_res_type usnic_vnic_type_2_vnic_type[] = {
  56                                                 USNIC_VNIC_RES_TYPES};
  57 #undef DEFINE_USNIC_VNIC_RES
  58 #undef DEFINE_USNIC_VNIC_RES_AT
  59
  60         if (res_type >= USNIC_VNIC_RES_TYPE_MAX)
  61                 return RES_TYPE_MAX;
  62
  63         return usnic_vnic_type_2_vnic_type[res_type];
  64 }
  65
  66 const char *usnic_vnic_res_type_to_str(enum usnic_vnic_res_type res_type)
  67 {
  68 #define DEFINE_USNIC_VNIC_RES_AT(usnic_vnic_res_t, vnic_res_type, desc, val) \
  69                 desc,
  70 #define DEFINE_USNIC_VNIC_RES(usnic_vnic_res_t, vnic_res_type, desc) \
  71                 desc,
  72         static const char * const usnic_vnic_res_type_desc[] = {
  73                                                 USNIC_VNIC_RES_TYPES};
  74 #undef DEFINE_USNIC_VNIC_RES
  75 #undef DEFINE_USNIC_VNIC_RES_AT
  76
  77         if (res_type >= USNIC_VNIC_RES_TYPE_MAX)
  78                 return "unknown";
  79
  80         return usnic_vnic_res_type_desc[res_type];
  81
  82 }
  83
  84 const char *usnic_vnic_pci_name(struct usnic_vnic *vnic)
  85 {
  86         return pci_name(usnic_vnic_get_pdev(vnic));
  87 }
  88
  89 int usnic_vnic_dump(struct usnic_vnic *vnic, char *buf,
  90                         int buf_sz,
  91                         void *hdr_obj,
  92                         int (*printtitle)(void *, char*, int),
  93                         int (*printcols)(char *, int),
  94                         int (*printrow)(void *, char *, int))
  95 {
  96         struct usnic_vnic_res_chunk *chunk;
  97         struct usnic_vnic_res *res;
  98         struct vnic_dev_bar *bar0;
  99         int i, j, offset;
 100
 101         offset = 0;
 102         bar0 = usnic_vnic_get_bar(vnic, 0);
 103         offset += scnprintf(buf + offset, buf_sz - offset,
 104                         "VF:%hu BAR0 bus_addr=%pa vaddr=0x%p size=%ld ",
 105                         usnic_vnic_get_index(vnic),
 106                         &bar0->bus_addr,
 107                         bar0->vaddr, bar0->len);
 108         if (printtitle)
 109                 offset += printtitle(hdr_obj, buf + offset, buf_sz - offset);
 110         offset += scnprintf(buf + offset, buf_sz - offset, "\n");
 111         offset += scnprintf(buf + offset, buf_sz - offset,
 112                         "|RES\t|CTRL_PIN\t\t|IN_USE\t");
 113         if (printcols)
 114                 offset += printcols(buf + offset, buf_sz - offset);
 115         offset += scnprintf(buf + offset, buf_sz - offset, "\n");
 116
 117         spin_lock(&vnic->res_lock);
 118         for (i = 0; i < ARRAY_SIZE(vnic->chunks); i++) {
 119                 chunk = &vnic->chunks[i];
 120                 for (j = 0; j < chunk->cnt; j++) {
 121                         res = chunk->res[j];
 122                         offset += scnprintf(buf + offset, buf_sz - offset,
 123                                         "|%s[%u]\t|0x%p\t|%u\t",
 124                                         usnic_vnic_res_type_to_str(res->type),
 125                                         res->vnic_idx, res->ctrl, !!res->owner);
 126                         if (printrow) {
 127                                 offset += printrow(res->owner, buf + offset,
 128                                                         buf_sz - offset);
 129                         }
 130                         offset += scnprintf(buf + offset, buf_sz - offset,
 131                                                 "\n");
 132                 }
 133         }
 134         spin_unlock(&vnic->res_lock);
 135         return offset;
 136 }
 137
 138 void usnic_vnic_res_spec_update(struct usnic_vnic_res_spec *spec,
 139                                 enum usnic_vnic_res_type trgt_type,
 140                                 u16 cnt)
 141 {
 142         int i;
 143
 144         for (i = 0; i < USNIC_VNIC_RES_TYPE_MAX; i++) {
 145                 if (spec->resources[i].type == trgt_type) {
 146                         spec->resources[i].cnt = cnt;
 147                         return;
 148                 }
 149         }
 150
 151         WARN_ON(1);
 152 }
 153
 154 int usnic_vnic_res_spec_satisfied(const struct usnic_vnic_res_spec *min_spec,
 155                                         struct usnic_vnic_res_spec *res_spec)
 156 {
 157         int found, i, j;
 158
 159         for (i = 0; i < USNIC_VNIC_RES_TYPE_MAX; i++) {
 160                 found = 0;
 161
 162                 for (j = 0; j < USNIC_VNIC_RES_TYPE_MAX; j++) {
 163                         if (res_spec->resources[i].type !=
 164                                 min_spec->resources[i].type)
 165                                 continue;
 166                         found = 1;
 167                         if (min_spec->resources[i].cnt >
 168                                         res_spec->resources[i].cnt)
 169                                 return -EINVAL;
 170                         break;
 171                 }
 172
 173                 if (!found)
 174                         return -EINVAL;
 175         }
 176         return 0;
 177 }
 178
 179 int usnic_vnic_spec_dump(char *buf, int buf_sz,
 180                                 struct usnic_vnic_res_spec *res_spec)
 181 {
 182         enum usnic_vnic_res_type res_type;
 183         int res_cnt;
 184         int i;
 185         int offset = 0;
 186
 187         for (i = 0; i < USNIC_VNIC_RES_TYPE_MAX; i++) {
 188                 res_type = res_spec->resources[i].type;
 189                 res_cnt = res_spec->resources[i].cnt;
 190                 offset += scnprintf(buf + offset, buf_sz - offset,
 191                                 "Res: %s Cnt: %d ",
 192                                 usnic_vnic_res_type_to_str(res_type),
 193                                 res_cnt);
 194         }
 195
 196         return offset;
 197 }
 198
 199 int usnic_vnic_check_room(struct usnic_vnic *vnic,
 200                                 struct usnic_vnic_res_spec *res_spec)
 201 {
 202         int i;
 203         enum usnic_vnic_res_type res_type;
 204         int res_cnt;
 205
 206         for (i = 0; i < USNIC_VNIC_RES_TYPE_MAX; i++) {
 207                 res_type = res_spec->resources[i].type;
 208                 res_cnt = res_spec->resources[i].cnt;
 209
 210                 if (res_type == USNIC_VNIC_RES_TYPE_EOL)
 211                         break;
 212
 213                 if (res_cnt > usnic_vnic_res_free_cnt(vnic, res_type))
 214                         return -EBUSY;
 215         }
 216
 217         return 0;
 218 }
 219
 220 int usnic_vnic_res_cnt(struct usnic_vnic *vnic,
 221                                 enum usnic_vnic_res_type type)
 222 {
 223         return vnic->chunks[type].cnt;
 224 }
 225
 226 int usnic_vnic_res_free_cnt(struct usnic_vnic *vnic,
 227                                 enum usnic_vnic_res_type type)
 228 {
 229         return vnic->chunks[type].free_cnt;
 230 }
 231
 232 struct usnic_vnic_res_chunk *
 233 usnic_vnic_get_resources(struct usnic_vnic *vnic, enum usnic_vnic_res_type type,
 234                                 int cnt, void *owner)
 235 {
 236         struct usnic_vnic_res_chunk *src, *ret;
 237         struct usnic_vnic_res *res;
 238         int i;
 239
 240         if (usnic_vnic_res_free_cnt(vnic, type) < cnt || cnt < 0 || !owner)
 241                 return ERR_PTR(-EINVAL);
 242
 243         ret = kzalloc(sizeof(*ret), GFP_ATOMIC);
 244         if (!ret) {
 245                 usnic_err("Failed to allocate chunk for %s - Out of memory\n",
 246                                 usnic_vnic_pci_name(vnic));
 247                 return ERR_PTR(-ENOMEM);
 248         }
 249
 250         if (cnt > 0) {
 251                 ret->res = kcalloc(cnt, sizeof(*(ret->res)), GFP_ATOMIC);
 252                 if (!ret->res) {
 253                         usnic_err("Failed to allocate resources for %s. Out of memory\n",
 254                                         usnic_vnic_pci_name(vnic));
 255                         kfree(ret);
 256                         return ERR_PTR(-ENOMEM);
 257                 }
 258
 259                 spin_lock(&vnic->res_lock);
 260                 src = &vnic->chunks[type];
 261                 for (i = 0; i < src->cnt && ret->cnt < cnt; i++) {
 262                         res = src->res[i];
 263                         if (!res->owner) {
 264                                 src->free_cnt--;
 265                                 res->owner = owner;
 266                                 ret->res[ret->cnt++] = res;
 267                         }
 268                 }
 269
 270                 spin_unlock(&vnic->res_lock);
 271         }
 272         ret->type = type;
 273         ret->vnic = vnic;
 274         WARN_ON(ret->cnt != cnt);
 275
 276         return ret;
 277 }
 278
 279 void usnic_vnic_put_resources(struct usnic_vnic_res_chunk *chunk)
 280 {
 281
 282         struct usnic_vnic_res *res;
 283         int i;
 284         struct usnic_vnic *vnic = chunk->vnic;
 285
 286         if (chunk->cnt > 0) {
 287                 spin_lock(&vnic->res_lock);
 288                 while ((i = --chunk->cnt) >= 0) {
 289                         res = chunk->res[i];
 290                         chunk->res[i] = NULL;
 291                         res->owner = NULL;
 292                         vnic->chunks[res->type].free_cnt++;
 293                 }
 294                 spin_unlock(&vnic->res_lock);
 295         }
 296
 297         kfree(chunk->res);
 298         kfree(chunk);
 299 }
 300
 301 u16 usnic_vnic_get_index(struct usnic_vnic *vnic)
 302 {
 303         return usnic_vnic_get_pdev(vnic)->devfn - 1;
 304 }
 305
 306 static int usnic_vnic_alloc_res_chunk(struct usnic_vnic *vnic,
 307                                         enum usnic_vnic_res_type type,
 308                                         struct usnic_vnic_res_chunk *chunk)
 309 {
 310         int cnt, err, i;
 311         struct usnic_vnic_res *res;
 312
 313         cnt = vnic_dev_get_res_count(vnic->vdev, _to_vnic_res_type(type));
 314         if (cnt < 1)
 315                 return -EINVAL;
 316
 317         chunk->cnt = chunk->free_cnt = cnt;
 318         chunk->res = kzalloc(sizeof(*(chunk->res))*cnt, GFP_KERNEL);
 319         if (!chunk->res)
 320                 return -ENOMEM;
 321
 322         for (i = 0; i < cnt; i++) {
 323                 res = kzalloc(sizeof(*res), GFP_KERNEL);
 324                 if (!res) {
 325                         err = -ENOMEM;
 326                         goto fail;
 327                 }
 328                 res->type = type;
 329                 res->vnic_idx = i;
 330                 res->vnic = vnic;
 331                 res->ctrl = vnic_dev_get_res(vnic->vdev,
 332                                                 _to_vnic_res_type(type), i);
 333                 chunk->res[i] = res;
 334         }
 335
 336         chunk->vnic = vnic;
 337         return 0;
 338 fail:
 339         for (i--; i >= 0; i--)
 340                 kfree(chunk->res[i]);
 341         kfree(chunk->res);
 342         return err;
 343 }
 344
 345 static void usnic_vnic_free_res_chunk(struct usnic_vnic_res_chunk *chunk)
 346 {
 347         int i;
 348         for (i = 0; i < chunk->cnt; i++)
 349                 kfree(chunk->res[i]);
 350         kfree(chunk->res);
 351 }
 352
 353 static int usnic_vnic_discover_resources(struct pci_dev *pdev,
 354                                                 struct usnic_vnic *vnic)
 355 {
 356         enum usnic_vnic_res_type res_type;
 357         int i;
 358         int err = 0;
 359
 360         for (i = 0; i < ARRAY_SIZE(vnic->bar); i++) {
 361                 if (!(pci_resource_flags(pdev, i) & IORESOURCE_MEM))
 362                         continue;
 363                 vnic->bar[i].len = pci_resource_len(pdev, i);
 364                 vnic->bar[i].vaddr = pci_iomap(pdev, i, vnic->bar[i].len);
 365                 if (!vnic->bar[i].vaddr) {
 366                         usnic_err("Cannot memory-map BAR %d, aborting\n",
 367                                         i);
 368                         err = -ENODEV;
 369                         goto out_clean_bar;
 370                 }
 371                 vnic->bar[i].bus_addr = pci_resource_start(pdev, i);
 372         }
 373
 374         vnic->vdev = vnic_dev_register(NULL, pdev, pdev, vnic->bar,
 375                         ARRAY_SIZE(vnic->bar));
 376         if (!vnic->vdev) {
 377                 usnic_err("Failed to register device %s\n",
 378                                 pci_name(pdev));
 379                 err = -EINVAL;
 380                 goto out_clean_bar;
 381         }
 382
 383         for (res_type = USNIC_VNIC_RES_TYPE_EOL + 1;
 384                         res_type < USNIC_VNIC_RES_TYPE_MAX; res_type++) {
 385                 err = usnic_vnic_alloc_res_chunk(vnic, res_type,
 386                                                 &vnic->chunks[res_type]);
 387                 if (err) {
 388                         usnic_err("Failed to alloc res %s with err %d\n",
 389                                         usnic_vnic_res_type_to_str(res_type),
 390                                         err);
 391                         goto out_clean_chunks;
 392                 }
 393         }
 394
 395         return 0;
 396
 397 out_clean_chunks:
 398         for (res_type--; res_type > USNIC_VNIC_RES_TYPE_EOL; res_type--)
 399                 usnic_vnic_free_res_chunk(&vnic->chunks[res_type]);
 400         vnic_dev_unregister(vnic->vdev);
 401 out_clean_bar:
 402         for (i = 0; i < ARRAY_SIZE(vnic->bar); i++) {
 403                 if (!(pci_resource_flags(pdev, i) & IORESOURCE_MEM))
 404                         continue;
 405                 if (!vnic->bar[i].vaddr)
 406                         break;
 407
 408                 iounmap(vnic->bar[i].vaddr);
 409         }
 410
 411         return err;
 412 }
 413
 414 struct pci_dev *usnic_vnic_get_pdev(struct usnic_vnic *vnic)
 415 {
 416         return vnic_dev_get_pdev(vnic->vdev);
 417 }
 418
 419 struct vnic_dev_bar *usnic_vnic_get_bar(struct usnic_vnic *vnic,
 420                                 int bar_num)
 421 {
 422         return (bar_num < ARRAY_SIZE(vnic->bar)) ? &vnic->bar[bar_num] : NULL;
 423 }
 424
 425 static void usnic_vnic_release_resources(struct usnic_vnic *vnic)
 426 {
 427         int i;
 428         struct pci_dev *pdev;
 429         enum usnic_vnic_res_type res_type;
 430
 431         pdev = usnic_vnic_get_pdev(vnic);
 432
 433         for (res_type = USNIC_VNIC_RES_TYPE_EOL + 1;
 434                         res_type < USNIC_VNIC_RES_TYPE_MAX; res_type++)
 435                 usnic_vnic_free_res_chunk(&vnic->chunks[res_type]);
 436
 437         vnic_dev_unregister(vnic->vdev);
 438
 439         for (i = 0; i < ARRAY_SIZE(vnic->bar); i++) {
 440                 if (!(pci_resource_flags(pdev, i) & IORESOURCE_MEM))
 441                         continue;
 442                 iounmap(vnic->bar[i].vaddr);
 443         }
 444 }
 445
 446 struct usnic_vnic *usnic_vnic_alloc(struct pci_dev *pdev)
 447 {
 448         struct usnic_vnic *vnic;
 449         int err = 0;
 450
 451         if (!pci_is_enabled(pdev)) {
 452                 usnic_err("PCI dev %s is disabled\n", pci_name(pdev));
 453                 return ERR_PTR(-EINVAL);
 454         }
 455
 456         vnic = kzalloc(sizeof(*vnic), GFP_KERNEL);
 457         if (!vnic) {
 458                 usnic_err("Failed to alloc vnic for %s - out of memory\n",
 459                                 pci_name(pdev));
 460                 return ERR_PTR(-ENOMEM);
 461         }
 462
 463         spin_lock_init(&vnic->res_lock);
 464
 465         err = usnic_vnic_discover_resources(pdev, vnic);
 466         if (err) {
 467                 usnic_err("Failed to discover %s resources with err %d\n",
 468                                 pci_name(pdev), err);
 469                 goto out_free_vnic;
 470         }
 471
 472         usnic_dbg("Allocated vnic for %s\n", usnic_vnic_pci_name(vnic));
 473
 474         return vnic;
 475
 476 out_free_vnic:
 477         kfree(vnic);
 478
 479         return ERR_PTR(err);
 480 }
 481
 482 void usnic_vnic_free(struct usnic_vnic *vnic)
 483 {
 484         usnic_vnic_release_resources(vnic);
 485         kfree(vnic);
 486 }