net/9p/client.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  * net/9p/clnt.c
   4  *
   5  * 9P Client
   6  *
   7  *  Copyright (C) 2008 by Eric Van Hensbergen <ericvh@gmail.com>
   8  *  Copyright (C) 2007 by Latchesar Ionkov <lucho@ionkov.net>
   9  */
  10
  11 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
  12
  13 #include <linux/module.h>
  14 #include <linux/errno.h>
  15 #include <linux/fs.h>
  16 #include <linux/poll.h>
  17 #include <linux/idr.h>
  18 #include <linux/mutex.h>
  19 #include <linux/slab.h>
  20 #include <linux/sched/signal.h>
  21 #include <linux/uaccess.h>
  22 #include <linux/uio.h>
  23 #include <net/9p/9p.h>
  24 #include <linux/parser.h>
  25 #include <linux/seq_file.h>
  26 #include <net/9p/client.h>
  27 #include <net/9p/transport.h>
  28 #include "protocol.h"
  29
  30 #define CREATE_TRACE_POINTS
  31 #include <trace/events/9p.h>
  32
  33 #define DEFAULT_MSIZE (128 * 1024)
  34
  35 /* Client Option Parsing (code inspired by NFS code)
  36  *  - a little lazy - parse all client options
  37  */
  38
  39 enum {
  40         Opt_msize,
  41         Opt_trans,
  42         Opt_legacy,
  43         Opt_version,
  44         Opt_err,
  45 };
  46
  47 static const match_table_t tokens = {
  48         {Opt_msize, "msize=%u"},
  49         {Opt_legacy, "noextend"},
  50         {Opt_trans, "trans=%s"},
  51         {Opt_version, "version=%s"},
  52         {Opt_err, NULL},
  53 };
  54
  55 inline int p9_is_proto_dotl(struct p9_client *clnt)
  56 {
  57         return clnt->proto_version == p9_proto_2000L;
  58 }
  59 EXPORT_SYMBOL(p9_is_proto_dotl);
  60
  61 inline int p9_is_proto_dotu(struct p9_client *clnt)
  62 {
  63         return clnt->proto_version == p9_proto_2000u;
  64 }
  65 EXPORT_SYMBOL(p9_is_proto_dotu);
  66
  67 int p9_show_client_options(struct seq_file *m, struct p9_client *clnt)
  68 {
  69         if (clnt->msize != DEFAULT_MSIZE)
  70                 seq_printf(m, ",msize=%u", clnt->msize);
  71         seq_printf(m, ",trans=%s", clnt->trans_mod->name);
  72
  73         switch (clnt->proto_version) {
  74         case p9_proto_legacy:
  75                 seq_puts(m, ",noextend");
  76                 break;
  77         case p9_proto_2000u:
  78                 seq_puts(m, ",version=9p2000.u");
  79                 break;
  80         case p9_proto_2000L:
  81                 /* Default */
  82                 break;
  83         }
  84
  85         if (clnt->trans_mod->show_options)
  86                 return clnt->trans_mod->show_options(m, clnt);
  87         return 0;
  88 }
  89 EXPORT_SYMBOL(p9_show_client_options);
  90
  91 /* Some error codes are taken directly from the server replies,
  92  * make sure they are valid.
  93  */
  94 static int safe_errno(int err)
  95 {
  96         if (err > 0 || err < -MAX_ERRNO) {
  97                 p9_debug(P9_DEBUG_ERROR, "Invalid error code %d\n", err);
  98                 return -EPROTO;
  99         }
 100         return err;
 101 }
 102
 103 /* Interpret mount option for protocol version */
 104 static int get_protocol_version(char *s)
 105 {
 106         int version = -EINVAL;
 107
 108         if (!strcmp(s, "9p2000")) {
 109                 version = p9_proto_legacy;
 110                 p9_debug(P9_DEBUG_9P, "Protocol version: Legacy\n");
 111         } else if (!strcmp(s, "9p2000.u")) {
 112                 version = p9_proto_2000u;
 113                 p9_debug(P9_DEBUG_9P, "Protocol version: 9P2000.u\n");
 114         } else if (!strcmp(s, "9p2000.L")) {
 115                 version = p9_proto_2000L;
 116                 p9_debug(P9_DEBUG_9P, "Protocol version: 9P2000.L\n");
 117         } else {
 118                 pr_info("Unknown protocol version %s\n", s);
 119         }
 120
 121         return version;
 122 }
 123
 124 /**
 125  * parse_opts - parse mount options into client structure
 126  * @opts: options string passed from mount
 127  * @clnt: existing v9fs client information
 128  *
 129  * Return 0 upon success, -ERRNO upon failure
 130  */
 131
 132 static int parse_opts(char *opts, struct p9_client *clnt)
 133 {
 134         char *options, *tmp_options;
 135         char *p;
 136         substring_t args[MAX_OPT_ARGS];
 137         int option;
 138         char *s;
 139         int ret = 0;
 140
 141         clnt->proto_version = p9_proto_2000L;
 142         clnt->msize = DEFAULT_MSIZE;
 143
 144         if (!opts)
 145                 return 0;
 146
 147         tmp_options = kstrdup(opts, GFP_KERNEL);
 148         if (!tmp_options)
 149                 return -ENOMEM;
 150         options = tmp_options;
 151
 152         while ((p = strsep(&options, ",")) != NULL) {
 153                 int token, r;
 154
 155                 if (!*p)
 156                         continue;
 157                 token = match_token(p, tokens, args);
 158                 switch (token) {
 159                 case Opt_msize:
 160                         r = match_int(&args[0], &option);
 161                         if (r < 0) {
 162                                 p9_debug(P9_DEBUG_ERROR,
 163                                          "integer field, but no integer?\n");
 164                                 ret = r;
 165                                 continue;
 166                         }
 167                         if (option < 4096) {
 168                                 p9_debug(P9_DEBUG_ERROR,
 169                                          "msize should be at least 4k\n");
 170                                 ret = -EINVAL;
 171                                 continue;
 172                         }
 173                         clnt->msize = option;
 174                         break;
 175                 case Opt_trans:
 176                         s = match_strdup(&args[0]);
 177                         if (!s) {
 178                                 ret = -ENOMEM;
 179                                 p9_debug(P9_DEBUG_ERROR,
 180                                          "problem allocating copy of trans arg\n");
 181                                 goto free_and_return;
 182                         }
 183
 184                         v9fs_put_trans(clnt->trans_mod);
 185                         clnt->trans_mod = v9fs_get_trans_by_name(s);
 186                         if (!clnt->trans_mod) {
 187                                 pr_info("Could not find request transport: %s\n",
 188                                         s);
 189                                 ret = -EINVAL;
 190                         }
 191                         kfree(s);
 192                         break;
 193                 case Opt_legacy:
 194                         clnt->proto_version = p9_proto_legacy;
 195                         break;
 196                 case Opt_version:
 197                         s = match_strdup(&args[0]);
 198                         if (!s) {
 199                                 ret = -ENOMEM;
 200                                 p9_debug(P9_DEBUG_ERROR,
 201                                          "problem allocating copy of version arg\n");
 202                                 goto free_and_return;
 203                         }
 204                         r = get_protocol_version(s);
 205                         if (r < 0)
 206                                 ret = r;
 207                         else
 208                                 clnt->proto_version = r;
 209                         kfree(s);
 210                         break;
 211                 default:
 212                         continue;
 213                 }
 214         }
 215
 216 free_and_return:
 217         if (ret)
 218                 v9fs_put_trans(clnt->trans_mod);
 219         kfree(tmp_options);
 220         return ret;
 221 }
 222
 223 static int p9_fcall_init(struct p9_client *c, struct p9_fcall *fc,
 224                          int alloc_msize)
 225 {
 226         if (likely(c->fcall_cache) && alloc_msize == c->msize) {
 227                 fc->sdata = kmem_cache_alloc(c->fcall_cache, GFP_NOFS);
 228                 fc->cache = c->fcall_cache;
 229         } else {
 230                 fc->sdata = kmalloc(alloc_msize, GFP_NOFS);
 231                 fc->cache = NULL;
 232         }
 233         if (!fc->sdata)
 234                 return -ENOMEM;
 235         fc->capacity = alloc_msize;
 236         return 0;
 237 }
 238
 239 void p9_fcall_fini(struct p9_fcall *fc)
 240 {
 241         /* sdata can be NULL for interrupted requests in trans_rdma,
 242          * and kmem_cache_free does not do NULL-check for us
 243          */
 244         if (unlikely(!fc->sdata))
 245                 return;
 246
 247         if (fc->cache)
 248                 kmem_cache_free(fc->cache, fc->sdata);
 249         else
 250                 kfree(fc->sdata);
 251 }
 252 EXPORT_SYMBOL(p9_fcall_fini);
 253
 254 static struct kmem_cache *p9_req_cache;
 255
 256 /**
 257  * p9_tag_alloc - Allocate a new request.
 258  * @c: Client session.
 259  * @type: Transaction type.
 260  * @max_size: Maximum packet size for this request.
 261  *
 262  * Context: Process context.
 263  * Return: Pointer to new request.
 264  */
 265 static struct p9_req_t *
 266 p9_tag_alloc(struct p9_client *c, int8_t type, unsigned int max_size)
 267 {
 268         struct p9_req_t *req = kmem_cache_alloc(p9_req_cache, GFP_NOFS);
 269         int alloc_msize = min(c->msize, max_size);
 270         int tag;
 271
 272         if (!req)
 273                 return ERR_PTR(-ENOMEM);
 274
 275         if (p9_fcall_init(c, &req->tc, alloc_msize))
 276                 goto free_req;
 277         if (p9_fcall_init(c, &req->rc, alloc_msize))
 278                 goto free;
 279
 280         p9pdu_reset(&req->tc);
 281         p9pdu_reset(&req->rc);
 282         req->t_err = 0;
 283         req->status = REQ_STATUS_ALLOC;
 284         /* refcount needs to be set to 0 before inserting into the idr
 285          * so p9_tag_lookup does not accept a request that is not fully
 286          * initialized. refcount_set to 2 below will mark request ready.
 287          */
 288         refcount_set(&req->refcount, 0);
 289         init_waitqueue_head(&req->wq);
 290         INIT_LIST_HEAD(&req->req_list);
 291
 292         idr_preload(GFP_NOFS);
 293         spin_lock_irq(&c->lock);
 294         if (type == P9_TVERSION)
 295                 tag = idr_alloc(&c->reqs, req, P9_NOTAG, P9_NOTAG + 1,
 296                                 GFP_NOWAIT);
 297         else
 298                 tag = idr_alloc(&c->reqs, req, 0, P9_NOTAG, GFP_NOWAIT);
 299         req->tc.tag = tag;
 300         spin_unlock_irq(&c->lock);
 301         idr_preload_end();
 302         if (tag < 0)
 303                 goto free;
 304
 305         /* Init ref to two because in the general case there is one ref
 306          * that is put asynchronously by a writer thread, one ref
 307          * temporarily given by p9_tag_lookup and put by p9_client_cb
 308          * in the recv thread, and one ref put by p9_tag_remove in the
 309          * main thread. The only exception is virtio that does not use
 310          * p9_tag_lookup but does not have a writer thread either
 311          * (the write happens synchronously in the request/zc_request
 312          * callback), so p9_client_cb eats the second ref there
 313          * as the pointer is duplicated directly by virtqueue_add_sgs()
 314          */
 315         refcount_set(&req->refcount, 2);
 316
 317         return req;
 318
 319 free:
 320         p9_fcall_fini(&req->tc);
 321         p9_fcall_fini(&req->rc);
 322 free_req:
 323         kmem_cache_free(p9_req_cache, req);
 324         return ERR_PTR(-ENOMEM);
 325 }
 326
 327 /**
 328  * p9_tag_lookup - Look up a request by tag.
 329  * @c: Client session.
 330  * @tag: Transaction ID.
 331  *
 332  * Context: Any context.
 333  * Return: A request, or %NULL if there is no request with that tag.
 334  */
 335 struct p9_req_t *p9_tag_lookup(struct p9_client *c, u16 tag)
 336 {
 337         struct p9_req_t *req;
 338
 339         rcu_read_lock();
 340 again:
 341         req = idr_find(&c->reqs, tag);
 342         if (req) {
 343                 /* We have to be careful with the req found under rcu_read_lock
 344                  * Thanks to SLAB_TYPESAFE_BY_RCU we can safely try to get the
 345                  * ref again without corrupting other data, then check again
 346                  * that the tag matches once we have the ref
 347                  */
 348                 if (!p9_req_try_get(req))
 349                         goto again;
 350                 if (req->tc.tag != tag) {
 351                         p9_req_put(c, req);
 352                         goto again;
 353                 }
 354         }
 355         rcu_read_unlock();
 356
 357         return req;
 358 }
 359 EXPORT_SYMBOL(p9_tag_lookup);
 360
 361 /**
 362  * p9_tag_remove - Remove a tag.
 363  * @c: Client session.
 364  * @r: Request of reference.
 365  *
 366  * Context: Any context.
 367  */
 368 static int p9_tag_remove(struct p9_client *c, struct p9_req_t *r)
 369 {
 370         unsigned long flags;
 371         u16 tag = r->tc.tag;
 372
 373         p9_debug(P9_DEBUG_MUX, "clnt %p req %p tag: %d\n", c, r, tag);
 374         spin_lock_irqsave(&c->lock, flags);
 375         idr_remove(&c->reqs, tag);
 376         spin_unlock_irqrestore(&c->lock, flags);
 377         return p9_req_put(c, r);
 378 }
 379
 380 int p9_req_put(struct p9_client *c, struct p9_req_t *r)
 381 {
 382         if (refcount_dec_and_test(&r->refcount)) {
 383                 p9_fcall_fini(&r->tc);
 384                 p9_fcall_fini(&r->rc);
 385                 kmem_cache_free(p9_req_cache, r);
 386                 return 1;
 387         }
 388         return 0;
 389 }
 390 EXPORT_SYMBOL(p9_req_put);
 391
 392 /**
 393  * p9_tag_cleanup - cleans up tags structure and reclaims resources
 394  * @c:  v9fs client struct
 395  *
 396  * This frees resources associated with the tags structure
 397  *
 398  */
 399 static void p9_tag_cleanup(struct p9_client *c)
 400 {
 401         struct p9_req_t *req;
 402         int id;
 403
 404         rcu_read_lock();
 405         idr_for_each_entry(&c->reqs, req, id) {
 406                 pr_info("Tag %d still in use\n", id);
 407                 if (p9_tag_remove(c, req) == 0)
 408                         pr_warn("Packet with tag %d has still references",
 409                                 req->tc.tag);
 410         }
 411         rcu_read_unlock();
 412 }
 413
 414 /**
 415  * p9_client_cb - call back from transport to client
 416  * @c: client state
 417  * @req: request received
 418  * @status: request status, one of REQ_STATUS_*
 419  *
 420  */
 421 void p9_client_cb(struct p9_client *c, struct p9_req_t *req, int status)
 422 {
 423         p9_debug(P9_DEBUG_MUX, " tag %d\n", req->tc.tag);
 424
 425         /* This barrier is needed to make sure any change made to req before
 426          * the status change is visible to another thread
 427          */
 428         smp_wmb();
 429         req->status = status;
 430
 431         wake_up(&req->wq);
 432         p9_debug(P9_DEBUG_MUX, "wakeup: %d\n", req->tc.tag);
 433         p9_req_put(c, req);
 434 }
 435 EXPORT_SYMBOL(p9_client_cb);
 436
 437 /**
 438  * p9_parse_header - parse header arguments out of a packet
 439  * @pdu: packet to parse
 440  * @size: size of packet
 441  * @type: type of request
 442  * @tag: tag of packet
 443  * @rewind: set if we need to rewind offset afterwards
 444  */
 445
 446 int
 447 p9_parse_header(struct p9_fcall *pdu, int32_t *size, int8_t *type,
 448                 int16_t *tag, int rewind)
 449 {
 450         s8 r_type;
 451         s16 r_tag;
 452         s32 r_size;
 453         int offset = pdu->offset;
 454         int err;
 455
 456         pdu->offset = 0;
 457
 458         err = p9pdu_readf(pdu, 0, "dbw", &r_size, &r_type, &r_tag);
 459         if (err)
 460                 goto rewind_and_exit;
 461
 462         if (type)
 463                 *type = r_type;
 464         if (tag)
 465                 *tag = r_tag;
 466         if (size)
 467                 *size = r_size;
 468
 469         if (pdu->size != r_size || r_size < 7) {
 470                 err = -EINVAL;
 471                 goto rewind_and_exit;
 472         }
 473
 474         pdu->id = r_type;
 475         pdu->tag = r_tag;
 476
 477         p9_debug(P9_DEBUG_9P, "<<< size=%d type: %d tag: %d\n",
 478                  pdu->size, pdu->id, pdu->tag);
 479
 480 rewind_and_exit:
 481         if (rewind)
 482                 pdu->offset = offset;
 483         return err;
 484 }
 485 EXPORT_SYMBOL(p9_parse_header);
 486
 487 /**
 488  * p9_check_errors - check 9p packet for error return and process it
 489  * @c: current client instance
 490  * @req: request to parse and check for error conditions
 491  *
 492  * returns error code if one is discovered, otherwise returns 0
 493  *
 494  * this will have to be more complicated if we have multiple
 495  * error packet types
 496  */
 497
 498 static int p9_check_errors(struct p9_client *c, struct p9_req_t *req)
 499 {
 500         s8 type;
 501         int err;
 502         int ecode;
 503
 504         err = p9_parse_header(&req->rc, NULL, &type, NULL, 0);
 505         if (req->rc.size >= c->msize) {
 506                 p9_debug(P9_DEBUG_ERROR,
 507                          "requested packet size too big: %d\n",
 508                          req->rc.size);
 509                 return -EIO;
 510         }
 511         /* dump the response from server
 512          * This should be after check errors which poplulate pdu_fcall.
 513          */
 514         trace_9p_protocol_dump(c, &req->rc);
 515         if (err) {
 516                 p9_debug(P9_DEBUG_ERROR, "couldn't parse header %d\n", err);
 517                 return err;
 518         }
 519         if (type != P9_RERROR && type != P9_RLERROR)
 520                 return 0;
 521
 522         if (!p9_is_proto_dotl(c)) {
 523                 char *ename;
 524
 525                 err = p9pdu_readf(&req->rc, c->proto_version, "s?d",
 526                                   &ename, &ecode);
 527                 if (err)
 528                         goto out_err;
 529
 530                 if (p9_is_proto_dotu(c) && ecode < 512)
 531                         err = -ecode;
 532
 533                 if (!err) {
 534                         err = p9_errstr2errno(ename, strlen(ename));
 535
 536                         p9_debug(P9_DEBUG_9P, "<<< RERROR (%d) %s\n",
 537                                  -ecode, ename);
 538                 }
 539                 kfree(ename);
 540         } else {
 541                 err = p9pdu_readf(&req->rc, c->proto_version, "d", &ecode);
 542                 if (err)
 543                         goto out_err;
 544                 err = -ecode;
 545
 546                 p9_debug(P9_DEBUG_9P, "<<< RLERROR (%d)\n", -ecode);
 547         }
 548
 549         return err;
 550
 551 out_err:
 552         p9_debug(P9_DEBUG_ERROR, "couldn't parse error%d\n", err);
 553
 554         return err;
 555 }
 556
 557 /**
 558  * p9_check_zc_errors - check 9p packet for error return and process it
 559  * @c: current client instance
 560  * @req: request to parse and check for error conditions
 561  * @uidata: external buffer containing error
 562  * @in_hdrlen: Size of response protocol buffer.
 563  *
 564  * returns error code if one is discovered, otherwise returns 0
 565  *
 566  * this will have to be more complicated if we have multiple
 567  * error packet types
 568  */
 569
 570 static int p9_check_zc_errors(struct p9_client *c, struct p9_req_t *req,
 571                               struct iov_iter *uidata, int in_hdrlen)
 572 {
 573         int err;
 574         int ecode;
 575         s8 type;
 576         char *ename = NULL;
 577
 578         err = p9_parse_header(&req->rc, NULL, &type, NULL, 0);
 579         /* dump the response from server
 580          * This should be after parse_header which poplulate pdu_fcall.
 581          */
 582         trace_9p_protocol_dump(c, &req->rc);
 583         if (err) {
 584                 p9_debug(P9_DEBUG_ERROR, "couldn't parse header %d\n", err);
 585                 return err;
 586         }
 587
 588         if (type != P9_RERROR && type != P9_RLERROR)
 589                 return 0;
 590
 591         if (!p9_is_proto_dotl(c)) {
 592                 /* Error is reported in string format */
 593                 int len;
 594                 /* 7 = header size for RERROR; */
 595                 int inline_len = in_hdrlen - 7;
 596
 597                 len = req->rc.size - req->rc.offset;
 598                 if (len > (P9_ZC_HDR_SZ - 7)) {
 599                         err = -EFAULT;
 600                         goto out_err;
 601                 }
 602
 603                 ename = &req->rc.sdata[req->rc.offset];
 604                 if (len > inline_len) {
 605                         /* We have error in external buffer */
 606                         if (!copy_from_iter_full(ename + inline_len,
 607                                                  len - inline_len, uidata)) {
 608                                 err = -EFAULT;
 609                                 goto out_err;
 610                         }
 611                 }
 612                 ename = NULL;
 613                 err = p9pdu_readf(&req->rc, c->proto_version, "s?d",
 614                                   &ename, &ecode);
 615                 if (err)
 616                         goto out_err;
 617
 618                 if (p9_is_proto_dotu(c) && ecode < 512)
 619                         err = -ecode;
 620
 621                 if (!err) {
 622                         err = p9_errstr2errno(ename, strlen(ename));
 623
 624                         p9_debug(P9_DEBUG_9P, "<<< RERROR (%d) %s\n",
 625                                  -ecode, ename);
 626                 }
 627                 kfree(ename);
 628         } else {
 629                 err = p9pdu_readf(&req->rc, c->proto_version, "d", &ecode);
 630                 err = -ecode;
 631
 632                 p9_debug(P9_DEBUG_9P, "<<< RLERROR (%d)\n", -ecode);
 633         }
 634         return err;
 635
 636 out_err:
 637         p9_debug(P9_DEBUG_ERROR, "couldn't parse error%d\n", err);
 638         return err;
 639 }
 640
 641 static struct p9_req_t *
 642 p9_client_rpc(struct p9_client *c, int8_t type, const char *fmt, ...);
 643
 644 /**
 645  * p9_client_flush - flush (cancel) a request
 646  * @c: client state
 647  * @oldreq: request to cancel
 648  *
 649  * This sents a flush for a particular request and links
 650  * the flush request to the original request.  The current
 651  * code only supports a single flush request although the protocol
 652  * allows for multiple flush requests to be sent for a single request.
 653  *
 654  */
 655
 656 static int p9_client_flush(struct p9_client *c, struct p9_req_t *oldreq)
 657 {
 658         struct p9_req_t *req;
 659         s16 oldtag;
 660         int err;
 661
 662         err = p9_parse_header(&oldreq->tc, NULL, NULL, &oldtag, 1);
 663         if (err)
 664                 return err;
 665
 666         p9_debug(P9_DEBUG_9P, ">>> TFLUSH tag %d\n", oldtag);
 667
 668         req = p9_client_rpc(c, P9_TFLUSH, "w", oldtag);
 669         if (IS_ERR(req))
 670                 return PTR_ERR(req);
 671
 672         /* if we haven't received a response for oldreq,
 673          * remove it from the list
 674          */
 675         if (oldreq->status == REQ_STATUS_SENT) {
 676                 if (c->trans_mod->cancelled)
 677                         c->trans_mod->cancelled(c, oldreq);
 678         }
 679
 680         p9_tag_remove(c, req);
 681         return 0;
 682 }
 683
 684 static struct p9_req_t *p9_client_prepare_req(struct p9_client *c,
 685                                               int8_t type, int req_size,
 686                                               const char *fmt, va_list ap)
 687 {
 688         int err;
 689         struct p9_req_t *req;
 690
 691         p9_debug(P9_DEBUG_MUX, "client %p op %d\n", c, type);
 692
 693         /* we allow for any status other than disconnected */
 694         if (c->status == Disconnected)
 695                 return ERR_PTR(-EIO);
 696
 697         /* if status is begin_disconnected we allow only clunk request */
 698         if (c->status == BeginDisconnect && type != P9_TCLUNK)
 699                 return ERR_PTR(-EIO);
 700
 701         req = p9_tag_alloc(c, type, req_size);
 702         if (IS_ERR(req))
 703                 return req;
 704
 705         /* marshall the data */
 706         p9pdu_prepare(&req->tc, req->tc.tag, type);
 707         err = p9pdu_vwritef(&req->tc, c->proto_version, fmt, ap);
 708         if (err)
 709                 goto reterr;
 710         p9pdu_finalize(c, &req->tc);
 711         trace_9p_client_req(c, type, req->tc.tag);
 712         return req;
 713 reterr:
 714         p9_tag_remove(c, req);
 715         /* We have to put also the 2nd reference as it won't be used */
 716         p9_req_put(c, req);
 717         return ERR_PTR(err);
 718 }
 719
 720 /**
 721  * p9_client_rpc - issue a request and wait for a response
 722  * @c: client session
 723  * @type: type of request
 724  * @fmt: protocol format string (see protocol.c)
 725  *
 726  * Returns request structure (which client must free using p9_tag_remove)
 727  */
 728
 729 static struct p9_req_t *
 730 p9_client_rpc(struct p9_client *c, int8_t type, const char *fmt, ...)
 731 {
 732         va_list ap;
 733         int sigpending, err;
 734         unsigned long flags;
 735         struct p9_req_t *req;
 736
 737         va_start(ap, fmt);
 738         req = p9_client_prepare_req(c, type, c->msize, fmt, ap);
 739         va_end(ap);
 740         if (IS_ERR(req))
 741                 return req;
 742
 743         if (signal_pending(current)) {
 744                 sigpending = 1;
 745                 clear_thread_flag(TIF_SIGPENDING);
 746         } else {
 747                 sigpending = 0;
 748         }
 749
 750         err = c->trans_mod->request(c, req);
 751         if (err < 0) {
 752                 /* write won't happen */
 753                 p9_req_put(c, req);
 754                 if (err != -ERESTARTSYS && err != -EFAULT)
 755                         c->status = Disconnected;
 756                 goto recalc_sigpending;
 757         }
 758 again:
 759         /* Wait for the response */
 760         err = wait_event_killable(req->wq, req->status >= REQ_STATUS_RCVD);
 761
 762         /* Make sure our req is coherent with regard to updates in other
 763          * threads - echoes to wmb() in the callback
 764          */
 765         smp_rmb();
 766
 767         if (err == -ERESTARTSYS && c->status == Connected &&
 768             type == P9_TFLUSH) {
 769                 sigpending = 1;
 770                 clear_thread_flag(TIF_SIGPENDING);
 771                 goto again;
 772         }
 773
 774         if (req->status == REQ_STATUS_ERROR) {
 775                 p9_debug(P9_DEBUG_ERROR, "req_status error %d\n", req->t_err);
 776                 err = req->t_err;
 777         }
 778         if (err == -ERESTARTSYS && c->status == Connected) {
 779                 p9_debug(P9_DEBUG_MUX, "flushing\n");
 780                 sigpending = 1;
 781                 clear_thread_flag(TIF_SIGPENDING);
 782
 783                 if (c->trans_mod->cancel(c, req))
 784                         p9_client_flush(c, req);
 785
 786                 /* if we received the response anyway, don't signal error */
 787                 if (req->status == REQ_STATUS_RCVD)
 788                         err = 0;
 789         }
 790 recalc_sigpending:
 791         if (sigpending) {
 792                 spin_lock_irqsave(&current->sighand->siglock, flags);
 793                 recalc_sigpending();
 794                 spin_unlock_irqrestore(&current->sighand->siglock, flags);
 795         }
 796         if (err < 0)
 797                 goto reterr;
 798
 799         err = p9_check_errors(c, req);
 800         trace_9p_client_res(c, type, req->rc.tag, err);
 801         if (!err)
 802                 return req;
 803 reterr:
 804         p9_tag_remove(c, req);
 805         return ERR_PTR(safe_errno(err));
 806 }
 807
 808 /**
 809  * p9_client_zc_rpc - issue a request and wait for a response
 810  * @c: client session
 811  * @type: type of request
 812  * @uidata: destination for zero copy read
 813  * @uodata: source for zero copy write
 814  * @inlen: read buffer size
 815  * @olen: write buffer size
 816  * @in_hdrlen: reader header size, This is the size of response protocol data
 817  * @fmt: protocol format string (see protocol.c)
 818  *
 819  * Returns request structure (which client must free using p9_tag_remove)
 820  */
 821 static struct p9_req_t *p9_client_zc_rpc(struct p9_client *c, int8_t type,
 822                                          struct iov_iter *uidata,
 823                                          struct iov_iter *uodata,
 824                                          int inlen, int olen, int in_hdrlen,
 825                                          const char *fmt, ...)
 826 {
 827         va_list ap;
 828         int sigpending, err;
 829         unsigned long flags;
 830         struct p9_req_t *req;
 831
 832         va_start(ap, fmt);
 833         /* We allocate a inline protocol data of only 4k bytes.
 834          * The actual content is passed in zero-copy fashion.
 835          */
 836         req = p9_client_prepare_req(c, type, P9_ZC_HDR_SZ, fmt, ap);
 837         va_end(ap);
 838         if (IS_ERR(req))
 839                 return req;
 840
 841         if (signal_pending(current)) {
 842                 sigpending = 1;
 843                 clear_thread_flag(TIF_SIGPENDING);
 844         } else {
 845                 sigpending = 0;
 846         }
 847
 848         err = c->trans_mod->zc_request(c, req, uidata, uodata,
 849                                        inlen, olen, in_hdrlen);
 850         if (err < 0) {
 851                 if (err == -EIO)
 852                         c->status = Disconnected;
 853                 if (err != -ERESTARTSYS)
 854                         goto recalc_sigpending;
 855         }
 856         if (req->status == REQ_STATUS_ERROR) {
 857                 p9_debug(P9_DEBUG_ERROR, "req_status error %d\n", req->t_err);
 858                 err = req->t_err;
 859         }
 860         if (err == -ERESTARTSYS && c->status == Connected) {
 861                 p9_debug(P9_DEBUG_MUX, "flushing\n");
 862                 sigpending = 1;
 863                 clear_thread_flag(TIF_SIGPENDING);
 864
 865                 if (c->trans_mod->cancel(c, req))
 866                         p9_client_flush(c, req);
 867
 868                 /* if we received the response anyway, don't signal error */
 869                 if (req->status == REQ_STATUS_RCVD)
 870                         err = 0;
 871         }
 872 recalc_sigpending:
 873         if (sigpending) {
 874                 spin_lock_irqsave(&current->sighand->siglock, flags);
 875                 recalc_sigpending();
 876                 spin_unlock_irqrestore(&current->sighand->siglock, flags);
 877         }
 878         if (err < 0)
 879                 goto reterr;
 880
 881         err = p9_check_zc_errors(c, req, uidata, in_hdrlen);
 882         trace_9p_client_res(c, type, req->rc.tag, err);
 883         if (!err)
 884                 return req;
 885 reterr:
 886         p9_tag_remove(c, req);
 887         return ERR_PTR(safe_errno(err));
 888 }
 889
 890 static struct p9_fid *p9_fid_create(struct p9_client *clnt)
 891 {
 892         int ret;
 893         struct p9_fid *fid;
 894
 895         p9_debug(P9_DEBUG_FID, "clnt %p\n", clnt);
 896         fid = kzalloc(sizeof(*fid), GFP_KERNEL);
 897         if (!fid)
 898                 return NULL;
 899
 900         fid->mode = -1;
 901         fid->uid = current_fsuid();
 902         fid->clnt = clnt;
 903         refcount_set(&fid->count, 1);
 904
 905         idr_preload(GFP_KERNEL);
 906         spin_lock_irq(&clnt->lock);
 907         ret = idr_alloc_u32(&clnt->fids, fid, &fid->fid, P9_NOFID - 1,
 908                             GFP_NOWAIT);
 909         spin_unlock_irq(&clnt->lock);
 910         idr_preload_end();
 911         if (!ret)
 912                 return fid;
 913
 914         kfree(fid);
 915         return NULL;
 916 }
 917
 918 static void p9_fid_destroy(struct p9_fid *fid)
 919 {
 920         struct p9_client *clnt;
 921         unsigned long flags;
 922
 923         p9_debug(P9_DEBUG_FID, "fid %d\n", fid->fid);
 924         clnt = fid->clnt;
 925         spin_lock_irqsave(&clnt->lock, flags);
 926         idr_remove(&clnt->fids, fid->fid);
 927         spin_unlock_irqrestore(&clnt->lock, flags);
 928         kfree(fid->rdir);
 929         kfree(fid);
 930 }
 931
 932 static int p9_client_version(struct p9_client *c)
 933 {
 934         int err = 0;
 935         struct p9_req_t *req;
 936         char *version = NULL;
 937         int msize;
 938
 939         p9_debug(P9_DEBUG_9P, ">>> TVERSION msize %d protocol %d\n",
 940                  c->msize, c->proto_version);
 941
 942         switch (c->proto_version) {
 943         case p9_proto_2000L:
 944                 req = p9_client_rpc(c, P9_TVERSION, "ds",
 945                                     c->msize, "9P2000.L");
 946                 break;
 947         case p9_proto_2000u:
 948                 req = p9_client_rpc(c, P9_TVERSION, "ds",
 949                                     c->msize, "9P2000.u");
 950                 break;
 951         case p9_proto_legacy:
 952                 req = p9_client_rpc(c, P9_TVERSION, "ds",
 953                                     c->msize, "9P2000");
 954                 break;
 955         default:
 956                 return -EINVAL;
 957         }
 958
 959         if (IS_ERR(req))
 960                 return PTR_ERR(req);
 961
 962         err = p9pdu_readf(&req->rc, c->proto_version, "ds", &msize, &version);
 963         if (err) {
 964                 p9_debug(P9_DEBUG_9P, "version error %d\n", err);
 965                 trace_9p_protocol_dump(c, &req->rc);
 966                 goto error;
 967         }
 968
 969         p9_debug(P9_DEBUG_9P, "<<< RVERSION msize %d %s\n", msize, version);
 970         if (!strncmp(version, "9P2000.L", 8)) {
 971                 c->proto_version = p9_proto_2000L;
 972         } else if (!strncmp(version, "9P2000.u", 8)) {
 973                 c->proto_version = p9_proto_2000u;
 974         } else if (!strncmp(version, "9P2000", 6)) {
 975                 c->proto_version = p9_proto_legacy;
 976         } else {
 977                 p9_debug(P9_DEBUG_ERROR,
 978                          "server returned an unknown version: %s\n", version);
 979                 err = -EREMOTEIO;
 980                 goto error;
 981         }
 982
 983         if (msize < 4096) {
 984                 p9_debug(P9_DEBUG_ERROR,
 985                          "server returned a msize < 4096: %d\n", msize);
 986                 err = -EREMOTEIO;
 987                 goto error;
 988         }
 989         if (msize < c->msize)
 990                 c->msize = msize;
 991
 992 error:
 993         kfree(version);
 994         p9_tag_remove(c, req);
 995
 996         return err;
 997 }
 998
 999 struct p9_client *p9_client_create(const char *dev_name, char *options)
1000 {
1001         int err;
1002         struct p9_client *clnt;
1003         char *client_id;
1004
1005         err = 0;
1006         clnt = kmalloc(sizeof(*clnt), GFP_KERNEL);
1007         if (!clnt)
1008                 return ERR_PTR(-ENOMEM);
1009
1010         clnt->trans_mod = NULL;
1011         clnt->trans = NULL;
1012         clnt->fcall_cache = NULL;
1013
1014         client_id = utsname()->nodename;
1015         memcpy(clnt->name, client_id, strlen(client_id) + 1);
1016
1017         spin_lock_init(&clnt->lock);
1018         idr_init(&clnt->fids);
1019         idr_init(&clnt->reqs);
1020
1021         err = parse_opts(options, clnt);
1022         if (err < 0)
1023                 goto free_client;
1024
1025         if (!clnt->trans_mod)
1026                 clnt->trans_mod = v9fs_get_default_trans();
1027
1028         if (!clnt->trans_mod) {
1029                 err = -EPROTONOSUPPORT;
1030                 p9_debug(P9_DEBUG_ERROR,
1031                          "No transport defined or default transport\n");
1032                 goto free_client;
1033         }
1034
1035         p9_debug(P9_DEBUG_MUX, "clnt %p trans %p msize %d protocol %d\n",
1036                  clnt, clnt->trans_mod, clnt->msize, clnt->proto_version);
1037
1038         err = clnt->trans_mod->create(clnt, dev_name, options);
1039         if (err)
1040                 goto put_trans;
1041
1042         if (clnt->msize > clnt->trans_mod->maxsize)
1043                 clnt->msize = clnt->trans_mod->maxsize;
1044
1045         if (clnt->msize < 4096) {
1046                 p9_debug(P9_DEBUG_ERROR,
1047                          "Please specify a msize of at least 4k\n");
1048                 err = -EINVAL;
1049                 goto close_trans;
1050         }
1051
1052         err = p9_client_version(clnt);
1053         if (err)
1054                 goto close_trans;
1055
1056         /* P9_HDRSZ + 4 is the smallest packet header we can have that is
1057          * followed by data accessed from userspace by read
1058          */
1059         clnt->fcall_cache =
1060                 kmem_cache_create_usercopy("9p-fcall-cache", clnt->msize,
1061                                            0, 0, P9_HDRSZ + 4,
1062                                            clnt->msize - (P9_HDRSZ + 4),
1063                                            NULL);
1064
1065         return clnt;
1066
1067 close_trans:
1068         clnt->trans_mod->close(clnt);
1069 put_trans:
1070         v9fs_put_trans(clnt->trans_mod);
1071 free_client:
1072         kfree(clnt);
1073         return ERR_PTR(err);
1074 }
1075 EXPORT_SYMBOL(p9_client_create);
1076
1077 void p9_client_destroy(struct p9_client *clnt)
1078 {
1079         struct p9_fid *fid;
1080         int id;
1081
1082         p9_debug(P9_DEBUG_MUX, "clnt %p\n", clnt);
1083
1084         if (clnt->trans_mod)
1085                 clnt->trans_mod->close(clnt);
1086
1087         v9fs_put_trans(clnt->trans_mod);
1088
1089         idr_for_each_entry(&clnt->fids, fid, id) {
1090                 pr_info("Found fid %d not clunked\n", fid->fid);
1091                 p9_fid_destroy(fid);
1092         }
1093
1094         p9_tag_cleanup(clnt);
1095
1096         kmem_cache_destroy(clnt->fcall_cache);
1097         kfree(clnt);
1098 }
1099 EXPORT_SYMBOL(p9_client_destroy);
1100
1101 void p9_client_disconnect(struct p9_client *clnt)
1102 {
1103         p9_debug(P9_DEBUG_9P, "clnt %p\n", clnt);
1104         clnt->status = Disconnected;
1105 }
1106 EXPORT_SYMBOL(p9_client_disconnect);
1107
1108 void p9_client_begin_disconnect(struct p9_client *clnt)
1109 {
1110         p9_debug(P9_DEBUG_9P, "clnt %p\n", clnt);
1111         clnt->status = BeginDisconnect;
1112 }
1113 EXPORT_SYMBOL(p9_client_begin_disconnect);
1114
1115 struct p9_fid *p9_client_attach(struct p9_client *clnt, struct p9_fid *afid,
1116                                 const char *uname, kuid_t n_uname,
1117                                 const char *aname)
1118 {
1119         int err = 0;
1120         struct p9_req_t *req;
1121         struct p9_fid *fid;
1122         struct p9_qid qid;
1123
1124         p9_debug(P9_DEBUG_9P, ">>> TATTACH afid %d uname %s aname %s\n",
1125                  afid ? afid->fid : -1, uname, aname);
1126         fid = p9_fid_create(clnt);
1127         if (!fid) {
1128                 err = -ENOMEM;
1129                 goto error;
1130         }
1131         fid->uid = n_uname;
1132
1133         req = p9_client_rpc(clnt, P9_TATTACH, "ddss?u", fid->fid,
1134                             afid ? afid->fid : P9_NOFID, uname, aname, n_uname);
1135         if (IS_ERR(req)) {
1136                 err = PTR_ERR(req);
1137                 goto error;
1138         }
1139
1140         err = p9pdu_readf(&req->rc, clnt->proto_version, "Q", &qid);
1141         if (err) {
1142                 trace_9p_protocol_dump(clnt, &req->rc);
1143                 p9_tag_remove(clnt, req);
1144                 goto error;
1145         }
1146
1147         p9_debug(P9_DEBUG_9P, "<<< RATTACH qid %x.%llx.%x\n",
1148                  qid.type, qid.path, qid.version);
1149
1150         memmove(&fid->qid, &qid, sizeof(struct p9_qid));
1151
1152         p9_tag_remove(clnt, req);
1153         return fid;
1154
1155 error:
1156         if (fid)
1157                 p9_fid_destroy(fid);
1158         return ERR_PTR(err);
1159 }
1160 EXPORT_SYMBOL(p9_client_attach);
1161
1162 struct p9_fid *p9_client_walk(struct p9_fid *oldfid, uint16_t nwname,
1163                               const unsigned char * const *wnames, int clone)
1164 {
1165         int err;
1166         struct p9_client *clnt;
1167         struct p9_fid *fid;
1168         struct p9_qid *wqids;
1169         struct p9_req_t *req;
1170         u16 nwqids, count;
1171
1172         err = 0;
1173         wqids = NULL;
1174         clnt = oldfid->clnt;
1175         if (clone) {
1176                 fid = p9_fid_create(clnt);
1177                 if (!fid) {
1178                         err = -ENOMEM;
1179                         goto error;
1180                 }
1181
1182                 fid->uid = oldfid->uid;
1183         } else {
1184                 fid = oldfid;
1185         }
1186
1187         p9_debug(P9_DEBUG_9P, ">>> TWALK fids %d,%d nwname %ud wname[0] %s\n",
1188                  oldfid->fid, fid->fid, nwname, wnames ? wnames[0] : NULL);
1189         req = p9_client_rpc(clnt, P9_TWALK, "ddT", oldfid->fid, fid->fid,
1190                             nwname, wnames);
1191         if (IS_ERR(req)) {
1192                 err = PTR_ERR(req);
1193                 goto error;
1194         }
1195
1196         err = p9pdu_readf(&req->rc, clnt->proto_version, "R", &nwqids, &wqids);
1197         if (err) {
1198                 trace_9p_protocol_dump(clnt, &req->rc);
1199                 p9_tag_remove(clnt, req);
1200                 goto clunk_fid;
1201         }
1202         p9_tag_remove(clnt, req);
1203
1204         p9_debug(P9_DEBUG_9P, "<<< RWALK nwqid %d:\n", nwqids);
1205
1206         if (nwqids != nwname) {
1207                 err = -ENOENT;
1208                 goto clunk_fid;
1209         }
1210
1211         for (count = 0; count < nwqids; count++)
1212                 p9_debug(P9_DEBUG_9P, "<<<     [%d] %x.%llx.%x\n",
1213                          count, wqids[count].type,
1214                          wqids[count].path,
1215                          wqids[count].version);
1216
1217         if (nwname)
1218                 memmove(&fid->qid, &wqids[nwqids - 1], sizeof(struct p9_qid));
1219         else
1220                 memmove(&fid->qid, &oldfid->qid, sizeof(struct p9_qid));
1221
1222         kfree(wqids);
1223         return fid;
1224
1225 clunk_fid:
1226         kfree(wqids);
1227         p9_client_clunk(fid);
1228         fid = NULL;
1229
1230 error:
1231         if (fid && fid != oldfid)
1232                 p9_fid_destroy(fid);
1233
1234         return ERR_PTR(err);
1235 }
1236 EXPORT_SYMBOL(p9_client_walk);
1237
1238 int p9_client_open(struct p9_fid *fid, int mode)
1239 {
1240         int err;
1241         struct p9_client *clnt;
1242         struct p9_req_t *req;
1243         struct p9_qid qid;
1244         int iounit;
1245
1246         clnt = fid->clnt;
1247         p9_debug(P9_DEBUG_9P, ">>> %s fid %d mode %d\n",
1248                  p9_is_proto_dotl(clnt) ? "TLOPEN" : "TOPEN", fid->fid, mode);
1249         err = 0;
1250
1251         if (fid->mode != -1)
1252                 return -EINVAL;
1253
1254         if (p9_is_proto_dotl(clnt))
1255                 req = p9_client_rpc(clnt, P9_TLOPEN, "dd", fid->fid, mode);
1256         else
1257                 req = p9_client_rpc(clnt, P9_TOPEN, "db", fid->fid, mode);
1258         if (IS_ERR(req)) {
1259                 err = PTR_ERR(req);
1260                 goto error;
1261         }
1262
1263         err = p9pdu_readf(&req->rc, clnt->proto_version, "Qd", &qid, &iounit);
1264         if (err) {
1265                 trace_9p_protocol_dump(clnt, &req->rc);
1266                 goto free_and_error;
1267         }
1268
1269         p9_debug(P9_DEBUG_9P, "<<< %s qid %x.%llx.%x iounit %x\n",
1270                  p9_is_proto_dotl(clnt) ? "RLOPEN" : "ROPEN",  qid.type,
1271                  qid.path, qid.version, iounit);
1272
1273         memmove(&fid->qid, &qid, sizeof(struct p9_qid));
1274         fid->mode = mode;
1275         fid->iounit = iounit;
1276
1277 free_and_error:
1278         p9_tag_remove(clnt, req);
1279 error:
1280         return err;
1281 }
1282 EXPORT_SYMBOL(p9_client_open);
1283
1284 int p9_client_create_dotl(struct p9_fid *ofid, const char *name, u32 flags,
1285                           u32 mode, kgid_t gid, struct p9_qid *qid)
1286 {
1287         int err = 0;
1288         struct p9_client *clnt;
1289         struct p9_req_t *req;
1290         int iounit;
1291
1292         p9_debug(P9_DEBUG_9P,
1293                  ">>> TLCREATE fid %d name %s flags %d mode %d gid %d\n",
1294                  ofid->fid, name, flags, mode,
1295                  from_kgid(&init_user_ns, gid));
1296         clnt = ofid->clnt;
1297
1298         if (ofid->mode != -1)
1299                 return -EINVAL;
1300
1301         req = p9_client_rpc(clnt, P9_TLCREATE, "dsddg", ofid->fid, name, flags,
1302                             mode, gid);
1303         if (IS_ERR(req)) {
1304                 err = PTR_ERR(req);
1305                 goto error;
1306         }
1307
1308         err = p9pdu_readf(&req->rc, clnt->proto_version, "Qd", qid, &iounit);
1309         if (err) {
1310                 trace_9p_protocol_dump(clnt, &req->rc);
1311                 goto free_and_error;
1312         }
1313
1314         p9_debug(P9_DEBUG_9P, "<<< RLCREATE qid %x.%llx.%x iounit %x\n",
1315                  qid->type, qid->path, qid->version, iounit);
1316
1317         memmove(&ofid->qid, qid, sizeof(struct p9_qid));
1318         ofid->mode = flags;
1319         ofid->iounit = iounit;
1320
1321 free_and_error:
1322         p9_tag_remove(clnt, req);
1323 error:
1324         return err;
1325 }
1326 EXPORT_SYMBOL(p9_client_create_dotl);
1327
1328 int p9_client_fcreate(struct p9_fid *fid, const char *name, u32 perm, int mode,
1329                      char *extension)
1330 {
1331         int err;
1332         struct p9_client *clnt;
1333         struct p9_req_t *req;
1334         struct p9_qid qid;
1335         int iounit;
1336
1337         p9_debug(P9_DEBUG_9P, ">>> TCREATE fid %d name %s perm %d mode %d\n",
1338                  fid->fid, name, perm, mode);
1339         err = 0;
1340         clnt = fid->clnt;
1341
1342         if (fid->mode != -1)
1343                 return -EINVAL;
1344
1345         req = p9_client_rpc(clnt, P9_TCREATE, "dsdb?s", fid->fid, name, perm,
1346                             mode, extension);
1347         if (IS_ERR(req)) {
1348                 err = PTR_ERR(req);
1349                 goto error;
1350         }
1351
1352         err = p9pdu_readf(&req->rc, clnt->proto_version, "Qd", &qid, &iounit);
1353         if (err) {
1354                 trace_9p_protocol_dump(clnt, &req->rc);
1355                 goto free_and_error;
1356         }
1357
1358         p9_debug(P9_DEBUG_9P, "<<< RCREATE qid %x.%llx.%x iounit %x\n",
1359                  qid.type, qid.path, qid.version, iounit);
1360
1361         memmove(&fid->qid, &qid, sizeof(struct p9_qid));
1362         fid->mode = mode;
1363         fid->iounit = iounit;
1364
1365 free_and_error:
1366         p9_tag_remove(clnt, req);
1367 error:
1368         return err;
1369 }
1370 EXPORT_SYMBOL(p9_client_fcreate);
1371
1372 int p9_client_symlink(struct p9_fid *dfid, const char *name,
1373                       const char *symtgt, kgid_t gid, struct p9_qid *qid)
1374 {
1375         int err = 0;
1376         struct p9_client *clnt;
1377         struct p9_req_t *req;
1378
1379         p9_debug(P9_DEBUG_9P, ">>> TSYMLINK dfid %d name %s  symtgt %s\n",
1380                  dfid->fid, name, symtgt);
1381         clnt = dfid->clnt;
1382
1383         req = p9_client_rpc(clnt, P9_TSYMLINK, "dssg", dfid->fid, name, symtgt,
1384                             gid);
1385         if (IS_ERR(req)) {
1386                 err = PTR_ERR(req);
1387                 goto error;
1388         }
1389
1390         err = p9pdu_readf(&req->rc, clnt->proto_version, "Q", qid);
1391         if (err) {
1392                 trace_9p_protocol_dump(clnt, &req->rc);
1393                 goto free_and_error;
1394         }
1395
1396         p9_debug(P9_DEBUG_9P, "<<< RSYMLINK qid %x.%llx.%x\n",
1397                  qid->type, qid->path, qid->version);
1398
1399 free_and_error:
1400         p9_tag_remove(clnt, req);
1401 error:
1402         return err;
1403 }
1404 EXPORT_SYMBOL(p9_client_symlink);
1405
1406 int p9_client_link(struct p9_fid *dfid, struct p9_fid *oldfid, const char *newname)
1407 {
1408         struct p9_client *clnt;
1409         struct p9_req_t *req;
1410
1411         p9_debug(P9_DEBUG_9P, ">>> TLINK dfid %d oldfid %d newname %s\n",
1412                  dfid->fid, oldfid->fid, newname);
1413         clnt = dfid->clnt;
1414         req = p9_client_rpc(clnt, P9_TLINK, "dds", dfid->fid, oldfid->fid,
1415                             newname);
1416         if (IS_ERR(req))
1417                 return PTR_ERR(req);
1418
1419         p9_debug(P9_DEBUG_9P, "<<< RLINK\n");
1420         p9_tag_remove(clnt, req);
1421         return 0;
1422 }
1423 EXPORT_SYMBOL(p9_client_link);
1424
1425 int p9_client_fsync(struct p9_fid *fid, int datasync)
1426 {
1427         int err;
1428         struct p9_client *clnt;
1429         struct p9_req_t *req;
1430
1431         p9_debug(P9_DEBUG_9P, ">>> TFSYNC fid %d datasync:%d\n",
1432                  fid->fid, datasync);
1433         err = 0;
1434         clnt = fid->clnt;
1435
1436         req = p9_client_rpc(clnt, P9_TFSYNC, "dd", fid->fid, datasync);
1437         if (IS_ERR(req)) {
1438                 err = PTR_ERR(req);
1439                 goto error;
1440         }
1441
1442         p9_debug(P9_DEBUG_9P, "<<< RFSYNC fid %d\n", fid->fid);
1443
1444         p9_tag_remove(clnt, req);
1445
1446 error:
1447         return err;
1448 }
1449 EXPORT_SYMBOL(p9_client_fsync);
1450
1451 int p9_client_clunk(struct p9_fid *fid)
1452 {
1453         int err;
1454         struct p9_client *clnt;
1455         struct p9_req_t *req;
1456         int retries = 0;
1457
1458         if (!fid || IS_ERR(fid)) {
1459                 pr_warn("%s (%d): Trying to clunk with invalid fid\n",
1460                         __func__, task_pid_nr(current));
1461                 dump_stack();
1462                 return 0;
1463         }
1464         if (!refcount_dec_and_test(&fid->count))
1465                 return 0;
1466
1467 again:
1468         p9_debug(P9_DEBUG_9P, ">>> TCLUNK fid %d (try %d)\n",
1469                  fid->fid, retries);
1470         err = 0;
1471         clnt = fid->clnt;
1472
1473         req = p9_client_rpc(clnt, P9_TCLUNK, "d", fid->fid);
1474         if (IS_ERR(req)) {
1475                 err = PTR_ERR(req);
1476                 goto error;
1477         }
1478
1479         p9_debug(P9_DEBUG_9P, "<<< RCLUNK fid %d\n", fid->fid);
1480
1481         p9_tag_remove(clnt, req);
1482 error:
1483         /* Fid is not valid even after a failed clunk
1484          * If interrupted, retry once then give up and
1485          * leak fid until umount.
1486          */
1487         if (err == -ERESTARTSYS) {
1488                 if (retries++ == 0)
1489                         goto again;
1490         } else {
1491                 p9_fid_destroy(fid);
1492         }
1493         return err;
1494 }
1495 EXPORT_SYMBOL(p9_client_clunk);
1496
1497 int p9_client_remove(struct p9_fid *fid)
1498 {
1499         int err;
1500         struct p9_client *clnt;
1501         struct p9_req_t *req;
1502
1503         p9_debug(P9_DEBUG_9P, ">>> TREMOVE fid %d\n", fid->fid);
1504         err = 0;
1505         clnt = fid->clnt;
1506
1507         req = p9_client_rpc(clnt, P9_TREMOVE, "d", fid->fid);
1508         if (IS_ERR(req)) {
1509                 err = PTR_ERR(req);
1510                 goto error;
1511         }
1512
1513         p9_debug(P9_DEBUG_9P, "<<< RREMOVE fid %d\n", fid->fid);
1514
1515         p9_tag_remove(clnt, req);
1516 error:
1517         if (err == -ERESTARTSYS)
1518                 p9_client_clunk(fid);
1519         else
1520                 p9_fid_destroy(fid);
1521         return err;
1522 }
1523 EXPORT_SYMBOL(p9_client_remove);
1524
1525 int p9_client_unlinkat(struct p9_fid *dfid, const char *name, int flags)
1526 {
1527         int err = 0;
1528         struct p9_req_t *req;
1529         struct p9_client *clnt;
1530
1531         p9_debug(P9_DEBUG_9P, ">>> TUNLINKAT fid %d %s %d\n",
1532                  dfid->fid, name, flags);
1533
1534         clnt = dfid->clnt;
1535         req = p9_client_rpc(clnt, P9_TUNLINKAT, "dsd", dfid->fid, name, flags);
1536         if (IS_ERR(req)) {
1537                 err = PTR_ERR(req);
1538                 goto error;
1539         }
1540         p9_debug(P9_DEBUG_9P, "<<< RUNLINKAT fid %d %s\n", dfid->fid, name);
1541
1542         p9_tag_remove(clnt, req);
1543 error:
1544         return err;
1545 }
1546 EXPORT_SYMBOL(p9_client_unlinkat);
1547
1548 int
1549 p9_client_read(struct p9_fid *fid, u64 offset, struct iov_iter *to, int *err)
1550 {
1551         int total = 0;
1552         *err = 0;
1553
1554         while (iov_iter_count(to)) {
1555                 int count;
1556
1557                 count = p9_client_read_once(fid, offset, to, err);
1558                 if (!count || *err)
1559                         break;
1560                 offset += count;
1561                 total += count;
1562         }
1563         return total;
1564 }
1565 EXPORT_SYMBOL(p9_client_read);
1566
1567 int
1568 p9_client_read_once(struct p9_fid *fid, u64 offset, struct iov_iter *to,
1569                     int *err)
1570 {
1571         struct p9_client *clnt = fid->clnt;
1572         struct p9_req_t *req;
1573         int count = iov_iter_count(to);
1574         int rsize, non_zc = 0;
1575         char *dataptr;
1576
1577         *err = 0;
1578         p9_debug(P9_DEBUG_9P, ">>> TREAD fid %d offset %llu %zu\n",
1579                  fid->fid, offset, iov_iter_count(to));
1580
1581         rsize = fid->iounit;
1582         if (!rsize || rsize > clnt->msize - P9_IOHDRSZ)
1583                 rsize = clnt->msize - P9_IOHDRSZ;
1584
1585         if (count < rsize)
1586                 rsize = count;
1587
1588         /* Don't bother zerocopy for small IO (< 1024) */
1589         if (clnt->trans_mod->zc_request && rsize > 1024) {
1590                 /* response header len is 11
1591                  * PDU Header(7) + IO Size (4)
1592                  */
1593                 req = p9_client_zc_rpc(clnt, P9_TREAD, to, NULL, rsize,
1594                                        0, 11, "dqd", fid->fid,
1595                                        offset, rsize);
1596         } else {
1597                 non_zc = 1;
1598                 req = p9_client_rpc(clnt, P9_TREAD, "dqd", fid->fid, offset,
1599                                     rsize);
1600         }
1601         if (IS_ERR(req)) {
1602                 *err = PTR_ERR(req);
1603                 return 0;
1604         }
1605
1606         *err = p9pdu_readf(&req->rc, clnt->proto_version,
1607                            "D", &count, &dataptr);
1608         if (*err) {
1609                 trace_9p_protocol_dump(clnt, &req->rc);
1610                 p9_tag_remove(clnt, req);
1611                 return 0;
1612         }
1613         if (rsize < count) {
1614                 pr_err("bogus RREAD count (%d > %d)\n", count, rsize);
1615                 count = rsize;
1616         }
1617
1618         p9_debug(P9_DEBUG_9P, "<<< RREAD count %d\n", count);
1619
1620         if (non_zc) {
1621                 int n = copy_to_iter(dataptr, count, to);
1622
1623                 if (n != count) {
1624                         *err = -EFAULT;
1625                         p9_tag_remove(clnt, req);
1626                         return n;
1627                 }
1628         } else {
1629                 iov_iter_advance(to, count);
1630         }
1631         p9_tag_remove(clnt, req);
1632         return count;
1633 }
1634 EXPORT_SYMBOL(p9_client_read_once);
1635
1636 int
1637 p9_client_write(struct p9_fid *fid, u64 offset, struct iov_iter *from, int *err)
1638 {
1639         struct p9_client *clnt = fid->clnt;
1640         struct p9_req_t *req;
1641         int total = 0;
1642         *err = 0;
1643
1644         p9_debug(P9_DEBUG_9P, ">>> TWRITE fid %d offset %llu count %zd\n",
1645                  fid->fid, offset, iov_iter_count(from));
1646
1647         while (iov_iter_count(from)) {
1648                 int count = iov_iter_count(from);
1649                 int rsize = fid->iounit;
1650
1651                 if (!rsize || rsize > clnt->msize - P9_IOHDRSZ)
1652                         rsize = clnt->msize - P9_IOHDRSZ;
1653
1654                 if (count < rsize)
1655                         rsize = count;
1656
1657                 /* Don't bother zerocopy for small IO (< 1024) */
1658                 if (clnt->trans_mod->zc_request && rsize > 1024) {
1659                         req = p9_client_zc_rpc(clnt, P9_TWRITE, NULL, from, 0,
1660                                                rsize, P9_ZC_HDR_SZ, "dqd",
1661                                                fid->fid, offset, rsize);
1662                 } else {
1663                         req = p9_client_rpc(clnt, P9_TWRITE, "dqV", fid->fid,
1664                                             offset, rsize, from);
1665                 }
1666                 if (IS_ERR(req)) {
1667                         *err = PTR_ERR(req);
1668                         break;
1669                 }
1670
1671                 *err = p9pdu_readf(&req->rc, clnt->proto_version, "d", &count);
1672                 if (*err) {
1673                         trace_9p_protocol_dump(clnt, &req->rc);
1674                         p9_tag_remove(clnt, req);
1675                         break;
1676                 }
1677                 if (rsize < count) {
1678                         pr_err("bogus RWRITE count (%d > %d)\n", count, rsize);
1679                         count = rsize;
1680                 }
1681
1682                 p9_debug(P9_DEBUG_9P, "<<< RWRITE count %d\n", count);
1683
1684                 p9_tag_remove(clnt, req);
1685                 iov_iter_advance(from, count);
1686                 total += count;
1687                 offset += count;
1688         }
1689         return total;
1690 }
1691 EXPORT_SYMBOL(p9_client_write);
1692
1693 struct p9_wstat *p9_client_stat(struct p9_fid *fid)
1694 {
1695         int err;
1696         struct p9_client *clnt;
1697         struct p9_wstat *ret;
1698         struct p9_req_t *req;
1699         u16 ignored;
1700
1701         p9_debug(P9_DEBUG_9P, ">>> TSTAT fid %d\n", fid->fid);
1702
1703         ret = kmalloc(sizeof(*ret), GFP_KERNEL);
1704         if (!ret)
1705                 return ERR_PTR(-ENOMEM);
1706
1707         err = 0;
1708         clnt = fid->clnt;
1709
1710         req = p9_client_rpc(clnt, P9_TSTAT, "d", fid->fid);
1711         if (IS_ERR(req)) {
1712                 err = PTR_ERR(req);
1713                 goto error;
1714         }
1715
1716         err = p9pdu_readf(&req->rc, clnt->proto_version, "wS", &ignored, ret);
1717         if (err) {
1718                 trace_9p_protocol_dump(clnt, &req->rc);
1719                 p9_tag_remove(clnt, req);
1720                 goto error;
1721         }
1722
1723         p9_debug(P9_DEBUG_9P,
1724                  "<<< RSTAT sz=%x type=%x dev=%x qid=%x.%llx.%x\n"
1725                  "<<<    mode=%8.8x atime=%8.8x mtime=%8.8x length=%llx\n"
1726                  "<<<    name=%s uid=%s gid=%s muid=%s extension=(%s)\n"
1727                  "<<<    uid=%d gid=%d n_muid=%d\n",
1728                  ret->size, ret->type, ret->dev, ret->qid.type, ret->qid.path,
1729                  ret->qid.version, ret->mode,
1730                  ret->atime, ret->mtime, ret->length,
1731                  ret->name, ret->uid, ret->gid, ret->muid, ret->extension,
1732                  from_kuid(&init_user_ns, ret->n_uid),
1733                  from_kgid(&init_user_ns, ret->n_gid),
1734                  from_kuid(&init_user_ns, ret->n_muid));
1735
1736         p9_tag_remove(clnt, req);
1737         return ret;
1738
1739 error:
1740         kfree(ret);
1741         return ERR_PTR(err);
1742 }
1743 EXPORT_SYMBOL(p9_client_stat);
1744
1745 struct p9_stat_dotl *p9_client_getattr_dotl(struct p9_fid *fid,
1746                                             u64 request_mask)
1747 {
1748         int err;
1749         struct p9_client *clnt;
1750         struct p9_stat_dotl *ret;
1751         struct p9_req_t *req;
1752
1753         p9_debug(P9_DEBUG_9P, ">>> TGETATTR fid %d, request_mask %lld\n",
1754                  fid->fid, request_mask);
1755
1756         ret = kmalloc(sizeof(*ret), GFP_KERNEL);
1757         if (!ret)
1758                 return ERR_PTR(-ENOMEM);
1759
1760         err = 0;
1761         clnt = fid->clnt;
1762
1763         req = p9_client_rpc(clnt, P9_TGETATTR, "dq", fid->fid, request_mask);
1764         if (IS_ERR(req)) {
1765                 err = PTR_ERR(req);
1766                 goto error;
1767         }
1768
1769         err = p9pdu_readf(&req->rc, clnt->proto_version, "A", ret);
1770         if (err) {
1771                 trace_9p_protocol_dump(clnt, &req->rc);
1772                 p9_tag_remove(clnt, req);
1773                 goto error;
1774         }
1775
1776         p9_debug(P9_DEBUG_9P, "<<< RGETATTR st_result_mask=%lld\n"
1777                  "<<< qid=%x.%llx.%x\n"
1778                  "<<< st_mode=%8.8x st_nlink=%llu\n"
1779                  "<<< st_uid=%d st_gid=%d\n"
1780                  "<<< st_rdev=%llx st_size=%llx st_blksize=%llu st_blocks=%llu\n"
1781                  "<<< st_atime_sec=%lld st_atime_nsec=%lld\n"
1782                  "<<< st_mtime_sec=%lld st_mtime_nsec=%lld\n"
1783                  "<<< st_ctime_sec=%lld st_ctime_nsec=%lld\n"
1784                  "<<< st_btime_sec=%lld st_btime_nsec=%lld\n"
1785                  "<<< st_gen=%lld st_data_version=%lld\n",
1786                  ret->st_result_mask,
1787                  ret->qid.type, ret->qid.path, ret->qid.version,
1788                  ret->st_mode, ret->st_nlink,
1789                  from_kuid(&init_user_ns, ret->st_uid),
1790                  from_kgid(&init_user_ns, ret->st_gid),
1791                  ret->st_rdev, ret->st_size, ret->st_blksize, ret->st_blocks,
1792                  ret->st_atime_sec, ret->st_atime_nsec,
1793                  ret->st_mtime_sec, ret->st_mtime_nsec,
1794                  ret->st_ctime_sec, ret->st_ctime_nsec,
1795                  ret->st_btime_sec, ret->st_btime_nsec,
1796                  ret->st_gen, ret->st_data_version);
1797
1798         p9_tag_remove(clnt, req);
1799         return ret;
1800
1801 error:
1802         kfree(ret);
1803         return ERR_PTR(err);
1804 }
1805 EXPORT_SYMBOL(p9_client_getattr_dotl);
1806
1807 static int p9_client_statsize(struct p9_wstat *wst, int proto_version)
1808 {
1809         int ret;
1810
1811         /* NOTE: size shouldn't include its own length */
1812         /* size[2] type[2] dev[4] qid[13] */
1813         /* mode[4] atime[4] mtime[4] length[8]*/
1814         /* name[s] uid[s] gid[s] muid[s] */
1815         ret = 2 + 4 + 13 + 4 + 4 + 4 + 8 + 2 + 2 + 2 + 2;
1816
1817         if (wst->name)
1818                 ret += strlen(wst->name);
1819         if (wst->uid)
1820                 ret += strlen(wst->uid);
1821         if (wst->gid)
1822                 ret += strlen(wst->gid);
1823         if (wst->muid)
1824                 ret += strlen(wst->muid);
1825
1826         if (proto_version == p9_proto_2000u ||
1827             proto_version == p9_proto_2000L) {
1828                 /* extension[s] n_uid[4] n_gid[4] n_muid[4] */
1829                 ret += 2 + 4 + 4 + 4;
1830                 if (wst->extension)
1831                         ret += strlen(wst->extension);
1832         }
1833
1834         return ret;
1835 }
1836
1837 int p9_client_wstat(struct p9_fid *fid, struct p9_wstat *wst)
1838 {
1839         int err;
1840         struct p9_req_t *req;
1841         struct p9_client *clnt;
1842
1843         err = 0;
1844         clnt = fid->clnt;
1845         wst->size = p9_client_statsize(wst, clnt->proto_version);
1846         p9_debug(P9_DEBUG_9P, ">>> TWSTAT fid %d\n",
1847                  fid->fid);
1848         p9_debug(P9_DEBUG_9P,
1849                  "     sz=%x type=%x dev=%x qid=%x.%llx.%x\n"
1850                  "     mode=%8.8x atime=%8.8x mtime=%8.8x length=%llx\n"
1851                  "     name=%s uid=%s gid=%s muid=%s extension=(%s)\n"
1852                  "     uid=%d gid=%d n_muid=%d\n",
1853                  wst->size, wst->type, wst->dev, wst->qid.type,
1854                  wst->qid.path, wst->qid.version,
1855                  wst->mode, wst->atime, wst->mtime, wst->length,
1856                  wst->name, wst->uid, wst->gid, wst->muid, wst->extension,
1857                  from_kuid(&init_user_ns, wst->n_uid),
1858                  from_kgid(&init_user_ns, wst->n_gid),
1859                  from_kuid(&init_user_ns, wst->n_muid));
1860
1861         req = p9_client_rpc(clnt, P9_TWSTAT, "dwS",
1862                             fid->fid, wst->size + 2, wst);
1863         if (IS_ERR(req)) {
1864                 err = PTR_ERR(req);
1865                 goto error;
1866         }
1867
1868         p9_debug(P9_DEBUG_9P, "<<< RWSTAT fid %d\n", fid->fid);
1869
1870         p9_tag_remove(clnt, req);
1871 error:
1872         return err;
1873 }
1874 EXPORT_SYMBOL(p9_client_wstat);
1875
1876 int p9_client_setattr(struct p9_fid *fid, struct p9_iattr_dotl *p9attr)
1877 {
1878         int err;
1879         struct p9_req_t *req;
1880         struct p9_client *clnt;
1881
1882         err = 0;
1883         clnt = fid->clnt;
1884         p9_debug(P9_DEBUG_9P, ">>> TSETATTR fid %d\n", fid->fid);
1885         p9_debug(P9_DEBUG_9P, "    valid=%x mode=%x uid=%d gid=%d size=%lld\n",
1886                  p9attr->valid, p9attr->mode,
1887                  from_kuid(&init_user_ns, p9attr->uid),
1888                  from_kgid(&init_user_ns, p9attr->gid),
1889                  p9attr->size);
1890         p9_debug(P9_DEBUG_9P, "    atime_sec=%lld atime_nsec=%lld\n",
1891                  p9attr->atime_sec, p9attr->atime_nsec);
1892         p9_debug(P9_DEBUG_9P, "    mtime_sec=%lld mtime_nsec=%lld\n",
1893                  p9attr->mtime_sec, p9attr->mtime_nsec);
1894
1895         req = p9_client_rpc(clnt, P9_TSETATTR, "dI", fid->fid, p9attr);
1896
1897         if (IS_ERR(req)) {
1898                 err = PTR_ERR(req);
1899                 goto error;
1900         }
1901         p9_debug(P9_DEBUG_9P, "<<< RSETATTR fid %d\n", fid->fid);
1902         p9_tag_remove(clnt, req);
1903 error:
1904         return err;
1905 }
1906 EXPORT_SYMBOL(p9_client_setattr);
1907
1908 int p9_client_statfs(struct p9_fid *fid, struct p9_rstatfs *sb)
1909 {
1910         int err;
1911         struct p9_req_t *req;
1912         struct p9_client *clnt;
1913
1914         err = 0;
1915         clnt = fid->clnt;
1916
1917         p9_debug(P9_DEBUG_9P, ">>> TSTATFS fid %d\n", fid->fid);
1918
1919         req = p9_client_rpc(clnt, P9_TSTATFS, "d", fid->fid);
1920         if (IS_ERR(req)) {
1921                 err = PTR_ERR(req);
1922                 goto error;
1923         }
1924
1925         err = p9pdu_readf(&req->rc, clnt->proto_version, "ddqqqqqqd", &sb->type,
1926                           &sb->bsize, &sb->blocks, &sb->bfree, &sb->bavail,
1927                           &sb->files, &sb->ffree, &sb->fsid, &sb->namelen);
1928         if (err) {
1929                 trace_9p_protocol_dump(clnt, &req->rc);
1930                 p9_tag_remove(clnt, req);
1931                 goto error;
1932         }
1933
1934         p9_debug(P9_DEBUG_9P,
1935                  "<<< RSTATFS fid %d type 0x%x bsize %u blocks %llu bfree %llu bavail %llu files %llu ffree %llu fsid %llu namelen %u\n",
1936                  fid->fid, sb->type, sb->bsize, sb->blocks, sb->bfree,
1937                  sb->bavail, sb->files, sb->ffree, sb->fsid, sb->namelen);
1938
1939         p9_tag_remove(clnt, req);
1940 error:
1941         return err;
1942 }
1943 EXPORT_SYMBOL(p9_client_statfs);
1944
1945 int p9_client_rename(struct p9_fid *fid,
1946                      struct p9_fid *newdirfid, const char *name)
1947 {
1948         int err;
1949         struct p9_req_t *req;
1950         struct p9_client *clnt;
1951
1952         err = 0;
1953         clnt = fid->clnt;
1954
1955         p9_debug(P9_DEBUG_9P, ">>> TRENAME fid %d newdirfid %d name %s\n",
1956                  fid->fid, newdirfid->fid, name);
1957
1958         req = p9_client_rpc(clnt, P9_TRENAME, "dds", fid->fid,
1959                             newdirfid->fid, name);
1960         if (IS_ERR(req)) {
1961                 err = PTR_ERR(req);
1962                 goto error;
1963         }
1964
1965         p9_debug(P9_DEBUG_9P, "<<< RRENAME fid %d\n", fid->fid);
1966
1967         p9_tag_remove(clnt, req);
1968 error:
1969         return err;
1970 }
1971 EXPORT_SYMBOL(p9_client_rename);
1972
1973 int p9_client_renameat(struct p9_fid *olddirfid, const char *old_name,
1974                        struct p9_fid *newdirfid, const char *new_name)
1975 {
1976         int err;
1977         struct p9_req_t *req;
1978         struct p9_client *clnt;
1979
1980         err = 0;
1981         clnt = olddirfid->clnt;
1982
1983         p9_debug(P9_DEBUG_9P,
1984                  ">>> TRENAMEAT olddirfid %d old name %s newdirfid %d new name %s\n",
1985                  olddirfid->fid, old_name, newdirfid->fid, new_name);
1986
1987         req = p9_client_rpc(clnt, P9_TRENAMEAT, "dsds", olddirfid->fid,
1988                             old_name, newdirfid->fid, new_name);
1989         if (IS_ERR(req)) {
1990                 err = PTR_ERR(req);
1991                 goto error;
1992         }
1993
1994         p9_debug(P9_DEBUG_9P, "<<< RRENAMEAT newdirfid %d new name %s\n",
1995                  newdirfid->fid, new_name);
1996
1997         p9_tag_remove(clnt, req);
1998 error:
1999         return err;
2000 }
2001 EXPORT_SYMBOL(p9_client_renameat);
2002
2003 /* An xattrwalk without @attr_name gives the fid for the lisxattr namespace
2004  */
2005 struct p9_fid *p9_client_xattrwalk(struct p9_fid *file_fid,
2006                                    const char *attr_name, u64 *attr_size)
2007 {
2008         int err;
2009         struct p9_req_t *req;
2010         struct p9_client *clnt;
2011         struct p9_fid *attr_fid;
2012
2013         err = 0;
2014         clnt = file_fid->clnt;
2015         attr_fid = p9_fid_create(clnt);
2016         if (!attr_fid) {
2017                 err = -ENOMEM;
2018                 goto error;
2019         }
2020         p9_debug(P9_DEBUG_9P,
2021                  ">>> TXATTRWALK file_fid %d, attr_fid %d name %s\n",
2022                  file_fid->fid, attr_fid->fid, attr_name);
2023
2024         req = p9_client_rpc(clnt, P9_TXATTRWALK, "dds",
2025                             file_fid->fid, attr_fid->fid, attr_name);
2026         if (IS_ERR(req)) {
2027                 err = PTR_ERR(req);
2028                 goto error;
2029         }
2030         err = p9pdu_readf(&req->rc, clnt->proto_version, "q", attr_size);
2031         if (err) {
2032                 trace_9p_protocol_dump(clnt, &req->rc);
2033                 p9_tag_remove(clnt, req);
2034                 goto clunk_fid;
2035         }
2036         p9_tag_remove(clnt, req);
2037         p9_debug(P9_DEBUG_9P, "<<<  RXATTRWALK fid %d size %llu\n",
2038                  attr_fid->fid, *attr_size);
2039         return attr_fid;
2040 clunk_fid:
2041         p9_client_clunk(attr_fid);
2042         attr_fid = NULL;
2043 error:
2044         if (attr_fid && attr_fid != file_fid)
2045                 p9_fid_destroy(attr_fid);
2046
2047         return ERR_PTR(err);
2048 }
2049 EXPORT_SYMBOL_GPL(p9_client_xattrwalk);
2050
2051 int p9_client_xattrcreate(struct p9_fid *fid, const char *name,
2052                           u64 attr_size, int flags)
2053 {
2054         int err;
2055         struct p9_req_t *req;
2056         struct p9_client *clnt;
2057
2058         p9_debug(P9_DEBUG_9P,
2059                  ">>> TXATTRCREATE fid %d name  %s size %llu flag %d\n",
2060                  fid->fid, name, attr_size, flags);
2061         err = 0;
2062         clnt = fid->clnt;
2063         req = p9_client_rpc(clnt, P9_TXATTRCREATE, "dsqd",
2064                             fid->fid, name, attr_size, flags);
2065         if (IS_ERR(req)) {
2066                 err = PTR_ERR(req);
2067                 goto error;
2068         }
2069         p9_debug(P9_DEBUG_9P, "<<< RXATTRCREATE fid %d\n", fid->fid);
2070         p9_tag_remove(clnt, req);
2071 error:
2072         return err;
2073 }
2074 EXPORT_SYMBOL_GPL(p9_client_xattrcreate);
2075
2076 int p9_client_readdir(struct p9_fid *fid, char *data, u32 count, u64 offset)
2077 {
2078         int err, rsize, non_zc = 0;
2079         struct p9_client *clnt;
2080         struct p9_req_t *req;
2081         char *dataptr;
2082         struct kvec kv = {.iov_base = data, .iov_len = count};
2083         struct iov_iter to;
2084
2085         iov_iter_kvec(&to, READ, &kv, 1, count);
2086
2087         p9_debug(P9_DEBUG_9P, ">>> TREADDIR fid %d offset %llu count %d\n",
2088                  fid->fid, offset, count);
2089
2090         err = 0;
2091         clnt = fid->clnt;
2092
2093         rsize = fid->iounit;
2094         if (!rsize || rsize > clnt->msize - P9_READDIRHDRSZ)
2095                 rsize = clnt->msize - P9_READDIRHDRSZ;
2096
2097         if (count < rsize)
2098                 rsize = count;
2099
2100         /* Don't bother zerocopy for small IO (< 1024) */
2101         if (clnt->trans_mod->zc_request && rsize > 1024) {
2102                 /* response header len is 11
2103                  * PDU Header(7) + IO Size (4)
2104                  */
2105                 req = p9_client_zc_rpc(clnt, P9_TREADDIR, &to, NULL, rsize, 0,
2106                                        11, "dqd", fid->fid, offset, rsize);
2107         } else {
2108                 non_zc = 1;
2109                 req = p9_client_rpc(clnt, P9_TREADDIR, "dqd", fid->fid,
2110                                     offset, rsize);
2111         }
2112         if (IS_ERR(req)) {
2113                 err = PTR_ERR(req);
2114                 goto error;
2115         }
2116
2117         err = p9pdu_readf(&req->rc, clnt->proto_version, "D", &count, &dataptr);
2118         if (err) {
2119                 trace_9p_protocol_dump(clnt, &req->rc);
2120                 goto free_and_error;
2121         }
2122         if (rsize < count) {
2123                 pr_err("bogus RREADDIR count (%d > %d)\n", count, rsize);
2124                 count = rsize;
2125         }
2126
2127         p9_debug(P9_DEBUG_9P, "<<< RREADDIR count %d\n", count);
2128
2129         if (non_zc)
2130                 memmove(data, dataptr, count);
2131
2132         p9_tag_remove(clnt, req);
2133         return count;
2134
2135 free_and_error:
2136         p9_tag_remove(clnt, req);
2137 error:
2138         return err;
2139 }
2140 EXPORT_SYMBOL(p9_client_readdir);
2141
2142 int p9_client_mknod_dotl(struct p9_fid *fid, const char *name, int mode,
2143                          dev_t rdev, kgid_t gid, struct p9_qid *qid)
2144 {
2145         int err;
2146         struct p9_client *clnt;
2147         struct p9_req_t *req;
2148
2149         err = 0;
2150         clnt = fid->clnt;
2151         p9_debug(P9_DEBUG_9P,
2152                  ">>> TMKNOD fid %d name %s mode %d major %d minor %d\n",
2153                  fid->fid, name, mode, MAJOR(rdev), MINOR(rdev));
2154         req = p9_client_rpc(clnt, P9_TMKNOD, "dsdddg", fid->fid, name, mode,
2155                             MAJOR(rdev), MINOR(rdev), gid);
2156         if (IS_ERR(req))
2157                 return PTR_ERR(req);
2158
2159         err = p9pdu_readf(&req->rc, clnt->proto_version, "Q", qid);
2160         if (err) {
2161                 trace_9p_protocol_dump(clnt, &req->rc);
2162                 goto error;
2163         }
2164         p9_debug(P9_DEBUG_9P, "<<< RMKNOD qid %x.%llx.%x\n",
2165                  qid->type, qid->path, qid->version);
2166
2167 error:
2168         p9_tag_remove(clnt, req);
2169         return err;
2170 }
2171 EXPORT_SYMBOL(p9_client_mknod_dotl);
2172
2173 int p9_client_mkdir_dotl(struct p9_fid *fid, const char *name, int mode,
2174                          kgid_t gid, struct p9_qid *qid)
2175 {
2176         int err;
2177         struct p9_client *clnt;
2178         struct p9_req_t *req;
2179
2180         err = 0;
2181         clnt = fid->clnt;
2182         p9_debug(P9_DEBUG_9P, ">>> TMKDIR fid %d name %s mode %d gid %d\n",
2183                  fid->fid, name, mode, from_kgid(&init_user_ns, gid));
2184         req = p9_client_rpc(clnt, P9_TMKDIR, "dsdg",
2185                             fid->fid, name, mode, gid);
2186         if (IS_ERR(req))
2187                 return PTR_ERR(req);
2188
2189         err = p9pdu_readf(&req->rc, clnt->proto_version, "Q", qid);
2190         if (err) {
2191                 trace_9p_protocol_dump(clnt, &req->rc);
2192                 goto error;
2193         }
2194         p9_debug(P9_DEBUG_9P, "<<< RMKDIR qid %x.%llx.%x\n", qid->type,
2195                  qid->path, qid->version);
2196
2197 error:
2198         p9_tag_remove(clnt, req);
2199         return err;
2200 }
2201 EXPORT_SYMBOL(p9_client_mkdir_dotl);
2202
2203 int p9_client_lock_dotl(struct p9_fid *fid, struct p9_flock *flock, u8 *status)
2204 {
2205         int err;
2206         struct p9_client *clnt;
2207         struct p9_req_t *req;
2208
2209         err = 0;
2210         clnt = fid->clnt;
2211         p9_debug(P9_DEBUG_9P,
2212                  ">>> TLOCK fid %d type %i flags %d start %lld length %lld proc_id %d client_id %s\n",
2213                  fid->fid, flock->type, flock->flags, flock->start,
2214                  flock->length, flock->proc_id, flock->client_id);
2215
2216         req = p9_client_rpc(clnt, P9_TLOCK, "dbdqqds", fid->fid, flock->type,
2217                             flock->flags, flock->start, flock->length,
2218                             flock->proc_id, flock->client_id);
2219
2220         if (IS_ERR(req))
2221                 return PTR_ERR(req);
2222
2223         err = p9pdu_readf(&req->rc, clnt->proto_version, "b", status);
2224         if (err) {
2225                 trace_9p_protocol_dump(clnt, &req->rc);
2226                 goto error;
2227         }
2228         p9_debug(P9_DEBUG_9P, "<<< RLOCK status %i\n", *status);
2229 error:
2230         p9_tag_remove(clnt, req);
2231         return err;
2232 }
2233 EXPORT_SYMBOL(p9_client_lock_dotl);
2234
2235 int p9_client_getlock_dotl(struct p9_fid *fid, struct p9_getlock *glock)
2236 {
2237         int err;
2238         struct p9_client *clnt;
2239         struct p9_req_t *req;
2240
2241         err = 0;
2242         clnt = fid->clnt;
2243         p9_debug(P9_DEBUG_9P,
2244                  ">>> TGETLOCK fid %d, type %i start %lld length %lld proc_id %d client_id %s\n",
2245                  fid->fid, glock->type, glock->start, glock->length,
2246                  glock->proc_id, glock->client_id);
2247
2248         req = p9_client_rpc(clnt, P9_TGETLOCK, "dbqqds", fid->fid,
2249                             glock->type, glock->start, glock->length,
2250                             glock->proc_id, glock->client_id);
2251
2252         if (IS_ERR(req))
2253                 return PTR_ERR(req);
2254
2255         err = p9pdu_readf(&req->rc, clnt->proto_version, "bqqds", &glock->type,
2256                           &glock->start, &glock->length, &glock->proc_id,
2257                           &glock->client_id);
2258         if (err) {
2259                 trace_9p_protocol_dump(clnt, &req->rc);
2260                 goto error;
2261         }
2262         p9_debug(P9_DEBUG_9P,
2263                  "<<< RGETLOCK type %i start %lld length %lld proc_id %d client_id %s\n",
2264                  glock->type, glock->start, glock->length,
2265                  glock->proc_id, glock->client_id);
2266 error:
2267         p9_tag_remove(clnt, req);
2268         return err;
2269 }
2270 EXPORT_SYMBOL(p9_client_getlock_dotl);
2271
2272 int p9_client_readlink(struct p9_fid *fid, char **target)
2273 {
2274         int err;
2275         struct p9_client *clnt;
2276         struct p9_req_t *req;
2277
2278         err = 0;
2279         clnt = fid->clnt;
2280         p9_debug(P9_DEBUG_9P, ">>> TREADLINK fid %d\n", fid->fid);
2281
2282         req = p9_client_rpc(clnt, P9_TREADLINK, "d", fid->fid);
2283         if (IS_ERR(req))
2284                 return PTR_ERR(req);
2285
2286         err = p9pdu_readf(&req->rc, clnt->proto_version, "s", target);
2287         if (err) {
2288                 trace_9p_protocol_dump(clnt, &req->rc);
2289                 goto error;
2290         }
2291         p9_debug(P9_DEBUG_9P, "<<< RREADLINK target %s\n", *target);
2292 error:
2293         p9_tag_remove(clnt, req);
2294         return err;
2295 }
2296 EXPORT_SYMBOL(p9_client_readlink);
2297
2298 int __init p9_client_init(void)
2299 {
2300         p9_req_cache = KMEM_CACHE(p9_req_t, SLAB_TYPESAFE_BY_RCU);
2301         return p9_req_cache ? 0 : -ENOMEM;
2302 }
2303
2304 void __exit p9_client_exit(void)
2305 {
2306         kmem_cache_destroy(p9_req_cache);
2307 }