fs/nfs/callback_proc.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * linux/fs/nfs/callback_proc.c
   4  *
   5  * Copyright (C) 2004 Trond Myklebust
   6  *
   7  * NFSv4 callback procedures
   8  */
   9 #include <linux/nfs4.h>
  10 #include <linux/nfs_fs.h>
  11 #include <linux/slab.h>
  12 #include <linux/rcupdate.h>
  13 #include "nfs4_fs.h"
  14 #include "callback.h"
  15 #include "delegation.h"
  16 #include "internal.h"
  17 #include "pnfs.h"
  18 #include "nfs4session.h"
  19 #include "nfs4trace.h"
  20
  21 #define NFSDBG_FACILITY NFSDBG_CALLBACK
  22
  23 __be32 nfs4_callback_getattr(void *argp, void *resp,
  24                              struct cb_process_state *cps)
  25 {
  26         struct cb_getattrargs *args = argp;
  27         struct cb_getattrres *res = resp;
  28         struct nfs_delegation *delegation;
  29         struct inode *inode;
  30
  31         res->status = htonl(NFS4ERR_OP_NOT_IN_SESSION);
  32         if (!cps->clp) /* Always set for v4.0. Set in cb_sequence for v4.1 */
  33                 goto out;
  34
  35         res->bitmap[0] = res->bitmap[1] = 0;
  36         res->status = htonl(NFS4ERR_BADHANDLE);
  37
  38         dprintk_rcu("NFS: GETATTR callback request from %s\n",
  39                 rpc_peeraddr2str(cps->clp->cl_rpcclient, RPC_DISPLAY_ADDR));
  40
  41         inode = nfs_delegation_find_inode(cps->clp, &args->fh);
  42         if (IS_ERR(inode)) {
  43                 if (inode == ERR_PTR(-EAGAIN))
  44                         res->status = htonl(NFS4ERR_DELAY);
  45                 trace_nfs4_cb_getattr(cps->clp, &args->fh, NULL,
  46                                 -ntohl(res->status));
  47                 goto out;
  48         }
  49         rcu_read_lock();
  50         delegation = nfs4_get_valid_delegation(inode);
  51         if (delegation == NULL || (delegation->type & FMODE_WRITE) == 0)
  52                 goto out_iput;
  53         res->size = i_size_read(inode);
  54         res->change_attr = delegation->change_attr;
  55         if (nfs_have_writebacks(inode))
  56                 res->change_attr++;
  57         res->ctime = inode->i_ctime;
  58         res->mtime = inode->i_mtime;
  59         res->bitmap[0] = (FATTR4_WORD0_CHANGE|FATTR4_WORD0_SIZE) &
  60                 args->bitmap[0];
  61         res->bitmap[1] = (FATTR4_WORD1_TIME_METADATA|FATTR4_WORD1_TIME_MODIFY) &
  62                 args->bitmap[1];
  63         res->status = 0;
  64 out_iput:
  65         rcu_read_unlock();
  66         trace_nfs4_cb_getattr(cps->clp, &args->fh, inode, -ntohl(res->status));
  67         nfs_iput_and_deactive(inode);
  68 out:
  69         dprintk("%s: exit with status = %d\n", __func__, ntohl(res->status));
  70         return res->status;
  71 }
  72
  73 __be32 nfs4_callback_recall(void *argp, void *resp,
  74                             struct cb_process_state *cps)
  75 {
  76         struct cb_recallargs *args = argp;
  77         struct inode *inode;
  78         __be32 res;
  79
  80         res = htonl(NFS4ERR_OP_NOT_IN_SESSION);
  81         if (!cps->clp) /* Always set for v4.0. Set in cb_sequence for v4.1 */
  82                 goto out;
  83
  84         dprintk_rcu("NFS: RECALL callback request from %s\n",
  85                 rpc_peeraddr2str(cps->clp->cl_rpcclient, RPC_DISPLAY_ADDR));
  86
  87         res = htonl(NFS4ERR_BADHANDLE);
  88         inode = nfs_delegation_find_inode(cps->clp, &args->fh);
  89         if (IS_ERR(inode)) {
  90                 if (inode == ERR_PTR(-EAGAIN))
  91                         res = htonl(NFS4ERR_DELAY);
  92                 trace_nfs4_cb_recall(cps->clp, &args->fh, NULL,
  93                                 &args->stateid, -ntohl(res));
  94                 goto out;
  95         }
  96         /* Set up a helper thread to actually return the delegation */
  97         switch (nfs_async_inode_return_delegation(inode, &args->stateid)) {
  98         case 0:
  99                 res = 0;
 100                 break;
 101         case -ENOENT:
 102                 res = htonl(NFS4ERR_BAD_STATEID);
 103                 break;
 104         default:
 105                 res = htonl(NFS4ERR_RESOURCE);
 106         }
 107         trace_nfs4_cb_recall(cps->clp, &args->fh, inode,
 108                         &args->stateid, -ntohl(res));
 109         nfs_iput_and_deactive(inode);
 110 out:
 111         dprintk("%s: exit with status = %d\n", __func__, ntohl(res));
 112         return res;
 113 }
 114
 115 #if defined(CONFIG_NFS_V4_1)
 116
 117 /*
 118  * Lookup a layout inode by stateid
 119  *
 120  * Note: returns a refcount on the inode and superblock
 121  */
 122 static struct inode *nfs_layout_find_inode_by_stateid(struct nfs_client *clp,
 123                 const nfs4_stateid *stateid)
 124         __must_hold(RCU)
 125 {
 126         struct nfs_server *server;
 127         struct inode *inode;
 128         struct pnfs_layout_hdr *lo;
 129
 130         rcu_read_lock();
 131         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link) {
 132                 list_for_each_entry_rcu(lo, &server->layouts, plh_layouts) {
 133                         if (!pnfs_layout_is_valid(lo))
 134                                 continue;
 135                         if (!nfs4_stateid_match_other(stateid, &lo->plh_stateid))
 136                                 continue;
 137                         if (nfs_sb_active(server->super))
 138                                 inode = igrab(lo->plh_inode);
 139                         else
 140                                 inode = ERR_PTR(-EAGAIN);
 141                         rcu_read_unlock();
 142                         if (inode)
 143                                 return inode;
 144                         nfs_sb_deactive(server->super);
 145                         return ERR_PTR(-EAGAIN);
 146                 }
 147         }
 148         rcu_read_unlock();
 149         return ERR_PTR(-ENOENT);
 150 }
 151
 152 /*
 153  * Lookup a layout inode by filehandle.
 154  *
 155  * Note: returns a refcount on the inode and superblock
 156  *
 157  */
 158 static struct inode *nfs_layout_find_inode_by_fh(struct nfs_client *clp,
 159                 const struct nfs_fh *fh)
 160 {
 161         struct nfs_server *server;
 162         struct nfs_inode *nfsi;
 163         struct inode *inode;
 164         struct pnfs_layout_hdr *lo;
 165
 166         rcu_read_lock();
 167         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link) {
 168                 list_for_each_entry_rcu(lo, &server->layouts, plh_layouts) {
 169                         nfsi = NFS_I(lo->plh_inode);
 170                         if (nfs_compare_fh(fh, &nfsi->fh))
 171                                 continue;
 172                         if (nfsi->layout != lo)
 173                                 continue;
 174                         if (nfs_sb_active(server->super))
 175                                 inode = igrab(lo->plh_inode);
 176                         else
 177                                 inode = ERR_PTR(-EAGAIN);
 178                         rcu_read_unlock();
 179                         if (inode)
 180                                 return inode;
 181                         nfs_sb_deactive(server->super);
 182                         return ERR_PTR(-EAGAIN);
 183                 }
 184         }
 185         rcu_read_unlock();
 186         return ERR_PTR(-ENOENT);
 187 }
 188
 189 static struct inode *nfs_layout_find_inode(struct nfs_client *clp,
 190                 const struct nfs_fh *fh,
 191                 const nfs4_stateid *stateid)
 192 {
 193         struct inode *inode;
 194
 195         inode = nfs_layout_find_inode_by_stateid(clp, stateid);
 196         if (inode == ERR_PTR(-ENOENT))
 197                 inode = nfs_layout_find_inode_by_fh(clp, fh);
 198         return inode;
 199 }
 200
 201 /*
 202  * Enforce RFC5661 section 12.5.5.2.1. (Layout Recall and Return Sequencing)
 203  */
 204 static u32 pnfs_check_callback_stateid(struct pnfs_layout_hdr *lo,
 205                                         const nfs4_stateid *new)
 206 {
 207         u32 oldseq, newseq;
 208
 209         /* Is the stateid not initialised? */
 210         if (!pnfs_layout_is_valid(lo))
 211                 return NFS4ERR_NOMATCHING_LAYOUT;
 212
 213         /* Mismatched stateid? */
 214         if (!nfs4_stateid_match_other(&lo->plh_stateid, new))
 215                 return NFS4ERR_BAD_STATEID;
 216
 217         newseq = be32_to_cpu(new->seqid);
 218         /* Are we already in a layout recall situation? */
 219         if (test_bit(NFS_LAYOUT_RETURN_REQUESTED, &lo->plh_flags) &&
 220             lo->plh_return_seq != 0) {
 221                 if (newseq < lo->plh_return_seq)
 222                         return NFS4ERR_OLD_STATEID;
 223                 if (newseq > lo->plh_return_seq)
 224                         return NFS4ERR_DELAY;
 225                 goto out;
 226         }
 227
 228         /* Check that the stateid matches what we think it should be. */
 229         oldseq = be32_to_cpu(lo->plh_stateid.seqid);
 230         if (newseq > oldseq + 1)
 231                 return NFS4ERR_DELAY;
 232         /* Crazy server! */
 233         if (newseq <= oldseq)
 234                 return NFS4ERR_OLD_STATEID;
 235 out:
 236         return NFS_OK;
 237 }
 238
 239 static u32 initiate_file_draining(struct nfs_client *clp,
 240                                   struct cb_layoutrecallargs *args)
 241 {
 242         struct inode *ino;
 243         struct pnfs_layout_hdr *lo;
 244         u32 rv = NFS4ERR_NOMATCHING_LAYOUT;
 245         LIST_HEAD(free_me_list);
 246
 247         ino = nfs_layout_find_inode(clp, &args->cbl_fh, &args->cbl_stateid);
 248         if (IS_ERR(ino)) {
 249                 if (ino == ERR_PTR(-EAGAIN))
 250                         rv = NFS4ERR_DELAY;
 251                 goto out_noput;
 252         }
 253
 254         pnfs_layoutcommit_inode(ino, false);
 255
 256
 257         spin_lock(&ino->i_lock);
 258         lo = NFS_I(ino)->layout;
 259         if (!lo) {
 260                 spin_unlock(&ino->i_lock);
 261                 goto out;
 262         }
 263         pnfs_get_layout_hdr(lo);
 264         rv = pnfs_check_callback_stateid(lo, &args->cbl_stateid);
 265         if (rv != NFS_OK)
 266                 goto unlock;
 267
 268         /*
 269          * Enforce RFC5661 Section 12.5.5.2.1.5 (Bulk Recall and Return)
 270          */
 271         if (test_bit(NFS_LAYOUT_BULK_RECALL, &lo->plh_flags)) {
 272                 rv = NFS4ERR_DELAY;
 273                 goto unlock;
 274         }
 275
 276         pnfs_set_layout_stateid(lo, &args->cbl_stateid, NULL, true);
 277         switch (pnfs_mark_matching_lsegs_return(lo, &free_me_list,
 278                                 &args->cbl_range,
 279                                 be32_to_cpu(args->cbl_stateid.seqid))) {
 280         case 0:
 281         case -EBUSY:
 282                 /* There are layout segments that need to be returned */
 283                 rv = NFS4_OK;
 284                 break;
 285         case -ENOENT:
 286                 set_bit(NFS_LAYOUT_DRAIN, &lo->plh_flags);
 287                 /* Embrace your forgetfulness! */
 288                 rv = NFS4ERR_NOMATCHING_LAYOUT;
 289
 290                 if (NFS_SERVER(ino)->pnfs_curr_ld->return_range) {
 291                         NFS_SERVER(ino)->pnfs_curr_ld->return_range(lo,
 292                                 &args->cbl_range);
 293                 }
 294         }
 295 unlock:
 296         spin_unlock(&ino->i_lock);
 297         pnfs_free_lseg_list(&free_me_list);
 298         /* Free all lsegs that are attached to commit buckets */
 299         nfs_commit_inode(ino, 0);
 300         pnfs_put_layout_hdr(lo);
 301 out:
 302         nfs_iput_and_deactive(ino);
 303 out_noput:
 304         trace_nfs4_cb_layoutrecall_file(clp, &args->cbl_fh, ino,
 305                         &args->cbl_stateid, -rv);
 306         return rv;
 307 }
 308
 309 static u32 initiate_bulk_draining(struct nfs_client *clp,
 310                                   struct cb_layoutrecallargs *args)
 311 {
 312         int stat;
 313
 314         if (args->cbl_recall_type == RETURN_FSID)
 315                 stat = pnfs_destroy_layouts_byfsid(clp, &args->cbl_fsid, true);
 316         else
 317                 stat = pnfs_destroy_layouts_byclid(clp, true);
 318         if (stat != 0)
 319                 return NFS4ERR_DELAY;
 320         return NFS4ERR_NOMATCHING_LAYOUT;
 321 }
 322
 323 static u32 do_callback_layoutrecall(struct nfs_client *clp,
 324                                     struct cb_layoutrecallargs *args)
 325 {
 326         if (args->cbl_recall_type == RETURN_FILE)
 327                 return initiate_file_draining(clp, args);
 328         return initiate_bulk_draining(clp, args);
 329 }
 330
 331 __be32 nfs4_callback_layoutrecall(void *argp, void *resp,
 332                                   struct cb_process_state *cps)
 333 {
 334         struct cb_layoutrecallargs *args = argp;
 335         u32 res = NFS4ERR_OP_NOT_IN_SESSION;
 336
 337         if (cps->clp)
 338                 res = do_callback_layoutrecall(cps->clp, args);
 339         return cpu_to_be32(res);
 340 }
 341
 342 static void pnfs_recall_all_layouts(struct nfs_client *clp)
 343 {
 344         struct cb_layoutrecallargs args;
 345
 346         /* Pretend we got a CB_LAYOUTRECALL(ALL) */
 347         memset(&args, 0, sizeof(args));
 348         args.cbl_recall_type = RETURN_ALL;
 349         /* FIXME we ignore errors, what should we do? */
 350         do_callback_layoutrecall(clp, &args);
 351 }
 352
 353 __be32 nfs4_callback_devicenotify(void *argp, void *resp,
 354                                   struct cb_process_state *cps)
 355 {
 356         struct cb_devicenotifyargs *args = argp;
 357         const struct pnfs_layoutdriver_type *ld = NULL;
 358         uint32_t i;
 359         __be32 res = 0;
 360
 361         if (!cps->clp) {
 362                 res = cpu_to_be32(NFS4ERR_OP_NOT_IN_SESSION);
 363                 goto out;
 364         }
 365
 366         for (i = 0; i < args->ndevs; i++) {
 367                 struct cb_devicenotifyitem *dev = &args->devs[i];
 368
 369                 if (!ld || ld->id != dev->cbd_layout_type) {
 370                         pnfs_put_layoutdriver(ld);
 371                         ld = pnfs_find_layoutdriver(dev->cbd_layout_type);
 372                         if (!ld)
 373                                 continue;
 374                 }
 375                 nfs4_delete_deviceid(ld, cps->clp, &dev->cbd_dev_id);
 376         }
 377         pnfs_put_layoutdriver(ld);
 378 out:
 379         kfree(args->devs);
 380         return res;
 381 }
 382
 383 /*
 384  * Validate the sequenceID sent by the server.
 385  * Return success if the sequenceID is one more than what we last saw on
 386  * this slot, accounting for wraparound.  Increments the slot's sequence.
 387  *
 388  * We don't yet implement a duplicate request cache, instead we set the
 389  * back channel ca_maxresponsesize_cached to zero. This is OK for now
 390  * since we only currently implement idempotent callbacks anyway.
 391  *
 392  * We have a single slot backchannel at this time, so we don't bother
 393  * checking the used_slots bit array on the table.  The lower layer guarantees
 394  * a single outstanding callback request at a time.
 395  */
 396 static __be32
 397 validate_seqid(const struct nfs4_slot_table *tbl, const struct nfs4_slot *slot,
 398                 const struct cb_sequenceargs * args)
 399 {
 400         __be32 ret;
 401
 402         ret = cpu_to_be32(NFS4ERR_BADSLOT);
 403         if (args->csa_slotid > tbl->server_highest_slotid)
 404                 goto out_err;
 405
 406         /* Replay */
 407         if (args->csa_sequenceid == slot->seq_nr) {
 408                 ret = cpu_to_be32(NFS4ERR_DELAY);
 409                 if (nfs4_test_locked_slot(tbl, slot->slot_nr))
 410                         goto out_err;
 411
 412                 /* Signal process_op to set this error on next op */
 413                 ret = cpu_to_be32(NFS4ERR_RETRY_UNCACHED_REP);
 414                 if (args->csa_cachethis == 0)
 415                         goto out_err;
 416
 417                 /* Liar! We never allowed you to set csa_cachethis != 0 */
 418                 ret = cpu_to_be32(NFS4ERR_SEQ_FALSE_RETRY);
 419                 goto out_err;
 420         }
 421
 422         /* Note: wraparound relies on seq_nr being of type u32 */
 423         /* Misordered request */
 424         ret = cpu_to_be32(NFS4ERR_SEQ_MISORDERED);
 425         if (args->csa_sequenceid != slot->seq_nr + 1)
 426                 goto out_err;
 427
 428         return cpu_to_be32(NFS4_OK);
 429
 430 out_err:
 431         trace_nfs4_cb_seqid_err(args, ret);
 432         return ret;
 433 }
 434
 435 /*
 436  * For each referring call triple, check the session's slot table for
 437  * a match.  If the slot is in use and the sequence numbers match, the
 438  * client is still waiting for a response to the original request.
 439  */
 440 static int referring_call_exists(struct nfs_client *clp,
 441                                   uint32_t nrclists,
 442                                   struct referring_call_list *rclists,
 443                                   spinlock_t *lock)
 444         __releases(lock)
 445         __acquires(lock)
 446 {
 447         int status = 0;
 448         int i, j;
 449         struct nfs4_session *session;
 450         struct nfs4_slot_table *tbl;
 451         struct referring_call_list *rclist;
 452         struct referring_call *ref;
 453
 454         /*
 455          * XXX When client trunking is implemented, this becomes
 456          * a session lookup from within the loop
 457          */
 458         session = clp->cl_session;
 459         tbl = &session->fc_slot_table;
 460
 461         for (i = 0; i < nrclists; i++) {
 462                 rclist = &rclists[i];
 463                 if (memcmp(session->sess_id.data,
 464                            rclist->rcl_sessionid.data,
 465                            NFS4_MAX_SESSIONID_LEN) != 0)
 466                         continue;
 467
 468                 for (j = 0; j < rclist->rcl_nrefcalls; j++) {
 469                         ref = &rclist->rcl_refcalls[j];
 470                         spin_unlock(lock);
 471                         status = nfs4_slot_wait_on_seqid(tbl, ref->rc_slotid,
 472                                         ref->rc_sequenceid, HZ >> 1) < 0;
 473                         spin_lock(lock);
 474                         if (status)
 475                                 goto out;
 476                 }
 477         }
 478
 479 out:
 480         return status;
 481 }
 482
 483 __be32 nfs4_callback_sequence(void *argp, void *resp,
 484                               struct cb_process_state *cps)
 485 {
 486         struct cb_sequenceargs *args = argp;
 487         struct cb_sequenceres *res = resp;
 488         struct nfs4_slot_table *tbl;
 489         struct nfs4_slot *slot;
 490         struct nfs_client *clp;
 491         int i;
 492         __be32 status = htonl(NFS4ERR_BADSESSION);
 493
 494         clp = nfs4_find_client_sessionid(cps->net, args->csa_addr,
 495                                          &args->csa_sessionid, cps->minorversion);
 496         if (clp == NULL)
 497                 goto out;
 498
 499         if (!(clp->cl_session->flags & SESSION4_BACK_CHAN))
 500                 goto out;
 501
 502         tbl = &clp->cl_session->bc_slot_table;
 503
 504         /* Set up res before grabbing the spinlock */
 505         memcpy(&res->csr_sessionid, &args->csa_sessionid,
 506                sizeof(res->csr_sessionid));
 507         res->csr_sequenceid = args->csa_sequenceid;
 508         res->csr_slotid = args->csa_slotid;
 509
 510         spin_lock(&tbl->slot_tbl_lock);
 511         /* state manager is resetting the session */
 512         if (test_bit(NFS4_SLOT_TBL_DRAINING, &tbl->slot_tbl_state)) {
 513                 status = htonl(NFS4ERR_DELAY);
 514                 /* Return NFS4ERR_BADSESSION if we're draining the session
 515                  * in order to reset it.
 516                  */
 517                 if (test_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state))
 518                         status = htonl(NFS4ERR_BADSESSION);
 519                 goto out_unlock;
 520         }
 521
 522         status = htonl(NFS4ERR_BADSLOT);
 523         slot = nfs4_lookup_slot(tbl, args->csa_slotid);
 524         if (IS_ERR(slot))
 525                 goto out_unlock;
 526
 527         res->csr_highestslotid = tbl->server_highest_slotid;
 528         res->csr_target_highestslotid = tbl->target_highest_slotid;
 529
 530         status = validate_seqid(tbl, slot, args);
 531         if (status)
 532                 goto out_unlock;
 533         if (!nfs4_try_to_lock_slot(tbl, slot)) {
 534                 status = htonl(NFS4ERR_DELAY);
 535                 goto out_unlock;
 536         }
 537         cps->slot = slot;
 538
 539         /* The ca_maxresponsesize_cached is 0 with no DRC */
 540         if (args->csa_cachethis != 0) {
 541                 status = htonl(NFS4ERR_REP_TOO_BIG_TO_CACHE);
 542                 goto out_unlock;
 543         }
 544
 545         /*
 546          * Check for pending referring calls.  If a match is found, a
 547          * related callback was received before the response to the original
 548          * call.
 549          */
 550         if (referring_call_exists(clp, args->csa_nrclists, args->csa_rclists,
 551                                 &tbl->slot_tbl_lock) < 0) {
 552                 status = htonl(NFS4ERR_DELAY);
 553                 goto out_unlock;
 554         }
 555
 556         /*
 557          * RFC5661 20.9.3
 558          * If CB_SEQUENCE returns an error, then the state of the slot
 559          * (sequence ID, cached reply) MUST NOT change.
 560          */
 561         slot->seq_nr = args->csa_sequenceid;
 562 out_unlock:
 563         spin_unlock(&tbl->slot_tbl_lock);
 564
 565 out:
 566         cps->clp = clp; /* put in nfs4_callback_compound */
 567         for (i = 0; i < args->csa_nrclists; i++)
 568                 kfree(args->csa_rclists[i].rcl_refcalls);
 569         kfree(args->csa_rclists);
 570
 571         if (status == htonl(NFS4ERR_RETRY_UNCACHED_REP)) {
 572                 cps->drc_status = status;
 573                 status = 0;
 574         } else
 575                 res->csr_status = status;
 576
 577         trace_nfs4_cb_sequence(args, res, status);
 578         return status;
 579 }
 580
 581 static bool
 582 validate_bitmap_values(unsigned int mask)
 583 {
 584         return (mask & ~RCA4_TYPE_MASK_ALL) == 0;
 585 }
 586
 587 __be32 nfs4_callback_recallany(void *argp, void *resp,
 588                                struct cb_process_state *cps)
 589 {
 590         struct cb_recallanyargs *args = argp;
 591         __be32 status;
 592         fmode_t flags = 0;
 593         bool schedule_manager = false;
 594
 595         status = cpu_to_be32(NFS4ERR_OP_NOT_IN_SESSION);
 596         if (!cps->clp) /* set in cb_sequence */
 597                 goto out;
 598
 599         dprintk_rcu("NFS: RECALL_ANY callback request from %s\n",
 600                 rpc_peeraddr2str(cps->clp->cl_rpcclient, RPC_DISPLAY_ADDR));
 601
 602         status = cpu_to_be32(NFS4ERR_INVAL);
 603         if (!validate_bitmap_values(args->craa_type_mask))
 604                 goto out;
 605
 606         status = cpu_to_be32(NFS4_OK);
 607         if (args->craa_type_mask & BIT(RCA4_TYPE_MASK_RDATA_DLG))
 608                 flags = FMODE_READ;
 609         if (args->craa_type_mask & BIT(RCA4_TYPE_MASK_WDATA_DLG))
 610                 flags |= FMODE_WRITE;
 611         if (flags)
 612                 nfs_expire_unused_delegation_types(cps->clp, flags);
 613
 614         if (args->craa_type_mask & BIT(RCA4_TYPE_MASK_FILE_LAYOUT))
 615                 pnfs_recall_all_layouts(cps->clp);
 616
 617         if (args->craa_type_mask & BIT(PNFS_FF_RCA4_TYPE_MASK_READ)) {
 618                 set_bit(NFS4CLNT_RECALL_ANY_LAYOUT_READ, &cps->clp->cl_state);
 619                 schedule_manager = true;
 620         }
 621         if (args->craa_type_mask & BIT(PNFS_FF_RCA4_TYPE_MASK_RW)) {
 622                 set_bit(NFS4CLNT_RECALL_ANY_LAYOUT_RW, &cps->clp->cl_state);
 623                 schedule_manager = true;
 624         }
 625         if (schedule_manager)
 626                 nfs4_schedule_state_manager(cps->clp);
 627
 628 out:
 629         dprintk("%s: exit with status = %d\n", __func__, ntohl(status));
 630         return status;
 631 }
 632
 633 /* Reduce the fore channel's max_slots to the target value */
 634 __be32 nfs4_callback_recallslot(void *argp, void *resp,
 635                                 struct cb_process_state *cps)
 636 {
 637         struct cb_recallslotargs *args = argp;
 638         struct nfs4_slot_table *fc_tbl;
 639         __be32 status;
 640
 641         status = htonl(NFS4ERR_OP_NOT_IN_SESSION);
 642         if (!cps->clp) /* set in cb_sequence */
 643                 goto out;
 644
 645         dprintk_rcu("NFS: CB_RECALL_SLOT request from %s target highest slotid %u\n",
 646                 rpc_peeraddr2str(cps->clp->cl_rpcclient, RPC_DISPLAY_ADDR),
 647                 args->crsa_target_highest_slotid);
 648
 649         fc_tbl = &cps->clp->cl_session->fc_slot_table;
 650
 651         status = htonl(NFS4_OK);
 652
 653         nfs41_set_target_slotid(fc_tbl, args->crsa_target_highest_slotid);
 654         nfs41_notify_server(cps->clp);
 655 out:
 656         dprintk("%s: exit with status = %d\n", __func__, ntohl(status));
 657         return status;
 658 }
 659
 660 __be32 nfs4_callback_notify_lock(void *argp, void *resp,
 661                                  struct cb_process_state *cps)
 662 {
 663         struct cb_notify_lock_args *args = argp;
 664
 665         if (!cps->clp) /* set in cb_sequence */
 666                 return htonl(NFS4ERR_OP_NOT_IN_SESSION);
 667
 668         dprintk_rcu("NFS: CB_NOTIFY_LOCK request from %s\n",
 669                 rpc_peeraddr2str(cps->clp->cl_rpcclient, RPC_DISPLAY_ADDR));
 670
 671         /* Don't wake anybody if the string looked bogus */
 672         if (args->cbnl_valid)
 673                 __wake_up(&cps->clp->cl_lock_waitq, TASK_NORMAL, 0, args);
 674
 675         return htonl(NFS4_OK);
 676 }
 677 #endif /* CONFIG_NFS_V4_1 */
 678 #ifdef CONFIG_NFS_V4_2
 679 static void nfs4_copy_cb_args(struct nfs4_copy_state *cp_state,
 680                                 struct cb_offloadargs *args)
 681 {
 682         cp_state->count = args->wr_count;
 683         cp_state->error = args->error;
 684         if (!args->error) {
 685                 cp_state->verf.committed = args->wr_writeverf.committed;
 686                 memcpy(&cp_state->verf.verifier.data[0],
 687                         &args->wr_writeverf.verifier.data[0],
 688                         NFS4_VERIFIER_SIZE);
 689         }
 690 }
 691
 692 __be32 nfs4_callback_offload(void *data, void *dummy,
 693                              struct cb_process_state *cps)
 694 {
 695         struct cb_offloadargs *args = data;
 696         struct nfs_server *server;
 697         struct nfs4_copy_state *copy, *tmp_copy;
 698         bool found = false;
 699
 700         copy = kzalloc(sizeof(struct nfs4_copy_state), GFP_NOFS);
 701         if (!copy)
 702                 return htonl(NFS4ERR_SERVERFAULT);
 703
 704         spin_lock(&cps->clp->cl_lock);
 705         rcu_read_lock();
 706         list_for_each_entry_rcu(server, &cps->clp->cl_superblocks,
 707                                 client_link) {
 708                 list_for_each_entry(tmp_copy, &server->ss_copies, copies) {
 709                         if (memcmp(args->coa_stateid.other,
 710                                         tmp_copy->stateid.other,
 711                                         sizeof(args->coa_stateid.other)))
 712                                 continue;
 713                         nfs4_copy_cb_args(tmp_copy, args);
 714                         complete(&tmp_copy->completion);
 715                         found = true;
 716                         goto out;
 717                 }
 718         }
 719 out:
 720         rcu_read_unlock();
 721         if (!found) {
 722                 memcpy(&copy->stateid, &args->coa_stateid, NFS4_STATEID_SIZE);
 723                 nfs4_copy_cb_args(copy, args);
 724                 list_add_tail(&copy->copies, &cps->clp->pending_cb_stateids);
 725         } else
 726                 kfree(copy);
 727         spin_unlock(&cps->clp->cl_lock);
 728
 729         return 0;
 730 }
 731 #endif /* CONFIG_NFS_V4_2 */