GNU Linux-libre 5.15.137-gnu
[releases.git] / fs / nfsd / vfs.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  * File operations used by nfsd. Some of these have been ripped from
4  * other parts of the kernel because they weren't exported, others
5  * are partial duplicates with added or changed functionality.
6  *
7  * Note that several functions dget() the dentry upon which they want
8  * to act, most notably those that create directory entries. Response
9  * dentry's are dput()'d if necessary in the release callback.
10  * So if you notice code paths that apparently fail to dput() the
11  * dentry, don't worry--they have been taken care of.
12  *
13  * Copyright (C) 1995-1999 Olaf Kirch <okir@monad.swb.de>
14  * Zerocpy NFS support (C) 2002 Hirokazu Takahashi <taka@valinux.co.jp>
15  */
16
17 #include <linux/fs.h>
18 #include <linux/file.h>
19 #include <linux/splice.h>
20 #include <linux/falloc.h>
21 #include <linux/fcntl.h>
22 #include <linux/namei.h>
23 #include <linux/delay.h>
24 #include <linux/fsnotify.h>
25 #include <linux/posix_acl_xattr.h>
26 #include <linux/xattr.h>
27 #include <linux/jhash.h>
28 #include <linux/ima.h>
29 #include <linux/slab.h>
30 #include <linux/uaccess.h>
31 #include <linux/exportfs.h>
32 #include <linux/writeback.h>
33 #include <linux/security.h>
34
35 #ifdef CONFIG_NFSD_V3
36 #include "xdr3.h"
37 #endif /* CONFIG_NFSD_V3 */
38
39 #ifdef CONFIG_NFSD_V4
40 #include "../internal.h"
41 #include "acl.h"
42 #include "idmap.h"
43 #endif /* CONFIG_NFSD_V4 */
44
45 #include "nfsd.h"
46 #include "vfs.h"
47 #include "filecache.h"
48 #include "trace.h"
49
50 #define NFSDDBG_FACILITY                NFSDDBG_FILEOP
51
52 /* 
53  * Called from nfsd_lookup and encode_dirent. Check if we have crossed 
54  * a mount point.
55  * Returns -EAGAIN or -ETIMEDOUT leaving *dpp and *expp unchanged,
56  *  or nfs_ok having possibly changed *dpp and *expp
57  */
58 int
59 nfsd_cross_mnt(struct svc_rqst *rqstp, struct dentry **dpp, 
60                         struct svc_export **expp)
61 {
62         struct svc_export *exp = *expp, *exp2 = NULL;
63         struct dentry *dentry = *dpp;
64         struct path path = {.mnt = mntget(exp->ex_path.mnt),
65                             .dentry = dget(dentry)};
66         int err = 0;
67
68         err = follow_down(&path);
69         if (err < 0)
70                 goto out;
71         if (path.mnt == exp->ex_path.mnt && path.dentry == dentry &&
72             nfsd_mountpoint(dentry, exp) == 2) {
73                 /* This is only a mountpoint in some other namespace */
74                 path_put(&path);
75                 goto out;
76         }
77
78         exp2 = rqst_exp_get_by_name(rqstp, &path);
79         if (IS_ERR(exp2)) {
80                 err = PTR_ERR(exp2);
81                 /*
82                  * We normally allow NFS clients to continue
83                  * "underneath" a mountpoint that is not exported.
84                  * The exception is V4ROOT, where no traversal is ever
85                  * allowed without an explicit export of the new
86                  * directory.
87                  */
88                 if (err == -ENOENT && !(exp->ex_flags & NFSEXP_V4ROOT))
89                         err = 0;
90                 path_put(&path);
91                 goto out;
92         }
93         if (nfsd_v4client(rqstp) ||
94                 (exp->ex_flags & NFSEXP_CROSSMOUNT) || EX_NOHIDE(exp2)) {
95                 /* successfully crossed mount point */
96                 /*
97                  * This is subtle: path.dentry is *not* on path.mnt
98                  * at this point.  The only reason we are safe is that
99                  * original mnt is pinned down by exp, so we should
100                  * put path *before* putting exp
101                  */
102                 *dpp = path.dentry;
103                 path.dentry = dentry;
104                 *expp = exp2;
105                 exp2 = exp;
106         }
107         path_put(&path);
108         exp_put(exp2);
109 out:
110         return err;
111 }
112
113 static void follow_to_parent(struct path *path)
114 {
115         struct dentry *dp;
116
117         while (path->dentry == path->mnt->mnt_root && follow_up(path))
118                 ;
119         dp = dget_parent(path->dentry);
120         dput(path->dentry);
121         path->dentry = dp;
122 }
123
124 static int nfsd_lookup_parent(struct svc_rqst *rqstp, struct dentry *dparent, struct svc_export **exp, struct dentry **dentryp)
125 {
126         struct svc_export *exp2;
127         struct path path = {.mnt = mntget((*exp)->ex_path.mnt),
128                             .dentry = dget(dparent)};
129
130         follow_to_parent(&path);
131
132         exp2 = rqst_exp_parent(rqstp, &path);
133         if (PTR_ERR(exp2) == -ENOENT) {
134                 *dentryp = dget(dparent);
135         } else if (IS_ERR(exp2)) {
136                 path_put(&path);
137                 return PTR_ERR(exp2);
138         } else {
139                 *dentryp = dget(path.dentry);
140                 exp_put(*exp);
141                 *exp = exp2;
142         }
143         path_put(&path);
144         return 0;
145 }
146
147 /*
148  * For nfsd purposes, we treat V4ROOT exports as though there was an
149  * export at *every* directory.
150  * We return:
151  * '1' if this dentry *must* be an export point,
152  * '2' if it might be, if there is really a mount here, and
153  * '0' if there is no chance of an export point here.
154  */
155 int nfsd_mountpoint(struct dentry *dentry, struct svc_export *exp)
156 {
157         if (!d_inode(dentry))
158                 return 0;
159         if (exp->ex_flags & NFSEXP_V4ROOT)
160                 return 1;
161         if (nfsd4_is_junction(dentry))
162                 return 1;
163         if (d_mountpoint(dentry))
164                 /*
165                  * Might only be a mountpoint in a different namespace,
166                  * but we need to check.
167                  */
168                 return 2;
169         return 0;
170 }
171
172 __be32
173 nfsd_lookup_dentry(struct svc_rqst *rqstp, struct svc_fh *fhp,
174                    const char *name, unsigned int len,
175                    struct svc_export **exp_ret, struct dentry **dentry_ret)
176 {
177         struct svc_export       *exp;
178         struct dentry           *dparent;
179         struct dentry           *dentry;
180         int                     host_err;
181
182         dprintk("nfsd: nfsd_lookup(fh %s, %.*s)\n", SVCFH_fmt(fhp), len,name);
183
184         dparent = fhp->fh_dentry;
185         exp = exp_get(fhp->fh_export);
186
187         /* Lookup the name, but don't follow links */
188         if (isdotent(name, len)) {
189                 if (len==1)
190                         dentry = dget(dparent);
191                 else if (dparent != exp->ex_path.dentry)
192                         dentry = dget_parent(dparent);
193                 else if (!EX_NOHIDE(exp) && !nfsd_v4client(rqstp))
194                         dentry = dget(dparent); /* .. == . just like at / */
195                 else {
196                         /* checking mountpoint crossing is very different when stepping up */
197                         host_err = nfsd_lookup_parent(rqstp, dparent, &exp, &dentry);
198                         if (host_err)
199                                 goto out_nfserr;
200                 }
201         } else {
202                 /*
203                  * In the nfsd4_open() case, this may be held across
204                  * subsequent open and delegation acquisition which may
205                  * need to take the child's i_mutex:
206                  */
207                 fh_lock_nested(fhp, I_MUTEX_PARENT);
208                 dentry = lookup_one_len(name, dparent, len);
209                 host_err = PTR_ERR(dentry);
210                 if (IS_ERR(dentry))
211                         goto out_nfserr;
212                 if (nfsd_mountpoint(dentry, exp)) {
213                         /*
214                          * We don't need the i_mutex after all.  It's
215                          * still possible we could open this (regular
216                          * files can be mountpoints too), but the
217                          * i_mutex is just there to prevent renames of
218                          * something that we might be about to delegate,
219                          * and a mountpoint won't be renamed:
220                          */
221                         fh_unlock(fhp);
222                         if ((host_err = nfsd_cross_mnt(rqstp, &dentry, &exp))) {
223                                 dput(dentry);
224                                 goto out_nfserr;
225                         }
226                 }
227         }
228         *dentry_ret = dentry;
229         *exp_ret = exp;
230         return 0;
231
232 out_nfserr:
233         exp_put(exp);
234         return nfserrno(host_err);
235 }
236
237 /*
238  * Look up one component of a pathname.
239  * N.B. After this call _both_ fhp and resfh need an fh_put
240  *
241  * If the lookup would cross a mountpoint, and the mounted filesystem
242  * is exported to the client with NFSEXP_NOHIDE, then the lookup is
243  * accepted as it stands and the mounted directory is
244  * returned. Otherwise the covered directory is returned.
245  * NOTE: this mountpoint crossing is not supported properly by all
246  *   clients and is explicitly disallowed for NFSv3
247  */
248 __be32
249 nfsd_lookup(struct svc_rqst *rqstp, struct svc_fh *fhp, const char *name,
250                                 unsigned int len, struct svc_fh *resfh)
251 {
252         struct svc_export       *exp;
253         struct dentry           *dentry;
254         __be32 err;
255
256         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_EXEC);
257         if (err)
258                 return err;
259         err = nfsd_lookup_dentry(rqstp, fhp, name, len, &exp, &dentry);
260         if (err)
261                 return err;
262         err = check_nfsd_access(exp, rqstp);
263         if (err)
264                 goto out;
265         /*
266          * Note: we compose the file handle now, but as the
267          * dentry may be negative, it may need to be updated.
268          */
269         err = fh_compose(resfh, exp, dentry, fhp);
270         if (!err && d_really_is_negative(dentry))
271                 err = nfserr_noent;
272 out:
273         dput(dentry);
274         exp_put(exp);
275         return err;
276 }
277
278 /*
279  * Commit metadata changes to stable storage.
280  */
281 static int
282 commit_inode_metadata(struct inode *inode)
283 {
284         const struct export_operations *export_ops = inode->i_sb->s_export_op;
285
286         if (export_ops->commit_metadata)
287                 return export_ops->commit_metadata(inode);
288         return sync_inode_metadata(inode, 1);
289 }
290
291 static int
292 commit_metadata(struct svc_fh *fhp)
293 {
294         struct inode *inode = d_inode(fhp->fh_dentry);
295
296         if (!EX_ISSYNC(fhp->fh_export))
297                 return 0;
298         return commit_inode_metadata(inode);
299 }
300
301 /*
302  * Go over the attributes and take care of the small differences between
303  * NFS semantics and what Linux expects.
304  */
305 static void
306 nfsd_sanitize_attrs(struct inode *inode, struct iattr *iap)
307 {
308         /* sanitize the mode change */
309         if (iap->ia_valid & ATTR_MODE) {
310                 iap->ia_mode &= S_IALLUGO;
311                 iap->ia_mode |= (inode->i_mode & ~S_IALLUGO);
312         }
313
314         /* Revoke setuid/setgid on chown */
315         if (!S_ISDIR(inode->i_mode) &&
316             ((iap->ia_valid & ATTR_UID) || (iap->ia_valid & ATTR_GID))) {
317                 iap->ia_valid |= ATTR_KILL_PRIV;
318                 if (iap->ia_valid & ATTR_MODE) {
319                         /* we're setting mode too, just clear the s*id bits */
320                         iap->ia_mode &= ~S_ISUID;
321                         if (iap->ia_mode & S_IXGRP)
322                                 iap->ia_mode &= ~S_ISGID;
323                 } else {
324                         /* set ATTR_KILL_* bits and let VFS handle it */
325                         iap->ia_valid |= ATTR_KILL_SUID;
326                         iap->ia_valid |=
327                                 setattr_should_drop_sgid(&init_user_ns, inode);
328                 }
329         }
330 }
331
332 static __be32
333 nfsd_get_write_access(struct svc_rqst *rqstp, struct svc_fh *fhp,
334                 struct iattr *iap)
335 {
336         struct inode *inode = d_inode(fhp->fh_dentry);
337
338         if (iap->ia_size < inode->i_size) {
339                 __be32 err;
340
341                 err = nfsd_permission(rqstp, fhp->fh_export, fhp->fh_dentry,
342                                 NFSD_MAY_TRUNC | NFSD_MAY_OWNER_OVERRIDE);
343                 if (err)
344                         return err;
345         }
346         return nfserrno(get_write_access(inode));
347 }
348
349 /*
350  * Set various file attributes.  After this call fhp needs an fh_put.
351  */
352 __be32
353 nfsd_setattr(struct svc_rqst *rqstp, struct svc_fh *fhp, struct iattr *iap,
354              int check_guard, time64_t guardtime)
355 {
356         struct dentry   *dentry;
357         struct inode    *inode;
358         int             accmode = NFSD_MAY_SATTR;
359         umode_t         ftype = 0;
360         __be32          err;
361         int             host_err;
362         bool            get_write_count;
363         bool            size_change = (iap->ia_valid & ATTR_SIZE);
364
365         if (iap->ia_valid & ATTR_SIZE) {
366                 accmode |= NFSD_MAY_WRITE|NFSD_MAY_OWNER_OVERRIDE;
367                 ftype = S_IFREG;
368         }
369
370         /*
371          * If utimes(2) and friends are called with times not NULL, we should
372          * not set NFSD_MAY_WRITE bit. Otherwise fh_verify->nfsd_permission
373          * will return EACCES, when the caller's effective UID does not match
374          * the owner of the file, and the caller is not privileged. In this
375          * situation, we should return EPERM(notify_change will return this).
376          */
377         if (iap->ia_valid & (ATTR_ATIME | ATTR_MTIME)) {
378                 accmode |= NFSD_MAY_OWNER_OVERRIDE;
379                 if (!(iap->ia_valid & (ATTR_ATIME_SET | ATTR_MTIME_SET)))
380                         accmode |= NFSD_MAY_WRITE;
381         }
382
383         /* Callers that do fh_verify should do the fh_want_write: */
384         get_write_count = !fhp->fh_dentry;
385
386         /* Get inode */
387         err = fh_verify(rqstp, fhp, ftype, accmode);
388         if (err)
389                 return err;
390         if (get_write_count) {
391                 host_err = fh_want_write(fhp);
392                 if (host_err)
393                         goto out;
394         }
395
396         dentry = fhp->fh_dentry;
397         inode = d_inode(dentry);
398
399         /* Ignore any mode updates on symlinks */
400         if (S_ISLNK(inode->i_mode))
401                 iap->ia_valid &= ~ATTR_MODE;
402
403         if (!iap->ia_valid)
404                 return 0;
405
406         nfsd_sanitize_attrs(inode, iap);
407
408         if (check_guard && guardtime != inode->i_ctime.tv_sec)
409                 return nfserr_notsync;
410
411         /*
412          * The size case is special, it changes the file in addition to the
413          * attributes, and file systems don't expect it to be mixed with
414          * "random" attribute changes.  We thus split out the size change
415          * into a separate call to ->setattr, and do the rest as a separate
416          * setattr call.
417          */
418         if (size_change) {
419                 err = nfsd_get_write_access(rqstp, fhp, iap);
420                 if (err)
421                         return err;
422         }
423
424         fh_lock(fhp);
425         if (size_change) {
426                 /*
427                  * RFC5661, Section 18.30.4:
428                  *   Changing the size of a file with SETATTR indirectly
429                  *   changes the time_modify and change attributes.
430                  *
431                  * (and similar for the older RFCs)
432                  */
433                 struct iattr size_attr = {
434                         .ia_valid       = ATTR_SIZE | ATTR_CTIME | ATTR_MTIME,
435                         .ia_size        = iap->ia_size,
436                 };
437
438                 host_err = -EFBIG;
439                 if (iap->ia_size < 0)
440                         goto out_unlock;
441
442                 host_err = notify_change(&init_user_ns, dentry, &size_attr, NULL);
443                 if (host_err)
444                         goto out_unlock;
445                 iap->ia_valid &= ~ATTR_SIZE;
446
447                 /*
448                  * Avoid the additional setattr call below if the only other
449                  * attribute that the client sends is the mtime, as we update
450                  * it as part of the size change above.
451                  */
452                 if ((iap->ia_valid & ~ATTR_MTIME) == 0)
453                         goto out_unlock;
454         }
455
456         iap->ia_valid |= ATTR_CTIME;
457         host_err = notify_change(&init_user_ns, dentry, iap, NULL);
458
459 out_unlock:
460         fh_unlock(fhp);
461         if (size_change)
462                 put_write_access(inode);
463 out:
464         if (!host_err)
465                 host_err = commit_metadata(fhp);
466         return nfserrno(host_err);
467 }
468
469 #if defined(CONFIG_NFSD_V4)
470 /*
471  * NFS junction information is stored in an extended attribute.
472  */
473 #define NFSD_JUNCTION_XATTR_NAME        XATTR_TRUSTED_PREFIX "junction.nfs"
474
475 /**
476  * nfsd4_is_junction - Test if an object could be an NFS junction
477  *
478  * @dentry: object to test
479  *
480  * Returns 1 if "dentry" appears to contain NFS junction information.
481  * Otherwise 0 is returned.
482  */
483 int nfsd4_is_junction(struct dentry *dentry)
484 {
485         struct inode *inode = d_inode(dentry);
486
487         if (inode == NULL)
488                 return 0;
489         if (inode->i_mode & S_IXUGO)
490                 return 0;
491         if (!(inode->i_mode & S_ISVTX))
492                 return 0;
493         if (vfs_getxattr(&init_user_ns, dentry, NFSD_JUNCTION_XATTR_NAME,
494                          NULL, 0) <= 0)
495                 return 0;
496         return 1;
497 }
498 #ifdef CONFIG_NFSD_V4_SECURITY_LABEL
499 __be32 nfsd4_set_nfs4_label(struct svc_rqst *rqstp, struct svc_fh *fhp,
500                 struct xdr_netobj *label)
501 {
502         __be32 error;
503         int host_error;
504         struct dentry *dentry;
505
506         error = fh_verify(rqstp, fhp, 0 /* S_IFREG */, NFSD_MAY_SATTR);
507         if (error)
508                 return error;
509
510         dentry = fhp->fh_dentry;
511
512         inode_lock(d_inode(dentry));
513         host_error = security_inode_setsecctx(dentry, label->data, label->len);
514         inode_unlock(d_inode(dentry));
515         return nfserrno(host_error);
516 }
517 #else
518 __be32 nfsd4_set_nfs4_label(struct svc_rqst *rqstp, struct svc_fh *fhp,
519                 struct xdr_netobj *label)
520 {
521         return nfserr_notsupp;
522 }
523 #endif
524
525 __be32 nfsd4_clone_file_range(struct nfsd_file *nf_src, u64 src_pos,
526                 struct nfsd_file *nf_dst, u64 dst_pos, u64 count, bool sync)
527 {
528         struct file *src = nf_src->nf_file;
529         struct file *dst = nf_dst->nf_file;
530         errseq_t since;
531         loff_t cloned;
532         __be32 ret = 0;
533
534         since = READ_ONCE(dst->f_wb_err);
535         cloned = vfs_clone_file_range(src, src_pos, dst, dst_pos, count, 0);
536         if (cloned < 0) {
537                 ret = nfserrno(cloned);
538                 goto out_err;
539         }
540         if (count && cloned != count) {
541                 ret = nfserrno(-EINVAL);
542                 goto out_err;
543         }
544         if (sync) {
545                 loff_t dst_end = count ? dst_pos + count - 1 : LLONG_MAX;
546                 int status = vfs_fsync_range(dst, dst_pos, dst_end, 0);
547
548                 if (!status)
549                         status = filemap_check_wb_err(dst->f_mapping, since);
550                 if (!status)
551                         status = commit_inode_metadata(file_inode(src));
552                 if (status < 0) {
553                         nfsd_reset_boot_verifier(net_generic(nf_dst->nf_net,
554                                                  nfsd_net_id));
555                         ret = nfserrno(status);
556                 }
557         }
558 out_err:
559         return ret;
560 }
561
562 ssize_t nfsd_copy_file_range(struct file *src, u64 src_pos, struct file *dst,
563                              u64 dst_pos, u64 count)
564 {
565         ssize_t ret;
566
567         /*
568          * Limit copy to 4MB to prevent indefinitely blocking an nfsd
569          * thread and client rpc slot.  The choice of 4MB is somewhat
570          * arbitrary.  We might instead base this on r/wsize, or make it
571          * tunable, or use a time instead of a byte limit, or implement
572          * asynchronous copy.  In theory a client could also recognize a
573          * limit like this and pipeline multiple COPY requests.
574          */
575         count = min_t(u64, count, 1 << 22);
576         ret = vfs_copy_file_range(src, src_pos, dst, dst_pos, count, 0);
577
578         if (ret == -EOPNOTSUPP || ret == -EXDEV)
579                 ret = vfs_copy_file_range(src, src_pos, dst, dst_pos, count,
580                                           COPY_FILE_SPLICE);
581         return ret;
582 }
583
584 __be32 nfsd4_vfs_fallocate(struct svc_rqst *rqstp, struct svc_fh *fhp,
585                            struct file *file, loff_t offset, loff_t len,
586                            int flags)
587 {
588         int error;
589
590         if (!S_ISREG(file_inode(file)->i_mode))
591                 return nfserr_inval;
592
593         error = vfs_fallocate(file, flags, offset, len);
594         if (!error)
595                 error = commit_metadata(fhp);
596
597         return nfserrno(error);
598 }
599 #endif /* defined(CONFIG_NFSD_V4) */
600
601 #ifdef CONFIG_NFSD_V3
602 /*
603  * Check server access rights to a file system object
604  */
605 struct accessmap {
606         u32             access;
607         int             how;
608 };
609 static struct accessmap nfs3_regaccess[] = {
610     {   NFS3_ACCESS_READ,       NFSD_MAY_READ                   },
611     {   NFS3_ACCESS_EXECUTE,    NFSD_MAY_EXEC                   },
612     {   NFS3_ACCESS_MODIFY,     NFSD_MAY_WRITE|NFSD_MAY_TRUNC   },
613     {   NFS3_ACCESS_EXTEND,     NFSD_MAY_WRITE                  },
614
615 #ifdef CONFIG_NFSD_V4
616     {   NFS4_ACCESS_XAREAD,     NFSD_MAY_READ                   },
617     {   NFS4_ACCESS_XAWRITE,    NFSD_MAY_WRITE                  },
618     {   NFS4_ACCESS_XALIST,     NFSD_MAY_READ                   },
619 #endif
620
621     {   0,                      0                               }
622 };
623
624 static struct accessmap nfs3_diraccess[] = {
625     {   NFS3_ACCESS_READ,       NFSD_MAY_READ                   },
626     {   NFS3_ACCESS_LOOKUP,     NFSD_MAY_EXEC                   },
627     {   NFS3_ACCESS_MODIFY,     NFSD_MAY_EXEC|NFSD_MAY_WRITE|NFSD_MAY_TRUNC},
628     {   NFS3_ACCESS_EXTEND,     NFSD_MAY_EXEC|NFSD_MAY_WRITE    },
629     {   NFS3_ACCESS_DELETE,     NFSD_MAY_REMOVE                 },
630
631 #ifdef CONFIG_NFSD_V4
632     {   NFS4_ACCESS_XAREAD,     NFSD_MAY_READ                   },
633     {   NFS4_ACCESS_XAWRITE,    NFSD_MAY_WRITE                  },
634     {   NFS4_ACCESS_XALIST,     NFSD_MAY_READ                   },
635 #endif
636
637     {   0,                      0                               }
638 };
639
640 static struct accessmap nfs3_anyaccess[] = {
641         /* Some clients - Solaris 2.6 at least, make an access call
642          * to the server to check for access for things like /dev/null
643          * (which really, the server doesn't care about).  So
644          * We provide simple access checking for them, looking
645          * mainly at mode bits, and we make sure to ignore read-only
646          * filesystem checks
647          */
648     {   NFS3_ACCESS_READ,       NFSD_MAY_READ                   },
649     {   NFS3_ACCESS_EXECUTE,    NFSD_MAY_EXEC                   },
650     {   NFS3_ACCESS_MODIFY,     NFSD_MAY_WRITE|NFSD_MAY_LOCAL_ACCESS    },
651     {   NFS3_ACCESS_EXTEND,     NFSD_MAY_WRITE|NFSD_MAY_LOCAL_ACCESS    },
652
653     {   0,                      0                               }
654 };
655
656 __be32
657 nfsd_access(struct svc_rqst *rqstp, struct svc_fh *fhp, u32 *access, u32 *supported)
658 {
659         struct accessmap        *map;
660         struct svc_export       *export;
661         struct dentry           *dentry;
662         u32                     query, result = 0, sresult = 0;
663         __be32                  error;
664
665         error = fh_verify(rqstp, fhp, 0, NFSD_MAY_NOP);
666         if (error)
667                 goto out;
668
669         export = fhp->fh_export;
670         dentry = fhp->fh_dentry;
671
672         if (d_is_reg(dentry))
673                 map = nfs3_regaccess;
674         else if (d_is_dir(dentry))
675                 map = nfs3_diraccess;
676         else
677                 map = nfs3_anyaccess;
678
679
680         query = *access;
681         for  (; map->access; map++) {
682                 if (map->access & query) {
683                         __be32 err2;
684
685                         sresult |= map->access;
686
687                         err2 = nfsd_permission(rqstp, export, dentry, map->how);
688                         switch (err2) {
689                         case nfs_ok:
690                                 result |= map->access;
691                                 break;
692                                 
693                         /* the following error codes just mean the access was not allowed,
694                          * rather than an error occurred */
695                         case nfserr_rofs:
696                         case nfserr_acces:
697                         case nfserr_perm:
698                                 /* simply don't "or" in the access bit. */
699                                 break;
700                         default:
701                                 error = err2;
702                                 goto out;
703                         }
704                 }
705         }
706         *access = result;
707         if (supported)
708                 *supported = sresult;
709
710  out:
711         return error;
712 }
713 #endif /* CONFIG_NFSD_V3 */
714
715 int nfsd_open_break_lease(struct inode *inode, int access)
716 {
717         unsigned int mode;
718
719         if (access & NFSD_MAY_NOT_BREAK_LEASE)
720                 return 0;
721         mode = (access & NFSD_MAY_WRITE) ? O_WRONLY : O_RDONLY;
722         return break_lease(inode, mode | O_NONBLOCK);
723 }
724
725 /*
726  * Open an existing file or directory.
727  * The may_flags argument indicates the type of open (read/write/lock)
728  * and additional flags.
729  * N.B. After this call fhp needs an fh_put
730  */
731 static __be32
732 __nfsd_open(struct svc_rqst *rqstp, struct svc_fh *fhp, umode_t type,
733                         int may_flags, struct file **filp)
734 {
735         struct path     path;
736         struct inode    *inode;
737         struct file     *file;
738         int             flags = O_RDONLY|O_LARGEFILE;
739         __be32          err;
740         int             host_err = 0;
741
742         path.mnt = fhp->fh_export->ex_path.mnt;
743         path.dentry = fhp->fh_dentry;
744         inode = d_inode(path.dentry);
745
746         /* Disallow write access to files with the append-only bit set
747          * or any access when mandatory locking enabled
748          */
749         err = nfserr_perm;
750         if (IS_APPEND(inode) && (may_flags & NFSD_MAY_WRITE))
751                 goto out;
752
753         if (!inode->i_fop)
754                 goto out;
755
756         host_err = nfsd_open_break_lease(inode, may_flags);
757         if (host_err) /* NOMEM or WOULDBLOCK */
758                 goto out_nfserr;
759
760         if (may_flags & NFSD_MAY_WRITE) {
761                 if (may_flags & NFSD_MAY_READ)
762                         flags = O_RDWR|O_LARGEFILE;
763                 else
764                         flags = O_WRONLY|O_LARGEFILE;
765         }
766
767         file = dentry_open(&path, flags, current_cred());
768         if (IS_ERR(file)) {
769                 host_err = PTR_ERR(file);
770                 goto out_nfserr;
771         }
772
773         host_err = ima_file_check(file, may_flags);
774         if (host_err) {
775                 fput(file);
776                 goto out_nfserr;
777         }
778
779         if (may_flags & NFSD_MAY_64BIT_COOKIE)
780                 file->f_mode |= FMODE_64BITHASH;
781         else
782                 file->f_mode |= FMODE_32BITHASH;
783
784         *filp = file;
785 out_nfserr:
786         err = nfserrno(host_err);
787 out:
788         return err;
789 }
790
791 __be32
792 nfsd_open(struct svc_rqst *rqstp, struct svc_fh *fhp, umode_t type,
793                 int may_flags, struct file **filp)
794 {
795         __be32 err;
796
797         validate_process_creds();
798         /*
799          * If we get here, then the client has already done an "open",
800          * and (hopefully) checked permission - so allow OWNER_OVERRIDE
801          * in case a chmod has now revoked permission.
802          *
803          * Arguably we should also allow the owner override for
804          * directories, but we never have and it doesn't seem to have
805          * caused anyone a problem.  If we were to change this, note
806          * also that our filldir callbacks would need a variant of
807          * lookup_one_len that doesn't check permissions.
808          */
809         if (type == S_IFREG)
810                 may_flags |= NFSD_MAY_OWNER_OVERRIDE;
811         err = fh_verify(rqstp, fhp, type, may_flags);
812         if (!err)
813                 err = __nfsd_open(rqstp, fhp, type, may_flags, filp);
814         validate_process_creds();
815         return err;
816 }
817
818 __be32
819 nfsd_open_verified(struct svc_rqst *rqstp, struct svc_fh *fhp, umode_t type,
820                 int may_flags, struct file **filp)
821 {
822         __be32 err;
823
824         validate_process_creds();
825         err = __nfsd_open(rqstp, fhp, type, may_flags, filp);
826         validate_process_creds();
827         return err;
828 }
829
830 /*
831  * Grab and keep cached pages associated with a file in the svc_rqst
832  * so that they can be passed to the network sendmsg/sendpage routines
833  * directly. They will be released after the sending has completed.
834  */
835 static int
836 nfsd_splice_actor(struct pipe_inode_info *pipe, struct pipe_buffer *buf,
837                   struct splice_desc *sd)
838 {
839         struct svc_rqst *rqstp = sd->u.data;
840         struct page **pp = rqstp->rq_next_page;
841         struct page *page = buf->page;
842
843         if (rqstp->rq_res.page_len == 0) {
844                 svc_rqst_replace_page(rqstp, page);
845                 rqstp->rq_res.page_base = buf->offset;
846         } else if (page != pp[-1]) {
847                 svc_rqst_replace_page(rqstp, page);
848         }
849         rqstp->rq_res.page_len += sd->len;
850
851         return sd->len;
852 }
853
854 static int nfsd_direct_splice_actor(struct pipe_inode_info *pipe,
855                                     struct splice_desc *sd)
856 {
857         return __splice_from_pipe(pipe, sd, nfsd_splice_actor);
858 }
859
860 static u32 nfsd_eof_on_read(struct file *file, loff_t offset, ssize_t len,
861                 size_t expected)
862 {
863         if (expected != 0 && len == 0)
864                 return 1;
865         if (offset+len >= i_size_read(file_inode(file)))
866                 return 1;
867         return 0;
868 }
869
870 static __be32 nfsd_finish_read(struct svc_rqst *rqstp, struct svc_fh *fhp,
871                                struct file *file, loff_t offset,
872                                unsigned long *count, u32 *eof, ssize_t host_err)
873 {
874         if (host_err >= 0) {
875                 nfsd_stats_io_read_add(fhp->fh_export, host_err);
876                 *eof = nfsd_eof_on_read(file, offset, host_err, *count);
877                 *count = host_err;
878                 fsnotify_access(file);
879                 trace_nfsd_read_io_done(rqstp, fhp, offset, *count);
880                 return 0;
881         } else {
882                 trace_nfsd_read_err(rqstp, fhp, offset, host_err);
883                 return nfserrno(host_err);
884         }
885 }
886
887 __be32 nfsd_splice_read(struct svc_rqst *rqstp, struct svc_fh *fhp,
888                         struct file *file, loff_t offset, unsigned long *count,
889                         u32 *eof)
890 {
891         struct splice_desc sd = {
892                 .len            = 0,
893                 .total_len      = *count,
894                 .pos            = offset,
895                 .u.data         = rqstp,
896         };
897         ssize_t host_err;
898
899         trace_nfsd_read_splice(rqstp, fhp, offset, *count);
900         rqstp->rq_next_page = rqstp->rq_respages + 1;
901         host_err = splice_direct_to_actor(file, &sd, nfsd_direct_splice_actor);
902         return nfsd_finish_read(rqstp, fhp, file, offset, count, eof, host_err);
903 }
904
905 __be32 nfsd_readv(struct svc_rqst *rqstp, struct svc_fh *fhp,
906                   struct file *file, loff_t offset,
907                   struct kvec *vec, int vlen, unsigned long *count,
908                   u32 *eof)
909 {
910         struct iov_iter iter;
911         loff_t ppos = offset;
912         ssize_t host_err;
913
914         trace_nfsd_read_vector(rqstp, fhp, offset, *count);
915         iov_iter_kvec(&iter, READ, vec, vlen, *count);
916         host_err = vfs_iter_read(file, &iter, &ppos, 0);
917         return nfsd_finish_read(rqstp, fhp, file, offset, count, eof, host_err);
918 }
919
920 /*
921  * Gathered writes: If another process is currently writing to the file,
922  * there's a high chance this is another nfsd (triggered by a bulk write
923  * from a client's biod). Rather than syncing the file with each write
924  * request, we sleep for 10 msec.
925  *
926  * I don't know if this roughly approximates C. Juszak's idea of
927  * gathered writes, but it's a nice and simple solution (IMHO), and it
928  * seems to work:-)
929  *
930  * Note: we do this only in the NFSv2 case, since v3 and higher have a
931  * better tool (separate unstable writes and commits) for solving this
932  * problem.
933  */
934 static int wait_for_concurrent_writes(struct file *file)
935 {
936         struct inode *inode = file_inode(file);
937         static ino_t last_ino;
938         static dev_t last_dev;
939         int err = 0;
940
941         if (atomic_read(&inode->i_writecount) > 1
942             || (last_ino == inode->i_ino && last_dev == inode->i_sb->s_dev)) {
943                 dprintk("nfsd: write defer %d\n", task_pid_nr(current));
944                 msleep(10);
945                 dprintk("nfsd: write resume %d\n", task_pid_nr(current));
946         }
947
948         if (inode->i_state & I_DIRTY) {
949                 dprintk("nfsd: write sync %d\n", task_pid_nr(current));
950                 err = vfs_fsync(file, 0);
951         }
952         last_ino = inode->i_ino;
953         last_dev = inode->i_sb->s_dev;
954         return err;
955 }
956
957 __be32
958 nfsd_vfs_write(struct svc_rqst *rqstp, struct svc_fh *fhp, struct nfsd_file *nf,
959                                 loff_t offset, struct kvec *vec, int vlen,
960                                 unsigned long *cnt, int stable,
961                                 __be32 *verf)
962 {
963         struct file             *file = nf->nf_file;
964         struct super_block      *sb = file_inode(file)->i_sb;
965         struct svc_export       *exp;
966         struct iov_iter         iter;
967         errseq_t                since;
968         __be32                  nfserr;
969         int                     host_err;
970         int                     use_wgather;
971         loff_t                  pos = offset;
972         unsigned long           exp_op_flags = 0;
973         unsigned int            pflags = current->flags;
974         rwf_t                   flags = 0;
975         bool                    restore_flags = false;
976
977         trace_nfsd_write_opened(rqstp, fhp, offset, *cnt);
978
979         if (sb->s_export_op)
980                 exp_op_flags = sb->s_export_op->flags;
981
982         if (test_bit(RQ_LOCAL, &rqstp->rq_flags) &&
983             !(exp_op_flags & EXPORT_OP_REMOTE_FS)) {
984                 /*
985                  * We want throttling in balance_dirty_pages()
986                  * and shrink_inactive_list() to only consider
987                  * the backingdev we are writing to, so that nfs to
988                  * localhost doesn't cause nfsd to lock up due to all
989                  * the client's dirty pages or its congested queue.
990                  */
991                 current->flags |= PF_LOCAL_THROTTLE;
992                 restore_flags = true;
993         }
994
995         exp = fhp->fh_export;
996         use_wgather = (rqstp->rq_vers == 2) && EX_WGATHER(exp);
997
998         if (!EX_ISSYNC(exp))
999                 stable = NFS_UNSTABLE;
1000
1001         if (stable && !use_wgather)
1002                 flags |= RWF_SYNC;
1003
1004         iov_iter_kvec(&iter, WRITE, vec, vlen, *cnt);
1005         since = READ_ONCE(file->f_wb_err);
1006         if (flags & RWF_SYNC) {
1007                 if (verf)
1008                         nfsd_copy_boot_verifier(verf,
1009                                         net_generic(SVC_NET(rqstp),
1010                                         nfsd_net_id));
1011                 host_err = vfs_iter_write(file, &iter, &pos, flags);
1012                 if (host_err < 0)
1013                         nfsd_reset_boot_verifier(net_generic(SVC_NET(rqstp),
1014                                                  nfsd_net_id));
1015         } else {
1016                 if (verf)
1017                         nfsd_copy_boot_verifier(verf,
1018                                         net_generic(SVC_NET(rqstp),
1019                                         nfsd_net_id));
1020                 host_err = vfs_iter_write(file, &iter, &pos, flags);
1021         }
1022         if (host_err < 0) {
1023                 nfsd_reset_boot_verifier(net_generic(SVC_NET(rqstp),
1024                                          nfsd_net_id));
1025                 goto out_nfserr;
1026         }
1027         *cnt = host_err;
1028         nfsd_stats_io_write_add(exp, *cnt);
1029         fsnotify_modify(file);
1030         host_err = filemap_check_wb_err(file->f_mapping, since);
1031         if (host_err < 0)
1032                 goto out_nfserr;
1033
1034         if (stable && use_wgather) {
1035                 host_err = wait_for_concurrent_writes(file);
1036                 if (host_err < 0)
1037                         nfsd_reset_boot_verifier(net_generic(SVC_NET(rqstp),
1038                                                  nfsd_net_id));
1039         }
1040
1041 out_nfserr:
1042         if (host_err >= 0) {
1043                 trace_nfsd_write_io_done(rqstp, fhp, offset, *cnt);
1044                 nfserr = nfs_ok;
1045         } else {
1046                 trace_nfsd_write_err(rqstp, fhp, offset, host_err);
1047                 nfserr = nfserrno(host_err);
1048         }
1049         if (restore_flags)
1050                 current_restore_flags(pflags, PF_LOCAL_THROTTLE);
1051         return nfserr;
1052 }
1053
1054 /*
1055  * Read data from a file. count must contain the requested read count
1056  * on entry. On return, *count contains the number of bytes actually read.
1057  * N.B. After this call fhp needs an fh_put
1058  */
1059 __be32 nfsd_read(struct svc_rqst *rqstp, struct svc_fh *fhp,
1060         loff_t offset, struct kvec *vec, int vlen, unsigned long *count,
1061         u32 *eof)
1062 {
1063         struct nfsd_file        *nf;
1064         struct file *file;
1065         __be32 err;
1066
1067         trace_nfsd_read_start(rqstp, fhp, offset, *count);
1068         err = nfsd_file_acquire(rqstp, fhp, NFSD_MAY_READ, &nf);
1069         if (err)
1070                 return err;
1071
1072         file = nf->nf_file;
1073         if (file->f_op->splice_read && test_bit(RQ_SPLICE_OK, &rqstp->rq_flags))
1074                 err = nfsd_splice_read(rqstp, fhp, file, offset, count, eof);
1075         else
1076                 err = nfsd_readv(rqstp, fhp, file, offset, vec, vlen, count, eof);
1077
1078         nfsd_file_put(nf);
1079
1080         trace_nfsd_read_done(rqstp, fhp, offset, *count);
1081
1082         return err;
1083 }
1084
1085 /*
1086  * Write data to a file.
1087  * The stable flag requests synchronous writes.
1088  * N.B. After this call fhp needs an fh_put
1089  */
1090 __be32
1091 nfsd_write(struct svc_rqst *rqstp, struct svc_fh *fhp, loff_t offset,
1092            struct kvec *vec, int vlen, unsigned long *cnt, int stable,
1093            __be32 *verf)
1094 {
1095         struct nfsd_file *nf;
1096         __be32 err;
1097
1098         trace_nfsd_write_start(rqstp, fhp, offset, *cnt);
1099
1100         err = nfsd_file_acquire(rqstp, fhp, NFSD_MAY_WRITE, &nf);
1101         if (err)
1102                 goto out;
1103
1104         err = nfsd_vfs_write(rqstp, fhp, nf, offset, vec,
1105                         vlen, cnt, stable, verf);
1106         nfsd_file_put(nf);
1107 out:
1108         trace_nfsd_write_done(rqstp, fhp, offset, *cnt);
1109         return err;
1110 }
1111
1112 #ifdef CONFIG_NFSD_V3
1113 /**
1114  * nfsd_commit - Commit pending writes to stable storage
1115  * @rqstp: RPC request being processed
1116  * @fhp: NFS filehandle
1117  * @offset: raw offset from beginning of file
1118  * @count: raw count of bytes to sync
1119  * @verf: filled in with the server's current write verifier
1120  *
1121  * Note: we guarantee that data that lies within the range specified
1122  * by the 'offset' and 'count' parameters will be synced. The server
1123  * is permitted to sync data that lies outside this range at the
1124  * same time.
1125  *
1126  * Unfortunately we cannot lock the file to make sure we return full WCC
1127  * data to the client, as locking happens lower down in the filesystem.
1128  *
1129  * Return values:
1130  *   An nfsstat value in network byte order.
1131  */
1132 __be32
1133 nfsd_commit(struct svc_rqst *rqstp, struct svc_fh *fhp, u64 offset,
1134             u32 count, __be32 *verf)
1135 {
1136         u64                     maxbytes;
1137         loff_t                  start, end;
1138         struct nfsd_net         *nn;
1139         struct nfsd_file        *nf;
1140         __be32                  err;
1141
1142         err = nfsd_file_acquire(rqstp, fhp,
1143                         NFSD_MAY_WRITE|NFSD_MAY_NOT_BREAK_LEASE, &nf);
1144         if (err)
1145                 goto out;
1146
1147         /*
1148          * Convert the client-provided (offset, count) range to a
1149          * (start, end) range. If the client-provided range falls
1150          * outside the maximum file size of the underlying FS,
1151          * clamp the sync range appropriately.
1152          */
1153         start = 0;
1154         end = LLONG_MAX;
1155         maxbytes = (u64)fhp->fh_dentry->d_sb->s_maxbytes;
1156         if (offset < maxbytes) {
1157                 start = offset;
1158                 if (count && (offset + count - 1 < maxbytes))
1159                         end = offset + count - 1;
1160         }
1161
1162         nn = net_generic(nf->nf_net, nfsd_net_id);
1163         if (EX_ISSYNC(fhp->fh_export)) {
1164                 errseq_t since = READ_ONCE(nf->nf_file->f_wb_err);
1165                 int err2;
1166
1167                 err2 = vfs_fsync_range(nf->nf_file, start, end, 0);
1168                 switch (err2) {
1169                 case 0:
1170                         nfsd_copy_boot_verifier(verf, nn);
1171                         err2 = filemap_check_wb_err(nf->nf_file->f_mapping,
1172                                                     since);
1173                         err = nfserrno(err2);
1174                         break;
1175                 case -EINVAL:
1176                         err = nfserr_notsupp;
1177                         break;
1178                 default:
1179                         nfsd_reset_boot_verifier(nn);
1180                         err = nfserrno(err2);
1181                 }
1182         } else
1183                 nfsd_copy_boot_verifier(verf, nn);
1184
1185         nfsd_file_put(nf);
1186 out:
1187         return err;
1188 }
1189 #endif /* CONFIG_NFSD_V3 */
1190
1191 static __be32
1192 nfsd_create_setattr(struct svc_rqst *rqstp, struct svc_fh *resfhp,
1193                         struct iattr *iap)
1194 {
1195         /*
1196          * Mode has already been set earlier in create:
1197          */
1198         iap->ia_valid &= ~ATTR_MODE;
1199         /*
1200          * Setting uid/gid works only for root.  Irix appears to
1201          * send along the gid on create when it tries to implement
1202          * setgid directories via NFS:
1203          */
1204         if (!uid_eq(current_fsuid(), GLOBAL_ROOT_UID))
1205                 iap->ia_valid &= ~(ATTR_UID|ATTR_GID);
1206         if (iap->ia_valid)
1207                 return nfsd_setattr(rqstp, resfhp, iap, 0, (time64_t)0);
1208         /* Callers expect file metadata to be committed here */
1209         return nfserrno(commit_metadata(resfhp));
1210 }
1211
1212 /* HPUX client sometimes creates a file in mode 000, and sets size to 0.
1213  * setting size to 0 may fail for some specific file systems by the permission
1214  * checking which requires WRITE permission but the mode is 000.
1215  * we ignore the resizing(to 0) on the just new created file, since the size is
1216  * 0 after file created.
1217  *
1218  * call this only after vfs_create() is called.
1219  * */
1220 static void
1221 nfsd_check_ignore_resizing(struct iattr *iap)
1222 {
1223         if ((iap->ia_valid & ATTR_SIZE) && (iap->ia_size == 0))
1224                 iap->ia_valid &= ~ATTR_SIZE;
1225 }
1226
1227 /* The parent directory should already be locked: */
1228 __be32
1229 nfsd_create_locked(struct svc_rqst *rqstp, struct svc_fh *fhp,
1230                 char *fname, int flen, struct iattr *iap,
1231                 int type, dev_t rdev, struct svc_fh *resfhp)
1232 {
1233         struct dentry   *dentry, *dchild;
1234         struct inode    *dirp;
1235         __be32          err;
1236         __be32          err2;
1237         int             host_err;
1238
1239         dentry = fhp->fh_dentry;
1240         dirp = d_inode(dentry);
1241
1242         dchild = dget(resfhp->fh_dentry);
1243         if (!fhp->fh_locked) {
1244                 WARN_ONCE(1, "nfsd_create: parent %pd2 not locked!\n",
1245                                 dentry);
1246                 err = nfserr_io;
1247                 goto out;
1248         }
1249
1250         err = nfsd_permission(rqstp, fhp->fh_export, dentry, NFSD_MAY_CREATE);
1251         if (err)
1252                 goto out;
1253
1254         if (!(iap->ia_valid & ATTR_MODE))
1255                 iap->ia_mode = 0;
1256         iap->ia_mode = (iap->ia_mode & S_IALLUGO) | type;
1257
1258         if (!IS_POSIXACL(dirp))
1259                 iap->ia_mode &= ~current_umask();
1260
1261         err = 0;
1262         host_err = 0;
1263         switch (type) {
1264         case S_IFREG:
1265                 host_err = vfs_create(&init_user_ns, dirp, dchild, iap->ia_mode, true);
1266                 if (!host_err)
1267                         nfsd_check_ignore_resizing(iap);
1268                 break;
1269         case S_IFDIR:
1270                 host_err = vfs_mkdir(&init_user_ns, dirp, dchild, iap->ia_mode);
1271                 if (!host_err && unlikely(d_unhashed(dchild))) {
1272                         struct dentry *d;
1273                         d = lookup_one_len(dchild->d_name.name,
1274                                            dchild->d_parent,
1275                                            dchild->d_name.len);
1276                         if (IS_ERR(d)) {
1277                                 host_err = PTR_ERR(d);
1278                                 break;
1279                         }
1280                         if (unlikely(d_is_negative(d))) {
1281                                 dput(d);
1282                                 err = nfserr_serverfault;
1283                                 goto out;
1284                         }
1285                         dput(resfhp->fh_dentry);
1286                         resfhp->fh_dentry = dget(d);
1287                         err = fh_update(resfhp);
1288                         dput(dchild);
1289                         dchild = d;
1290                         if (err)
1291                                 goto out;
1292                 }
1293                 break;
1294         case S_IFCHR:
1295         case S_IFBLK:
1296         case S_IFIFO:
1297         case S_IFSOCK:
1298                 host_err = vfs_mknod(&init_user_ns, dirp, dchild,
1299                                      iap->ia_mode, rdev);
1300                 break;
1301         default:
1302                 printk(KERN_WARNING "nfsd: bad file type %o in nfsd_create\n",
1303                        type);
1304                 host_err = -EINVAL;
1305         }
1306         if (host_err < 0)
1307                 goto out_nfserr;
1308
1309         err = nfsd_create_setattr(rqstp, resfhp, iap);
1310
1311         /*
1312          * nfsd_create_setattr already committed the child.  Transactional
1313          * filesystems had a chance to commit changes for both parent and
1314          * child simultaneously making the following commit_metadata a
1315          * noop.
1316          */
1317         err2 = nfserrno(commit_metadata(fhp));
1318         if (err2)
1319                 err = err2;
1320         /*
1321          * Update the file handle to get the new inode info.
1322          */
1323         if (!err)
1324                 err = fh_update(resfhp);
1325 out:
1326         dput(dchild);
1327         return err;
1328
1329 out_nfserr:
1330         err = nfserrno(host_err);
1331         goto out;
1332 }
1333
1334 /*
1335  * Create a filesystem object (regular, directory, special).
1336  * Note that the parent directory is left locked.
1337  *
1338  * N.B. Every call to nfsd_create needs an fh_put for _both_ fhp and resfhp
1339  */
1340 __be32
1341 nfsd_create(struct svc_rqst *rqstp, struct svc_fh *fhp,
1342                 char *fname, int flen, struct iattr *iap,
1343                 int type, dev_t rdev, struct svc_fh *resfhp)
1344 {
1345         struct dentry   *dentry, *dchild = NULL;
1346         __be32          err;
1347         int             host_err;
1348
1349         if (isdotent(fname, flen))
1350                 return nfserr_exist;
1351
1352         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_NOP);
1353         if (err)
1354                 return err;
1355
1356         dentry = fhp->fh_dentry;
1357
1358         host_err = fh_want_write(fhp);
1359         if (host_err)
1360                 return nfserrno(host_err);
1361
1362         fh_lock_nested(fhp, I_MUTEX_PARENT);
1363         dchild = lookup_one_len(fname, dentry, flen);
1364         host_err = PTR_ERR(dchild);
1365         if (IS_ERR(dchild))
1366                 return nfserrno(host_err);
1367         err = fh_compose(resfhp, fhp->fh_export, dchild, fhp);
1368         /*
1369          * We unconditionally drop our ref to dchild as fh_compose will have
1370          * already grabbed its own ref for it.
1371          */
1372         dput(dchild);
1373         if (err)
1374                 return err;
1375         return nfsd_create_locked(rqstp, fhp, fname, flen, iap, type,
1376                                         rdev, resfhp);
1377 }
1378
1379 #ifdef CONFIG_NFSD_V3
1380
1381 /*
1382  * NFSv3 and NFSv4 version of nfsd_create
1383  */
1384 __be32
1385 do_nfsd_create(struct svc_rqst *rqstp, struct svc_fh *fhp,
1386                 char *fname, int flen, struct iattr *iap,
1387                 struct svc_fh *resfhp, int createmode, u32 *verifier,
1388                 bool *truncp, bool *created)
1389 {
1390         struct dentry   *dentry, *dchild = NULL;
1391         struct inode    *dirp;
1392         __be32          err;
1393         int             host_err;
1394         __u32           v_mtime=0, v_atime=0;
1395
1396         err = nfserr_perm;
1397         if (!flen)
1398                 goto out;
1399         err = nfserr_exist;
1400         if (isdotent(fname, flen))
1401                 goto out;
1402         if (!(iap->ia_valid & ATTR_MODE))
1403                 iap->ia_mode = 0;
1404         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_EXEC);
1405         if (err)
1406                 goto out;
1407
1408         dentry = fhp->fh_dentry;
1409         dirp = d_inode(dentry);
1410
1411         host_err = fh_want_write(fhp);
1412         if (host_err)
1413                 goto out_nfserr;
1414
1415         fh_lock_nested(fhp, I_MUTEX_PARENT);
1416
1417         /*
1418          * Compose the response file handle.
1419          */
1420         dchild = lookup_one_len(fname, dentry, flen);
1421         host_err = PTR_ERR(dchild);
1422         if (IS_ERR(dchild))
1423                 goto out_nfserr;
1424
1425         /* If file doesn't exist, check for permissions to create one */
1426         if (d_really_is_negative(dchild)) {
1427                 err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_CREATE);
1428                 if (err)
1429                         goto out;
1430         }
1431
1432         err = fh_compose(resfhp, fhp->fh_export, dchild, fhp);
1433         if (err)
1434                 goto out;
1435
1436         if (nfsd_create_is_exclusive(createmode)) {
1437                 /* solaris7 gets confused (bugid 4218508) if these have
1438                  * the high bit set, so just clear the high bits. If this is
1439                  * ever changed to use different attrs for storing the
1440                  * verifier, then do_open_lookup() will also need to be fixed
1441                  * accordingly.
1442                  */
1443                 v_mtime = verifier[0]&0x7fffffff;
1444                 v_atime = verifier[1]&0x7fffffff;
1445         }
1446         
1447         if (d_really_is_positive(dchild)) {
1448                 err = 0;
1449
1450                 switch (createmode) {
1451                 case NFS3_CREATE_UNCHECKED:
1452                         if (! d_is_reg(dchild))
1453                                 goto out;
1454                         else if (truncp) {
1455                                 /* in nfsv4, we need to treat this case a little
1456                                  * differently.  we don't want to truncate the
1457                                  * file now; this would be wrong if the OPEN
1458                                  * fails for some other reason.  furthermore,
1459                                  * if the size is nonzero, we should ignore it
1460                                  * according to spec!
1461                                  */
1462                                 *truncp = (iap->ia_valid & ATTR_SIZE) && !iap->ia_size;
1463                         }
1464                         else {
1465                                 iap->ia_valid &= ATTR_SIZE;
1466                                 goto set_attr;
1467                         }
1468                         break;
1469                 case NFS3_CREATE_EXCLUSIVE:
1470                         if (   d_inode(dchild)->i_mtime.tv_sec == v_mtime
1471                             && d_inode(dchild)->i_atime.tv_sec == v_atime
1472                             && d_inode(dchild)->i_size  == 0 ) {
1473                                 if (created)
1474                                         *created = true;
1475                                 break;
1476                         }
1477                         fallthrough;
1478                 case NFS4_CREATE_EXCLUSIVE4_1:
1479                         if (   d_inode(dchild)->i_mtime.tv_sec == v_mtime
1480                             && d_inode(dchild)->i_atime.tv_sec == v_atime
1481                             && d_inode(dchild)->i_size  == 0 ) {
1482                                 if (created)
1483                                         *created = true;
1484                                 goto set_attr;
1485                         }
1486                         fallthrough;
1487                 case NFS3_CREATE_GUARDED:
1488                         err = nfserr_exist;
1489                 }
1490                 fh_drop_write(fhp);
1491                 goto out;
1492         }
1493
1494         if (!IS_POSIXACL(dirp))
1495                 iap->ia_mode &= ~current_umask();
1496
1497         host_err = vfs_create(&init_user_ns, dirp, dchild, iap->ia_mode, true);
1498         if (host_err < 0) {
1499                 fh_drop_write(fhp);
1500                 goto out_nfserr;
1501         }
1502         if (created)
1503                 *created = true;
1504
1505         nfsd_check_ignore_resizing(iap);
1506
1507         if (nfsd_create_is_exclusive(createmode)) {
1508                 /* Cram the verifier into atime/mtime */
1509                 iap->ia_valid = ATTR_MTIME|ATTR_ATIME
1510                         | ATTR_MTIME_SET|ATTR_ATIME_SET;
1511                 /* XXX someone who knows this better please fix it for nsec */ 
1512                 iap->ia_mtime.tv_sec = v_mtime;
1513                 iap->ia_atime.tv_sec = v_atime;
1514                 iap->ia_mtime.tv_nsec = 0;
1515                 iap->ia_atime.tv_nsec = 0;
1516         }
1517
1518  set_attr:
1519         err = nfsd_create_setattr(rqstp, resfhp, iap);
1520
1521         /*
1522          * nfsd_create_setattr already committed the child
1523          * (and possibly also the parent).
1524          */
1525         if (!err)
1526                 err = nfserrno(commit_metadata(fhp));
1527
1528         /*
1529          * Update the filehandle to get the new inode info.
1530          */
1531         if (!err)
1532                 err = fh_update(resfhp);
1533
1534  out:
1535         fh_unlock(fhp);
1536         if (dchild && !IS_ERR(dchild))
1537                 dput(dchild);
1538         fh_drop_write(fhp);
1539         return err;
1540  
1541  out_nfserr:
1542         err = nfserrno(host_err);
1543         goto out;
1544 }
1545 #endif /* CONFIG_NFSD_V3 */
1546
1547 /*
1548  * Read a symlink. On entry, *lenp must contain the maximum path length that
1549  * fits into the buffer. On return, it contains the true length.
1550  * N.B. After this call fhp needs an fh_put
1551  */
1552 __be32
1553 nfsd_readlink(struct svc_rqst *rqstp, struct svc_fh *fhp, char *buf, int *lenp)
1554 {
1555         __be32          err;
1556         const char *link;
1557         struct path path;
1558         DEFINE_DELAYED_CALL(done);
1559         int len;
1560
1561         err = fh_verify(rqstp, fhp, S_IFLNK, NFSD_MAY_NOP);
1562         if (unlikely(err))
1563                 return err;
1564
1565         path.mnt = fhp->fh_export->ex_path.mnt;
1566         path.dentry = fhp->fh_dentry;
1567
1568         if (unlikely(!d_is_symlink(path.dentry)))
1569                 return nfserr_inval;
1570
1571         touch_atime(&path);
1572
1573         link = vfs_get_link(path.dentry, &done);
1574         if (IS_ERR(link))
1575                 return nfserrno(PTR_ERR(link));
1576
1577         len = strlen(link);
1578         if (len < *lenp)
1579                 *lenp = len;
1580         memcpy(buf, link, *lenp);
1581         do_delayed_call(&done);
1582         return 0;
1583 }
1584
1585 /*
1586  * Create a symlink and look up its inode
1587  * N.B. After this call _both_ fhp and resfhp need an fh_put
1588  */
1589 __be32
1590 nfsd_symlink(struct svc_rqst *rqstp, struct svc_fh *fhp,
1591                                 char *fname, int flen,
1592                                 char *path,
1593                                 struct svc_fh *resfhp)
1594 {
1595         struct dentry   *dentry, *dnew;
1596         __be32          err, cerr;
1597         int             host_err;
1598
1599         err = nfserr_noent;
1600         if (!flen || path[0] == '\0')
1601                 goto out;
1602         err = nfserr_exist;
1603         if (isdotent(fname, flen))
1604                 goto out;
1605
1606         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_CREATE);
1607         if (err)
1608                 goto out;
1609
1610         host_err = fh_want_write(fhp);
1611         if (host_err)
1612                 goto out_nfserr;
1613
1614         fh_lock(fhp);
1615         dentry = fhp->fh_dentry;
1616         dnew = lookup_one_len(fname, dentry, flen);
1617         host_err = PTR_ERR(dnew);
1618         if (IS_ERR(dnew))
1619                 goto out_nfserr;
1620
1621         host_err = vfs_symlink(&init_user_ns, d_inode(dentry), dnew, path);
1622         err = nfserrno(host_err);
1623         fh_unlock(fhp);
1624         if (!err)
1625                 err = nfserrno(commit_metadata(fhp));
1626
1627         fh_drop_write(fhp);
1628
1629         cerr = fh_compose(resfhp, fhp->fh_export, dnew, fhp);
1630         dput(dnew);
1631         if (err==0) err = cerr;
1632 out:
1633         return err;
1634
1635 out_nfserr:
1636         err = nfserrno(host_err);
1637         goto out;
1638 }
1639
1640 /*
1641  * Create a hardlink
1642  * N.B. After this call _both_ ffhp and tfhp need an fh_put
1643  */
1644 __be32
1645 nfsd_link(struct svc_rqst *rqstp, struct svc_fh *ffhp,
1646                                 char *name, int len, struct svc_fh *tfhp)
1647 {
1648         struct dentry   *ddir, *dnew, *dold;
1649         struct inode    *dirp;
1650         __be32          err;
1651         int             host_err;
1652
1653         err = fh_verify(rqstp, ffhp, S_IFDIR, NFSD_MAY_CREATE);
1654         if (err)
1655                 goto out;
1656         err = fh_verify(rqstp, tfhp, 0, NFSD_MAY_NOP);
1657         if (err)
1658                 goto out;
1659         err = nfserr_isdir;
1660         if (d_is_dir(tfhp->fh_dentry))
1661                 goto out;
1662         err = nfserr_perm;
1663         if (!len)
1664                 goto out;
1665         err = nfserr_exist;
1666         if (isdotent(name, len))
1667                 goto out;
1668
1669         host_err = fh_want_write(tfhp);
1670         if (host_err) {
1671                 err = nfserrno(host_err);
1672                 goto out;
1673         }
1674
1675         fh_lock_nested(ffhp, I_MUTEX_PARENT);
1676         ddir = ffhp->fh_dentry;
1677         dirp = d_inode(ddir);
1678
1679         dnew = lookup_one_len(name, ddir, len);
1680         host_err = PTR_ERR(dnew);
1681         if (IS_ERR(dnew))
1682                 goto out_nfserr;
1683
1684         dold = tfhp->fh_dentry;
1685
1686         err = nfserr_noent;
1687         if (d_really_is_negative(dold))
1688                 goto out_dput;
1689         host_err = vfs_link(dold, &init_user_ns, dirp, dnew, NULL);
1690         fh_unlock(ffhp);
1691         if (!host_err) {
1692                 err = nfserrno(commit_metadata(ffhp));
1693                 if (!err)
1694                         err = nfserrno(commit_metadata(tfhp));
1695         } else {
1696                 if (host_err == -EXDEV && rqstp->rq_vers == 2)
1697                         err = nfserr_acces;
1698                 else
1699                         err = nfserrno(host_err);
1700         }
1701 out_dput:
1702         dput(dnew);
1703 out_unlock:
1704         fh_unlock(ffhp);
1705         fh_drop_write(tfhp);
1706 out:
1707         return err;
1708
1709 out_nfserr:
1710         err = nfserrno(host_err);
1711         goto out_unlock;
1712 }
1713
1714 static void
1715 nfsd_close_cached_files(struct dentry *dentry)
1716 {
1717         struct inode *inode = d_inode(dentry);
1718
1719         if (inode && S_ISREG(inode->i_mode))
1720                 nfsd_file_close_inode_sync(inode);
1721 }
1722
1723 static bool
1724 nfsd_has_cached_files(struct dentry *dentry)
1725 {
1726         bool            ret = false;
1727         struct inode *inode = d_inode(dentry);
1728
1729         if (inode && S_ISREG(inode->i_mode))
1730                 ret = nfsd_file_is_cached(inode);
1731         return ret;
1732 }
1733
1734 /*
1735  * Rename a file
1736  * N.B. After this call _both_ ffhp and tfhp need an fh_put
1737  */
1738 __be32
1739 nfsd_rename(struct svc_rqst *rqstp, struct svc_fh *ffhp, char *fname, int flen,
1740                             struct svc_fh *tfhp, char *tname, int tlen)
1741 {
1742         struct dentry   *fdentry, *tdentry, *odentry, *ndentry, *trap;
1743         struct inode    *fdir, *tdir;
1744         __be32          err;
1745         int             host_err;
1746         bool            close_cached = false;
1747
1748         err = fh_verify(rqstp, ffhp, S_IFDIR, NFSD_MAY_REMOVE);
1749         if (err)
1750                 goto out;
1751         err = fh_verify(rqstp, tfhp, S_IFDIR, NFSD_MAY_CREATE);
1752         if (err)
1753                 goto out;
1754
1755         fdentry = ffhp->fh_dentry;
1756         fdir = d_inode(fdentry);
1757
1758         tdentry = tfhp->fh_dentry;
1759         tdir = d_inode(tdentry);
1760
1761         err = nfserr_perm;
1762         if (!flen || isdotent(fname, flen) || !tlen || isdotent(tname, tlen))
1763                 goto out;
1764
1765 retry:
1766         host_err = fh_want_write(ffhp);
1767         if (host_err) {
1768                 err = nfserrno(host_err);
1769                 goto out;
1770         }
1771
1772         /* cannot use fh_lock as we need deadlock protective ordering
1773          * so do it by hand */
1774         trap = lock_rename(tdentry, fdentry);
1775         ffhp->fh_locked = tfhp->fh_locked = true;
1776         fill_pre_wcc(ffhp);
1777         fill_pre_wcc(tfhp);
1778
1779         odentry = lookup_one_len(fname, fdentry, flen);
1780         host_err = PTR_ERR(odentry);
1781         if (IS_ERR(odentry))
1782                 goto out_nfserr;
1783
1784         host_err = -ENOENT;
1785         if (d_really_is_negative(odentry))
1786                 goto out_dput_old;
1787         host_err = -EINVAL;
1788         if (odentry == trap)
1789                 goto out_dput_old;
1790
1791         ndentry = lookup_one_len(tname, tdentry, tlen);
1792         host_err = PTR_ERR(ndentry);
1793         if (IS_ERR(ndentry))
1794                 goto out_dput_old;
1795         host_err = -ENOTEMPTY;
1796         if (ndentry == trap)
1797                 goto out_dput_new;
1798
1799         host_err = -EXDEV;
1800         if (ffhp->fh_export->ex_path.mnt != tfhp->fh_export->ex_path.mnt)
1801                 goto out_dput_new;
1802         if (ffhp->fh_export->ex_path.dentry != tfhp->fh_export->ex_path.dentry)
1803                 goto out_dput_new;
1804
1805         if ((ndentry->d_sb->s_export_op->flags & EXPORT_OP_CLOSE_BEFORE_UNLINK) &&
1806             nfsd_has_cached_files(ndentry)) {
1807                 close_cached = true;
1808                 goto out_dput_old;
1809         } else {
1810                 struct renamedata rd = {
1811                         .old_mnt_userns = &init_user_ns,
1812                         .old_dir        = fdir,
1813                         .old_dentry     = odentry,
1814                         .new_mnt_userns = &init_user_ns,
1815                         .new_dir        = tdir,
1816                         .new_dentry     = ndentry,
1817                 };
1818                 host_err = vfs_rename(&rd);
1819                 if (!host_err) {
1820                         host_err = commit_metadata(tfhp);
1821                         if (!host_err)
1822                                 host_err = commit_metadata(ffhp);
1823                 }
1824         }
1825  out_dput_new:
1826         dput(ndentry);
1827  out_dput_old:
1828         dput(odentry);
1829  out_nfserr:
1830         err = nfserrno(host_err);
1831         /*
1832          * We cannot rely on fh_unlock on the two filehandles,
1833          * as that would do the wrong thing if the two directories
1834          * were the same, so again we do it by hand.
1835          */
1836         if (!close_cached) {
1837                 fill_post_wcc(ffhp);
1838                 fill_post_wcc(tfhp);
1839         }
1840         unlock_rename(tdentry, fdentry);
1841         ffhp->fh_locked = tfhp->fh_locked = false;
1842         fh_drop_write(ffhp);
1843
1844         /*
1845          * If the target dentry has cached open files, then we need to try to
1846          * close them prior to doing the rename. Flushing delayed fput
1847          * shouldn't be done with locks held however, so we delay it until this
1848          * point and then reattempt the whole shebang.
1849          */
1850         if (close_cached) {
1851                 close_cached = false;
1852                 nfsd_close_cached_files(ndentry);
1853                 dput(ndentry);
1854                 goto retry;
1855         }
1856 out:
1857         return err;
1858 }
1859
1860 /*
1861  * Unlink a file or directory
1862  * N.B. After this call fhp needs an fh_put
1863  */
1864 __be32
1865 nfsd_unlink(struct svc_rqst *rqstp, struct svc_fh *fhp, int type,
1866                                 char *fname, int flen)
1867 {
1868         struct dentry   *dentry, *rdentry;
1869         struct inode    *dirp;
1870         struct inode    *rinode;
1871         __be32          err;
1872         int             host_err;
1873
1874         err = nfserr_acces;
1875         if (!flen || isdotent(fname, flen))
1876                 goto out;
1877         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_REMOVE);
1878         if (err)
1879                 goto out;
1880
1881         host_err = fh_want_write(fhp);
1882         if (host_err)
1883                 goto out_nfserr;
1884
1885         fh_lock_nested(fhp, I_MUTEX_PARENT);
1886         dentry = fhp->fh_dentry;
1887         dirp = d_inode(dentry);
1888
1889         rdentry = lookup_one_len(fname, dentry, flen);
1890         host_err = PTR_ERR(rdentry);
1891         if (IS_ERR(rdentry))
1892                 goto out_drop_write;
1893
1894         if (d_really_is_negative(rdentry)) {
1895                 dput(rdentry);
1896                 host_err = -ENOENT;
1897                 goto out_drop_write;
1898         }
1899         rinode = d_inode(rdentry);
1900         ihold(rinode);
1901
1902         if (!type)
1903                 type = d_inode(rdentry)->i_mode & S_IFMT;
1904
1905         if (type != S_IFDIR) {
1906                 if (rdentry->d_sb->s_export_op->flags & EXPORT_OP_CLOSE_BEFORE_UNLINK)
1907                         nfsd_close_cached_files(rdentry);
1908                 host_err = vfs_unlink(&init_user_ns, dirp, rdentry, NULL);
1909         } else {
1910                 host_err = vfs_rmdir(&init_user_ns, dirp, rdentry);
1911         }
1912
1913         fh_unlock(fhp);
1914         if (!host_err)
1915                 host_err = commit_metadata(fhp);
1916         dput(rdentry);
1917         iput(rinode);    /* truncate the inode here */
1918
1919 out_drop_write:
1920         fh_drop_write(fhp);
1921 out_nfserr:
1922         if (host_err == -EBUSY) {
1923                 /* name is mounted-on. There is no perfect
1924                  * error status.
1925                  */
1926                 if (nfsd_v4client(rqstp))
1927                         err = nfserr_file_open;
1928                 else
1929                         err = nfserr_acces;
1930         } else {
1931                 err = nfserrno(host_err);
1932         }
1933 out:
1934         return err;
1935 }
1936
1937 /*
1938  * We do this buffering because we must not call back into the file
1939  * system's ->lookup() method from the filldir callback. That may well
1940  * deadlock a number of file systems.
1941  *
1942  * This is based heavily on the implementation of same in XFS.
1943  */
1944 struct buffered_dirent {
1945         u64             ino;
1946         loff_t          offset;
1947         int             namlen;
1948         unsigned int    d_type;
1949         char            name[];
1950 };
1951
1952 struct readdir_data {
1953         struct dir_context ctx;
1954         char            *dirent;
1955         size_t          used;
1956         int             full;
1957 };
1958
1959 static int nfsd_buffered_filldir(struct dir_context *ctx, const char *name,
1960                                  int namlen, loff_t offset, u64 ino,
1961                                  unsigned int d_type)
1962 {
1963         struct readdir_data *buf =
1964                 container_of(ctx, struct readdir_data, ctx);
1965         struct buffered_dirent *de = (void *)(buf->dirent + buf->used);
1966         unsigned int reclen;
1967
1968         reclen = ALIGN(sizeof(struct buffered_dirent) + namlen, sizeof(u64));
1969         if (buf->used + reclen > PAGE_SIZE) {
1970                 buf->full = 1;
1971                 return -EINVAL;
1972         }
1973
1974         de->namlen = namlen;
1975         de->offset = offset;
1976         de->ino = ino;
1977         de->d_type = d_type;
1978         memcpy(de->name, name, namlen);
1979         buf->used += reclen;
1980
1981         return 0;
1982 }
1983
1984 static __be32 nfsd_buffered_readdir(struct file *file, struct svc_fh *fhp,
1985                                     nfsd_filldir_t func, struct readdir_cd *cdp,
1986                                     loff_t *offsetp)
1987 {
1988         struct buffered_dirent *de;
1989         int host_err;
1990         int size;
1991         loff_t offset;
1992         struct readdir_data buf = {
1993                 .ctx.actor = nfsd_buffered_filldir,
1994                 .dirent = (void *)__get_free_page(GFP_KERNEL)
1995         };
1996
1997         if (!buf.dirent)
1998                 return nfserrno(-ENOMEM);
1999
2000         offset = *offsetp;
2001
2002         while (1) {
2003                 unsigned int reclen;
2004
2005                 cdp->err = nfserr_eof; /* will be cleared on successful read */
2006                 buf.used = 0;
2007                 buf.full = 0;
2008
2009                 host_err = iterate_dir(file, &buf.ctx);
2010                 if (buf.full)
2011                         host_err = 0;
2012
2013                 if (host_err < 0)
2014                         break;
2015
2016                 size = buf.used;
2017
2018                 if (!size)
2019                         break;
2020
2021                 de = (struct buffered_dirent *)buf.dirent;
2022                 while (size > 0) {
2023                         offset = de->offset;
2024
2025                         if (func(cdp, de->name, de->namlen, de->offset,
2026                                  de->ino, de->d_type))
2027                                 break;
2028
2029                         if (cdp->err != nfs_ok)
2030                                 break;
2031
2032                         trace_nfsd_dirent(fhp, de->ino, de->name, de->namlen);
2033
2034                         reclen = ALIGN(sizeof(*de) + de->namlen,
2035                                        sizeof(u64));
2036                         size -= reclen;
2037                         de = (struct buffered_dirent *)((char *)de + reclen);
2038                 }
2039                 if (size > 0) /* We bailed out early */
2040                         break;
2041
2042                 offset = vfs_llseek(file, 0, SEEK_CUR);
2043         }
2044
2045         free_page((unsigned long)(buf.dirent));
2046
2047         if (host_err)
2048                 return nfserrno(host_err);
2049
2050         *offsetp = offset;
2051         return cdp->err;
2052 }
2053
2054 /*
2055  * Read entries from a directory.
2056  * The  NFSv3/4 verifier we ignore for now.
2057  */
2058 __be32
2059 nfsd_readdir(struct svc_rqst *rqstp, struct svc_fh *fhp, loff_t *offsetp, 
2060              struct readdir_cd *cdp, nfsd_filldir_t func)
2061 {
2062         __be32          err;
2063         struct file     *file;
2064         loff_t          offset = *offsetp;
2065         int             may_flags = NFSD_MAY_READ;
2066
2067         /* NFSv2 only supports 32 bit cookies */
2068         if (rqstp->rq_vers > 2)
2069                 may_flags |= NFSD_MAY_64BIT_COOKIE;
2070
2071         err = nfsd_open(rqstp, fhp, S_IFDIR, may_flags, &file);
2072         if (err)
2073                 goto out;
2074
2075         offset = vfs_llseek(file, offset, SEEK_SET);
2076         if (offset < 0) {
2077                 err = nfserrno((int)offset);
2078                 goto out_close;
2079         }
2080
2081         err = nfsd_buffered_readdir(file, fhp, func, cdp, offsetp);
2082
2083         if (err == nfserr_eof || err == nfserr_toosmall)
2084                 err = nfs_ok; /* can still be found in ->err */
2085 out_close:
2086         fput(file);
2087 out:
2088         return err;
2089 }
2090
2091 /*
2092  * Get file system stats
2093  * N.B. After this call fhp needs an fh_put
2094  */
2095 __be32
2096 nfsd_statfs(struct svc_rqst *rqstp, struct svc_fh *fhp, struct kstatfs *stat, int access)
2097 {
2098         __be32 err;
2099
2100         err = fh_verify(rqstp, fhp, 0, NFSD_MAY_NOP | access);
2101         if (!err) {
2102                 struct path path = {
2103                         .mnt    = fhp->fh_export->ex_path.mnt,
2104                         .dentry = fhp->fh_dentry,
2105                 };
2106                 if (vfs_statfs(&path, stat))
2107                         err = nfserr_io;
2108         }
2109         return err;
2110 }
2111
2112 static int exp_rdonly(struct svc_rqst *rqstp, struct svc_export *exp)
2113 {
2114         return nfsexp_flags(rqstp, exp) & NFSEXP_READONLY;
2115 }
2116
2117 #ifdef CONFIG_NFSD_V4
2118 /*
2119  * Helper function to translate error numbers. In the case of xattr operations,
2120  * some error codes need to be translated outside of the standard translations.
2121  *
2122  * ENODATA needs to be translated to nfserr_noxattr.
2123  * E2BIG to nfserr_xattr2big.
2124  *
2125  * Additionally, vfs_listxattr can return -ERANGE. This means that the
2126  * file has too many extended attributes to retrieve inside an
2127  * XATTR_LIST_MAX sized buffer. This is a bug in the xattr implementation:
2128  * filesystems will allow the adding of extended attributes until they hit
2129  * their own internal limit. This limit may be larger than XATTR_LIST_MAX.
2130  * So, at that point, the attributes are present and valid, but can't
2131  * be retrieved using listxattr, since the upper level xattr code enforces
2132  * the XATTR_LIST_MAX limit.
2133  *
2134  * This bug means that we need to deal with listxattr returning -ERANGE. The
2135  * best mapping is to return TOOSMALL.
2136  */
2137 static __be32
2138 nfsd_xattr_errno(int err)
2139 {
2140         switch (err) {
2141         case -ENODATA:
2142                 return nfserr_noxattr;
2143         case -E2BIG:
2144                 return nfserr_xattr2big;
2145         case -ERANGE:
2146                 return nfserr_toosmall;
2147         }
2148         return nfserrno(err);
2149 }
2150
2151 /*
2152  * Retrieve the specified user extended attribute. To avoid always
2153  * having to allocate the maximum size (since we are not getting
2154  * a maximum size from the RPC), do a probe + alloc. Hold a reader
2155  * lock on i_rwsem to prevent the extended attribute from changing
2156  * size while we're doing this.
2157  */
2158 __be32
2159 nfsd_getxattr(struct svc_rqst *rqstp, struct svc_fh *fhp, char *name,
2160               void **bufp, int *lenp)
2161 {
2162         ssize_t len;
2163         __be32 err;
2164         char *buf;
2165         struct inode *inode;
2166         struct dentry *dentry;
2167
2168         err = fh_verify(rqstp, fhp, 0, NFSD_MAY_READ);
2169         if (err)
2170                 return err;
2171
2172         err = nfs_ok;
2173         dentry = fhp->fh_dentry;
2174         inode = d_inode(dentry);
2175
2176         inode_lock_shared(inode);
2177
2178         len = vfs_getxattr(&init_user_ns, dentry, name, NULL, 0);
2179
2180         /*
2181          * Zero-length attribute, just return.
2182          */
2183         if (len == 0) {
2184                 *bufp = NULL;
2185                 *lenp = 0;
2186                 goto out;
2187         }
2188
2189         if (len < 0) {
2190                 err = nfsd_xattr_errno(len);
2191                 goto out;
2192         }
2193
2194         if (len > *lenp) {
2195                 err = nfserr_toosmall;
2196                 goto out;
2197         }
2198
2199         buf = kvmalloc(len, GFP_KERNEL | GFP_NOFS);
2200         if (buf == NULL) {
2201                 err = nfserr_jukebox;
2202                 goto out;
2203         }
2204
2205         len = vfs_getxattr(&init_user_ns, dentry, name, buf, len);
2206         if (len <= 0) {
2207                 kvfree(buf);
2208                 buf = NULL;
2209                 err = nfsd_xattr_errno(len);
2210         }
2211
2212         *lenp = len;
2213         *bufp = buf;
2214
2215 out:
2216         inode_unlock_shared(inode);
2217
2218         return err;
2219 }
2220
2221 /*
2222  * Retrieve the xattr names. Since we can't know how many are
2223  * user extended attributes, we must get all attributes here,
2224  * and have the XDR encode filter out the "user." ones.
2225  *
2226  * While this could always just allocate an XATTR_LIST_MAX
2227  * buffer, that's a waste, so do a probe + allocate. To
2228  * avoid any changes between the probe and allocate, wrap
2229  * this in inode_lock.
2230  */
2231 __be32
2232 nfsd_listxattr(struct svc_rqst *rqstp, struct svc_fh *fhp, char **bufp,
2233                int *lenp)
2234 {
2235         ssize_t len;
2236         __be32 err;
2237         char *buf;
2238         struct inode *inode;
2239         struct dentry *dentry;
2240
2241         err = fh_verify(rqstp, fhp, 0, NFSD_MAY_READ);
2242         if (err)
2243                 return err;
2244
2245         dentry = fhp->fh_dentry;
2246         inode = d_inode(dentry);
2247         *lenp = 0;
2248
2249         inode_lock_shared(inode);
2250
2251         len = vfs_listxattr(dentry, NULL, 0);
2252         if (len <= 0) {
2253                 err = nfsd_xattr_errno(len);
2254                 goto out;
2255         }
2256
2257         if (len > XATTR_LIST_MAX) {
2258                 err = nfserr_xattr2big;
2259                 goto out;
2260         }
2261
2262         /*
2263          * We're holding i_rwsem - use GFP_NOFS.
2264          */
2265         buf = kvmalloc(len, GFP_KERNEL | GFP_NOFS);
2266         if (buf == NULL) {
2267                 err = nfserr_jukebox;
2268                 goto out;
2269         }
2270
2271         len = vfs_listxattr(dentry, buf, len);
2272         if (len <= 0) {
2273                 kvfree(buf);
2274                 err = nfsd_xattr_errno(len);
2275                 goto out;
2276         }
2277
2278         *lenp = len;
2279         *bufp = buf;
2280
2281         err = nfs_ok;
2282 out:
2283         inode_unlock_shared(inode);
2284
2285         return err;
2286 }
2287
2288 /*
2289  * Removexattr and setxattr need to call fh_lock to both lock the inode
2290  * and set the change attribute. Since the top-level vfs_removexattr
2291  * and vfs_setxattr calls already do their own inode_lock calls, call
2292  * the _locked variant. Pass in a NULL pointer for delegated_inode,
2293  * and let the client deal with NFS4ERR_DELAY (same as with e.g.
2294  * setattr and remove).
2295  */
2296 __be32
2297 nfsd_removexattr(struct svc_rqst *rqstp, struct svc_fh *fhp, char *name)
2298 {
2299         __be32 err;
2300         int ret;
2301
2302         err = fh_verify(rqstp, fhp, 0, NFSD_MAY_WRITE);
2303         if (err)
2304                 return err;
2305
2306         ret = fh_want_write(fhp);
2307         if (ret)
2308                 return nfserrno(ret);
2309
2310         fh_lock(fhp);
2311
2312         ret = __vfs_removexattr_locked(&init_user_ns, fhp->fh_dentry,
2313                                        name, NULL);
2314
2315         fh_unlock(fhp);
2316         fh_drop_write(fhp);
2317
2318         return nfsd_xattr_errno(ret);
2319 }
2320
2321 __be32
2322 nfsd_setxattr(struct svc_rqst *rqstp, struct svc_fh *fhp, char *name,
2323               void *buf, u32 len, u32 flags)
2324 {
2325         __be32 err;
2326         int ret;
2327
2328         err = fh_verify(rqstp, fhp, 0, NFSD_MAY_WRITE);
2329         if (err)
2330                 return err;
2331
2332         ret = fh_want_write(fhp);
2333         if (ret)
2334                 return nfserrno(ret);
2335         fh_lock(fhp);
2336
2337         ret = __vfs_setxattr_locked(&init_user_ns, fhp->fh_dentry, name, buf,
2338                                     len, flags, NULL);
2339
2340         fh_unlock(fhp);
2341         fh_drop_write(fhp);
2342
2343         return nfsd_xattr_errno(ret);
2344 }
2345 #endif
2346
2347 /*
2348  * Check for a user's access permissions to this inode.
2349  */
2350 __be32
2351 nfsd_permission(struct svc_rqst *rqstp, struct svc_export *exp,
2352                                         struct dentry *dentry, int acc)
2353 {
2354         struct inode    *inode = d_inode(dentry);
2355         int             err;
2356
2357         if ((acc & NFSD_MAY_MASK) == NFSD_MAY_NOP)
2358                 return 0;
2359 #if 0
2360         dprintk("nfsd: permission 0x%x%s%s%s%s%s%s%s mode 0%o%s%s%s\n",
2361                 acc,
2362                 (acc & NFSD_MAY_READ)?  " read"  : "",
2363                 (acc & NFSD_MAY_WRITE)? " write" : "",
2364                 (acc & NFSD_MAY_EXEC)?  " exec"  : "",
2365                 (acc & NFSD_MAY_SATTR)? " sattr" : "",
2366                 (acc & NFSD_MAY_TRUNC)? " trunc" : "",
2367                 (acc & NFSD_MAY_LOCK)?  " lock"  : "",
2368                 (acc & NFSD_MAY_OWNER_OVERRIDE)? " owneroverride" : "",
2369                 inode->i_mode,
2370                 IS_IMMUTABLE(inode)?    " immut" : "",
2371                 IS_APPEND(inode)?       " append" : "",
2372                 __mnt_is_readonly(exp->ex_path.mnt)?    " ro" : "");
2373         dprintk("      owner %d/%d user %d/%d\n",
2374                 inode->i_uid, inode->i_gid, current_fsuid(), current_fsgid());
2375 #endif
2376
2377         /* Normally we reject any write/sattr etc access on a read-only file
2378          * system.  But if it is IRIX doing check on write-access for a 
2379          * device special file, we ignore rofs.
2380          */
2381         if (!(acc & NFSD_MAY_LOCAL_ACCESS))
2382                 if (acc & (NFSD_MAY_WRITE | NFSD_MAY_SATTR | NFSD_MAY_TRUNC)) {
2383                         if (exp_rdonly(rqstp, exp) ||
2384                             __mnt_is_readonly(exp->ex_path.mnt))
2385                                 return nfserr_rofs;
2386                         if (/* (acc & NFSD_MAY_WRITE) && */ IS_IMMUTABLE(inode))
2387                                 return nfserr_perm;
2388                 }
2389         if ((acc & NFSD_MAY_TRUNC) && IS_APPEND(inode))
2390                 return nfserr_perm;
2391
2392         if (acc & NFSD_MAY_LOCK) {
2393                 /* If we cannot rely on authentication in NLM requests,
2394                  * just allow locks, otherwise require read permission, or
2395                  * ownership
2396                  */
2397                 if (exp->ex_flags & NFSEXP_NOAUTHNLM)
2398                         return 0;
2399                 else
2400                         acc = NFSD_MAY_READ | NFSD_MAY_OWNER_OVERRIDE;
2401         }
2402         /*
2403          * The file owner always gets access permission for accesses that
2404          * would normally be checked at open time. This is to make
2405          * file access work even when the client has done a fchmod(fd, 0).
2406          *
2407          * However, `cp foo bar' should fail nevertheless when bar is
2408          * readonly. A sensible way to do this might be to reject all
2409          * attempts to truncate a read-only file, because a creat() call
2410          * always implies file truncation.
2411          * ... but this isn't really fair.  A process may reasonably call
2412          * ftruncate on an open file descriptor on a file with perm 000.
2413          * We must trust the client to do permission checking - using "ACCESS"
2414          * with NFSv3.
2415          */
2416         if ((acc & NFSD_MAY_OWNER_OVERRIDE) &&
2417             uid_eq(inode->i_uid, current_fsuid()))
2418                 return 0;
2419
2420         /* This assumes  NFSD_MAY_{READ,WRITE,EXEC} == MAY_{READ,WRITE,EXEC} */
2421         err = inode_permission(&init_user_ns, inode,
2422                                acc & (MAY_READ | MAY_WRITE | MAY_EXEC));
2423
2424         /* Allow read access to binaries even when mode 111 */
2425         if (err == -EACCES && S_ISREG(inode->i_mode) &&
2426              (acc == (NFSD_MAY_READ | NFSD_MAY_OWNER_OVERRIDE) ||
2427               acc == (NFSD_MAY_READ | NFSD_MAY_READ_IF_EXEC)))
2428                 err = inode_permission(&init_user_ns, inode, MAY_EXEC);
2429
2430         return err? nfserrno(err) : 0;
2431 }