fs/xfs/xfs_iops.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (c) 2000-2005 Silicon Graphics, Inc.
   4  * All Rights Reserved.
   5  */
   6 #include "xfs.h"
   7 #include "xfs_fs.h"
   8 #include "xfs_shared.h"
   9 #include "xfs_format.h"
  10 #include "xfs_log_format.h"
  11 #include "xfs_trans_resv.h"
  12 #include "xfs_mount.h"
  13 #include "xfs_inode.h"
  14 #include "xfs_acl.h"
  15 #include "xfs_quota.h"
  16 #include "xfs_da_format.h"
  17 #include "xfs_da_btree.h"
  18 #include "xfs_attr.h"
  19 #include "xfs_trans.h"
  20 #include "xfs_trace.h"
  21 #include "xfs_icache.h"
  22 #include "xfs_symlink.h"
  23 #include "xfs_dir2.h"
  24 #include "xfs_iomap.h"
  25 #include "xfs_error.h"
  26 #include "xfs_ioctl.h"
  27 #include "xfs_xattr.h"
  28
  29 #include <linux/posix_acl.h>
  30 #include <linux/security.h>
  31 #include <linux/iversion.h>
  32 #include <linux/fiemap.h>
  33
  34 /*
  35  * Directories have different lock order w.r.t. mmap_lock compared to regular
  36  * files. This is due to readdir potentially triggering page faults on a user
  37  * buffer inside filldir(), and this happens with the ilock on the directory
  38  * held. For regular files, the lock order is the other way around - the
  39  * mmap_lock is taken during the page fault, and then we lock the ilock to do
  40  * block mapping. Hence we need a different class for the directory ilock so
  41  * that lockdep can tell them apart.
  42  */
  43 static struct lock_class_key xfs_nondir_ilock_class;
  44 static struct lock_class_key xfs_dir_ilock_class;
  45
  46 static int
  47 xfs_initxattrs(
  48         struct inode            *inode,
  49         const struct xattr      *xattr_array,
  50         void                    *fs_info)
  51 {
  52         const struct xattr      *xattr;
  53         struct xfs_inode        *ip = XFS_I(inode);
  54         int                     error = 0;
  55
  56         for (xattr = xattr_array; xattr->name != NULL; xattr++) {
  57                 struct xfs_da_args      args = {
  58                         .dp             = ip,
  59                         .attr_filter    = XFS_ATTR_SECURE,
  60                         .name           = xattr->name,
  61                         .namelen        = strlen(xattr->name),
  62                         .value          = xattr->value,
  63                         .valuelen       = xattr->value_len,
  64                 };
  65                 error = xfs_attr_change(&args);
  66                 if (error < 0)
  67                         break;
  68         }
  69         return error;
  70 }
  71
  72 /*
  73  * Hook in SELinux.  This is not quite correct yet, what we really need
  74  * here (as we do for default ACLs) is a mechanism by which creation of
  75  * these attrs can be journalled at inode creation time (along with the
  76  * inode, of course, such that log replay can't cause these to be lost).
  77  */
  78 int
  79 xfs_inode_init_security(
  80         struct inode    *inode,
  81         struct inode    *dir,
  82         const struct qstr *qstr)
  83 {
  84         return security_inode_init_security(inode, dir, qstr,
  85                                              &xfs_initxattrs, NULL);
  86 }
  87
  88 static void
  89 xfs_dentry_to_name(
  90         struct xfs_name *namep,
  91         struct dentry   *dentry)
  92 {
  93         namep->name = dentry->d_name.name;
  94         namep->len = dentry->d_name.len;
  95         namep->type = XFS_DIR3_FT_UNKNOWN;
  96 }
  97
  98 static int
  99 xfs_dentry_mode_to_name(
 100         struct xfs_name *namep,
 101         struct dentry   *dentry,
 102         int             mode)
 103 {
 104         namep->name = dentry->d_name.name;
 105         namep->len = dentry->d_name.len;
 106         namep->type = xfs_mode_to_ftype(mode);
 107
 108         if (unlikely(namep->type == XFS_DIR3_FT_UNKNOWN))
 109                 return -EFSCORRUPTED;
 110
 111         return 0;
 112 }
 113
 114 STATIC void
 115 xfs_cleanup_inode(
 116         struct inode    *dir,
 117         struct inode    *inode,
 118         struct dentry   *dentry)
 119 {
 120         struct xfs_name teardown;
 121
 122         /* Oh, the horror.
 123          * If we can't add the ACL or we fail in
 124          * xfs_inode_init_security we must back out.
 125          * ENOSPC can hit here, among other things.
 126          */
 127         xfs_dentry_to_name(&teardown, dentry);
 128
 129         xfs_remove(XFS_I(dir), &teardown, XFS_I(inode));
 130 }
 131
 132 /*
 133  * Check to see if we are likely to need an extended attribute to be added to
 134  * the inode we are about to allocate. This allows the attribute fork to be
 135  * created during the inode allocation, reducing the number of transactions we
 136  * need to do in this fast path.
 137  *
 138  * The security checks are optimistic, but not guaranteed. The two LSMs that
 139  * require xattrs to be added here (selinux and smack) are also the only two
 140  * LSMs that add a sb->s_security structure to the superblock. Hence if security
 141  * is enabled and sb->s_security is set, we have a pretty good idea that we are
 142  * going to be asked to add a security xattr immediately after allocating the
 143  * xfs inode and instantiating the VFS inode.
 144  */
 145 static inline bool
 146 xfs_create_need_xattr(
 147         struct inode    *dir,
 148         struct posix_acl *default_acl,
 149         struct posix_acl *acl)
 150 {
 151         if (acl)
 152                 return true;
 153         if (default_acl)
 154                 return true;
 155 #if IS_ENABLED(CONFIG_SECURITY)
 156         if (dir->i_sb->s_security)
 157                 return true;
 158 #endif
 159         return false;
 160 }
 161
 162
 163 STATIC int
 164 xfs_generic_create(
 165         struct user_namespace   *mnt_userns,
 166         struct inode    *dir,
 167         struct dentry   *dentry,
 168         umode_t         mode,
 169         dev_t           rdev,
 170         bool            tmpfile)        /* unnamed file */
 171 {
 172         struct inode    *inode;
 173         struct xfs_inode *ip = NULL;
 174         struct posix_acl *default_acl, *acl;
 175         struct xfs_name name;
 176         int             error;
 177
 178         /*
 179          * Irix uses Missed'em'V split, but doesn't want to see
 180          * the upper 5 bits of (14bit) major.
 181          */
 182         if (S_ISCHR(mode) || S_ISBLK(mode)) {
 183                 if (unlikely(!sysv_valid_dev(rdev) || MAJOR(rdev) & ~0x1ff))
 184                         return -EINVAL;
 185         } else {
 186                 rdev = 0;
 187         }
 188
 189         error = posix_acl_create(dir, &mode, &default_acl, &acl);
 190         if (error)
 191                 return error;
 192
 193         /* Verify mode is valid also for tmpfile case */
 194         error = xfs_dentry_mode_to_name(&name, dentry, mode);
 195         if (unlikely(error))
 196                 goto out_free_acl;
 197
 198         if (!tmpfile) {
 199                 error = xfs_create(mnt_userns, XFS_I(dir), &name, mode, rdev,
 200                                 xfs_create_need_xattr(dir, default_acl, acl),
 201                                 &ip);
 202         } else {
 203                 error = xfs_create_tmpfile(mnt_userns, XFS_I(dir), mode, &ip);
 204         }
 205         if (unlikely(error))
 206                 goto out_free_acl;
 207
 208         inode = VFS_I(ip);
 209
 210         error = xfs_inode_init_security(inode, dir, &dentry->d_name);
 211         if (unlikely(error))
 212                 goto out_cleanup_inode;
 213
 214         if (default_acl) {
 215                 error = __xfs_set_acl(inode, default_acl, ACL_TYPE_DEFAULT);
 216                 if (error)
 217                         goto out_cleanup_inode;
 218         }
 219         if (acl) {
 220                 error = __xfs_set_acl(inode, acl, ACL_TYPE_ACCESS);
 221                 if (error)
 222                         goto out_cleanup_inode;
 223         }
 224
 225         xfs_setup_iops(ip);
 226
 227         if (tmpfile) {
 228                 /*
 229                  * The VFS requires that any inode fed to d_tmpfile must have
 230                  * nlink == 1 so that it can decrement the nlink in d_tmpfile.
 231                  * However, we created the temp file with nlink == 0 because
 232                  * we're not allowed to put an inode with nlink > 0 on the
 233                  * unlinked list.  Therefore we have to set nlink to 1 so that
 234                  * d_tmpfile can immediately set it back to zero.
 235                  */
 236                 set_nlink(inode, 1);
 237                 d_tmpfile(dentry, inode);
 238         } else
 239                 d_instantiate(dentry, inode);
 240
 241         xfs_finish_inode_setup(ip);
 242
 243  out_free_acl:
 244         posix_acl_release(default_acl);
 245         posix_acl_release(acl);
 246         return error;
 247
 248  out_cleanup_inode:
 249         xfs_finish_inode_setup(ip);
 250         if (!tmpfile)
 251                 xfs_cleanup_inode(dir, inode, dentry);
 252         xfs_irele(ip);
 253         goto out_free_acl;
 254 }
 255
 256 STATIC int
 257 xfs_vn_mknod(
 258         struct user_namespace   *mnt_userns,
 259         struct inode            *dir,
 260         struct dentry           *dentry,
 261         umode_t                 mode,
 262         dev_t                   rdev)
 263 {
 264         return xfs_generic_create(mnt_userns, dir, dentry, mode, rdev, false);
 265 }
 266
 267 STATIC int
 268 xfs_vn_create(
 269         struct user_namespace   *mnt_userns,
 270         struct inode            *dir,
 271         struct dentry           *dentry,
 272         umode_t                 mode,
 273         bool                    flags)
 274 {
 275         return xfs_generic_create(mnt_userns, dir, dentry, mode, 0, false);
 276 }
 277
 278 STATIC int
 279 xfs_vn_mkdir(
 280         struct user_namespace   *mnt_userns,
 281         struct inode            *dir,
 282         struct dentry           *dentry,
 283         umode_t                 mode)
 284 {
 285         return xfs_generic_create(mnt_userns, dir, dentry, mode | S_IFDIR, 0,
 286                                   false);
 287 }
 288
 289 STATIC struct dentry *
 290 xfs_vn_lookup(
 291         struct inode    *dir,
 292         struct dentry   *dentry,
 293         unsigned int flags)
 294 {
 295         struct inode *inode;
 296         struct xfs_inode *cip;
 297         struct xfs_name name;
 298         int             error;
 299
 300         if (dentry->d_name.len >= MAXNAMELEN)
 301                 return ERR_PTR(-ENAMETOOLONG);
 302
 303         xfs_dentry_to_name(&name, dentry);
 304         error = xfs_lookup(XFS_I(dir), &name, &cip, NULL);
 305         if (likely(!error))
 306                 inode = VFS_I(cip);
 307         else if (likely(error == -ENOENT))
 308                 inode = NULL;
 309         else
 310                 inode = ERR_PTR(error);
 311         return d_splice_alias(inode, dentry);
 312 }
 313
 314 STATIC struct dentry *
 315 xfs_vn_ci_lookup(
 316         struct inode    *dir,
 317         struct dentry   *dentry,
 318         unsigned int flags)
 319 {
 320         struct xfs_inode *ip;
 321         struct xfs_name xname;
 322         struct xfs_name ci_name;
 323         struct qstr     dname;
 324         int             error;
 325
 326         if (dentry->d_name.len >= MAXNAMELEN)
 327                 return ERR_PTR(-ENAMETOOLONG);
 328
 329         xfs_dentry_to_name(&xname, dentry);
 330         error = xfs_lookup(XFS_I(dir), &xname, &ip, &ci_name);
 331         if (unlikely(error)) {
 332                 if (unlikely(error != -ENOENT))
 333                         return ERR_PTR(error);
 334                 /*
 335                  * call d_add(dentry, NULL) here when d_drop_negative_children
 336                  * is called in xfs_vn_mknod (ie. allow negative dentries
 337                  * with CI filesystems).
 338                  */
 339                 return NULL;
 340         }
 341
 342         /* if exact match, just splice and exit */
 343         if (!ci_name.name)
 344                 return d_splice_alias(VFS_I(ip), dentry);
 345
 346         /* else case-insensitive match... */
 347         dname.name = ci_name.name;
 348         dname.len = ci_name.len;
 349         dentry = d_add_ci(dentry, VFS_I(ip), &dname);
 350         kmem_free(ci_name.name);
 351         return dentry;
 352 }
 353
 354 STATIC int
 355 xfs_vn_link(
 356         struct dentry   *old_dentry,
 357         struct inode    *dir,
 358         struct dentry   *dentry)
 359 {
 360         struct inode    *inode = d_inode(old_dentry);
 361         struct xfs_name name;
 362         int             error;
 363
 364         error = xfs_dentry_mode_to_name(&name, dentry, inode->i_mode);
 365         if (unlikely(error))
 366                 return error;
 367
 368         error = xfs_link(XFS_I(dir), XFS_I(inode), &name);
 369         if (unlikely(error))
 370                 return error;
 371
 372         ihold(inode);
 373         d_instantiate(dentry, inode);
 374         return 0;
 375 }
 376
 377 STATIC int
 378 xfs_vn_unlink(
 379         struct inode    *dir,
 380         struct dentry   *dentry)
 381 {
 382         struct xfs_name name;
 383         int             error;
 384
 385         xfs_dentry_to_name(&name, dentry);
 386
 387         error = xfs_remove(XFS_I(dir), &name, XFS_I(d_inode(dentry)));
 388         if (error)
 389                 return error;
 390
 391         /*
 392          * With unlink, the VFS makes the dentry "negative": no inode,
 393          * but still hashed. This is incompatible with case-insensitive
 394          * mode, so invalidate (unhash) the dentry in CI-mode.
 395          */
 396         if (xfs_has_asciici(XFS_M(dir->i_sb)))
 397                 d_invalidate(dentry);
 398         return 0;
 399 }
 400
 401 STATIC int
 402 xfs_vn_symlink(
 403         struct user_namespace   *mnt_userns,
 404         struct inode            *dir,
 405         struct dentry           *dentry,
 406         const char              *symname)
 407 {
 408         struct inode    *inode;
 409         struct xfs_inode *cip = NULL;
 410         struct xfs_name name;
 411         int             error;
 412         umode_t         mode;
 413
 414         mode = S_IFLNK |
 415                 (irix_symlink_mode ? 0777 & ~current_umask() : S_IRWXUGO);
 416         error = xfs_dentry_mode_to_name(&name, dentry, mode);
 417         if (unlikely(error))
 418                 goto out;
 419
 420         error = xfs_symlink(mnt_userns, XFS_I(dir), &name, symname, mode, &cip);
 421         if (unlikely(error))
 422                 goto out;
 423
 424         inode = VFS_I(cip);
 425
 426         error = xfs_inode_init_security(inode, dir, &dentry->d_name);
 427         if (unlikely(error))
 428                 goto out_cleanup_inode;
 429
 430         xfs_setup_iops(cip);
 431
 432         d_instantiate(dentry, inode);
 433         xfs_finish_inode_setup(cip);
 434         return 0;
 435
 436  out_cleanup_inode:
 437         xfs_finish_inode_setup(cip);
 438         xfs_cleanup_inode(dir, inode, dentry);
 439         xfs_irele(cip);
 440  out:
 441         return error;
 442 }
 443
 444 STATIC int
 445 xfs_vn_rename(
 446         struct user_namespace   *mnt_userns,
 447         struct inode            *odir,
 448         struct dentry           *odentry,
 449         struct inode            *ndir,
 450         struct dentry           *ndentry,
 451         unsigned int            flags)
 452 {
 453         struct inode    *new_inode = d_inode(ndentry);
 454         int             omode = 0;
 455         int             error;
 456         struct xfs_name oname;
 457         struct xfs_name nname;
 458
 459         if (flags & ~(RENAME_NOREPLACE | RENAME_EXCHANGE | RENAME_WHITEOUT))
 460                 return -EINVAL;
 461
 462         /* if we are exchanging files, we need to set i_mode of both files */
 463         if (flags & RENAME_EXCHANGE)
 464                 omode = d_inode(ndentry)->i_mode;
 465
 466         error = xfs_dentry_mode_to_name(&oname, odentry, omode);
 467         if (omode && unlikely(error))
 468                 return error;
 469
 470         error = xfs_dentry_mode_to_name(&nname, ndentry,
 471                                         d_inode(odentry)->i_mode);
 472         if (unlikely(error))
 473                 return error;
 474
 475         return xfs_rename(mnt_userns, XFS_I(odir), &oname,
 476                           XFS_I(d_inode(odentry)), XFS_I(ndir), &nname,
 477                           new_inode ? XFS_I(new_inode) : NULL, flags);
 478 }
 479
 480 /*
 481  * careful here - this function can get called recursively, so
 482  * we need to be very careful about how much stack we use.
 483  * uio is kmalloced for this reason...
 484  */
 485 STATIC const char *
 486 xfs_vn_get_link(
 487         struct dentry           *dentry,
 488         struct inode            *inode,
 489         struct delayed_call     *done)
 490 {
 491         char                    *link;
 492         int                     error = -ENOMEM;
 493
 494         if (!dentry)
 495                 return ERR_PTR(-ECHILD);
 496
 497         link = kmalloc(XFS_SYMLINK_MAXLEN+1, GFP_KERNEL);
 498         if (!link)
 499                 goto out_err;
 500
 501         error = xfs_readlink(XFS_I(d_inode(dentry)), link);
 502         if (unlikely(error))
 503                 goto out_kfree;
 504
 505         set_delayed_call(done, kfree_link, link);
 506         return link;
 507
 508  out_kfree:
 509         kfree(link);
 510  out_err:
 511         return ERR_PTR(error);
 512 }
 513
 514 static uint32_t
 515 xfs_stat_blksize(
 516         struct xfs_inode        *ip)
 517 {
 518         struct xfs_mount        *mp = ip->i_mount;
 519
 520         /*
 521          * If the file blocks are being allocated from a realtime volume, then
 522          * always return the realtime extent size.
 523          */
 524         if (XFS_IS_REALTIME_INODE(ip))
 525                 return XFS_FSB_TO_B(mp, xfs_get_extsz_hint(ip));
 526
 527         /*
 528          * Allow large block sizes to be reported to userspace programs if the
 529          * "largeio" mount option is used.
 530          *
 531          * If compatibility mode is specified, simply return the basic unit of
 532          * caching so that we don't get inefficient read/modify/write I/O from
 533          * user apps. Otherwise....
 534          *
 535          * If the underlying volume is a stripe, then return the stripe width in
 536          * bytes as the recommended I/O size. It is not a stripe and we've set a
 537          * default buffered I/O size, return that, otherwise return the compat
 538          * default.
 539          */
 540         if (xfs_has_large_iosize(mp)) {
 541                 if (mp->m_swidth)
 542                         return XFS_FSB_TO_B(mp, mp->m_swidth);
 543                 if (xfs_has_allocsize(mp))
 544                         return 1U << mp->m_allocsize_log;
 545         }
 546
 547         return PAGE_SIZE;
 548 }
 549
 550 STATIC int
 551 xfs_vn_getattr(
 552         struct user_namespace   *mnt_userns,
 553         const struct path       *path,
 554         struct kstat            *stat,
 555         u32                     request_mask,
 556         unsigned int            query_flags)
 557 {
 558         struct inode            *inode = d_inode(path->dentry);
 559         struct xfs_inode        *ip = XFS_I(inode);
 560         struct xfs_mount        *mp = ip->i_mount;
 561
 562         trace_xfs_getattr(ip);
 563
 564         if (xfs_is_shutdown(mp))
 565                 return -EIO;
 566
 567         stat->size = XFS_ISIZE(ip);
 568         stat->dev = inode->i_sb->s_dev;
 569         stat->mode = inode->i_mode;
 570         stat->nlink = inode->i_nlink;
 571         stat->uid = i_uid_into_mnt(mnt_userns, inode);
 572         stat->gid = i_gid_into_mnt(mnt_userns, inode);
 573         stat->ino = ip->i_ino;
 574         stat->atime = inode->i_atime;
 575         stat->mtime = inode->i_mtime;
 576         stat->ctime = inode->i_ctime;
 577         stat->blocks = XFS_FSB_TO_BB(mp, ip->i_nblocks + ip->i_delayed_blks);
 578
 579         if (xfs_has_v3inodes(mp)) {
 580                 if (request_mask & STATX_BTIME) {
 581                         stat->result_mask |= STATX_BTIME;
 582                         stat->btime = ip->i_crtime;
 583                 }
 584         }
 585
 586         /*
 587          * Note: If you add another clause to set an attribute flag, please
 588          * update attributes_mask below.
 589          */
 590         if (ip->i_diflags & XFS_DIFLAG_IMMUTABLE)
 591                 stat->attributes |= STATX_ATTR_IMMUTABLE;
 592         if (ip->i_diflags & XFS_DIFLAG_APPEND)
 593                 stat->attributes |= STATX_ATTR_APPEND;
 594         if (ip->i_diflags & XFS_DIFLAG_NODUMP)
 595                 stat->attributes |= STATX_ATTR_NODUMP;
 596
 597         stat->attributes_mask |= (STATX_ATTR_IMMUTABLE |
 598                                   STATX_ATTR_APPEND |
 599                                   STATX_ATTR_NODUMP);
 600
 601         switch (inode->i_mode & S_IFMT) {
 602         case S_IFBLK:
 603         case S_IFCHR:
 604                 stat->blksize = BLKDEV_IOSIZE;
 605                 stat->rdev = inode->i_rdev;
 606                 break;
 607         default:
 608                 stat->blksize = xfs_stat_blksize(ip);
 609                 stat->rdev = 0;
 610                 break;
 611         }
 612
 613         return 0;
 614 }
 615
 616 static int
 617 xfs_vn_change_ok(
 618         struct user_namespace   *mnt_userns,
 619         struct dentry           *dentry,
 620         struct iattr            *iattr)
 621 {
 622         struct xfs_mount        *mp = XFS_I(d_inode(dentry))->i_mount;
 623
 624         if (xfs_is_readonly(mp))
 625                 return -EROFS;
 626
 627         if (xfs_is_shutdown(mp))
 628                 return -EIO;
 629
 630         return setattr_prepare(mnt_userns, dentry, iattr);
 631 }
 632
 633 /*
 634  * Set non-size attributes of an inode.
 635  *
 636  * Caution: The caller of this function is responsible for calling
 637  * setattr_prepare() or otherwise verifying the change is fine.
 638  */
 639 static int
 640 xfs_setattr_nonsize(
 641         struct user_namespace   *mnt_userns,
 642         struct xfs_inode        *ip,
 643         struct iattr            *iattr)
 644 {
 645         xfs_mount_t             *mp = ip->i_mount;
 646         struct inode            *inode = VFS_I(ip);
 647         int                     mask = iattr->ia_valid;
 648         xfs_trans_t             *tp;
 649         int                     error;
 650         kuid_t                  uid = GLOBAL_ROOT_UID;
 651         kgid_t                  gid = GLOBAL_ROOT_GID;
 652         struct xfs_dquot        *udqp = NULL, *gdqp = NULL;
 653         struct xfs_dquot        *old_udqp = NULL, *old_gdqp = NULL;
 654
 655         ASSERT((mask & ATTR_SIZE) == 0);
 656
 657         /*
 658          * If disk quotas is on, we make sure that the dquots do exist on disk,
 659          * before we start any other transactions. Trying to do this later
 660          * is messy. We don't care to take a readlock to look at the ids
 661          * in inode here, because we can't hold it across the trans_reserve.
 662          * If the IDs do change before we take the ilock, we're covered
 663          * because the i_*dquot fields will get updated anyway.
 664          */
 665         if (XFS_IS_QUOTA_ON(mp) && (mask & (ATTR_UID|ATTR_GID))) {
 666                 uint    qflags = 0;
 667
 668                 if ((mask & ATTR_UID) && XFS_IS_UQUOTA_ON(mp)) {
 669                         uid = from_vfsuid(mnt_userns, i_user_ns(inode),
 670                                           iattr->ia_vfsuid);
 671                         qflags |= XFS_QMOPT_UQUOTA;
 672                 } else {
 673                         uid = inode->i_uid;
 674                 }
 675                 if ((mask & ATTR_GID) && XFS_IS_GQUOTA_ON(mp)) {
 676                         gid = from_vfsgid(mnt_userns, i_user_ns(inode),
 677                                           iattr->ia_vfsgid);
 678                         qflags |= XFS_QMOPT_GQUOTA;
 679                 }  else {
 680                         gid = inode->i_gid;
 681                 }
 682
 683                 /*
 684                  * We take a reference when we initialize udqp and gdqp,
 685                  * so it is important that we never blindly double trip on
 686                  * the same variable. See xfs_create() for an example.
 687                  */
 688                 ASSERT(udqp == NULL);
 689                 ASSERT(gdqp == NULL);
 690                 error = xfs_qm_vop_dqalloc(ip, uid, gid, ip->i_projid,
 691                                            qflags, &udqp, &gdqp, NULL);
 692                 if (error)
 693                         return error;
 694         }
 695
 696         error = xfs_trans_alloc_ichange(ip, udqp, gdqp, NULL,
 697                         has_capability_noaudit(current, CAP_FOWNER), &tp);
 698         if (error)
 699                 goto out_dqrele;
 700
 701         /*
 702          * Register quota modifications in the transaction.  Must be the owner
 703          * or privileged.  These IDs could have changed since we last looked at
 704          * them.  But, we're assured that if the ownership did change while we
 705          * didn't have the inode locked, inode's dquot(s) would have changed
 706          * also.
 707          */
 708         if (XFS_IS_UQUOTA_ON(mp) &&
 709             i_uid_needs_update(mnt_userns, iattr, inode)) {
 710                 ASSERT(udqp);
 711                 old_udqp = xfs_qm_vop_chown(tp, ip, &ip->i_udquot, udqp);
 712         }
 713         if (XFS_IS_GQUOTA_ON(mp) &&
 714             i_gid_needs_update(mnt_userns, iattr, inode)) {
 715                 ASSERT(xfs_has_pquotino(mp) || !XFS_IS_PQUOTA_ON(mp));
 716                 ASSERT(gdqp);
 717                 old_gdqp = xfs_qm_vop_chown(tp, ip, &ip->i_gdquot, gdqp);
 718         }
 719
 720         setattr_copy(mnt_userns, inode, iattr);
 721         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
 722
 723         XFS_STATS_INC(mp, xs_ig_attrchg);
 724
 725         if (xfs_has_wsync(mp))
 726                 xfs_trans_set_sync(tp);
 727         error = xfs_trans_commit(tp);
 728
 729         /*
 730          * Release any dquot(s) the inode had kept before chown.
 731          */
 732         xfs_qm_dqrele(old_udqp);
 733         xfs_qm_dqrele(old_gdqp);
 734         xfs_qm_dqrele(udqp);
 735         xfs_qm_dqrele(gdqp);
 736
 737         if (error)
 738                 return error;
 739
 740         /*
 741          * XXX(hch): Updating the ACL entries is not atomic vs the i_mode
 742          *           update.  We could avoid this with linked transactions
 743          *           and passing down the transaction pointer all the way
 744          *           to attr_set.  No previous user of the generic
 745          *           Posix ACL code seems to care about this issue either.
 746          */
 747         if (mask & ATTR_MODE) {
 748                 error = posix_acl_chmod(mnt_userns, inode, inode->i_mode);
 749                 if (error)
 750                         return error;
 751         }
 752
 753         return 0;
 754
 755 out_dqrele:
 756         xfs_qm_dqrele(udqp);
 757         xfs_qm_dqrele(gdqp);
 758         return error;
 759 }
 760
 761 /*
 762  * Truncate file.  Must have write permission and not be a directory.
 763  *
 764  * Caution: The caller of this function is responsible for calling
 765  * setattr_prepare() or otherwise verifying the change is fine.
 766  */
 767 STATIC int
 768 xfs_setattr_size(
 769         struct user_namespace   *mnt_userns,
 770         struct xfs_inode        *ip,
 771         struct iattr            *iattr)
 772 {
 773         struct xfs_mount        *mp = ip->i_mount;
 774         struct inode            *inode = VFS_I(ip);
 775         xfs_off_t               oldsize, newsize;
 776         struct xfs_trans        *tp;
 777         int                     error;
 778         uint                    lock_flags = 0;
 779         bool                    did_zeroing = false;
 780
 781         ASSERT(xfs_isilocked(ip, XFS_IOLOCK_EXCL));
 782         ASSERT(xfs_isilocked(ip, XFS_MMAPLOCK_EXCL));
 783         ASSERT(S_ISREG(inode->i_mode));
 784         ASSERT((iattr->ia_valid & (ATTR_UID|ATTR_GID|ATTR_ATIME|ATTR_ATIME_SET|
 785                 ATTR_MTIME_SET|ATTR_TIMES_SET)) == 0);
 786
 787         oldsize = inode->i_size;
 788         newsize = iattr->ia_size;
 789
 790         /*
 791          * Short circuit the truncate case for zero length files.
 792          */
 793         if (newsize == 0 && oldsize == 0 && ip->i_df.if_nextents == 0) {
 794                 if (!(iattr->ia_valid & (ATTR_CTIME|ATTR_MTIME)))
 795                         return 0;
 796
 797                 /*
 798                  * Use the regular setattr path to update the timestamps.
 799                  */
 800                 iattr->ia_valid &= ~ATTR_SIZE;
 801                 return xfs_setattr_nonsize(mnt_userns, ip, iattr);
 802         }
 803
 804         /*
 805          * Make sure that the dquots are attached to the inode.
 806          */
 807         error = xfs_qm_dqattach(ip);
 808         if (error)
 809                 return error;
 810
 811         /*
 812          * Wait for all direct I/O to complete.
 813          */
 814         inode_dio_wait(inode);
 815
 816         /*
 817          * File data changes must be complete before we start the transaction to
 818          * modify the inode.  This needs to be done before joining the inode to
 819          * the transaction because the inode cannot be unlocked once it is a
 820          * part of the transaction.
 821          *
 822          * Start with zeroing any data beyond EOF that we may expose on file
 823          * extension, or zeroing out the rest of the block on a downward
 824          * truncate.
 825          */
 826         if (newsize > oldsize) {
 827                 trace_xfs_zero_eof(ip, oldsize, newsize - oldsize);
 828                 error = xfs_zero_range(ip, oldsize, newsize - oldsize,
 829                                 &did_zeroing);
 830         } else {
 831                 /*
 832                  * iomap won't detect a dirty page over an unwritten block (or a
 833                  * cow block over a hole) and subsequently skips zeroing the
 834                  * newly post-EOF portion of the page. Flush the new EOF to
 835                  * convert the block before the pagecache truncate.
 836                  */
 837                 error = filemap_write_and_wait_range(inode->i_mapping, newsize,
 838                                                      newsize);
 839                 if (error)
 840                         return error;
 841                 error = xfs_truncate_page(ip, newsize, &did_zeroing);
 842         }
 843
 844         if (error)
 845                 return error;
 846
 847         /*
 848          * We've already locked out new page faults, so now we can safely remove
 849          * pages from the page cache knowing they won't get refaulted until we
 850          * drop the XFS_MMAP_EXCL lock after the extent manipulations are
 851          * complete. The truncate_setsize() call also cleans partial EOF page
 852          * PTEs on extending truncates and hence ensures sub-page block size
 853          * filesystems are correctly handled, too.
 854          *
 855          * We have to do all the page cache truncate work outside the
 856          * transaction context as the "lock" order is page lock->log space
 857          * reservation as defined by extent allocation in the writeback path.
 858          * Hence a truncate can fail with ENOMEM from xfs_trans_alloc(), but
 859          * having already truncated the in-memory version of the file (i.e. made
 860          * user visible changes). There's not much we can do about this, except
 861          * to hope that the caller sees ENOMEM and retries the truncate
 862          * operation.
 863          *
 864          * And we update in-core i_size and truncate page cache beyond newsize
 865          * before writeback the [i_disk_size, newsize] range, so we're
 866          * guaranteed not to write stale data past the new EOF on truncate down.
 867          */
 868         truncate_setsize(inode, newsize);
 869
 870         /*
 871          * We are going to log the inode size change in this transaction so
 872          * any previous writes that are beyond the on disk EOF and the new
 873          * EOF that have not been written out need to be written here.  If we
 874          * do not write the data out, we expose ourselves to the null files
 875          * problem. Note that this includes any block zeroing we did above;
 876          * otherwise those blocks may not be zeroed after a crash.
 877          */
 878         if (did_zeroing ||
 879             (newsize > ip->i_disk_size && oldsize != ip->i_disk_size)) {
 880                 error = filemap_write_and_wait_range(VFS_I(ip)->i_mapping,
 881                                                 ip->i_disk_size, newsize - 1);
 882                 if (error)
 883                         return error;
 884         }
 885
 886         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_itruncate, 0, 0, 0, &tp);
 887         if (error)
 888                 return error;
 889
 890         lock_flags |= XFS_ILOCK_EXCL;
 891         xfs_ilock(ip, XFS_ILOCK_EXCL);
 892         xfs_trans_ijoin(tp, ip, 0);
 893
 894         /*
 895          * Only change the c/mtime if we are changing the size or we are
 896          * explicitly asked to change it.  This handles the semantic difference
 897          * between truncate() and ftruncate() as implemented in the VFS.
 898          *
 899          * The regular truncate() case without ATTR_CTIME and ATTR_MTIME is a
 900          * special case where we need to update the times despite not having
 901          * these flags set.  For all other operations the VFS set these flags
 902          * explicitly if it wants a timestamp update.
 903          */
 904         if (newsize != oldsize &&
 905             !(iattr->ia_valid & (ATTR_CTIME | ATTR_MTIME))) {
 906                 iattr->ia_ctime = iattr->ia_mtime =
 907                         current_time(inode);
 908                 iattr->ia_valid |= ATTR_CTIME | ATTR_MTIME;
 909         }
 910
 911         /*
 912          * The first thing we do is set the size to new_size permanently on
 913          * disk.  This way we don't have to worry about anyone ever being able
 914          * to look at the data being freed even in the face of a crash.
 915          * What we're getting around here is the case where we free a block, it
 916          * is allocated to another file, it is written to, and then we crash.
 917          * If the new data gets written to the file but the log buffers
 918          * containing the free and reallocation don't, then we'd end up with
 919          * garbage in the blocks being freed.  As long as we make the new size
 920          * permanent before actually freeing any blocks it doesn't matter if
 921          * they get written to.
 922          */
 923         ip->i_disk_size = newsize;
 924         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
 925
 926         if (newsize <= oldsize) {
 927                 error = xfs_itruncate_extents(&tp, ip, XFS_DATA_FORK, newsize);
 928                 if (error)
 929                         goto out_trans_cancel;
 930
 931                 /*
 932                  * Truncated "down", so we're removing references to old data
 933                  * here - if we delay flushing for a long time, we expose
 934                  * ourselves unduly to the notorious NULL files problem.  So,
 935                  * we mark this inode and flush it when the file is closed,
 936                  * and do not wait the usual (long) time for writeout.
 937                  */
 938                 xfs_iflags_set(ip, XFS_ITRUNCATED);
 939
 940                 /* A truncate down always removes post-EOF blocks. */
 941                 xfs_inode_clear_eofblocks_tag(ip);
 942         }
 943
 944         ASSERT(!(iattr->ia_valid & (ATTR_UID | ATTR_GID)));
 945         setattr_copy(mnt_userns, inode, iattr);
 946         xfs_trans_log_inode(tp, ip, XFS_ILOG_CORE);
 947
 948         XFS_STATS_INC(mp, xs_ig_attrchg);
 949
 950         if (xfs_has_wsync(mp))
 951                 xfs_trans_set_sync(tp);
 952
 953         error = xfs_trans_commit(tp);
 954 out_unlock:
 955         if (lock_flags)
 956                 xfs_iunlock(ip, lock_flags);
 957         return error;
 958
 959 out_trans_cancel:
 960         xfs_trans_cancel(tp);
 961         goto out_unlock;
 962 }
 963
 964 int
 965 xfs_vn_setattr_size(
 966         struct user_namespace   *mnt_userns,
 967         struct dentry           *dentry,
 968         struct iattr            *iattr)
 969 {
 970         struct xfs_inode        *ip = XFS_I(d_inode(dentry));
 971         int error;
 972
 973         trace_xfs_setattr(ip);
 974
 975         error = xfs_vn_change_ok(mnt_userns, dentry, iattr);
 976         if (error)
 977                 return error;
 978         return xfs_setattr_size(mnt_userns, ip, iattr);
 979 }
 980
 981 STATIC int
 982 xfs_vn_setattr(
 983         struct user_namespace   *mnt_userns,
 984         struct dentry           *dentry,
 985         struct iattr            *iattr)
 986 {
 987         struct inode            *inode = d_inode(dentry);
 988         struct xfs_inode        *ip = XFS_I(inode);
 989         int                     error;
 990
 991         if (iattr->ia_valid & ATTR_SIZE) {
 992                 uint                    iolock;
 993
 994                 xfs_ilock(ip, XFS_MMAPLOCK_EXCL);
 995                 iolock = XFS_IOLOCK_EXCL | XFS_MMAPLOCK_EXCL;
 996
 997                 error = xfs_break_layouts(inode, &iolock, BREAK_UNMAP);
 998                 if (error) {
 999                         xfs_iunlock(ip, XFS_MMAPLOCK_EXCL);
1000                         return error;
1001                 }
1002
1003                 error = xfs_vn_setattr_size(mnt_userns, dentry, iattr);
1004                 xfs_iunlock(ip, XFS_MMAPLOCK_EXCL);
1005         } else {
1006                 trace_xfs_setattr(ip);
1007
1008                 error = xfs_vn_change_ok(mnt_userns, dentry, iattr);
1009                 if (!error)
1010                         error = xfs_setattr_nonsize(mnt_userns, ip, iattr);
1011         }
1012
1013         return error;
1014 }
1015
1016 STATIC int
1017 xfs_vn_update_time(
1018         struct inode            *inode,
1019         struct timespec64       *now,
1020         int                     flags)
1021 {
1022         struct xfs_inode        *ip = XFS_I(inode);
1023         struct xfs_mount        *mp = ip->i_mount;
1024         int                     log_flags = XFS_ILOG_TIMESTAMP;
1025         struct xfs_trans        *tp;
1026         int                     error;
1027
1028         trace_xfs_update_time(ip);
1029
1030         if (inode->i_sb->s_flags & SB_LAZYTIME) {
1031                 if (!((flags & S_VERSION) &&
1032                       inode_maybe_inc_iversion(inode, false)))
1033                         return generic_update_time(inode, now, flags);
1034
1035                 /* Capture the iversion update that just occurred */
1036                 log_flags |= XFS_ILOG_CORE;
1037         }
1038
1039         error = xfs_trans_alloc(mp, &M_RES(mp)->tr_fsyncts, 0, 0, 0, &tp);
1040         if (error)
1041                 return error;
1042
1043         xfs_ilock(ip, XFS_ILOCK_EXCL);
1044         if (flags & S_CTIME)
1045                 inode->i_ctime = *now;
1046         if (flags & S_MTIME)
1047                 inode->i_mtime = *now;
1048         if (flags & S_ATIME)
1049                 inode->i_atime = *now;
1050
1051         xfs_trans_ijoin(tp, ip, XFS_ILOCK_EXCL);
1052         xfs_trans_log_inode(tp, ip, log_flags);
1053         return xfs_trans_commit(tp);
1054 }
1055
1056 STATIC int
1057 xfs_vn_fiemap(
1058         struct inode            *inode,
1059         struct fiemap_extent_info *fieinfo,
1060         u64                     start,
1061         u64                     length)
1062 {
1063         int                     error;
1064
1065         xfs_ilock(XFS_I(inode), XFS_IOLOCK_SHARED);
1066         if (fieinfo->fi_flags & FIEMAP_FLAG_XATTR) {
1067                 fieinfo->fi_flags &= ~FIEMAP_FLAG_XATTR;
1068                 error = iomap_fiemap(inode, fieinfo, start, length,
1069                                 &xfs_xattr_iomap_ops);
1070         } else {
1071                 error = iomap_fiemap(inode, fieinfo, start, length,
1072                                 &xfs_read_iomap_ops);
1073         }
1074         xfs_iunlock(XFS_I(inode), XFS_IOLOCK_SHARED);
1075
1076         return error;
1077 }
1078
1079 STATIC int
1080 xfs_vn_tmpfile(
1081         struct user_namespace   *mnt_userns,
1082         struct inode            *dir,
1083         struct dentry           *dentry,
1084         umode_t                 mode)
1085 {
1086         return xfs_generic_create(mnt_userns, dir, dentry, mode, 0, true);
1087 }
1088
1089 static const struct inode_operations xfs_inode_operations = {
1090         .get_acl                = xfs_get_acl,
1091         .set_acl                = xfs_set_acl,
1092         .getattr                = xfs_vn_getattr,
1093         .setattr                = xfs_vn_setattr,
1094         .listxattr              = xfs_vn_listxattr,
1095         .fiemap                 = xfs_vn_fiemap,
1096         .update_time            = xfs_vn_update_time,
1097         .fileattr_get           = xfs_fileattr_get,
1098         .fileattr_set           = xfs_fileattr_set,
1099 };
1100
1101 static const struct inode_operations xfs_dir_inode_operations = {
1102         .create                 = xfs_vn_create,
1103         .lookup                 = xfs_vn_lookup,
1104         .link                   = xfs_vn_link,
1105         .unlink                 = xfs_vn_unlink,
1106         .symlink                = xfs_vn_symlink,
1107         .mkdir                  = xfs_vn_mkdir,
1108         /*
1109          * Yes, XFS uses the same method for rmdir and unlink.
1110          *
1111          * There are some subtile differences deeper in the code,
1112          * but we use S_ISDIR to check for those.
1113          */
1114         .rmdir                  = xfs_vn_unlink,
1115         .mknod                  = xfs_vn_mknod,
1116         .rename                 = xfs_vn_rename,
1117         .get_acl                = xfs_get_acl,
1118         .set_acl                = xfs_set_acl,
1119         .getattr                = xfs_vn_getattr,
1120         .setattr                = xfs_vn_setattr,
1121         .listxattr              = xfs_vn_listxattr,
1122         .update_time            = xfs_vn_update_time,
1123         .tmpfile                = xfs_vn_tmpfile,
1124         .fileattr_get           = xfs_fileattr_get,
1125         .fileattr_set           = xfs_fileattr_set,
1126 };
1127
1128 static const struct inode_operations xfs_dir_ci_inode_operations = {
1129         .create                 = xfs_vn_create,
1130         .lookup                 = xfs_vn_ci_lookup,
1131         .link                   = xfs_vn_link,
1132         .unlink                 = xfs_vn_unlink,
1133         .symlink                = xfs_vn_symlink,
1134         .mkdir                  = xfs_vn_mkdir,
1135         /*
1136          * Yes, XFS uses the same method for rmdir and unlink.
1137          *
1138          * There are some subtile differences deeper in the code,
1139          * but we use S_ISDIR to check for those.
1140          */
1141         .rmdir                  = xfs_vn_unlink,
1142         .mknod                  = xfs_vn_mknod,
1143         .rename                 = xfs_vn_rename,
1144         .get_acl                = xfs_get_acl,
1145         .set_acl                = xfs_set_acl,
1146         .getattr                = xfs_vn_getattr,
1147         .setattr                = xfs_vn_setattr,
1148         .listxattr              = xfs_vn_listxattr,
1149         .update_time            = xfs_vn_update_time,
1150         .tmpfile                = xfs_vn_tmpfile,
1151         .fileattr_get           = xfs_fileattr_get,
1152         .fileattr_set           = xfs_fileattr_set,
1153 };
1154
1155 static const struct inode_operations xfs_symlink_inode_operations = {
1156         .get_link               = xfs_vn_get_link,
1157         .getattr                = xfs_vn_getattr,
1158         .setattr                = xfs_vn_setattr,
1159         .listxattr              = xfs_vn_listxattr,
1160         .update_time            = xfs_vn_update_time,
1161 };
1162
1163 /* Figure out if this file actually supports DAX. */
1164 static bool
1165 xfs_inode_supports_dax(
1166         struct xfs_inode        *ip)
1167 {
1168         struct xfs_mount        *mp = ip->i_mount;
1169
1170         /* Only supported on regular files. */
1171         if (!S_ISREG(VFS_I(ip)->i_mode))
1172                 return false;
1173
1174         /* Only supported on non-reflinked files. */
1175         if (xfs_is_reflink_inode(ip))
1176                 return false;
1177
1178         /* Block size must match page size */
1179         if (mp->m_sb.sb_blocksize != PAGE_SIZE)
1180                 return false;
1181
1182         /* Device has to support DAX too. */
1183         return xfs_inode_buftarg(ip)->bt_daxdev != NULL;
1184 }
1185
1186 static bool
1187 xfs_inode_should_enable_dax(
1188         struct xfs_inode *ip)
1189 {
1190         if (!IS_ENABLED(CONFIG_FS_DAX))
1191                 return false;
1192         if (xfs_has_dax_never(ip->i_mount))
1193                 return false;
1194         if (!xfs_inode_supports_dax(ip))
1195                 return false;
1196         if (xfs_has_dax_always(ip->i_mount))
1197                 return true;
1198         if (ip->i_diflags2 & XFS_DIFLAG2_DAX)
1199                 return true;
1200         return false;
1201 }
1202
1203 void
1204 xfs_diflags_to_iflags(
1205         struct xfs_inode        *ip,
1206         bool init)
1207 {
1208         struct inode            *inode = VFS_I(ip);
1209         unsigned int            xflags = xfs_ip2xflags(ip);
1210         unsigned int            flags = 0;
1211
1212         ASSERT(!(IS_DAX(inode) && init));
1213
1214         if (xflags & FS_XFLAG_IMMUTABLE)
1215                 flags |= S_IMMUTABLE;
1216         if (xflags & FS_XFLAG_APPEND)
1217                 flags |= S_APPEND;
1218         if (xflags & FS_XFLAG_SYNC)
1219                 flags |= S_SYNC;
1220         if (xflags & FS_XFLAG_NOATIME)
1221                 flags |= S_NOATIME;
1222         if (init && xfs_inode_should_enable_dax(ip))
1223                 flags |= S_DAX;
1224
1225         /*
1226          * S_DAX can only be set during inode initialization and is never set by
1227          * the VFS, so we cannot mask off S_DAX in i_flags.
1228          */
1229         inode->i_flags &= ~(S_IMMUTABLE | S_APPEND | S_SYNC | S_NOATIME);
1230         inode->i_flags |= flags;
1231 }
1232
1233 /*
1234  * Initialize the Linux inode.
1235  *
1236  * When reading existing inodes from disk this is called directly from xfs_iget,
1237  * when creating a new inode it is called from xfs_init_new_inode after setting
1238  * up the inode. These callers have different criteria for clearing XFS_INEW, so
1239  * leave it up to the caller to deal with unlocking the inode appropriately.
1240  */
1241 void
1242 xfs_setup_inode(
1243         struct xfs_inode        *ip)
1244 {
1245         struct inode            *inode = &ip->i_vnode;
1246         gfp_t                   gfp_mask;
1247
1248         inode->i_ino = ip->i_ino;
1249         inode->i_state |= I_NEW;
1250
1251         inode_sb_list_add(inode);
1252         /* make the inode look hashed for the writeback code */
1253         inode_fake_hash(inode);
1254
1255         i_size_write(inode, ip->i_disk_size);
1256         xfs_diflags_to_iflags(ip, true);
1257
1258         if (S_ISDIR(inode->i_mode)) {
1259                 /*
1260                  * We set the i_rwsem class here to avoid potential races with
1261                  * lockdep_annotate_inode_mutex_key() reinitialising the lock
1262                  * after a filehandle lookup has already found the inode in
1263                  * cache before it has been unlocked via unlock_new_inode().
1264                  */
1265                 lockdep_set_class(&inode->i_rwsem,
1266                                   &inode->i_sb->s_type->i_mutex_dir_key);
1267                 lockdep_set_class(&ip->i_lock.mr_lock, &xfs_dir_ilock_class);
1268         } else {
1269                 lockdep_set_class(&ip->i_lock.mr_lock, &xfs_nondir_ilock_class);
1270         }
1271
1272         /*
1273          * Ensure all page cache allocations are done from GFP_NOFS context to
1274          * prevent direct reclaim recursion back into the filesystem and blowing
1275          * stacks or deadlocking.
1276          */
1277         gfp_mask = mapping_gfp_mask(inode->i_mapping);
1278         mapping_set_gfp_mask(inode->i_mapping, (gfp_mask & ~(__GFP_FS)));
1279
1280         /*
1281          * If there is no attribute fork no ACL can exist on this inode,
1282          * and it can't have any file capabilities attached to it either.
1283          */
1284         if (!xfs_inode_has_attr_fork(ip)) {
1285                 inode_has_no_xattr(inode);
1286                 cache_no_acl(inode);
1287         }
1288 }
1289
1290 void
1291 xfs_setup_iops(
1292         struct xfs_inode        *ip)
1293 {
1294         struct inode            *inode = &ip->i_vnode;
1295
1296         switch (inode->i_mode & S_IFMT) {
1297         case S_IFREG:
1298                 inode->i_op = &xfs_inode_operations;
1299                 inode->i_fop = &xfs_file_operations;
1300                 if (IS_DAX(inode))
1301                         inode->i_mapping->a_ops = &xfs_dax_aops;
1302                 else
1303                         inode->i_mapping->a_ops = &xfs_address_space_operations;
1304                 break;
1305         case S_IFDIR:
1306                 if (xfs_has_asciici(XFS_M(inode->i_sb)))
1307                         inode->i_op = &xfs_dir_ci_inode_operations;
1308                 else
1309                         inode->i_op = &xfs_dir_inode_operations;
1310                 inode->i_fop = &xfs_dir_file_operations;
1311                 break;
1312         case S_IFLNK:
1313                 inode->i_op = &xfs_symlink_inode_operations;
1314                 break;
1315         default:
1316                 inode->i_op = &xfs_inode_operations;
1317                 init_special_inode(inode, inode->i_mode, inode->i_rdev);
1318                 break;
1319         }
1320 }