fs/ubifs/dir.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /* * This file is part of UBIFS.
   3  *
   4  * Copyright (C) 2006-2008 Nokia Corporation.
   5  * Copyright (C) 2006, 2007 University of Szeged, Hungary
   6  *
   7  * Authors: Artem Bityutskiy (Битюцкий Артём)
   8  *          Adrian Hunter
   9  *          Zoltan Sogor
  10  */
  11
  12 /*
  13  * This file implements directory operations.
  14  *
  15  * All FS operations in this file allocate budget before writing anything to the
  16  * media. If they fail to allocate it, the error is returned. The only
  17  * exceptions are 'ubifs_unlink()' and 'ubifs_rmdir()' which keep working even
  18  * if they unable to allocate the budget, because deletion %-ENOSPC failure is
  19  * not what users are usually ready to get. UBIFS budgeting subsystem has some
  20  * space reserved for these purposes.
  21  *
  22  * All operations in this file write all inodes which they change straight
  23  * away, instead of marking them dirty. For example, 'ubifs_link()' changes
  24  * @i_size of the parent inode and writes the parent inode together with the
  25  * target inode. This was done to simplify file-system recovery which would
  26  * otherwise be very difficult to do. The only exception is rename which marks
  27  * the re-named inode dirty (because its @i_ctime is updated) but does not
  28  * write it, but just marks it as dirty.
  29  */
  30
  31 #include "ubifs.h"
  32
  33 /**
  34  * inherit_flags - inherit flags of the parent inode.
  35  * @dir: parent inode
  36  * @mode: new inode mode flags
  37  *
  38  * This is a helper function for 'ubifs_new_inode()' which inherits flag of the
  39  * parent directory inode @dir. UBIFS inodes inherit the following flags:
  40  * o %UBIFS_COMPR_FL, which is useful to switch compression on/of on
  41  *   sub-directory basis;
  42  * o %UBIFS_SYNC_FL - useful for the same reasons;
  43  * o %UBIFS_DIRSYNC_FL - similar, but relevant only to directories.
  44  *
  45  * This function returns the inherited flags.
  46  */
  47 static int inherit_flags(const struct inode *dir, umode_t mode)
  48 {
  49         int flags;
  50         const struct ubifs_inode *ui = ubifs_inode(dir);
  51
  52         if (!S_ISDIR(dir->i_mode))
  53                 /*
  54                  * The parent is not a directory, which means that an extended
  55                  * attribute inode is being created. No flags.
  56                  */
  57                 return 0;
  58
  59         flags = ui->flags & (UBIFS_COMPR_FL | UBIFS_SYNC_FL | UBIFS_DIRSYNC_FL);
  60         if (!S_ISDIR(mode))
  61                 /* The "DIRSYNC" flag only applies to directories */
  62                 flags &= ~UBIFS_DIRSYNC_FL;
  63         return flags;
  64 }
  65
  66 /**
  67  * ubifs_new_inode - allocate new UBIFS inode object.
  68  * @c: UBIFS file-system description object
  69  * @dir: parent directory inode
  70  * @mode: inode mode flags
  71  * @is_xattr: whether the inode is xattr inode
  72  *
  73  * This function finds an unused inode number, allocates new inode and
  74  * initializes it. Returns new inode in case of success and an error code in
  75  * case of failure.
  76  */
  77 struct inode *ubifs_new_inode(struct ubifs_info *c, struct inode *dir,
  78                               umode_t mode, bool is_xattr)
  79 {
  80         int err;
  81         struct inode *inode;
  82         struct ubifs_inode *ui;
  83         bool encrypted = false;
  84
  85         inode = new_inode(c->vfs_sb);
  86         ui = ubifs_inode(inode);
  87         if (!inode)
  88                 return ERR_PTR(-ENOMEM);
  89
  90         /*
  91          * Set 'S_NOCMTIME' to prevent VFS form updating [mc]time of inodes and
  92          * marking them dirty in file write path (see 'file_update_time()').
  93          * UBIFS has to fully control "clean <-> dirty" transitions of inodes
  94          * to make budgeting work.
  95          */
  96         inode->i_flags |= S_NOCMTIME;
  97
  98         inode_init_owner(&init_user_ns, inode, dir, mode);
  99         inode->i_mtime = inode->i_atime = inode->i_ctime =
 100                          current_time(inode);
 101         inode->i_mapping->nrpages = 0;
 102
 103         if (!is_xattr) {
 104                 err = fscrypt_prepare_new_inode(dir, inode, &encrypted);
 105                 if (err) {
 106                         ubifs_err(c, "fscrypt_prepare_new_inode failed: %i", err);
 107                         goto out_iput;
 108                 }
 109         }
 110
 111         switch (mode & S_IFMT) {
 112         case S_IFREG:
 113                 inode->i_mapping->a_ops = &ubifs_file_address_operations;
 114                 inode->i_op = &ubifs_file_inode_operations;
 115                 inode->i_fop = &ubifs_file_operations;
 116                 break;
 117         case S_IFDIR:
 118                 inode->i_op  = &ubifs_dir_inode_operations;
 119                 inode->i_fop = &ubifs_dir_operations;
 120                 inode->i_size = ui->ui_size = UBIFS_INO_NODE_SZ;
 121                 break;
 122         case S_IFLNK:
 123                 inode->i_op = &ubifs_symlink_inode_operations;
 124                 break;
 125         case S_IFSOCK:
 126         case S_IFIFO:
 127         case S_IFBLK:
 128         case S_IFCHR:
 129                 inode->i_op  = &ubifs_file_inode_operations;
 130                 break;
 131         default:
 132                 BUG();
 133         }
 134
 135         ui->flags = inherit_flags(dir, mode);
 136         ubifs_set_inode_flags(inode);
 137         if (S_ISREG(mode))
 138                 ui->compr_type = c->default_compr;
 139         else
 140                 ui->compr_type = UBIFS_COMPR_NONE;
 141         ui->synced_i_size = 0;
 142
 143         spin_lock(&c->cnt_lock);
 144         /* Inode number overflow is currently not supported */
 145         if (c->highest_inum >= INUM_WARN_WATERMARK) {
 146                 if (c->highest_inum >= INUM_WATERMARK) {
 147                         spin_unlock(&c->cnt_lock);
 148                         ubifs_err(c, "out of inode numbers");
 149                         err = -EINVAL;
 150                         goto out_iput;
 151                 }
 152                 ubifs_warn(c, "running out of inode numbers (current %lu, max %u)",
 153                            (unsigned long)c->highest_inum, INUM_WATERMARK);
 154         }
 155
 156         inode->i_ino = ++c->highest_inum;
 157         /*
 158          * The creation sequence number remains with this inode for its
 159          * lifetime. All nodes for this inode have a greater sequence number,
 160          * and so it is possible to distinguish obsolete nodes belonging to a
 161          * previous incarnation of the same inode number - for example, for the
 162          * purpose of rebuilding the index.
 163          */
 164         ui->creat_sqnum = ++c->max_sqnum;
 165         spin_unlock(&c->cnt_lock);
 166
 167         if (encrypted) {
 168                 err = fscrypt_set_context(inode, NULL);
 169                 if (err) {
 170                         ubifs_err(c, "fscrypt_set_context failed: %i", err);
 171                         goto out_iput;
 172                 }
 173         }
 174
 175         return inode;
 176
 177 out_iput:
 178         make_bad_inode(inode);
 179         iput(inode);
 180         return ERR_PTR(err);
 181 }
 182
 183 static int dbg_check_name(const struct ubifs_info *c,
 184                           const struct ubifs_dent_node *dent,
 185                           const struct fscrypt_name *nm)
 186 {
 187         if (!dbg_is_chk_gen(c))
 188                 return 0;
 189         if (le16_to_cpu(dent->nlen) != fname_len(nm))
 190                 return -EINVAL;
 191         if (memcmp(dent->name, fname_name(nm), fname_len(nm)))
 192                 return -EINVAL;
 193         return 0;
 194 }
 195
 196 static struct dentry *ubifs_lookup(struct inode *dir, struct dentry *dentry,
 197                                    unsigned int flags)
 198 {
 199         int err;
 200         union ubifs_key key;
 201         struct inode *inode = NULL;
 202         struct ubifs_dent_node *dent = NULL;
 203         struct ubifs_info *c = dir->i_sb->s_fs_info;
 204         struct fscrypt_name nm;
 205
 206         dbg_gen("'%pd' in dir ino %lu", dentry, dir->i_ino);
 207
 208         err = fscrypt_prepare_lookup(dir, dentry, &nm);
 209         generic_set_encrypted_ci_d_ops(dentry);
 210         if (err == -ENOENT)
 211                 return d_splice_alias(NULL, dentry);
 212         if (err)
 213                 return ERR_PTR(err);
 214
 215         if (fname_len(&nm) > UBIFS_MAX_NLEN) {
 216                 inode = ERR_PTR(-ENAMETOOLONG);
 217                 goto done;
 218         }
 219
 220         dent = kmalloc(UBIFS_MAX_DENT_NODE_SZ, GFP_NOFS);
 221         if (!dent) {
 222                 inode = ERR_PTR(-ENOMEM);
 223                 goto done;
 224         }
 225
 226         if (fname_name(&nm) == NULL) {
 227                 if (nm.hash & ~UBIFS_S_KEY_HASH_MASK)
 228                         goto done; /* ENOENT */
 229                 dent_key_init_hash(c, &key, dir->i_ino, nm.hash);
 230                 err = ubifs_tnc_lookup_dh(c, &key, dent, nm.minor_hash);
 231         } else {
 232                 dent_key_init(c, &key, dir->i_ino, &nm);
 233                 err = ubifs_tnc_lookup_nm(c, &key, dent, &nm);
 234         }
 235
 236         if (err) {
 237                 if (err == -ENOENT)
 238                         dbg_gen("not found");
 239                 else
 240                         inode = ERR_PTR(err);
 241                 goto done;
 242         }
 243
 244         if (dbg_check_name(c, dent, &nm)) {
 245                 inode = ERR_PTR(-EINVAL);
 246                 goto done;
 247         }
 248
 249         inode = ubifs_iget(dir->i_sb, le64_to_cpu(dent->inum));
 250         if (IS_ERR(inode)) {
 251                 /*
 252                  * This should not happen. Probably the file-system needs
 253                  * checking.
 254                  */
 255                 err = PTR_ERR(inode);
 256                 ubifs_err(c, "dead directory entry '%pd', error %d",
 257                           dentry, err);
 258                 ubifs_ro_mode(c, err);
 259                 goto done;
 260         }
 261
 262         if (IS_ENCRYPTED(dir) &&
 263             (S_ISDIR(inode->i_mode) || S_ISLNK(inode->i_mode)) &&
 264             !fscrypt_has_permitted_context(dir, inode)) {
 265                 ubifs_warn(c, "Inconsistent encryption contexts: %lu/%lu",
 266                            dir->i_ino, inode->i_ino);
 267                 iput(inode);
 268                 inode = ERR_PTR(-EPERM);
 269         }
 270
 271 done:
 272         kfree(dent);
 273         fscrypt_free_filename(&nm);
 274         return d_splice_alias(inode, dentry);
 275 }
 276
 277 static int ubifs_prepare_create(struct inode *dir, struct dentry *dentry,
 278                                 struct fscrypt_name *nm)
 279 {
 280         if (fscrypt_is_nokey_name(dentry))
 281                 return -ENOKEY;
 282
 283         return fscrypt_setup_filename(dir, &dentry->d_name, 0, nm);
 284 }
 285
 286 static int ubifs_create(struct user_namespace *mnt_userns, struct inode *dir,
 287                         struct dentry *dentry, umode_t mode, bool excl)
 288 {
 289         struct inode *inode;
 290         struct ubifs_info *c = dir->i_sb->s_fs_info;
 291         struct ubifs_budget_req req = { .new_ino = 1, .new_dent = 1,
 292                                         .dirtied_ino = 1 };
 293         struct ubifs_inode *dir_ui = ubifs_inode(dir);
 294         struct fscrypt_name nm;
 295         int err, sz_change;
 296
 297         /*
 298          * Budget request settings: new inode, new direntry, changing the
 299          * parent directory inode.
 300          */
 301
 302         dbg_gen("dent '%pd', mode %#hx in dir ino %lu",
 303                 dentry, mode, dir->i_ino);
 304
 305         err = ubifs_budget_space(c, &req);
 306         if (err)
 307                 return err;
 308
 309         err = ubifs_prepare_create(dir, dentry, &nm);
 310         if (err)
 311                 goto out_budg;
 312
 313         sz_change = CALC_DENT_SIZE(fname_len(&nm));
 314
 315         inode = ubifs_new_inode(c, dir, mode, false);
 316         if (IS_ERR(inode)) {
 317                 err = PTR_ERR(inode);
 318                 goto out_fname;
 319         }
 320
 321         err = ubifs_init_security(dir, inode, &dentry->d_name);
 322         if (err)
 323                 goto out_inode;
 324
 325         mutex_lock(&dir_ui->ui_mutex);
 326         dir->i_size += sz_change;
 327         dir_ui->ui_size = dir->i_size;
 328         dir->i_mtime = dir->i_ctime = inode->i_ctime;
 329         err = ubifs_jnl_update(c, dir, &nm, inode, 0, 0);
 330         if (err)
 331                 goto out_cancel;
 332         mutex_unlock(&dir_ui->ui_mutex);
 333
 334         ubifs_release_budget(c, &req);
 335         fscrypt_free_filename(&nm);
 336         insert_inode_hash(inode);
 337         d_instantiate(dentry, inode);
 338         return 0;
 339
 340 out_cancel:
 341         dir->i_size -= sz_change;
 342         dir_ui->ui_size = dir->i_size;
 343         mutex_unlock(&dir_ui->ui_mutex);
 344 out_inode:
 345         make_bad_inode(inode);
 346         iput(inode);
 347 out_fname:
 348         fscrypt_free_filename(&nm);
 349 out_budg:
 350         ubifs_release_budget(c, &req);
 351         ubifs_err(c, "cannot create regular file, error %d", err);
 352         return err;
 353 }
 354
 355 static struct inode *create_whiteout(struct inode *dir, struct dentry *dentry)
 356 {
 357         int err;
 358         umode_t mode = S_IFCHR | WHITEOUT_MODE;
 359         struct inode *inode;
 360         struct ubifs_info *c = dir->i_sb->s_fs_info;
 361
 362         /*
 363          * Create an inode('nlink = 1') for whiteout without updating journal,
 364          * let ubifs_jnl_rename() store it on flash to complete rename whiteout
 365          * atomically.
 366          */
 367
 368         dbg_gen("dent '%pd', mode %#hx in dir ino %lu",
 369                 dentry, mode, dir->i_ino);
 370
 371         inode = ubifs_new_inode(c, dir, mode, false);
 372         if (IS_ERR(inode)) {
 373                 err = PTR_ERR(inode);
 374                 goto out_free;
 375         }
 376
 377         init_special_inode(inode, inode->i_mode, WHITEOUT_DEV);
 378         ubifs_assert(c, inode->i_op == &ubifs_file_inode_operations);
 379
 380         err = ubifs_init_security(dir, inode, &dentry->d_name);
 381         if (err)
 382                 goto out_inode;
 383
 384         /* The dir size is updated by do_rename. */
 385         insert_inode_hash(inode);
 386
 387         return inode;
 388
 389 out_inode:
 390         make_bad_inode(inode);
 391         iput(inode);
 392 out_free:
 393         ubifs_err(c, "cannot create whiteout file, error %d", err);
 394         return ERR_PTR(err);
 395 }
 396
 397 /**
 398  * lock_2_inodes - a wrapper for locking two UBIFS inodes.
 399  * @inode1: first inode
 400  * @inode2: second inode
 401  *
 402  * We do not implement any tricks to guarantee strict lock ordering, because
 403  * VFS has already done it for us on the @i_mutex. So this is just a simple
 404  * wrapper function.
 405  */
 406 static void lock_2_inodes(struct inode *inode1, struct inode *inode2)
 407 {
 408         mutex_lock_nested(&ubifs_inode(inode1)->ui_mutex, WB_MUTEX_1);
 409         mutex_lock_nested(&ubifs_inode(inode2)->ui_mutex, WB_MUTEX_2);
 410 }
 411
 412 /**
 413  * unlock_2_inodes - a wrapper for unlocking two UBIFS inodes.
 414  * @inode1: first inode
 415  * @inode2: second inode
 416  */
 417 static void unlock_2_inodes(struct inode *inode1, struct inode *inode2)
 418 {
 419         mutex_unlock(&ubifs_inode(inode2)->ui_mutex);
 420         mutex_unlock(&ubifs_inode(inode1)->ui_mutex);
 421 }
 422
 423 static int ubifs_tmpfile(struct user_namespace *mnt_userns, struct inode *dir,
 424                          struct file *file, umode_t mode)
 425 {
 426         struct dentry *dentry = file->f_path.dentry;
 427         struct inode *inode;
 428         struct ubifs_info *c = dir->i_sb->s_fs_info;
 429         struct ubifs_budget_req req = { .new_ino = 1, .new_dent = 1,
 430                                         .dirtied_ino = 1};
 431         struct ubifs_budget_req ino_req = { .dirtied_ino = 1 };
 432         struct ubifs_inode *ui;
 433         int err, instantiated = 0;
 434         struct fscrypt_name nm;
 435
 436         /*
 437          * Budget request settings: new inode, new direntry, changing the
 438          * parent directory inode.
 439          * Allocate budget separately for new dirtied inode, the budget will
 440          * be released via writeback.
 441          */
 442
 443         dbg_gen("dent '%pd', mode %#hx in dir ino %lu",
 444                 dentry, mode, dir->i_ino);
 445
 446         err = fscrypt_setup_filename(dir, &dentry->d_name, 0, &nm);
 447         if (err)
 448                 return err;
 449
 450         err = ubifs_budget_space(c, &req);
 451         if (err) {
 452                 fscrypt_free_filename(&nm);
 453                 return err;
 454         }
 455
 456         err = ubifs_budget_space(c, &ino_req);
 457         if (err) {
 458                 ubifs_release_budget(c, &req);
 459                 fscrypt_free_filename(&nm);
 460                 return err;
 461         }
 462
 463         inode = ubifs_new_inode(c, dir, mode, false);
 464         if (IS_ERR(inode)) {
 465                 err = PTR_ERR(inode);
 466                 goto out_budg;
 467         }
 468         ui = ubifs_inode(inode);
 469
 470         err = ubifs_init_security(dir, inode, &dentry->d_name);
 471         if (err)
 472                 goto out_inode;
 473
 474         mutex_lock(&ui->ui_mutex);
 475         insert_inode_hash(inode);
 476         d_tmpfile(file, inode);
 477         ubifs_assert(c, ui->dirty);
 478
 479         instantiated = 1;
 480         mutex_unlock(&ui->ui_mutex);
 481
 482         lock_2_inodes(dir, inode);
 483         err = ubifs_jnl_update(c, dir, &nm, inode, 1, 0);
 484         if (err)
 485                 goto out_cancel;
 486         unlock_2_inodes(dir, inode);
 487
 488         ubifs_release_budget(c, &req);
 489         fscrypt_free_filename(&nm);
 490
 491         return finish_open_simple(file, 0);
 492
 493 out_cancel:
 494         unlock_2_inodes(dir, inode);
 495 out_inode:
 496         make_bad_inode(inode);
 497         if (!instantiated)
 498                 iput(inode);
 499 out_budg:
 500         ubifs_release_budget(c, &req);
 501         if (!instantiated)
 502                 ubifs_release_budget(c, &ino_req);
 503         fscrypt_free_filename(&nm);
 504         ubifs_err(c, "cannot create temporary file, error %d", err);
 505         return err;
 506 }
 507
 508 /**
 509  * vfs_dent_type - get VFS directory entry type.
 510  * @type: UBIFS directory entry type
 511  *
 512  * This function converts UBIFS directory entry type into VFS directory entry
 513  * type.
 514  */
 515 static unsigned int vfs_dent_type(uint8_t type)
 516 {
 517         switch (type) {
 518         case UBIFS_ITYPE_REG:
 519                 return DT_REG;
 520         case UBIFS_ITYPE_DIR:
 521                 return DT_DIR;
 522         case UBIFS_ITYPE_LNK:
 523                 return DT_LNK;
 524         case UBIFS_ITYPE_BLK:
 525                 return DT_BLK;
 526         case UBIFS_ITYPE_CHR:
 527                 return DT_CHR;
 528         case UBIFS_ITYPE_FIFO:
 529                 return DT_FIFO;
 530         case UBIFS_ITYPE_SOCK:
 531                 return DT_SOCK;
 532         default:
 533                 BUG();
 534         }
 535         return 0;
 536 }
 537
 538 /*
 539  * The classical Unix view for directory is that it is a linear array of
 540  * (name, inode number) entries. Linux/VFS assumes this model as well.
 541  * Particularly, 'readdir()' call wants us to return a directory entry offset
 542  * which later may be used to continue 'readdir()'ing the directory or to
 543  * 'seek()' to that specific direntry. Obviously UBIFS does not really fit this
 544  * model because directory entries are identified by keys, which may collide.
 545  *
 546  * UBIFS uses directory entry hash value for directory offsets, so
 547  * 'seekdir()'/'telldir()' may not always work because of possible key
 548  * collisions. But UBIFS guarantees that consecutive 'readdir()' calls work
 549  * properly by means of saving full directory entry name in the private field
 550  * of the file description object.
 551  *
 552  * This means that UBIFS cannot support NFS which requires full
 553  * 'seekdir()'/'telldir()' support.
 554  */
 555 static int ubifs_readdir(struct file *file, struct dir_context *ctx)
 556 {
 557         int fstr_real_len = 0, err = 0;
 558         struct fscrypt_name nm;
 559         struct fscrypt_str fstr = {0};
 560         union ubifs_key key;
 561         struct ubifs_dent_node *dent;
 562         struct inode *dir = file_inode(file);
 563         struct ubifs_info *c = dir->i_sb->s_fs_info;
 564         bool encrypted = IS_ENCRYPTED(dir);
 565
 566         dbg_gen("dir ino %lu, f_pos %#llx", dir->i_ino, ctx->pos);
 567
 568         if (ctx->pos > UBIFS_S_KEY_HASH_MASK || ctx->pos == 2)
 569                 /*
 570                  * The directory was seek'ed to a senseless position or there
 571                  * are no more entries.
 572                  */
 573                 return 0;
 574
 575         if (encrypted) {
 576                 err = fscrypt_prepare_readdir(dir);
 577                 if (err)
 578                         return err;
 579
 580                 err = fscrypt_fname_alloc_buffer(UBIFS_MAX_NLEN, &fstr);
 581                 if (err)
 582                         return err;
 583
 584                 fstr_real_len = fstr.len;
 585         }
 586
 587         if (file->f_version == 0) {
 588                 /*
 589                  * The file was seek'ed, which means that @file->private_data
 590                  * is now invalid. This may also be just the first
 591                  * 'ubifs_readdir()' invocation, in which case
 592                  * @file->private_data is NULL, and the below code is
 593                  * basically a no-op.
 594                  */
 595                 kfree(file->private_data);
 596                 file->private_data = NULL;
 597         }
 598
 599         /*
 600          * 'generic_file_llseek()' unconditionally sets @file->f_version to
 601          * zero, and we use this for detecting whether the file was seek'ed.
 602          */
 603         file->f_version = 1;
 604
 605         /* File positions 0 and 1 correspond to "." and ".." */
 606         if (ctx->pos < 2) {
 607                 ubifs_assert(c, !file->private_data);
 608                 if (!dir_emit_dots(file, ctx)) {
 609                         if (encrypted)
 610                                 fscrypt_fname_free_buffer(&fstr);
 611                         return 0;
 612                 }
 613
 614                 /* Find the first entry in TNC and save it */
 615                 lowest_dent_key(c, &key, dir->i_ino);
 616                 fname_len(&nm) = 0;
 617                 dent = ubifs_tnc_next_ent(c, &key, &nm);
 618                 if (IS_ERR(dent)) {
 619                         err = PTR_ERR(dent);
 620                         goto out;
 621                 }
 622
 623                 ctx->pos = key_hash_flash(c, &dent->key);
 624                 file->private_data = dent;
 625         }
 626
 627         dent = file->private_data;
 628         if (!dent) {
 629                 /*
 630                  * The directory was seek'ed to and is now readdir'ed.
 631                  * Find the entry corresponding to @ctx->pos or the closest one.
 632                  */
 633                 dent_key_init_hash(c, &key, dir->i_ino, ctx->pos);
 634                 fname_len(&nm) = 0;
 635                 dent = ubifs_tnc_next_ent(c, &key, &nm);
 636                 if (IS_ERR(dent)) {
 637                         err = PTR_ERR(dent);
 638                         goto out;
 639                 }
 640                 ctx->pos = key_hash_flash(c, &dent->key);
 641                 file->private_data = dent;
 642         }
 643
 644         while (1) {
 645                 dbg_gen("ino %llu, new f_pos %#x",
 646                         (unsigned long long)le64_to_cpu(dent->inum),
 647                         key_hash_flash(c, &dent->key));
 648                 ubifs_assert(c, le64_to_cpu(dent->ch.sqnum) >
 649                              ubifs_inode(dir)->creat_sqnum);
 650
 651                 fname_len(&nm) = le16_to_cpu(dent->nlen);
 652                 fname_name(&nm) = dent->name;
 653
 654                 if (encrypted) {
 655                         fstr.len = fstr_real_len;
 656
 657                         err = fscrypt_fname_disk_to_usr(dir, key_hash_flash(c,
 658                                                         &dent->key),
 659                                                         le32_to_cpu(dent->cookie),
 660                                                         &nm.disk_name, &fstr);
 661                         if (err)
 662                                 goto out;
 663                 } else {
 664                         fstr.len = fname_len(&nm);
 665                         fstr.name = fname_name(&nm);
 666                 }
 667
 668                 if (!dir_emit(ctx, fstr.name, fstr.len,
 669                                le64_to_cpu(dent->inum),
 670                                vfs_dent_type(dent->type))) {
 671                         if (encrypted)
 672                                 fscrypt_fname_free_buffer(&fstr);
 673                         return 0;
 674                 }
 675
 676                 /* Switch to the next entry */
 677                 key_read(c, &dent->key, &key);
 678                 dent = ubifs_tnc_next_ent(c, &key, &nm);
 679                 if (IS_ERR(dent)) {
 680                         err = PTR_ERR(dent);
 681                         goto out;
 682                 }
 683
 684                 kfree(file->private_data);
 685                 ctx->pos = key_hash_flash(c, &dent->key);
 686                 file->private_data = dent;
 687                 cond_resched();
 688         }
 689
 690 out:
 691         kfree(file->private_data);
 692         file->private_data = NULL;
 693
 694         if (encrypted)
 695                 fscrypt_fname_free_buffer(&fstr);
 696
 697         if (err != -ENOENT)
 698                 ubifs_err(c, "cannot find next direntry, error %d", err);
 699         else
 700                 /*
 701                  * -ENOENT is a non-fatal error in this context, the TNC uses
 702                  * it to indicate that the cursor moved past the current directory
 703                  * and readdir() has to stop.
 704                  */
 705                 err = 0;
 706
 707
 708         /* 2 is a special value indicating that there are no more direntries */
 709         ctx->pos = 2;
 710         return err;
 711 }
 712
 713 /* Free saved readdir() state when the directory is closed */
 714 static int ubifs_dir_release(struct inode *dir, struct file *file)
 715 {
 716         kfree(file->private_data);
 717         file->private_data = NULL;
 718         return 0;
 719 }
 720
 721 static int ubifs_link(struct dentry *old_dentry, struct inode *dir,
 722                       struct dentry *dentry)
 723 {
 724         struct ubifs_info *c = dir->i_sb->s_fs_info;
 725         struct inode *inode = d_inode(old_dentry);
 726         struct ubifs_inode *ui = ubifs_inode(inode);
 727         struct ubifs_inode *dir_ui = ubifs_inode(dir);
 728         int err, sz_change = CALC_DENT_SIZE(dentry->d_name.len);
 729         struct ubifs_budget_req req = { .new_dent = 1, .dirtied_ino = 2,
 730                                 .dirtied_ino_d = ALIGN(ui->data_len, 8) };
 731         struct fscrypt_name nm;
 732
 733         /*
 734          * Budget request settings: new direntry, changing the target inode,
 735          * changing the parent inode.
 736          */
 737
 738         dbg_gen("dent '%pd' to ino %lu (nlink %d) in dir ino %lu",
 739                 dentry, inode->i_ino,
 740                 inode->i_nlink, dir->i_ino);
 741         ubifs_assert(c, inode_is_locked(dir));
 742         ubifs_assert(c, inode_is_locked(inode));
 743
 744         err = fscrypt_prepare_link(old_dentry, dir, dentry);
 745         if (err)
 746                 return err;
 747
 748         err = fscrypt_setup_filename(dir, &dentry->d_name, 0, &nm);
 749         if (err)
 750                 return err;
 751
 752         err = dbg_check_synced_i_size(c, inode);
 753         if (err)
 754                 goto out_fname;
 755
 756         err = ubifs_budget_space(c, &req);
 757         if (err)
 758                 goto out_fname;
 759
 760         lock_2_inodes(dir, inode);
 761
 762         /* Handle O_TMPFILE corner case, it is allowed to link a O_TMPFILE. */
 763         if (inode->i_nlink == 0)
 764                 ubifs_delete_orphan(c, inode->i_ino);
 765
 766         inc_nlink(inode);
 767         ihold(inode);
 768         inode->i_ctime = current_time(inode);
 769         dir->i_size += sz_change;
 770         dir_ui->ui_size = dir->i_size;
 771         dir->i_mtime = dir->i_ctime = inode->i_ctime;
 772         err = ubifs_jnl_update(c, dir, &nm, inode, 0, 0);
 773         if (err)
 774                 goto out_cancel;
 775         unlock_2_inodes(dir, inode);
 776
 777         ubifs_release_budget(c, &req);
 778         d_instantiate(dentry, inode);
 779         fscrypt_free_filename(&nm);
 780         return 0;
 781
 782 out_cancel:
 783         dir->i_size -= sz_change;
 784         dir_ui->ui_size = dir->i_size;
 785         drop_nlink(inode);
 786         if (inode->i_nlink == 0)
 787                 ubifs_add_orphan(c, inode->i_ino);
 788         unlock_2_inodes(dir, inode);
 789         ubifs_release_budget(c, &req);
 790         iput(inode);
 791 out_fname:
 792         fscrypt_free_filename(&nm);
 793         return err;
 794 }
 795
 796 static int ubifs_unlink(struct inode *dir, struct dentry *dentry)
 797 {
 798         struct ubifs_info *c = dir->i_sb->s_fs_info;
 799         struct inode *inode = d_inode(dentry);
 800         struct ubifs_inode *dir_ui = ubifs_inode(dir);
 801         int err, sz_change, budgeted = 1;
 802         struct ubifs_budget_req req = { .mod_dent = 1, .dirtied_ino = 2 };
 803         unsigned int saved_nlink = inode->i_nlink;
 804         struct fscrypt_name nm;
 805
 806         /*
 807          * Budget request settings: deletion direntry, deletion inode (+1 for
 808          * @dirtied_ino), changing the parent directory inode. If budgeting
 809          * fails, go ahead anyway because we have extra space reserved for
 810          * deletions.
 811          */
 812
 813         dbg_gen("dent '%pd' from ino %lu (nlink %d) in dir ino %lu",
 814                 dentry, inode->i_ino,
 815                 inode->i_nlink, dir->i_ino);
 816
 817         err = fscrypt_setup_filename(dir, &dentry->d_name, 1, &nm);
 818         if (err)
 819                 return err;
 820
 821         err = ubifs_purge_xattrs(inode);
 822         if (err)
 823                 return err;
 824
 825         sz_change = CALC_DENT_SIZE(fname_len(&nm));
 826
 827         ubifs_assert(c, inode_is_locked(dir));
 828         ubifs_assert(c, inode_is_locked(inode));
 829         err = dbg_check_synced_i_size(c, inode);
 830         if (err)
 831                 goto out_fname;
 832
 833         err = ubifs_budget_space(c, &req);
 834         if (err) {
 835                 if (err != -ENOSPC)
 836                         goto out_fname;
 837                 budgeted = 0;
 838         }
 839
 840         lock_2_inodes(dir, inode);
 841         inode->i_ctime = current_time(dir);
 842         drop_nlink(inode);
 843         dir->i_size -= sz_change;
 844         dir_ui->ui_size = dir->i_size;
 845         dir->i_mtime = dir->i_ctime = inode->i_ctime;
 846         err = ubifs_jnl_update(c, dir, &nm, inode, 1, 0);
 847         if (err)
 848                 goto out_cancel;
 849         unlock_2_inodes(dir, inode);
 850
 851         if (budgeted)
 852                 ubifs_release_budget(c, &req);
 853         else {
 854                 /* We've deleted something - clean the "no space" flags */
 855                 c->bi.nospace = c->bi.nospace_rp = 0;
 856                 smp_wmb();
 857         }
 858         fscrypt_free_filename(&nm);
 859         return 0;
 860
 861 out_cancel:
 862         dir->i_size += sz_change;
 863         dir_ui->ui_size = dir->i_size;
 864         set_nlink(inode, saved_nlink);
 865         unlock_2_inodes(dir, inode);
 866         if (budgeted)
 867                 ubifs_release_budget(c, &req);
 868 out_fname:
 869         fscrypt_free_filename(&nm);
 870         return err;
 871 }
 872
 873 /**
 874  * ubifs_check_dir_empty - check if a directory is empty or not.
 875  * @dir: VFS inode object of the directory to check
 876  *
 877  * This function checks if directory @dir is empty. Returns zero if the
 878  * directory is empty, %-ENOTEMPTY if it is not, and other negative error codes
 879  * in case of errors.
 880  */
 881 int ubifs_check_dir_empty(struct inode *dir)
 882 {
 883         struct ubifs_info *c = dir->i_sb->s_fs_info;
 884         struct fscrypt_name nm = { 0 };
 885         struct ubifs_dent_node *dent;
 886         union ubifs_key key;
 887         int err;
 888
 889         lowest_dent_key(c, &key, dir->i_ino);
 890         dent = ubifs_tnc_next_ent(c, &key, &nm);
 891         if (IS_ERR(dent)) {
 892                 err = PTR_ERR(dent);
 893                 if (err == -ENOENT)
 894                         err = 0;
 895         } else {
 896                 kfree(dent);
 897                 err = -ENOTEMPTY;
 898         }
 899         return err;
 900 }
 901
 902 static int ubifs_rmdir(struct inode *dir, struct dentry *dentry)
 903 {
 904         struct ubifs_info *c = dir->i_sb->s_fs_info;
 905         struct inode *inode = d_inode(dentry);
 906         int err, sz_change, budgeted = 1;
 907         struct ubifs_inode *dir_ui = ubifs_inode(dir);
 908         struct ubifs_budget_req req = { .mod_dent = 1, .dirtied_ino = 2 };
 909         struct fscrypt_name nm;
 910
 911         /*
 912          * Budget request settings: deletion direntry, deletion inode and
 913          * changing the parent inode. If budgeting fails, go ahead anyway
 914          * because we have extra space reserved for deletions.
 915          */
 916
 917         dbg_gen("directory '%pd', ino %lu in dir ino %lu", dentry,
 918                 inode->i_ino, dir->i_ino);
 919         ubifs_assert(c, inode_is_locked(dir));
 920         ubifs_assert(c, inode_is_locked(inode));
 921         err = ubifs_check_dir_empty(d_inode(dentry));
 922         if (err)
 923                 return err;
 924
 925         err = fscrypt_setup_filename(dir, &dentry->d_name, 1, &nm);
 926         if (err)
 927                 return err;
 928
 929         err = ubifs_purge_xattrs(inode);
 930         if (err)
 931                 return err;
 932
 933         sz_change = CALC_DENT_SIZE(fname_len(&nm));
 934
 935         err = ubifs_budget_space(c, &req);
 936         if (err) {
 937                 if (err != -ENOSPC)
 938                         goto out_fname;
 939                 budgeted = 0;
 940         }
 941
 942         lock_2_inodes(dir, inode);
 943         inode->i_ctime = current_time(dir);
 944         clear_nlink(inode);
 945         drop_nlink(dir);
 946         dir->i_size -= sz_change;
 947         dir_ui->ui_size = dir->i_size;
 948         dir->i_mtime = dir->i_ctime = inode->i_ctime;
 949         err = ubifs_jnl_update(c, dir, &nm, inode, 1, 0);
 950         if (err)
 951                 goto out_cancel;
 952         unlock_2_inodes(dir, inode);
 953
 954         if (budgeted)
 955                 ubifs_release_budget(c, &req);
 956         else {
 957                 /* We've deleted something - clean the "no space" flags */
 958                 c->bi.nospace = c->bi.nospace_rp = 0;
 959                 smp_wmb();
 960         }
 961         fscrypt_free_filename(&nm);
 962         return 0;
 963
 964 out_cancel:
 965         dir->i_size += sz_change;
 966         dir_ui->ui_size = dir->i_size;
 967         inc_nlink(dir);
 968         set_nlink(inode, 2);
 969         unlock_2_inodes(dir, inode);
 970         if (budgeted)
 971                 ubifs_release_budget(c, &req);
 972 out_fname:
 973         fscrypt_free_filename(&nm);
 974         return err;
 975 }
 976
 977 static int ubifs_mkdir(struct user_namespace *mnt_userns, struct inode *dir,
 978                        struct dentry *dentry, umode_t mode)
 979 {
 980         struct inode *inode;
 981         struct ubifs_inode *dir_ui = ubifs_inode(dir);
 982         struct ubifs_info *c = dir->i_sb->s_fs_info;
 983         int err, sz_change;
 984         struct ubifs_budget_req req = { .new_ino = 1, .new_dent = 1,
 985                                         .dirtied_ino = 1};
 986         struct fscrypt_name nm;
 987
 988         /*
 989          * Budget request settings: new inode, new direntry and changing parent
 990          * directory inode.
 991          */
 992
 993         dbg_gen("dent '%pd', mode %#hx in dir ino %lu",
 994                 dentry, mode, dir->i_ino);
 995
 996         err = ubifs_budget_space(c, &req);
 997         if (err)
 998                 return err;
 999
1000         err = ubifs_prepare_create(dir, dentry, &nm);
1001         if (err)
1002                 goto out_budg;
1003
1004         sz_change = CALC_DENT_SIZE(fname_len(&nm));
1005
1006         inode = ubifs_new_inode(c, dir, S_IFDIR | mode, false);
1007         if (IS_ERR(inode)) {
1008                 err = PTR_ERR(inode);
1009                 goto out_fname;
1010         }
1011
1012         err = ubifs_init_security(dir, inode, &dentry->d_name);
1013         if (err)
1014                 goto out_inode;
1015
1016         mutex_lock(&dir_ui->ui_mutex);
1017         insert_inode_hash(inode);
1018         inc_nlink(inode);
1019         inc_nlink(dir);
1020         dir->i_size += sz_change;
1021         dir_ui->ui_size = dir->i_size;
1022         dir->i_mtime = dir->i_ctime = inode->i_ctime;
1023         err = ubifs_jnl_update(c, dir, &nm, inode, 0, 0);
1024         if (err) {
1025                 ubifs_err(c, "cannot create directory, error %d", err);
1026                 goto out_cancel;
1027         }
1028         mutex_unlock(&dir_ui->ui_mutex);
1029
1030         ubifs_release_budget(c, &req);
1031         d_instantiate(dentry, inode);
1032         fscrypt_free_filename(&nm);
1033         return 0;
1034
1035 out_cancel:
1036         dir->i_size -= sz_change;
1037         dir_ui->ui_size = dir->i_size;
1038         drop_nlink(dir);
1039         mutex_unlock(&dir_ui->ui_mutex);
1040 out_inode:
1041         make_bad_inode(inode);
1042         iput(inode);
1043 out_fname:
1044         fscrypt_free_filename(&nm);
1045 out_budg:
1046         ubifs_release_budget(c, &req);
1047         return err;
1048 }
1049
1050 static int ubifs_mknod(struct user_namespace *mnt_userns, struct inode *dir,
1051                        struct dentry *dentry, umode_t mode, dev_t rdev)
1052 {
1053         struct inode *inode;
1054         struct ubifs_inode *ui;
1055         struct ubifs_inode *dir_ui = ubifs_inode(dir);
1056         struct ubifs_info *c = dir->i_sb->s_fs_info;
1057         union ubifs_dev_desc *dev = NULL;
1058         int sz_change;
1059         int err, devlen = 0;
1060         struct ubifs_budget_req req = { .new_ino = 1, .new_dent = 1,
1061                                         .dirtied_ino = 1 };
1062         struct fscrypt_name nm;
1063
1064         /*
1065          * Budget request settings: new inode, new direntry and changing parent
1066          * directory inode.
1067          */
1068
1069         dbg_gen("dent '%pd' in dir ino %lu", dentry, dir->i_ino);
1070
1071         if (S_ISBLK(mode) || S_ISCHR(mode)) {
1072                 dev = kmalloc(sizeof(union ubifs_dev_desc), GFP_NOFS);
1073                 if (!dev)
1074                         return -ENOMEM;
1075                 devlen = ubifs_encode_dev(dev, rdev);
1076         }
1077
1078         req.new_ino_d = ALIGN(devlen, 8);
1079         err = ubifs_budget_space(c, &req);
1080         if (err) {
1081                 kfree(dev);
1082                 return err;
1083         }
1084
1085         err = ubifs_prepare_create(dir, dentry, &nm);
1086         if (err) {
1087                 kfree(dev);
1088                 goto out_budg;
1089         }
1090
1091         sz_change = CALC_DENT_SIZE(fname_len(&nm));
1092
1093         inode = ubifs_new_inode(c, dir, mode, false);
1094         if (IS_ERR(inode)) {
1095                 kfree(dev);
1096                 err = PTR_ERR(inode);
1097                 goto out_fname;
1098         }
1099
1100         init_special_inode(inode, inode->i_mode, rdev);
1101         inode->i_size = ubifs_inode(inode)->ui_size = devlen;
1102         ui = ubifs_inode(inode);
1103         ui->data = dev;
1104         ui->data_len = devlen;
1105
1106         err = ubifs_init_security(dir, inode, &dentry->d_name);
1107         if (err)
1108                 goto out_inode;
1109
1110         mutex_lock(&dir_ui->ui_mutex);
1111         dir->i_size += sz_change;
1112         dir_ui->ui_size = dir->i_size;
1113         dir->i_mtime = dir->i_ctime = inode->i_ctime;
1114         err = ubifs_jnl_update(c, dir, &nm, inode, 0, 0);
1115         if (err)
1116                 goto out_cancel;
1117         mutex_unlock(&dir_ui->ui_mutex);
1118
1119         ubifs_release_budget(c, &req);
1120         insert_inode_hash(inode);
1121         d_instantiate(dentry, inode);
1122         fscrypt_free_filename(&nm);
1123         return 0;
1124
1125 out_cancel:
1126         dir->i_size -= sz_change;
1127         dir_ui->ui_size = dir->i_size;
1128         mutex_unlock(&dir_ui->ui_mutex);
1129 out_inode:
1130         make_bad_inode(inode);
1131         iput(inode);
1132 out_fname:
1133         fscrypt_free_filename(&nm);
1134 out_budg:
1135         ubifs_release_budget(c, &req);
1136         return err;
1137 }
1138
1139 static int ubifs_symlink(struct user_namespace *mnt_userns, struct inode *dir,
1140                          struct dentry *dentry, const char *symname)
1141 {
1142         struct inode *inode;
1143         struct ubifs_inode *ui;
1144         struct ubifs_inode *dir_ui = ubifs_inode(dir);
1145         struct ubifs_info *c = dir->i_sb->s_fs_info;
1146         int err, sz_change, len = strlen(symname);
1147         struct fscrypt_str disk_link;
1148         struct ubifs_budget_req req = { .new_ino = 1, .new_dent = 1,
1149                                         .dirtied_ino = 1 };
1150         struct fscrypt_name nm;
1151
1152         dbg_gen("dent '%pd', target '%s' in dir ino %lu", dentry,
1153                 symname, dir->i_ino);
1154
1155         err = fscrypt_prepare_symlink(dir, symname, len, UBIFS_MAX_INO_DATA,
1156                                       &disk_link);
1157         if (err)
1158                 return err;
1159
1160         /*
1161          * Budget request settings: new inode, new direntry and changing parent
1162          * directory inode.
1163          */
1164         req.new_ino_d = ALIGN(disk_link.len - 1, 8);
1165         err = ubifs_budget_space(c, &req);
1166         if (err)
1167                 return err;
1168
1169         err = ubifs_prepare_create(dir, dentry, &nm);
1170         if (err)
1171                 goto out_budg;
1172
1173         sz_change = CALC_DENT_SIZE(fname_len(&nm));
1174
1175         inode = ubifs_new_inode(c, dir, S_IFLNK | S_IRWXUGO, false);
1176         if (IS_ERR(inode)) {
1177                 err = PTR_ERR(inode);
1178                 goto out_fname;
1179         }
1180
1181         ui = ubifs_inode(inode);
1182         ui->data = kmalloc(disk_link.len, GFP_NOFS);
1183         if (!ui->data) {
1184                 err = -ENOMEM;
1185                 goto out_inode;
1186         }
1187
1188         if (IS_ENCRYPTED(inode)) {
1189                 disk_link.name = ui->data; /* encrypt directly into ui->data */
1190                 err = fscrypt_encrypt_symlink(inode, symname, len, &disk_link);
1191                 if (err)
1192                         goto out_inode;
1193         } else {
1194                 memcpy(ui->data, disk_link.name, disk_link.len);
1195                 inode->i_link = ui->data;
1196         }
1197
1198         /*
1199          * The terminating zero byte is not written to the flash media and it
1200          * is put just to make later in-memory string processing simpler. Thus,
1201          * data length is @disk_link.len - 1, not @disk_link.len.
1202          */
1203         ui->data_len = disk_link.len - 1;
1204         inode->i_size = ubifs_inode(inode)->ui_size = disk_link.len - 1;
1205
1206         err = ubifs_init_security(dir, inode, &dentry->d_name);
1207         if (err)
1208                 goto out_inode;
1209
1210         mutex_lock(&dir_ui->ui_mutex);
1211         dir->i_size += sz_change;
1212         dir_ui->ui_size = dir->i_size;
1213         dir->i_mtime = dir->i_ctime = inode->i_ctime;
1214         err = ubifs_jnl_update(c, dir, &nm, inode, 0, 0);
1215         if (err)
1216                 goto out_cancel;
1217         mutex_unlock(&dir_ui->ui_mutex);
1218
1219         insert_inode_hash(inode);
1220         d_instantiate(dentry, inode);
1221         err = 0;
1222         goto out_fname;
1223
1224 out_cancel:
1225         dir->i_size -= sz_change;
1226         dir_ui->ui_size = dir->i_size;
1227         mutex_unlock(&dir_ui->ui_mutex);
1228 out_inode:
1229         /* Free inode->i_link before inode is marked as bad. */
1230         fscrypt_free_inode(inode);
1231         make_bad_inode(inode);
1232         iput(inode);
1233 out_fname:
1234         fscrypt_free_filename(&nm);
1235 out_budg:
1236         ubifs_release_budget(c, &req);
1237         return err;
1238 }
1239
1240 /**
1241  * lock_4_inodes - a wrapper for locking three UBIFS inodes.
1242  * @inode1: first inode
1243  * @inode2: second inode
1244  * @inode3: third inode
1245  * @inode4: fourth inode
1246  *
1247  * This function is used for 'ubifs_rename()' and @inode1 may be the same as
1248  * @inode2 whereas @inode3 and @inode4 may be %NULL.
1249  *
1250  * We do not implement any tricks to guarantee strict lock ordering, because
1251  * VFS has already done it for us on the @i_mutex. So this is just a simple
1252  * wrapper function.
1253  */
1254 static void lock_4_inodes(struct inode *inode1, struct inode *inode2,
1255                           struct inode *inode3, struct inode *inode4)
1256 {
1257         mutex_lock_nested(&ubifs_inode(inode1)->ui_mutex, WB_MUTEX_1);
1258         if (inode2 != inode1)
1259                 mutex_lock_nested(&ubifs_inode(inode2)->ui_mutex, WB_MUTEX_2);
1260         if (inode3)
1261                 mutex_lock_nested(&ubifs_inode(inode3)->ui_mutex, WB_MUTEX_3);
1262         if (inode4)
1263                 mutex_lock_nested(&ubifs_inode(inode4)->ui_mutex, WB_MUTEX_4);
1264 }
1265
1266 /**
1267  * unlock_4_inodes - a wrapper for unlocking three UBIFS inodes for rename.
1268  * @inode1: first inode
1269  * @inode2: second inode
1270  * @inode3: third inode
1271  * @inode4: fourth inode
1272  */
1273 static void unlock_4_inodes(struct inode *inode1, struct inode *inode2,
1274                             struct inode *inode3, struct inode *inode4)
1275 {
1276         if (inode4)
1277                 mutex_unlock(&ubifs_inode(inode4)->ui_mutex);
1278         if (inode3)
1279                 mutex_unlock(&ubifs_inode(inode3)->ui_mutex);
1280         if (inode1 != inode2)
1281                 mutex_unlock(&ubifs_inode(inode2)->ui_mutex);
1282         mutex_unlock(&ubifs_inode(inode1)->ui_mutex);
1283 }
1284
1285 static int do_rename(struct inode *old_dir, struct dentry *old_dentry,
1286                      struct inode *new_dir, struct dentry *new_dentry,
1287                      unsigned int flags)
1288 {
1289         struct ubifs_info *c = old_dir->i_sb->s_fs_info;
1290         struct inode *old_inode = d_inode(old_dentry);
1291         struct inode *new_inode = d_inode(new_dentry);
1292         struct inode *whiteout = NULL;
1293         struct ubifs_inode *old_inode_ui = ubifs_inode(old_inode);
1294         struct ubifs_inode *whiteout_ui = NULL;
1295         int err, release, sync = 0, move = (new_dir != old_dir);
1296         int is_dir = S_ISDIR(old_inode->i_mode);
1297         int unlink = !!new_inode, new_sz, old_sz;
1298         struct ubifs_budget_req req = { .new_dent = 1, .mod_dent = 1,
1299                                         .dirtied_ino = 3 };
1300         struct ubifs_budget_req ino_req = { .dirtied_ino = 1,
1301                         .dirtied_ino_d = ALIGN(old_inode_ui->data_len, 8) };
1302         struct ubifs_budget_req wht_req;
1303         struct timespec64 time;
1304         unsigned int saved_nlink;
1305         struct fscrypt_name old_nm, new_nm;
1306
1307         /*
1308          * Budget request settings:
1309          *   req: deletion direntry, new direntry, removing the old inode,
1310          *   and changing old and new parent directory inodes.
1311          *
1312          *   wht_req: new whiteout inode for RENAME_WHITEOUT.
1313          *
1314          *   ino_req: marks the target inode as dirty and does not write it.
1315          */
1316
1317         dbg_gen("dent '%pd' ino %lu in dir ino %lu to dent '%pd' in dir ino %lu flags 0x%x",
1318                 old_dentry, old_inode->i_ino, old_dir->i_ino,
1319                 new_dentry, new_dir->i_ino, flags);
1320
1321         if (unlink) {
1322                 ubifs_assert(c, inode_is_locked(new_inode));
1323
1324                 /* Budget for old inode's data when its nlink > 1. */
1325                 req.dirtied_ino_d = ALIGN(ubifs_inode(new_inode)->data_len, 8);
1326                 err = ubifs_purge_xattrs(new_inode);
1327                 if (err)
1328                         return err;
1329         }
1330
1331         if (unlink && is_dir) {
1332                 err = ubifs_check_dir_empty(new_inode);
1333                 if (err)
1334                         return err;
1335         }
1336
1337         err = fscrypt_setup_filename(old_dir, &old_dentry->d_name, 0, &old_nm);
1338         if (err)
1339                 return err;
1340
1341         err = fscrypt_setup_filename(new_dir, &new_dentry->d_name, 0, &new_nm);
1342         if (err) {
1343                 fscrypt_free_filename(&old_nm);
1344                 return err;
1345         }
1346
1347         new_sz = CALC_DENT_SIZE(fname_len(&new_nm));
1348         old_sz = CALC_DENT_SIZE(fname_len(&old_nm));
1349
1350         err = ubifs_budget_space(c, &req);
1351         if (err) {
1352                 fscrypt_free_filename(&old_nm);
1353                 fscrypt_free_filename(&new_nm);
1354                 return err;
1355         }
1356         err = ubifs_budget_space(c, &ino_req);
1357         if (err) {
1358                 fscrypt_free_filename(&old_nm);
1359                 fscrypt_free_filename(&new_nm);
1360                 ubifs_release_budget(c, &req);
1361                 return err;
1362         }
1363
1364         if (flags & RENAME_WHITEOUT) {
1365                 union ubifs_dev_desc *dev = NULL;
1366
1367                 dev = kmalloc(sizeof(union ubifs_dev_desc), GFP_NOFS);
1368                 if (!dev) {
1369                         err = -ENOMEM;
1370                         goto out_release;
1371                 }
1372
1373                 /*
1374                  * The whiteout inode without dentry is pinned in memory,
1375                  * umount won't happen during rename process because we
1376                  * got parent dentry.
1377                  */
1378                 whiteout = create_whiteout(old_dir, old_dentry);
1379                 if (IS_ERR(whiteout)) {
1380                         err = PTR_ERR(whiteout);
1381                         kfree(dev);
1382                         goto out_release;
1383                 }
1384
1385                 whiteout_ui = ubifs_inode(whiteout);
1386                 whiteout_ui->data = dev;
1387                 whiteout_ui->data_len = ubifs_encode_dev(dev, MKDEV(0, 0));
1388                 ubifs_assert(c, !whiteout_ui->dirty);
1389
1390                 memset(&wht_req, 0, sizeof(struct ubifs_budget_req));
1391                 wht_req.new_ino = 1;
1392                 wht_req.new_ino_d = ALIGN(whiteout_ui->data_len, 8);
1393                 /*
1394                  * To avoid deadlock between space budget (holds ui_mutex and
1395                  * waits wb work) and writeback work(waits ui_mutex), do space
1396                  * budget before ubifs inodes locked.
1397                  */
1398                 err = ubifs_budget_space(c, &wht_req);
1399                 if (err) {
1400                         /*
1401                          * Whiteout inode can not be written on flash by
1402                          * ubifs_jnl_write_inode(), because it's neither
1403                          * dirty nor zero-nlink.
1404                          */
1405                         iput(whiteout);
1406                         goto out_release;
1407                 }
1408
1409                 /* Add the old_dentry size to the old_dir size. */
1410                 old_sz -= CALC_DENT_SIZE(fname_len(&old_nm));
1411         }
1412
1413         lock_4_inodes(old_dir, new_dir, new_inode, whiteout);
1414
1415         /*
1416          * Like most other Unix systems, set the @i_ctime for inodes on a
1417          * rename.
1418          */
1419         time = current_time(old_dir);
1420         old_inode->i_ctime = time;
1421
1422         /* We must adjust parent link count when renaming directories */
1423         if (is_dir) {
1424                 if (move) {
1425                         /*
1426                          * @old_dir loses a link because we are moving
1427                          * @old_inode to a different directory.
1428                          */
1429                         drop_nlink(old_dir);
1430                         /*
1431                          * @new_dir only gains a link if we are not also
1432                          * overwriting an existing directory.
1433                          */
1434                         if (!unlink)
1435                                 inc_nlink(new_dir);
1436                 } else {
1437                         /*
1438                          * @old_inode is not moving to a different directory,
1439                          * but @old_dir still loses a link if we are
1440                          * overwriting an existing directory.
1441                          */
1442                         if (unlink)
1443                                 drop_nlink(old_dir);
1444                 }
1445         }
1446
1447         old_dir->i_size -= old_sz;
1448         ubifs_inode(old_dir)->ui_size = old_dir->i_size;
1449         old_dir->i_mtime = old_dir->i_ctime = time;
1450         new_dir->i_mtime = new_dir->i_ctime = time;
1451
1452         /*
1453          * And finally, if we unlinked a direntry which happened to have the
1454          * same name as the moved direntry, we have to decrement @i_nlink of
1455          * the unlinked inode and change its ctime.
1456          */
1457         if (unlink) {
1458                 /*
1459                  * Directories cannot have hard-links, so if this is a
1460                  * directory, just clear @i_nlink.
1461                  */
1462                 saved_nlink = new_inode->i_nlink;
1463                 if (is_dir)
1464                         clear_nlink(new_inode);
1465                 else
1466                         drop_nlink(new_inode);
1467                 new_inode->i_ctime = time;
1468         } else {
1469                 new_dir->i_size += new_sz;
1470                 ubifs_inode(new_dir)->ui_size = new_dir->i_size;
1471         }
1472
1473         /*
1474          * Do not ask 'ubifs_jnl_rename()' to flush write-buffer if @old_inode
1475          * is dirty, because this will be done later on at the end of
1476          * 'ubifs_rename()'.
1477          */
1478         if (IS_SYNC(old_inode)) {
1479                 sync = IS_DIRSYNC(old_dir) || IS_DIRSYNC(new_dir);
1480                 if (unlink && IS_SYNC(new_inode))
1481                         sync = 1;
1482                 /*
1483                  * S_SYNC flag of whiteout inherits from the old_dir, and we
1484                  * have already checked the old dir inode. So there is no need
1485                  * to check whiteout.
1486                  */
1487         }
1488
1489         err = ubifs_jnl_rename(c, old_dir, old_inode, &old_nm, new_dir,
1490                                new_inode, &new_nm, whiteout, sync);
1491         if (err)
1492                 goto out_cancel;
1493
1494         unlock_4_inodes(old_dir, new_dir, new_inode, whiteout);
1495         ubifs_release_budget(c, &req);
1496
1497         if (whiteout) {
1498                 ubifs_release_budget(c, &wht_req);
1499                 iput(whiteout);
1500         }
1501
1502         mutex_lock(&old_inode_ui->ui_mutex);
1503         release = old_inode_ui->dirty;
1504         mark_inode_dirty_sync(old_inode);
1505         mutex_unlock(&old_inode_ui->ui_mutex);
1506
1507         if (release)
1508                 ubifs_release_budget(c, &ino_req);
1509         if (IS_SYNC(old_inode))
1510                 /*
1511                  * Rename finished here. Although old inode cannot be updated
1512                  * on flash, old ctime is not a big problem, don't return err
1513                  * code to userspace.
1514                  */
1515                 old_inode->i_sb->s_op->write_inode(old_inode, NULL);
1516
1517         fscrypt_free_filename(&old_nm);
1518         fscrypt_free_filename(&new_nm);
1519         return 0;
1520
1521 out_cancel:
1522         if (unlink) {
1523                 set_nlink(new_inode, saved_nlink);
1524         } else {
1525                 new_dir->i_size -= new_sz;
1526                 ubifs_inode(new_dir)->ui_size = new_dir->i_size;
1527         }
1528         old_dir->i_size += old_sz;
1529         ubifs_inode(old_dir)->ui_size = old_dir->i_size;
1530         if (is_dir) {
1531                 if (move) {
1532                         inc_nlink(old_dir);
1533                         if (!unlink)
1534                                 drop_nlink(new_dir);
1535                 } else {
1536                         if (unlink)
1537                                 inc_nlink(old_dir);
1538                 }
1539         }
1540         unlock_4_inodes(old_dir, new_dir, new_inode, whiteout);
1541         if (whiteout) {
1542                 ubifs_release_budget(c, &wht_req);
1543                 iput(whiteout);
1544         }
1545 out_release:
1546         ubifs_release_budget(c, &ino_req);
1547         ubifs_release_budget(c, &req);
1548         fscrypt_free_filename(&old_nm);
1549         fscrypt_free_filename(&new_nm);
1550         return err;
1551 }
1552
1553 static int ubifs_xrename(struct inode *old_dir, struct dentry *old_dentry,
1554                         struct inode *new_dir, struct dentry *new_dentry)
1555 {
1556         struct ubifs_info *c = old_dir->i_sb->s_fs_info;
1557         struct ubifs_budget_req req = { .new_dent = 1, .mod_dent = 1,
1558                                 .dirtied_ino = 2 };
1559         int sync = IS_DIRSYNC(old_dir) || IS_DIRSYNC(new_dir);
1560         struct inode *fst_inode = d_inode(old_dentry);
1561         struct inode *snd_inode = d_inode(new_dentry);
1562         struct timespec64 time;
1563         int err;
1564         struct fscrypt_name fst_nm, snd_nm;
1565
1566         ubifs_assert(c, fst_inode && snd_inode);
1567
1568         err = fscrypt_setup_filename(old_dir, &old_dentry->d_name, 0, &fst_nm);
1569         if (err)
1570                 return err;
1571
1572         err = fscrypt_setup_filename(new_dir, &new_dentry->d_name, 0, &snd_nm);
1573         if (err) {
1574                 fscrypt_free_filename(&fst_nm);
1575                 return err;
1576         }
1577
1578         err = ubifs_budget_space(c, &req);
1579         if (err)
1580                 goto out;
1581
1582         lock_4_inodes(old_dir, new_dir, NULL, NULL);
1583
1584         time = current_time(old_dir);
1585         fst_inode->i_ctime = time;
1586         snd_inode->i_ctime = time;
1587         old_dir->i_mtime = old_dir->i_ctime = time;
1588         new_dir->i_mtime = new_dir->i_ctime = time;
1589
1590         if (old_dir != new_dir) {
1591                 if (S_ISDIR(fst_inode->i_mode) && !S_ISDIR(snd_inode->i_mode)) {
1592                         inc_nlink(new_dir);
1593                         drop_nlink(old_dir);
1594                 }
1595                 else if (!S_ISDIR(fst_inode->i_mode) && S_ISDIR(snd_inode->i_mode)) {
1596                         drop_nlink(new_dir);
1597                         inc_nlink(old_dir);
1598                 }
1599         }
1600
1601         err = ubifs_jnl_xrename(c, old_dir, fst_inode, &fst_nm, new_dir,
1602                                 snd_inode, &snd_nm, sync);
1603
1604         unlock_4_inodes(old_dir, new_dir, NULL, NULL);
1605         ubifs_release_budget(c, &req);
1606
1607 out:
1608         fscrypt_free_filename(&fst_nm);
1609         fscrypt_free_filename(&snd_nm);
1610         return err;
1611 }
1612
1613 static int ubifs_rename(struct user_namespace *mnt_userns,
1614                         struct inode *old_dir, struct dentry *old_dentry,
1615                         struct inode *new_dir, struct dentry *new_dentry,
1616                         unsigned int flags)
1617 {
1618         int err;
1619         struct ubifs_info *c = old_dir->i_sb->s_fs_info;
1620
1621         if (flags & ~(RENAME_NOREPLACE | RENAME_WHITEOUT | RENAME_EXCHANGE))
1622                 return -EINVAL;
1623
1624         ubifs_assert(c, inode_is_locked(old_dir));
1625         ubifs_assert(c, inode_is_locked(new_dir));
1626
1627         err = fscrypt_prepare_rename(old_dir, old_dentry, new_dir, new_dentry,
1628                                      flags);
1629         if (err)
1630                 return err;
1631
1632         if (flags & RENAME_EXCHANGE)
1633                 return ubifs_xrename(old_dir, old_dentry, new_dir, new_dentry);
1634
1635         return do_rename(old_dir, old_dentry, new_dir, new_dentry, flags);
1636 }
1637
1638 int ubifs_getattr(struct user_namespace *mnt_userns, const struct path *path,
1639                   struct kstat *stat, u32 request_mask, unsigned int flags)
1640 {
1641         loff_t size;
1642         struct inode *inode = d_inode(path->dentry);
1643         struct ubifs_inode *ui = ubifs_inode(inode);
1644
1645         mutex_lock(&ui->ui_mutex);
1646
1647         if (ui->flags & UBIFS_APPEND_FL)
1648                 stat->attributes |= STATX_ATTR_APPEND;
1649         if (ui->flags & UBIFS_COMPR_FL)
1650                 stat->attributes |= STATX_ATTR_COMPRESSED;
1651         if (ui->flags & UBIFS_CRYPT_FL)
1652                 stat->attributes |= STATX_ATTR_ENCRYPTED;
1653         if (ui->flags & UBIFS_IMMUTABLE_FL)
1654                 stat->attributes |= STATX_ATTR_IMMUTABLE;
1655
1656         stat->attributes_mask |= (STATX_ATTR_APPEND |
1657                                 STATX_ATTR_COMPRESSED |
1658                                 STATX_ATTR_ENCRYPTED |
1659                                 STATX_ATTR_IMMUTABLE);
1660
1661         generic_fillattr(&init_user_ns, inode, stat);
1662         stat->blksize = UBIFS_BLOCK_SIZE;
1663         stat->size = ui->ui_size;
1664
1665         /*
1666          * Unfortunately, the 'stat()' system call was designed for block
1667          * device based file systems, and it is not appropriate for UBIFS,
1668          * because UBIFS does not have notion of "block". For example, it is
1669          * difficult to tell how many block a directory takes - it actually
1670          * takes less than 300 bytes, but we have to round it to block size,
1671          * which introduces large mistake. This makes utilities like 'du' to
1672          * report completely senseless numbers. This is the reason why UBIFS
1673          * goes the same way as JFFS2 - it reports zero blocks for everything
1674          * but regular files, which makes more sense than reporting completely
1675          * wrong sizes.
1676          */
1677         if (S_ISREG(inode->i_mode)) {
1678                 size = ui->xattr_size;
1679                 size += stat->size;
1680                 size = ALIGN(size, UBIFS_BLOCK_SIZE);
1681                 /*
1682                  * Note, user-space expects 512-byte blocks count irrespectively
1683                  * of what was reported in @stat->size.
1684                  */
1685                 stat->blocks = size >> 9;
1686         } else
1687                 stat->blocks = 0;
1688         mutex_unlock(&ui->ui_mutex);
1689         return 0;
1690 }
1691
1692 const struct inode_operations ubifs_dir_inode_operations = {
1693         .lookup      = ubifs_lookup,
1694         .create      = ubifs_create,
1695         .link        = ubifs_link,
1696         .symlink     = ubifs_symlink,
1697         .unlink      = ubifs_unlink,
1698         .mkdir       = ubifs_mkdir,
1699         .rmdir       = ubifs_rmdir,
1700         .mknod       = ubifs_mknod,
1701         .rename      = ubifs_rename,
1702         .setattr     = ubifs_setattr,
1703         .getattr     = ubifs_getattr,
1704         .listxattr   = ubifs_listxattr,
1705         .update_time = ubifs_update_time,
1706         .tmpfile     = ubifs_tmpfile,
1707         .fileattr_get = ubifs_fileattr_get,
1708         .fileattr_set = ubifs_fileattr_set,
1709 };
1710
1711 const struct file_operations ubifs_dir_operations = {
1712         .llseek         = generic_file_llseek,
1713         .release        = ubifs_dir_release,
1714         .read           = generic_read_dir,
1715         .iterate_shared = ubifs_readdir,
1716         .fsync          = ubifs_fsync,
1717         .unlocked_ioctl = ubifs_ioctl,
1718 #ifdef CONFIG_COMPAT
1719         .compat_ioctl   = ubifs_compat_ioctl,
1720 #endif
1721 };