fs/xfs/libxfs/xfs_ialloc_btree.c

   1 /*
   2  * Copyright (c) 2000-2001,2005 Silicon Graphics, Inc.
   3  * All Rights Reserved.
   4  *
   5  * This program is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU General Public License as
   7  * published by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope that it would be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12  * GNU General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License
  15  * along with this program; if not, write the Free Software Foundation,
  16  * Inc.,  51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  17  */
  18 #include "xfs.h"
  19 #include "xfs_fs.h"
  20 #include "xfs_shared.h"
  21 #include "xfs_format.h"
  22 #include "xfs_log_format.h"
  23 #include "xfs_trans_resv.h"
  24 #include "xfs_bit.h"
  25 #include "xfs_mount.h"
  26 #include "xfs_inode.h"
  27 #include "xfs_btree.h"
  28 #include "xfs_ialloc.h"
  29 #include "xfs_ialloc_btree.h"
  30 #include "xfs_alloc.h"
  31 #include "xfs_error.h"
  32 #include "xfs_trace.h"
  33 #include "xfs_cksum.h"
  34 #include "xfs_trans.h"
  35 #include "xfs_rmap.h"
  36
  37
  38 STATIC int
  39 xfs_inobt_get_minrecs(
  40         struct xfs_btree_cur    *cur,
  41         int                     level)
  42 {
  43         return cur->bc_mp->m_inobt_mnr[level != 0];
  44 }
  45
  46 STATIC struct xfs_btree_cur *
  47 xfs_inobt_dup_cursor(
  48         struct xfs_btree_cur    *cur)
  49 {
  50         return xfs_inobt_init_cursor(cur->bc_mp, cur->bc_tp,
  51                         cur->bc_private.a.agbp, cur->bc_private.a.agno,
  52                         cur->bc_btnum);
  53 }
  54
  55 STATIC void
  56 xfs_inobt_set_root(
  57         struct xfs_btree_cur    *cur,
  58         union xfs_btree_ptr     *nptr,
  59         int                     inc)    /* level change */
  60 {
  61         struct xfs_buf          *agbp = cur->bc_private.a.agbp;
  62         struct xfs_agi          *agi = XFS_BUF_TO_AGI(agbp);
  63
  64         agi->agi_root = nptr->s;
  65         be32_add_cpu(&agi->agi_level, inc);
  66         xfs_ialloc_log_agi(cur->bc_tp, agbp, XFS_AGI_ROOT | XFS_AGI_LEVEL);
  67 }
  68
  69 STATIC void
  70 xfs_finobt_set_root(
  71         struct xfs_btree_cur    *cur,
  72         union xfs_btree_ptr     *nptr,
  73         int                     inc)    /* level change */
  74 {
  75         struct xfs_buf          *agbp = cur->bc_private.a.agbp;
  76         struct xfs_agi          *agi = XFS_BUF_TO_AGI(agbp);
  77
  78         agi->agi_free_root = nptr->s;
  79         be32_add_cpu(&agi->agi_free_level, inc);
  80         xfs_ialloc_log_agi(cur->bc_tp, agbp,
  81                            XFS_AGI_FREE_ROOT | XFS_AGI_FREE_LEVEL);
  82 }
  83
  84 STATIC int
  85 __xfs_inobt_alloc_block(
  86         struct xfs_btree_cur    *cur,
  87         union xfs_btree_ptr     *start,
  88         union xfs_btree_ptr     *new,
  89         int                     *stat,
  90         enum xfs_ag_resv_type   resv)
  91 {
  92         xfs_alloc_arg_t         args;           /* block allocation args */
  93         int                     error;          /* error return value */
  94         xfs_agblock_t           sbno = be32_to_cpu(start->s);
  95
  96         XFS_BTREE_TRACE_CURSOR(cur, XBT_ENTRY);
  97
  98         memset(&args, 0, sizeof(args));
  99         args.tp = cur->bc_tp;
 100         args.mp = cur->bc_mp;
 101         xfs_rmap_ag_owner(&args.oinfo, XFS_RMAP_OWN_INOBT);
 102         args.fsbno = XFS_AGB_TO_FSB(args.mp, cur->bc_private.a.agno, sbno);
 103         args.minlen = 1;
 104         args.maxlen = 1;
 105         args.prod = 1;
 106         args.type = XFS_ALLOCTYPE_NEAR_BNO;
 107         args.resv = resv;
 108
 109         error = xfs_alloc_vextent(&args);
 110         if (error) {
 111                 XFS_BTREE_TRACE_CURSOR(cur, XBT_ERROR);
 112                 return error;
 113         }
 114         if (args.fsbno == NULLFSBLOCK) {
 115                 XFS_BTREE_TRACE_CURSOR(cur, XBT_EXIT);
 116                 *stat = 0;
 117                 return 0;
 118         }
 119         ASSERT(args.len == 1);
 120         XFS_BTREE_TRACE_CURSOR(cur, XBT_EXIT);
 121
 122         new->s = cpu_to_be32(XFS_FSB_TO_AGBNO(args.mp, args.fsbno));
 123         *stat = 1;
 124         return 0;
 125 }
 126
 127 STATIC int
 128 xfs_inobt_alloc_block(
 129         struct xfs_btree_cur    *cur,
 130         union xfs_btree_ptr     *start,
 131         union xfs_btree_ptr     *new,
 132         int                     *stat)
 133 {
 134         return __xfs_inobt_alloc_block(cur, start, new, stat, XFS_AG_RESV_NONE);
 135 }
 136
 137 STATIC int
 138 xfs_finobt_alloc_block(
 139         struct xfs_btree_cur    *cur,
 140         union xfs_btree_ptr     *start,
 141         union xfs_btree_ptr     *new,
 142         int                     *stat)
 143 {
 144         return __xfs_inobt_alloc_block(cur, start, new, stat,
 145                         XFS_AG_RESV_METADATA);
 146 }
 147
 148 STATIC int
 149 xfs_inobt_free_block(
 150         struct xfs_btree_cur    *cur,
 151         struct xfs_buf          *bp)
 152 {
 153         struct xfs_owner_info   oinfo;
 154
 155         xfs_rmap_ag_owner(&oinfo, XFS_RMAP_OWN_INOBT);
 156         return xfs_free_extent(cur->bc_tp,
 157                         XFS_DADDR_TO_FSB(cur->bc_mp, XFS_BUF_ADDR(bp)), 1,
 158                         &oinfo, XFS_AG_RESV_NONE);
 159 }
 160
 161 STATIC int
 162 xfs_inobt_get_maxrecs(
 163         struct xfs_btree_cur    *cur,
 164         int                     level)
 165 {
 166         return cur->bc_mp->m_inobt_mxr[level != 0];
 167 }
 168
 169 STATIC void
 170 xfs_inobt_init_key_from_rec(
 171         union xfs_btree_key     *key,
 172         union xfs_btree_rec     *rec)
 173 {
 174         key->inobt.ir_startino = rec->inobt.ir_startino;
 175 }
 176
 177 STATIC void
 178 xfs_inobt_init_high_key_from_rec(
 179         union xfs_btree_key     *key,
 180         union xfs_btree_rec     *rec)
 181 {
 182         __u32                   x;
 183
 184         x = be32_to_cpu(rec->inobt.ir_startino);
 185         x += XFS_INODES_PER_CHUNK - 1;
 186         key->inobt.ir_startino = cpu_to_be32(x);
 187 }
 188
 189 STATIC void
 190 xfs_inobt_init_rec_from_cur(
 191         struct xfs_btree_cur    *cur,
 192         union xfs_btree_rec     *rec)
 193 {
 194         rec->inobt.ir_startino = cpu_to_be32(cur->bc_rec.i.ir_startino);
 195         if (xfs_sb_version_hassparseinodes(&cur->bc_mp->m_sb)) {
 196                 rec->inobt.ir_u.sp.ir_holemask =
 197                                         cpu_to_be16(cur->bc_rec.i.ir_holemask);
 198                 rec->inobt.ir_u.sp.ir_count = cur->bc_rec.i.ir_count;
 199                 rec->inobt.ir_u.sp.ir_freecount = cur->bc_rec.i.ir_freecount;
 200         } else {
 201                 /* ir_holemask/ir_count not supported on-disk */
 202                 rec->inobt.ir_u.f.ir_freecount =
 203                                         cpu_to_be32(cur->bc_rec.i.ir_freecount);
 204         }
 205         rec->inobt.ir_free = cpu_to_be64(cur->bc_rec.i.ir_free);
 206 }
 207
 208 /*
 209  * initial value of ptr for lookup
 210  */
 211 STATIC void
 212 xfs_inobt_init_ptr_from_cur(
 213         struct xfs_btree_cur    *cur,
 214         union xfs_btree_ptr     *ptr)
 215 {
 216         struct xfs_agi          *agi = XFS_BUF_TO_AGI(cur->bc_private.a.agbp);
 217
 218         ASSERT(cur->bc_private.a.agno == be32_to_cpu(agi->agi_seqno));
 219
 220         ptr->s = agi->agi_root;
 221 }
 222
 223 STATIC void
 224 xfs_finobt_init_ptr_from_cur(
 225         struct xfs_btree_cur    *cur,
 226         union xfs_btree_ptr     *ptr)
 227 {
 228         struct xfs_agi          *agi = XFS_BUF_TO_AGI(cur->bc_private.a.agbp);
 229
 230         ASSERT(cur->bc_private.a.agno == be32_to_cpu(agi->agi_seqno));
 231         ptr->s = agi->agi_free_root;
 232 }
 233
 234 STATIC int64_t
 235 xfs_inobt_key_diff(
 236         struct xfs_btree_cur    *cur,
 237         union xfs_btree_key     *key)
 238 {
 239         return (int64_t)be32_to_cpu(key->inobt.ir_startino) -
 240                           cur->bc_rec.i.ir_startino;
 241 }
 242
 243 STATIC int64_t
 244 xfs_inobt_diff_two_keys(
 245         struct xfs_btree_cur    *cur,
 246         union xfs_btree_key     *k1,
 247         union xfs_btree_key     *k2)
 248 {
 249         return (int64_t)be32_to_cpu(k1->inobt.ir_startino) -
 250                           be32_to_cpu(k2->inobt.ir_startino);
 251 }
 252
 253 static int
 254 xfs_inobt_verify(
 255         struct xfs_buf          *bp)
 256 {
 257         struct xfs_mount        *mp = bp->b_target->bt_mount;
 258         struct xfs_btree_block  *block = XFS_BUF_TO_BLOCK(bp);
 259         unsigned int            level;
 260
 261         /*
 262          * During growfs operations, we can't verify the exact owner as the
 263          * perag is not fully initialised and hence not attached to the buffer.
 264          *
 265          * Similarly, during log recovery we will have a perag structure
 266          * attached, but the agi information will not yet have been initialised
 267          * from the on disk AGI. We don't currently use any of this information,
 268          * but beware of the landmine (i.e. need to check pag->pagi_init) if we
 269          * ever do.
 270          */
 271         switch (block->bb_magic) {
 272         case cpu_to_be32(XFS_IBT_CRC_MAGIC):
 273         case cpu_to_be32(XFS_FIBT_CRC_MAGIC):
 274                 if (!xfs_btree_sblock_v5hdr_verify(bp))
 275                         return false;
 276                 /* fall through */
 277         case cpu_to_be32(XFS_IBT_MAGIC):
 278         case cpu_to_be32(XFS_FIBT_MAGIC):
 279                 break;
 280         default:
 281                 return 0;
 282         }
 283
 284         /* level verification */
 285         level = be16_to_cpu(block->bb_level);
 286         if (level >= mp->m_in_maxlevels)
 287                 return false;
 288
 289         return xfs_btree_sblock_verify(bp, mp->m_inobt_mxr[level != 0]);
 290 }
 291
 292 static void
 293 xfs_inobt_read_verify(
 294         struct xfs_buf  *bp)
 295 {
 296         if (!xfs_btree_sblock_verify_crc(bp))
 297                 xfs_buf_ioerror(bp, -EFSBADCRC);
 298         else if (!xfs_inobt_verify(bp))
 299                 xfs_buf_ioerror(bp, -EFSCORRUPTED);
 300
 301         if (bp->b_error) {
 302                 trace_xfs_btree_corrupt(bp, _RET_IP_);
 303                 xfs_verifier_error(bp);
 304         }
 305 }
 306
 307 static void
 308 xfs_inobt_write_verify(
 309         struct xfs_buf  *bp)
 310 {
 311         if (!xfs_inobt_verify(bp)) {
 312                 trace_xfs_btree_corrupt(bp, _RET_IP_);
 313                 xfs_buf_ioerror(bp, -EFSCORRUPTED);
 314                 xfs_verifier_error(bp);
 315                 return;
 316         }
 317         xfs_btree_sblock_calc_crc(bp);
 318
 319 }
 320
 321 const struct xfs_buf_ops xfs_inobt_buf_ops = {
 322         .name = "xfs_inobt",
 323         .verify_read = xfs_inobt_read_verify,
 324         .verify_write = xfs_inobt_write_verify,
 325 };
 326
 327 STATIC int
 328 xfs_inobt_keys_inorder(
 329         struct xfs_btree_cur    *cur,
 330         union xfs_btree_key     *k1,
 331         union xfs_btree_key     *k2)
 332 {
 333         return be32_to_cpu(k1->inobt.ir_startino) <
 334                 be32_to_cpu(k2->inobt.ir_startino);
 335 }
 336
 337 STATIC int
 338 xfs_inobt_recs_inorder(
 339         struct xfs_btree_cur    *cur,
 340         union xfs_btree_rec     *r1,
 341         union xfs_btree_rec     *r2)
 342 {
 343         return be32_to_cpu(r1->inobt.ir_startino) + XFS_INODES_PER_CHUNK <=
 344                 be32_to_cpu(r2->inobt.ir_startino);
 345 }
 346
 347 static const struct xfs_btree_ops xfs_inobt_ops = {
 348         .rec_len                = sizeof(xfs_inobt_rec_t),
 349         .key_len                = sizeof(xfs_inobt_key_t),
 350
 351         .dup_cursor             = xfs_inobt_dup_cursor,
 352         .set_root               = xfs_inobt_set_root,
 353         .alloc_block            = xfs_inobt_alloc_block,
 354         .free_block             = xfs_inobt_free_block,
 355         .get_minrecs            = xfs_inobt_get_minrecs,
 356         .get_maxrecs            = xfs_inobt_get_maxrecs,
 357         .init_key_from_rec      = xfs_inobt_init_key_from_rec,
 358         .init_high_key_from_rec = xfs_inobt_init_high_key_from_rec,
 359         .init_rec_from_cur      = xfs_inobt_init_rec_from_cur,
 360         .init_ptr_from_cur      = xfs_inobt_init_ptr_from_cur,
 361         .key_diff               = xfs_inobt_key_diff,
 362         .buf_ops                = &xfs_inobt_buf_ops,
 363         .diff_two_keys          = xfs_inobt_diff_two_keys,
 364         .keys_inorder           = xfs_inobt_keys_inorder,
 365         .recs_inorder           = xfs_inobt_recs_inorder,
 366 };
 367
 368 static const struct xfs_btree_ops xfs_finobt_ops = {
 369         .rec_len                = sizeof(xfs_inobt_rec_t),
 370         .key_len                = sizeof(xfs_inobt_key_t),
 371
 372         .dup_cursor             = xfs_inobt_dup_cursor,
 373         .set_root               = xfs_finobt_set_root,
 374         .alloc_block            = xfs_finobt_alloc_block,
 375         .free_block             = xfs_inobt_free_block,
 376         .get_minrecs            = xfs_inobt_get_minrecs,
 377         .get_maxrecs            = xfs_inobt_get_maxrecs,
 378         .init_key_from_rec      = xfs_inobt_init_key_from_rec,
 379         .init_high_key_from_rec = xfs_inobt_init_high_key_from_rec,
 380         .init_rec_from_cur      = xfs_inobt_init_rec_from_cur,
 381         .init_ptr_from_cur      = xfs_finobt_init_ptr_from_cur,
 382         .key_diff               = xfs_inobt_key_diff,
 383         .buf_ops                = &xfs_inobt_buf_ops,
 384         .diff_two_keys          = xfs_inobt_diff_two_keys,
 385         .keys_inorder           = xfs_inobt_keys_inorder,
 386         .recs_inorder           = xfs_inobt_recs_inorder,
 387 };
 388
 389 /*
 390  * Allocate a new inode btree cursor.
 391  */
 392 struct xfs_btree_cur *                          /* new inode btree cursor */
 393 xfs_inobt_init_cursor(
 394         struct xfs_mount        *mp,            /* file system mount point */
 395         struct xfs_trans        *tp,            /* transaction pointer */
 396         struct xfs_buf          *agbp,          /* buffer for agi structure */
 397         xfs_agnumber_t          agno,           /* allocation group number */
 398         xfs_btnum_t             btnum)          /* ialloc or free ino btree */
 399 {
 400         struct xfs_agi          *agi = XFS_BUF_TO_AGI(agbp);
 401         struct xfs_btree_cur    *cur;
 402
 403         cur = kmem_zone_zalloc(xfs_btree_cur_zone, KM_NOFS);
 404
 405         cur->bc_tp = tp;
 406         cur->bc_mp = mp;
 407         cur->bc_btnum = btnum;
 408         if (btnum == XFS_BTNUM_INO) {
 409                 cur->bc_nlevels = be32_to_cpu(agi->agi_level);
 410                 cur->bc_ops = &xfs_inobt_ops;
 411                 cur->bc_statoff = XFS_STATS_CALC_INDEX(xs_ibt_2);
 412         } else {
 413                 cur->bc_nlevels = be32_to_cpu(agi->agi_free_level);
 414                 cur->bc_ops = &xfs_finobt_ops;
 415                 cur->bc_statoff = XFS_STATS_CALC_INDEX(xs_fibt_2);
 416         }
 417
 418         cur->bc_blocklog = mp->m_sb.sb_blocklog;
 419
 420         if (xfs_sb_version_hascrc(&mp->m_sb))
 421                 cur->bc_flags |= XFS_BTREE_CRC_BLOCKS;
 422
 423         cur->bc_private.a.agbp = agbp;
 424         cur->bc_private.a.agno = agno;
 425
 426         return cur;
 427 }
 428
 429 /*
 430  * Calculate number of records in an inobt btree block.
 431  */
 432 int
 433 xfs_inobt_maxrecs(
 434         struct xfs_mount        *mp,
 435         int                     blocklen,
 436         int                     leaf)
 437 {
 438         blocklen -= XFS_INOBT_BLOCK_LEN(mp);
 439
 440         if (leaf)
 441                 return blocklen / sizeof(xfs_inobt_rec_t);
 442         return blocklen / (sizeof(xfs_inobt_key_t) + sizeof(xfs_inobt_ptr_t));
 443 }
 444
 445 /*
 446  * Convert the inode record holemask to an inode allocation bitmap. The inode
 447  * allocation bitmap is inode granularity and specifies whether an inode is
 448  * physically allocated on disk (not whether the inode is considered allocated
 449  * or free by the fs).
 450  *
 451  * A bit value of 1 means the inode is allocated, a value of 0 means it is free.
 452  */
 453 uint64_t
 454 xfs_inobt_irec_to_allocmask(
 455         struct xfs_inobt_rec_incore     *rec)
 456 {
 457         uint64_t                        bitmap = 0;
 458         uint64_t                        inodespbit;
 459         int                             nextbit;
 460         uint                            allocbitmap;
 461
 462         /*
 463          * The holemask has 16-bits for a 64 inode record. Therefore each
 464          * holemask bit represents multiple inodes. Create a mask of bits to set
 465          * in the allocmask for each holemask bit.
 466          */
 467         inodespbit = (1 << XFS_INODES_PER_HOLEMASK_BIT) - 1;
 468
 469         /*
 470          * Allocated inodes are represented by 0 bits in holemask. Invert the 0
 471          * bits to 1 and convert to a uint so we can use xfs_next_bit(). Mask
 472          * anything beyond the 16 holemask bits since this casts to a larger
 473          * type.
 474          */
 475         allocbitmap = ~rec->ir_holemask & ((1 << XFS_INOBT_HOLEMASK_BITS) - 1);
 476
 477         /*
 478          * allocbitmap is the inverted holemask so every set bit represents
 479          * allocated inodes. To expand from 16-bit holemask granularity to
 480          * 64-bit (e.g., bit-per-inode), set inodespbit bits in the target
 481          * bitmap for every holemask bit.
 482          */
 483         nextbit = xfs_next_bit(&allocbitmap, 1, 0);
 484         while (nextbit != -1) {
 485                 ASSERT(nextbit < (sizeof(rec->ir_holemask) * NBBY));
 486
 487                 bitmap |= (inodespbit <<
 488                            (nextbit * XFS_INODES_PER_HOLEMASK_BIT));
 489
 490                 nextbit = xfs_next_bit(&allocbitmap, 1, nextbit + 1);
 491         }
 492
 493         return bitmap;
 494 }
 495
 496 #if defined(DEBUG) || defined(XFS_WARN)
 497 /*
 498  * Verify that an in-core inode record has a valid inode count.
 499  */
 500 int
 501 xfs_inobt_rec_check_count(
 502         struct xfs_mount                *mp,
 503         struct xfs_inobt_rec_incore     *rec)
 504 {
 505         int                             inocount = 0;
 506         int                             nextbit = 0;
 507         uint64_t                        allocbmap;
 508         int                             wordsz;
 509
 510         wordsz = sizeof(allocbmap) / sizeof(unsigned int);
 511         allocbmap = xfs_inobt_irec_to_allocmask(rec);
 512
 513         nextbit = xfs_next_bit((uint *) &allocbmap, wordsz, nextbit);
 514         while (nextbit != -1) {
 515                 inocount++;
 516                 nextbit = xfs_next_bit((uint *) &allocbmap, wordsz,
 517                                        nextbit + 1);
 518         }
 519
 520         if (inocount != rec->ir_count)
 521                 return -EFSCORRUPTED;
 522
 523         return 0;
 524 }
 525 #endif  /* DEBUG */
 526
 527 static xfs_extlen_t
 528 xfs_inobt_max_size(
 529         struct xfs_mount        *mp)
 530 {
 531         /* Bail out if we're uninitialized, which can happen in mkfs. */
 532         if (mp->m_inobt_mxr[0] == 0)
 533                 return 0;
 534
 535         return xfs_btree_calc_size(mp, mp->m_inobt_mnr,
 536                 (uint64_t)mp->m_sb.sb_agblocks * mp->m_sb.sb_inopblock /
 537                                 XFS_INODES_PER_CHUNK);
 538 }
 539
 540 static int
 541 xfs_inobt_count_blocks(
 542         struct xfs_mount        *mp,
 543         xfs_agnumber_t          agno,
 544         xfs_btnum_t             btnum,
 545         xfs_extlen_t            *tree_blocks)
 546 {
 547         struct xfs_buf          *agbp;
 548         struct xfs_btree_cur    *cur;
 549         int                     error;
 550
 551         error = xfs_ialloc_read_agi(mp, NULL, agno, &agbp);
 552         if (error)
 553                 return error;
 554
 555         cur = xfs_inobt_init_cursor(mp, NULL, agbp, agno, btnum);
 556         error = xfs_btree_count_blocks(cur, tree_blocks);
 557         xfs_btree_del_cursor(cur, error ? XFS_BTREE_ERROR : XFS_BTREE_NOERROR);
 558         xfs_buf_relse(agbp);
 559
 560         return error;
 561 }
 562
 563 /*
 564  * Figure out how many blocks to reserve and how many are used by this btree.
 565  */
 566 int
 567 xfs_finobt_calc_reserves(
 568         struct xfs_mount        *mp,
 569         xfs_agnumber_t          agno,
 570         xfs_extlen_t            *ask,
 571         xfs_extlen_t            *used)
 572 {
 573         xfs_extlen_t            tree_len = 0;
 574         int                     error;
 575
 576         if (!xfs_sb_version_hasfinobt(&mp->m_sb))
 577                 return 0;
 578
 579         error = xfs_inobt_count_blocks(mp, agno, XFS_BTNUM_FINO, &tree_len);
 580         if (error)
 581                 return error;
 582
 583         *ask += xfs_inobt_max_size(mp);
 584         *used += tree_len;
 585         return 0;
 586 }