fs/xfs/xfs_extfree_item.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (c) 2000-2001,2005 Silicon Graphics, Inc.
   4  * All Rights Reserved.
   5  */
   6 #include "xfs.h"
   7 #include "xfs_fs.h"
   8 #include "xfs_format.h"
   9 #include "xfs_log_format.h"
  10 #include "xfs_trans_resv.h"
  11 #include "xfs_bit.h"
  12 #include "xfs_shared.h"
  13 #include "xfs_mount.h"
  14 #include "xfs_ag.h"
  15 #include "xfs_defer.h"
  16 #include "xfs_trans.h"
  17 #include "xfs_trans_priv.h"
  18 #include "xfs_extfree_item.h"
  19 #include "xfs_log.h"
  20 #include "xfs_btree.h"
  21 #include "xfs_rmap.h"
  22 #include "xfs_alloc.h"
  23 #include "xfs_bmap.h"
  24 #include "xfs_trace.h"
  25 #include "xfs_error.h"
  26 #include "xfs_log_priv.h"
  27 #include "xfs_log_recover.h"
  28
  29 struct kmem_cache       *xfs_efi_cache;
  30 struct kmem_cache       *xfs_efd_cache;
  31
  32 static const struct xfs_item_ops xfs_efi_item_ops;
  33
  34 static inline struct xfs_efi_log_item *EFI_ITEM(struct xfs_log_item *lip)
  35 {
  36         return container_of(lip, struct xfs_efi_log_item, efi_item);
  37 }
  38
  39 STATIC void
  40 xfs_efi_item_free(
  41         struct xfs_efi_log_item *efip)
  42 {
  43         kmem_free(efip->efi_item.li_lv_shadow);
  44         if (efip->efi_format.efi_nextents > XFS_EFI_MAX_FAST_EXTENTS)
  45                 kmem_free(efip);
  46         else
  47                 kmem_cache_free(xfs_efi_cache, efip);
  48 }
  49
  50 /*
  51  * Freeing the efi requires that we remove it from the AIL if it has already
  52  * been placed there. However, the EFI may not yet have been placed in the AIL
  53  * when called by xfs_efi_release() from EFD processing due to the ordering of
  54  * committed vs unpin operations in bulk insert operations. Hence the reference
  55  * count to ensure only the last caller frees the EFI.
  56  */
  57 STATIC void
  58 xfs_efi_release(
  59         struct xfs_efi_log_item *efip)
  60 {
  61         ASSERT(atomic_read(&efip->efi_refcount) > 0);
  62         if (!atomic_dec_and_test(&efip->efi_refcount))
  63                 return;
  64
  65         xfs_trans_ail_delete(&efip->efi_item, 0);
  66         xfs_efi_item_free(efip);
  67 }
  68
  69 STATIC void
  70 xfs_efi_item_size(
  71         struct xfs_log_item     *lip,
  72         int                     *nvecs,
  73         int                     *nbytes)
  74 {
  75         struct xfs_efi_log_item *efip = EFI_ITEM(lip);
  76
  77         *nvecs += 1;
  78         *nbytes += xfs_efi_log_format_sizeof(efip->efi_format.efi_nextents);
  79 }
  80
  81 /*
  82  * This is called to fill in the vector of log iovecs for the
  83  * given efi log item. We use only 1 iovec, and we point that
  84  * at the efi_log_format structure embedded in the efi item.
  85  * It is at this point that we assert that all of the extent
  86  * slots in the efi item have been filled.
  87  */
  88 STATIC void
  89 xfs_efi_item_format(
  90         struct xfs_log_item     *lip,
  91         struct xfs_log_vec      *lv)
  92 {
  93         struct xfs_efi_log_item *efip = EFI_ITEM(lip);
  94         struct xfs_log_iovec    *vecp = NULL;
  95
  96         ASSERT(atomic_read(&efip->efi_next_extent) ==
  97                                 efip->efi_format.efi_nextents);
  98
  99         efip->efi_format.efi_type = XFS_LI_EFI;
 100         efip->efi_format.efi_size = 1;
 101
 102         xlog_copy_iovec(lv, &vecp, XLOG_REG_TYPE_EFI_FORMAT,
 103                         &efip->efi_format,
 104                         xfs_efi_log_format_sizeof(efip->efi_format.efi_nextents));
 105 }
 106
 107
 108 /*
 109  * The unpin operation is the last place an EFI is manipulated in the log. It is
 110  * either inserted in the AIL or aborted in the event of a log I/O error. In
 111  * either case, the EFI transaction has been successfully committed to make it
 112  * this far. Therefore, we expect whoever committed the EFI to either construct
 113  * and commit the EFD or drop the EFD's reference in the event of error. Simply
 114  * drop the log's EFI reference now that the log is done with it.
 115  */
 116 STATIC void
 117 xfs_efi_item_unpin(
 118         struct xfs_log_item     *lip,
 119         int                     remove)
 120 {
 121         struct xfs_efi_log_item *efip = EFI_ITEM(lip);
 122         xfs_efi_release(efip);
 123 }
 124
 125 /*
 126  * The EFI has been either committed or aborted if the transaction has been
 127  * cancelled. If the transaction was cancelled, an EFD isn't going to be
 128  * constructed and thus we free the EFI here directly.
 129  */
 130 STATIC void
 131 xfs_efi_item_release(
 132         struct xfs_log_item     *lip)
 133 {
 134         xfs_efi_release(EFI_ITEM(lip));
 135 }
 136
 137 /*
 138  * Allocate and initialize an efi item with the given number of extents.
 139  */
 140 STATIC struct xfs_efi_log_item *
 141 xfs_efi_init(
 142         struct xfs_mount        *mp,
 143         uint                    nextents)
 144
 145 {
 146         struct xfs_efi_log_item *efip;
 147
 148         ASSERT(nextents > 0);
 149         if (nextents > XFS_EFI_MAX_FAST_EXTENTS) {
 150                 efip = kzalloc(xfs_efi_log_item_sizeof(nextents),
 151                                 GFP_KERNEL | __GFP_NOFAIL);
 152         } else {
 153                 efip = kmem_cache_zalloc(xfs_efi_cache,
 154                                          GFP_KERNEL | __GFP_NOFAIL);
 155         }
 156
 157         xfs_log_item_init(mp, &efip->efi_item, XFS_LI_EFI, &xfs_efi_item_ops);
 158         efip->efi_format.efi_nextents = nextents;
 159         efip->efi_format.efi_id = (uintptr_t)(void *)efip;
 160         atomic_set(&efip->efi_next_extent, 0);
 161         atomic_set(&efip->efi_refcount, 2);
 162
 163         return efip;
 164 }
 165
 166 /*
 167  * Copy an EFI format buffer from the given buf, and into the destination
 168  * EFI format structure.
 169  * The given buffer can be in 32 bit or 64 bit form (which has different padding),
 170  * one of which will be the native format for this kernel.
 171  * It will handle the conversion of formats if necessary.
 172  */
 173 STATIC int
 174 xfs_efi_copy_format(xfs_log_iovec_t *buf, xfs_efi_log_format_t *dst_efi_fmt)
 175 {
 176         xfs_efi_log_format_t *src_efi_fmt = buf->i_addr;
 177         uint i;
 178         uint len = xfs_efi_log_format_sizeof(src_efi_fmt->efi_nextents);
 179         uint len32 = xfs_efi_log_format32_sizeof(src_efi_fmt->efi_nextents);
 180         uint len64 = xfs_efi_log_format64_sizeof(src_efi_fmt->efi_nextents);
 181
 182         if (buf->i_len == len) {
 183                 memcpy(dst_efi_fmt, src_efi_fmt,
 184                        offsetof(struct xfs_efi_log_format, efi_extents));
 185                 for (i = 0; i < src_efi_fmt->efi_nextents; i++)
 186                         memcpy(&dst_efi_fmt->efi_extents[i],
 187                                &src_efi_fmt->efi_extents[i],
 188                                sizeof(struct xfs_extent));
 189                 return 0;
 190         } else if (buf->i_len == len32) {
 191                 xfs_efi_log_format_32_t *src_efi_fmt_32 = buf->i_addr;
 192
 193                 dst_efi_fmt->efi_type     = src_efi_fmt_32->efi_type;
 194                 dst_efi_fmt->efi_size     = src_efi_fmt_32->efi_size;
 195                 dst_efi_fmt->efi_nextents = src_efi_fmt_32->efi_nextents;
 196                 dst_efi_fmt->efi_id       = src_efi_fmt_32->efi_id;
 197                 for (i = 0; i < dst_efi_fmt->efi_nextents; i++) {
 198                         dst_efi_fmt->efi_extents[i].ext_start =
 199                                 src_efi_fmt_32->efi_extents[i].ext_start;
 200                         dst_efi_fmt->efi_extents[i].ext_len =
 201                                 src_efi_fmt_32->efi_extents[i].ext_len;
 202                 }
 203                 return 0;
 204         } else if (buf->i_len == len64) {
 205                 xfs_efi_log_format_64_t *src_efi_fmt_64 = buf->i_addr;
 206
 207                 dst_efi_fmt->efi_type     = src_efi_fmt_64->efi_type;
 208                 dst_efi_fmt->efi_size     = src_efi_fmt_64->efi_size;
 209                 dst_efi_fmt->efi_nextents = src_efi_fmt_64->efi_nextents;
 210                 dst_efi_fmt->efi_id       = src_efi_fmt_64->efi_id;
 211                 for (i = 0; i < dst_efi_fmt->efi_nextents; i++) {
 212                         dst_efi_fmt->efi_extents[i].ext_start =
 213                                 src_efi_fmt_64->efi_extents[i].ext_start;
 214                         dst_efi_fmt->efi_extents[i].ext_len =
 215                                 src_efi_fmt_64->efi_extents[i].ext_len;
 216                 }
 217                 return 0;
 218         }
 219         XFS_CORRUPTION_ERROR(__func__, XFS_ERRLEVEL_LOW, NULL, buf->i_addr,
 220                         buf->i_len);
 221         return -EFSCORRUPTED;
 222 }
 223
 224 static inline struct xfs_efd_log_item *EFD_ITEM(struct xfs_log_item *lip)
 225 {
 226         return container_of(lip, struct xfs_efd_log_item, efd_item);
 227 }
 228
 229 STATIC void
 230 xfs_efd_item_free(struct xfs_efd_log_item *efdp)
 231 {
 232         kmem_free(efdp->efd_item.li_lv_shadow);
 233         if (efdp->efd_format.efd_nextents > XFS_EFD_MAX_FAST_EXTENTS)
 234                 kmem_free(efdp);
 235         else
 236                 kmem_cache_free(xfs_efd_cache, efdp);
 237 }
 238
 239 STATIC void
 240 xfs_efd_item_size(
 241         struct xfs_log_item     *lip,
 242         int                     *nvecs,
 243         int                     *nbytes)
 244 {
 245         struct xfs_efd_log_item *efdp = EFD_ITEM(lip);
 246
 247         *nvecs += 1;
 248         *nbytes += xfs_efd_log_format_sizeof(efdp->efd_format.efd_nextents);
 249 }
 250
 251 /*
 252  * This is called to fill in the vector of log iovecs for the
 253  * given efd log item. We use only 1 iovec, and we point that
 254  * at the efd_log_format structure embedded in the efd item.
 255  * It is at this point that we assert that all of the extent
 256  * slots in the efd item have been filled.
 257  */
 258 STATIC void
 259 xfs_efd_item_format(
 260         struct xfs_log_item     *lip,
 261         struct xfs_log_vec      *lv)
 262 {
 263         struct xfs_efd_log_item *efdp = EFD_ITEM(lip);
 264         struct xfs_log_iovec    *vecp = NULL;
 265
 266         ASSERT(efdp->efd_next_extent == efdp->efd_format.efd_nextents);
 267
 268         efdp->efd_format.efd_type = XFS_LI_EFD;
 269         efdp->efd_format.efd_size = 1;
 270
 271         xlog_copy_iovec(lv, &vecp, XLOG_REG_TYPE_EFD_FORMAT,
 272                         &efdp->efd_format,
 273                         xfs_efd_log_format_sizeof(efdp->efd_format.efd_nextents));
 274 }
 275
 276 /*
 277  * The EFD is either committed or aborted if the transaction is cancelled. If
 278  * the transaction is cancelled, drop our reference to the EFI and free the EFD.
 279  */
 280 STATIC void
 281 xfs_efd_item_release(
 282         struct xfs_log_item     *lip)
 283 {
 284         struct xfs_efd_log_item *efdp = EFD_ITEM(lip);
 285
 286         xfs_efi_release(efdp->efd_efip);
 287         xfs_efd_item_free(efdp);
 288 }
 289
 290 static struct xfs_log_item *
 291 xfs_efd_item_intent(
 292         struct xfs_log_item     *lip)
 293 {
 294         return &EFD_ITEM(lip)->efd_efip->efi_item;
 295 }
 296
 297 static const struct xfs_item_ops xfs_efd_item_ops = {
 298         .flags          = XFS_ITEM_RELEASE_WHEN_COMMITTED |
 299                           XFS_ITEM_INTENT_DONE,
 300         .iop_size       = xfs_efd_item_size,
 301         .iop_format     = xfs_efd_item_format,
 302         .iop_release    = xfs_efd_item_release,
 303         .iop_intent     = xfs_efd_item_intent,
 304 };
 305
 306 /*
 307  * Fill the EFD with all extents from the EFI when we need to roll the
 308  * transaction and continue with a new EFI.
 309  *
 310  * This simply copies all the extents in the EFI to the EFD rather than make
 311  * assumptions about which extents in the EFI have already been processed. We
 312  * currently keep the xefi list in the same order as the EFI extent list, but
 313  * that may not always be the case. Copying everything avoids leaving a landmine
 314  * were we fail to cancel all the extents in an EFI if the xefi list is
 315  * processed in a different order to the extents in the EFI.
 316  */
 317 static void
 318 xfs_efd_from_efi(
 319         struct xfs_efd_log_item *efdp)
 320 {
 321         struct xfs_efi_log_item *efip = efdp->efd_efip;
 322         uint                    i;
 323
 324         ASSERT(efip->efi_format.efi_nextents > 0);
 325         ASSERT(efdp->efd_next_extent < efip->efi_format.efi_nextents);
 326
 327         for (i = 0; i < efip->efi_format.efi_nextents; i++) {
 328                efdp->efd_format.efd_extents[i] =
 329                        efip->efi_format.efi_extents[i];
 330         }
 331         efdp->efd_next_extent = efip->efi_format.efi_nextents;
 332 }
 333
 334 /* Sort bmap items by AG. */
 335 static int
 336 xfs_extent_free_diff_items(
 337         void                            *priv,
 338         const struct list_head          *a,
 339         const struct list_head          *b)
 340 {
 341         struct xfs_extent_free_item     *ra;
 342         struct xfs_extent_free_item     *rb;
 343
 344         ra = container_of(a, struct xfs_extent_free_item, xefi_list);
 345         rb = container_of(b, struct xfs_extent_free_item, xefi_list);
 346
 347         return ra->xefi_pag->pag_agno - rb->xefi_pag->pag_agno;
 348 }
 349
 350 /* Log a free extent to the intent item. */
 351 STATIC void
 352 xfs_extent_free_log_item(
 353         struct xfs_trans                *tp,
 354         struct xfs_efi_log_item         *efip,
 355         struct xfs_extent_free_item     *xefi)
 356 {
 357         uint                            next_extent;
 358         struct xfs_extent               *extp;
 359
 360         /*
 361          * atomic_inc_return gives us the value after the increment;
 362          * we want to use it as an array index so we need to subtract 1 from
 363          * it.
 364          */
 365         next_extent = atomic_inc_return(&efip->efi_next_extent) - 1;
 366         ASSERT(next_extent < efip->efi_format.efi_nextents);
 367         extp = &efip->efi_format.efi_extents[next_extent];
 368         extp->ext_start = xefi->xefi_startblock;
 369         extp->ext_len = xefi->xefi_blockcount;
 370 }
 371
 372 static struct xfs_log_item *
 373 xfs_extent_free_create_intent(
 374         struct xfs_trans                *tp,
 375         struct list_head                *items,
 376         unsigned int                    count,
 377         bool                            sort)
 378 {
 379         struct xfs_mount                *mp = tp->t_mountp;
 380         struct xfs_efi_log_item         *efip = xfs_efi_init(mp, count);
 381         struct xfs_extent_free_item     *xefi;
 382
 383         ASSERT(count > 0);
 384
 385         if (sort)
 386                 list_sort(mp, items, xfs_extent_free_diff_items);
 387         list_for_each_entry(xefi, items, xefi_list)
 388                 xfs_extent_free_log_item(tp, efip, xefi);
 389         return &efip->efi_item;
 390 }
 391
 392 /* Get an EFD so we can process all the free extents. */
 393 static struct xfs_log_item *
 394 xfs_extent_free_create_done(
 395         struct xfs_trans                *tp,
 396         struct xfs_log_item             *intent,
 397         unsigned int                    count)
 398 {
 399         struct xfs_efi_log_item         *efip = EFI_ITEM(intent);
 400         struct xfs_efd_log_item         *efdp;
 401
 402         ASSERT(count > 0);
 403
 404         if (count > XFS_EFD_MAX_FAST_EXTENTS) {
 405                 efdp = kzalloc(xfs_efd_log_item_sizeof(count),
 406                                 GFP_KERNEL | __GFP_NOFAIL);
 407         } else {
 408                 efdp = kmem_cache_zalloc(xfs_efd_cache,
 409                                         GFP_KERNEL | __GFP_NOFAIL);
 410         }
 411
 412         xfs_log_item_init(tp->t_mountp, &efdp->efd_item, XFS_LI_EFD,
 413                           &xfs_efd_item_ops);
 414         efdp->efd_efip = efip;
 415         efdp->efd_format.efd_nextents = count;
 416         efdp->efd_format.efd_efi_id = efip->efi_format.efi_id;
 417
 418         return &efdp->efd_item;
 419 }
 420
 421 /* Take a passive ref to the AG containing the space we're freeing. */
 422 void
 423 xfs_extent_free_get_group(
 424         struct xfs_mount                *mp,
 425         struct xfs_extent_free_item     *xefi)
 426 {
 427         xfs_agnumber_t                  agno;
 428
 429         agno = XFS_FSB_TO_AGNO(mp, xefi->xefi_startblock);
 430         xefi->xefi_pag = xfs_perag_intent_get(mp, agno);
 431 }
 432
 433 /* Release a passive AG ref after some freeing work. */
 434 static inline void
 435 xfs_extent_free_put_group(
 436         struct xfs_extent_free_item     *xefi)
 437 {
 438         xfs_perag_intent_put(xefi->xefi_pag);
 439 }
 440
 441 /* Process a free extent. */
 442 STATIC int
 443 xfs_extent_free_finish_item(
 444         struct xfs_trans                *tp,
 445         struct xfs_log_item             *done,
 446         struct list_head                *item,
 447         struct xfs_btree_cur            **state)
 448 {
 449         struct xfs_owner_info           oinfo = { };
 450         struct xfs_extent_free_item     *xefi;
 451         struct xfs_efd_log_item         *efdp = EFD_ITEM(done);
 452         struct xfs_mount                *mp = tp->t_mountp;
 453         struct xfs_extent               *extp;
 454         uint                            next_extent;
 455         xfs_agblock_t                   agbno;
 456         int                             error = 0;
 457
 458         xefi = container_of(item, struct xfs_extent_free_item, xefi_list);
 459         agbno = XFS_FSB_TO_AGBNO(mp, xefi->xefi_startblock);
 460
 461         oinfo.oi_owner = xefi->xefi_owner;
 462         if (xefi->xefi_flags & XFS_EFI_ATTR_FORK)
 463                 oinfo.oi_flags |= XFS_OWNER_INFO_ATTR_FORK;
 464         if (xefi->xefi_flags & XFS_EFI_BMBT_BLOCK)
 465                 oinfo.oi_flags |= XFS_OWNER_INFO_BMBT_BLOCK;
 466
 467         trace_xfs_bmap_free_deferred(tp->t_mountp, xefi->xefi_pag->pag_agno, 0,
 468                         agbno, xefi->xefi_blockcount);
 469
 470         /*
 471          * If we need a new transaction to make progress, the caller will log a
 472          * new EFI with the current contents. It will also log an EFD to cancel
 473          * the existing EFI, and so we need to copy all the unprocessed extents
 474          * in this EFI to the EFD so this works correctly.
 475          */
 476         if (!(xefi->xefi_flags & XFS_EFI_CANCELLED))
 477                 error = __xfs_free_extent(tp, xefi->xefi_pag, agbno,
 478                                 xefi->xefi_blockcount, &oinfo, xefi->xefi_agresv,
 479                                 xefi->xefi_flags & XFS_EFI_SKIP_DISCARD);
 480         if (error == -EAGAIN) {
 481                 xfs_efd_from_efi(efdp);
 482                 return error;
 483         }
 484
 485         /* Add the work we finished to the EFD, even though nobody uses that */
 486         next_extent = efdp->efd_next_extent;
 487         ASSERT(next_extent < efdp->efd_format.efd_nextents);
 488         extp = &(efdp->efd_format.efd_extents[next_extent]);
 489         extp->ext_start = xefi->xefi_startblock;
 490         extp->ext_len = xefi->xefi_blockcount;
 491         efdp->efd_next_extent++;
 492
 493         xfs_extent_free_put_group(xefi);
 494         kmem_cache_free(xfs_extfree_item_cache, xefi);
 495         return error;
 496 }
 497
 498 /* Abort all pending EFIs. */
 499 STATIC void
 500 xfs_extent_free_abort_intent(
 501         struct xfs_log_item             *intent)
 502 {
 503         xfs_efi_release(EFI_ITEM(intent));
 504 }
 505
 506 /* Cancel a free extent. */
 507 STATIC void
 508 xfs_extent_free_cancel_item(
 509         struct list_head                *item)
 510 {
 511         struct xfs_extent_free_item     *xefi;
 512
 513         xefi = container_of(item, struct xfs_extent_free_item, xefi_list);
 514
 515         xfs_extent_free_put_group(xefi);
 516         kmem_cache_free(xfs_extfree_item_cache, xefi);
 517 }
 518
 519 /*
 520  * AGFL blocks are accounted differently in the reserve pools and are not
 521  * inserted into the busy extent list.
 522  */
 523 STATIC int
 524 xfs_agfl_free_finish_item(
 525         struct xfs_trans                *tp,
 526         struct xfs_log_item             *done,
 527         struct list_head                *item,
 528         struct xfs_btree_cur            **state)
 529 {
 530         struct xfs_owner_info           oinfo = { };
 531         struct xfs_mount                *mp = tp->t_mountp;
 532         struct xfs_efd_log_item         *efdp = EFD_ITEM(done);
 533         struct xfs_extent_free_item     *xefi;
 534         struct xfs_extent               *extp;
 535         struct xfs_buf                  *agbp;
 536         int                             error;
 537         xfs_agblock_t                   agbno;
 538         uint                            next_extent;
 539
 540         xefi = container_of(item, struct xfs_extent_free_item, xefi_list);
 541         ASSERT(xefi->xefi_blockcount == 1);
 542         agbno = XFS_FSB_TO_AGBNO(mp, xefi->xefi_startblock);
 543         oinfo.oi_owner = xefi->xefi_owner;
 544
 545         trace_xfs_agfl_free_deferred(mp, xefi->xefi_pag->pag_agno, 0, agbno,
 546                         xefi->xefi_blockcount);
 547
 548         error = xfs_alloc_read_agf(xefi->xefi_pag, tp, 0, &agbp);
 549         if (!error)
 550                 error = xfs_free_agfl_block(tp, xefi->xefi_pag->pag_agno,
 551                                 agbno, agbp, &oinfo);
 552
 553         next_extent = efdp->efd_next_extent;
 554         ASSERT(next_extent < efdp->efd_format.efd_nextents);
 555         extp = &(efdp->efd_format.efd_extents[next_extent]);
 556         extp->ext_start = xefi->xefi_startblock;
 557         extp->ext_len = xefi->xefi_blockcount;
 558         efdp->efd_next_extent++;
 559
 560         xfs_extent_free_put_group(xefi);
 561         kmem_cache_free(xfs_extfree_item_cache, xefi);
 562         return error;
 563 }
 564
 565 /* Is this recovered EFI ok? */
 566 static inline bool
 567 xfs_efi_validate_ext(
 568         struct xfs_mount                *mp,
 569         struct xfs_extent               *extp)
 570 {
 571         return xfs_verify_fsbext(mp, extp->ext_start, extp->ext_len);
 572 }
 573
 574 static inline void
 575 xfs_efi_recover_work(
 576         struct xfs_mount                *mp,
 577         struct xfs_defer_pending        *dfp,
 578         struct xfs_extent               *extp)
 579 {
 580         struct xfs_extent_free_item     *xefi;
 581
 582         xefi = kmem_cache_zalloc(xfs_extfree_item_cache,
 583                                GFP_KERNEL | __GFP_NOFAIL);
 584         xefi->xefi_startblock = extp->ext_start;
 585         xefi->xefi_blockcount = extp->ext_len;
 586         xefi->xefi_agresv = XFS_AG_RESV_NONE;
 587         xefi->xefi_owner = XFS_RMAP_OWN_UNKNOWN;
 588         xfs_extent_free_get_group(mp, xefi);
 589
 590         xfs_defer_add_item(dfp, &xefi->xefi_list);
 591 }
 592
 593 /*
 594  * Process an extent free intent item that was recovered from
 595  * the log.  We need to free the extents that it describes.
 596  */
 597 STATIC int
 598 xfs_extent_free_recover_work(
 599         struct xfs_defer_pending        *dfp,
 600         struct list_head                *capture_list)
 601 {
 602         struct xfs_trans_res            resv;
 603         struct xfs_log_item             *lip = dfp->dfp_intent;
 604         struct xfs_efi_log_item         *efip = EFI_ITEM(lip);
 605         struct xfs_mount                *mp = lip->li_log->l_mp;
 606         struct xfs_trans                *tp;
 607         int                             i;
 608         int                             error = 0;
 609
 610         /*
 611          * First check the validity of the extents described by the
 612          * EFI.  If any are bad, then assume that all are bad and
 613          * just toss the EFI.
 614          */
 615         for (i = 0; i < efip->efi_format.efi_nextents; i++) {
 616                 if (!xfs_efi_validate_ext(mp,
 617                                         &efip->efi_format.efi_extents[i])) {
 618                         XFS_CORRUPTION_ERROR(__func__, XFS_ERRLEVEL_LOW, mp,
 619                                         &efip->efi_format,
 620                                         sizeof(efip->efi_format));
 621                         return -EFSCORRUPTED;
 622                 }
 623
 624                 xfs_efi_recover_work(mp, dfp, &efip->efi_format.efi_extents[i]);
 625         }
 626
 627         resv = xlog_recover_resv(&M_RES(mp)->tr_itruncate);
 628         error = xfs_trans_alloc(mp, &resv, 0, 0, 0, &tp);
 629         if (error)
 630                 return error;
 631
 632         error = xlog_recover_finish_intent(tp, dfp);
 633         if (error == -EFSCORRUPTED)
 634                 XFS_CORRUPTION_ERROR(__func__, XFS_ERRLEVEL_LOW, mp,
 635                                 &efip->efi_format,
 636                                 sizeof(efip->efi_format));
 637         if (error)
 638                 goto abort_error;
 639
 640         return xfs_defer_ops_capture_and_commit(tp, capture_list);
 641
 642 abort_error:
 643         xfs_trans_cancel(tp);
 644         return error;
 645 }
 646
 647 /* Relog an intent item to push the log tail forward. */
 648 static struct xfs_log_item *
 649 xfs_extent_free_relog_intent(
 650         struct xfs_trans                *tp,
 651         struct xfs_log_item             *intent,
 652         struct xfs_log_item             *done_item)
 653 {
 654         struct xfs_efd_log_item         *efdp = EFD_ITEM(done_item);
 655         struct xfs_efi_log_item         *efip;
 656         struct xfs_extent               *extp;
 657         unsigned int                    count;
 658
 659         count = EFI_ITEM(intent)->efi_format.efi_nextents;
 660         extp = EFI_ITEM(intent)->efi_format.efi_extents;
 661
 662         efdp->efd_next_extent = count;
 663         memcpy(efdp->efd_format.efd_extents, extp, count * sizeof(*extp));
 664
 665         efip = xfs_efi_init(tp->t_mountp, count);
 666         memcpy(efip->efi_format.efi_extents, extp, count * sizeof(*extp));
 667         atomic_set(&efip->efi_next_extent, count);
 668
 669         return &efip->efi_item;
 670 }
 671
 672 const struct xfs_defer_op_type xfs_extent_free_defer_type = {
 673         .name           = "extent_free",
 674         .max_items      = XFS_EFI_MAX_FAST_EXTENTS,
 675         .create_intent  = xfs_extent_free_create_intent,
 676         .abort_intent   = xfs_extent_free_abort_intent,
 677         .create_done    = xfs_extent_free_create_done,
 678         .finish_item    = xfs_extent_free_finish_item,
 679         .cancel_item    = xfs_extent_free_cancel_item,
 680         .recover_work   = xfs_extent_free_recover_work,
 681         .relog_intent   = xfs_extent_free_relog_intent,
 682 };
 683
 684 /* sub-type with special handling for AGFL deferred frees */
 685 const struct xfs_defer_op_type xfs_agfl_free_defer_type = {
 686         .name           = "agfl_free",
 687         .max_items      = XFS_EFI_MAX_FAST_EXTENTS,
 688         .create_intent  = xfs_extent_free_create_intent,
 689         .abort_intent   = xfs_extent_free_abort_intent,
 690         .create_done    = xfs_extent_free_create_done,
 691         .finish_item    = xfs_agfl_free_finish_item,
 692         .cancel_item    = xfs_extent_free_cancel_item,
 693         .recover_work   = xfs_extent_free_recover_work,
 694         .relog_intent   = xfs_extent_free_relog_intent,
 695 };
 696
 697 STATIC bool
 698 xfs_efi_item_match(
 699         struct xfs_log_item     *lip,
 700         uint64_t                intent_id)
 701 {
 702         return EFI_ITEM(lip)->efi_format.efi_id == intent_id;
 703 }
 704
 705 static const struct xfs_item_ops xfs_efi_item_ops = {
 706         .flags          = XFS_ITEM_INTENT,
 707         .iop_size       = xfs_efi_item_size,
 708         .iop_format     = xfs_efi_item_format,
 709         .iop_unpin      = xfs_efi_item_unpin,
 710         .iop_release    = xfs_efi_item_release,
 711         .iop_match      = xfs_efi_item_match,
 712 };
 713
 714 /*
 715  * This routine is called to create an in-core extent free intent
 716  * item from the efi format structure which was logged on disk.
 717  * It allocates an in-core efi, copies the extents from the format
 718  * structure into it, and adds the efi to the AIL with the given
 719  * LSN.
 720  */
 721 STATIC int
 722 xlog_recover_efi_commit_pass2(
 723         struct xlog                     *log,
 724         struct list_head                *buffer_list,
 725         struct xlog_recover_item        *item,
 726         xfs_lsn_t                       lsn)
 727 {
 728         struct xfs_mount                *mp = log->l_mp;
 729         struct xfs_efi_log_item         *efip;
 730         struct xfs_efi_log_format       *efi_formatp;
 731         int                             error;
 732
 733         efi_formatp = item->ri_buf[0].i_addr;
 734
 735         if (item->ri_buf[0].i_len < xfs_efi_log_format_sizeof(0)) {
 736                 XFS_CORRUPTION_ERROR(__func__, XFS_ERRLEVEL_LOW, mp,
 737                                 item->ri_buf[0].i_addr, item->ri_buf[0].i_len);
 738                 return -EFSCORRUPTED;
 739         }
 740
 741         efip = xfs_efi_init(mp, efi_formatp->efi_nextents);
 742         error = xfs_efi_copy_format(&item->ri_buf[0], &efip->efi_format);
 743         if (error) {
 744                 xfs_efi_item_free(efip);
 745                 return error;
 746         }
 747         atomic_set(&efip->efi_next_extent, efi_formatp->efi_nextents);
 748
 749         xlog_recover_intent_item(log, &efip->efi_item, lsn,
 750                         &xfs_extent_free_defer_type);
 751         return 0;
 752 }
 753
 754 const struct xlog_recover_item_ops xlog_efi_item_ops = {
 755         .item_type              = XFS_LI_EFI,
 756         .commit_pass2           = xlog_recover_efi_commit_pass2,
 757 };
 758
 759 /*
 760  * This routine is called when an EFD format structure is found in a committed
 761  * transaction in the log. Its purpose is to cancel the corresponding EFI if it
 762  * was still in the log. To do this it searches the AIL for the EFI with an id
 763  * equal to that in the EFD format structure. If we find it we drop the EFD
 764  * reference, which removes the EFI from the AIL and frees it.
 765  */
 766 STATIC int
 767 xlog_recover_efd_commit_pass2(
 768         struct xlog                     *log,
 769         struct list_head                *buffer_list,
 770         struct xlog_recover_item        *item,
 771         xfs_lsn_t                       lsn)
 772 {
 773         struct xfs_efd_log_format       *efd_formatp;
 774         int                             buflen = item->ri_buf[0].i_len;
 775
 776         efd_formatp = item->ri_buf[0].i_addr;
 777
 778         if (buflen < sizeof(struct xfs_efd_log_format)) {
 779                 XFS_CORRUPTION_ERROR(__func__, XFS_ERRLEVEL_LOW, log->l_mp,
 780                                 efd_formatp, buflen);
 781                 return -EFSCORRUPTED;
 782         }
 783
 784         if (item->ri_buf[0].i_len != xfs_efd_log_format32_sizeof(
 785                                                 efd_formatp->efd_nextents) &&
 786             item->ri_buf[0].i_len != xfs_efd_log_format64_sizeof(
 787                                                 efd_formatp->efd_nextents)) {
 788                 XFS_CORRUPTION_ERROR(__func__, XFS_ERRLEVEL_LOW, log->l_mp,
 789                                 efd_formatp, buflen);
 790                 return -EFSCORRUPTED;
 791         }
 792
 793         xlog_recover_release_intent(log, XFS_LI_EFI, efd_formatp->efd_efi_id);
 794         return 0;
 795 }
 796
 797 const struct xlog_recover_item_ops xlog_efd_item_ops = {
 798         .item_type              = XFS_LI_EFD,
 799         .commit_pass2           = xlog_recover_efd_commit_pass2,
 800 };