GNU Linux-libre 6.9-gnu
[releases.git] / fs / fat / fatent.c
1 // SPDX-License-Identifier: GPL-2.0-only
2 /*
3  * Copyright (C) 2004, OGAWA Hirofumi
4  */
5
6 #include <linux/blkdev.h>
7 #include <linux/sched/signal.h>
8 #include <linux/backing-dev-defs.h>
9 #include "fat.h"
10
11 struct fatent_operations {
12         void (*ent_blocknr)(struct super_block *, int, int *, sector_t *);
13         void (*ent_set_ptr)(struct fat_entry *, int);
14         int (*ent_bread)(struct super_block *, struct fat_entry *,
15                          int, sector_t);
16         int (*ent_get)(struct fat_entry *);
17         void (*ent_put)(struct fat_entry *, int);
18         int (*ent_next)(struct fat_entry *);
19 };
20
21 static DEFINE_SPINLOCK(fat12_entry_lock);
22
23 static void fat12_ent_blocknr(struct super_block *sb, int entry,
24                               int *offset, sector_t *blocknr)
25 {
26         struct msdos_sb_info *sbi = MSDOS_SB(sb);
27         int bytes = entry + (entry >> 1);
28         WARN_ON(!fat_valid_entry(sbi, entry));
29         *offset = bytes & (sb->s_blocksize - 1);
30         *blocknr = sbi->fat_start + (bytes >> sb->s_blocksize_bits);
31 }
32
33 static void fat_ent_blocknr(struct super_block *sb, int entry,
34                             int *offset, sector_t *blocknr)
35 {
36         struct msdos_sb_info *sbi = MSDOS_SB(sb);
37         int bytes = (entry << sbi->fatent_shift);
38         WARN_ON(!fat_valid_entry(sbi, entry));
39         *offset = bytes & (sb->s_blocksize - 1);
40         *blocknr = sbi->fat_start + (bytes >> sb->s_blocksize_bits);
41 }
42
43 static void fat12_ent_set_ptr(struct fat_entry *fatent, int offset)
44 {
45         struct buffer_head **bhs = fatent->bhs;
46         if (fatent->nr_bhs == 1) {
47                 WARN_ON(offset >= (bhs[0]->b_size - 1));
48                 fatent->u.ent12_p[0] = bhs[0]->b_data + offset;
49                 fatent->u.ent12_p[1] = bhs[0]->b_data + (offset + 1);
50         } else {
51                 WARN_ON(offset != (bhs[0]->b_size - 1));
52                 fatent->u.ent12_p[0] = bhs[0]->b_data + offset;
53                 fatent->u.ent12_p[1] = bhs[1]->b_data;
54         }
55 }
56
57 static void fat16_ent_set_ptr(struct fat_entry *fatent, int offset)
58 {
59         WARN_ON(offset & (2 - 1));
60         fatent->u.ent16_p = (__le16 *)(fatent->bhs[0]->b_data + offset);
61 }
62
63 static void fat32_ent_set_ptr(struct fat_entry *fatent, int offset)
64 {
65         WARN_ON(offset & (4 - 1));
66         fatent->u.ent32_p = (__le32 *)(fatent->bhs[0]->b_data + offset);
67 }
68
69 static int fat12_ent_bread(struct super_block *sb, struct fat_entry *fatent,
70                            int offset, sector_t blocknr)
71 {
72         struct buffer_head **bhs = fatent->bhs;
73
74         WARN_ON(blocknr < MSDOS_SB(sb)->fat_start);
75         fatent->fat_inode = MSDOS_SB(sb)->fat_inode;
76
77         bhs[0] = sb_bread(sb, blocknr);
78         if (!bhs[0])
79                 goto err;
80
81         if ((offset + 1) < sb->s_blocksize)
82                 fatent->nr_bhs = 1;
83         else {
84                 /* This entry is block boundary, it needs the next block */
85                 blocknr++;
86                 bhs[1] = sb_bread(sb, blocknr);
87                 if (!bhs[1])
88                         goto err_brelse;
89                 fatent->nr_bhs = 2;
90         }
91         fat12_ent_set_ptr(fatent, offset);
92         return 0;
93
94 err_brelse:
95         brelse(bhs[0]);
96 err:
97         fat_msg_ratelimit(sb, KERN_ERR, "FAT read failed (blocknr %llu)",
98                           (llu)blocknr);
99         return -EIO;
100 }
101
102 static int fat_ent_bread(struct super_block *sb, struct fat_entry *fatent,
103                          int offset, sector_t blocknr)
104 {
105         const struct fatent_operations *ops = MSDOS_SB(sb)->fatent_ops;
106
107         WARN_ON(blocknr < MSDOS_SB(sb)->fat_start);
108         fatent->fat_inode = MSDOS_SB(sb)->fat_inode;
109         fatent->bhs[0] = sb_bread(sb, blocknr);
110         if (!fatent->bhs[0]) {
111                 fat_msg_ratelimit(sb, KERN_ERR, "FAT read failed (blocknr %llu)",
112                                   (llu)blocknr);
113                 return -EIO;
114         }
115         fatent->nr_bhs = 1;
116         ops->ent_set_ptr(fatent, offset);
117         return 0;
118 }
119
120 static int fat12_ent_get(struct fat_entry *fatent)
121 {
122         u8 **ent12_p = fatent->u.ent12_p;
123         int next;
124
125         spin_lock(&fat12_entry_lock);
126         if (fatent->entry & 1)
127                 next = (*ent12_p[0] >> 4) | (*ent12_p[1] << 4);
128         else
129                 next = (*ent12_p[1] << 8) | *ent12_p[0];
130         spin_unlock(&fat12_entry_lock);
131
132         next &= 0x0fff;
133         if (next >= BAD_FAT12)
134                 next = FAT_ENT_EOF;
135         return next;
136 }
137
138 static int fat16_ent_get(struct fat_entry *fatent)
139 {
140         int next = le16_to_cpu(*fatent->u.ent16_p);
141         WARN_ON((unsigned long)fatent->u.ent16_p & (2 - 1));
142         if (next >= BAD_FAT16)
143                 next = FAT_ENT_EOF;
144         return next;
145 }
146
147 static int fat32_ent_get(struct fat_entry *fatent)
148 {
149         int next = le32_to_cpu(*fatent->u.ent32_p) & 0x0fffffff;
150         WARN_ON((unsigned long)fatent->u.ent32_p & (4 - 1));
151         if (next >= BAD_FAT32)
152                 next = FAT_ENT_EOF;
153         return next;
154 }
155
156 static void fat12_ent_put(struct fat_entry *fatent, int new)
157 {
158         u8 **ent12_p = fatent->u.ent12_p;
159
160         if (new == FAT_ENT_EOF)
161                 new = EOF_FAT12;
162
163         spin_lock(&fat12_entry_lock);
164         if (fatent->entry & 1) {
165                 *ent12_p[0] = (new << 4) | (*ent12_p[0] & 0x0f);
166                 *ent12_p[1] = new >> 4;
167         } else {
168                 *ent12_p[0] = new & 0xff;
169                 *ent12_p[1] = (*ent12_p[1] & 0xf0) | (new >> 8);
170         }
171         spin_unlock(&fat12_entry_lock);
172
173         mark_buffer_dirty_inode(fatent->bhs[0], fatent->fat_inode);
174         if (fatent->nr_bhs == 2)
175                 mark_buffer_dirty_inode(fatent->bhs[1], fatent->fat_inode);
176 }
177
178 static void fat16_ent_put(struct fat_entry *fatent, int new)
179 {
180         if (new == FAT_ENT_EOF)
181                 new = EOF_FAT16;
182
183         *fatent->u.ent16_p = cpu_to_le16(new);
184         mark_buffer_dirty_inode(fatent->bhs[0], fatent->fat_inode);
185 }
186
187 static void fat32_ent_put(struct fat_entry *fatent, int new)
188 {
189         WARN_ON(new & 0xf0000000);
190         new |= le32_to_cpu(*fatent->u.ent32_p) & ~0x0fffffff;
191         *fatent->u.ent32_p = cpu_to_le32(new);
192         mark_buffer_dirty_inode(fatent->bhs[0], fatent->fat_inode);
193 }
194
195 static int fat12_ent_next(struct fat_entry *fatent)
196 {
197         u8 **ent12_p = fatent->u.ent12_p;
198         struct buffer_head **bhs = fatent->bhs;
199         u8 *nextp = ent12_p[1] + 1 + (fatent->entry & 1);
200
201         fatent->entry++;
202         if (fatent->nr_bhs == 1) {
203                 WARN_ON(ent12_p[0] > (u8 *)(bhs[0]->b_data +
204                                                         (bhs[0]->b_size - 2)));
205                 WARN_ON(ent12_p[1] > (u8 *)(bhs[0]->b_data +
206                                                         (bhs[0]->b_size - 1)));
207                 if (nextp < (u8 *)(bhs[0]->b_data + (bhs[0]->b_size - 1))) {
208                         ent12_p[0] = nextp - 1;
209                         ent12_p[1] = nextp;
210                         return 1;
211                 }
212         } else {
213                 WARN_ON(ent12_p[0] != (u8 *)(bhs[0]->b_data +
214                                                         (bhs[0]->b_size - 1)));
215                 WARN_ON(ent12_p[1] != (u8 *)bhs[1]->b_data);
216                 ent12_p[0] = nextp - 1;
217                 ent12_p[1] = nextp;
218                 brelse(bhs[0]);
219                 bhs[0] = bhs[1];
220                 fatent->nr_bhs = 1;
221                 return 1;
222         }
223         ent12_p[0] = NULL;
224         ent12_p[1] = NULL;
225         return 0;
226 }
227
228 static int fat16_ent_next(struct fat_entry *fatent)
229 {
230         const struct buffer_head *bh = fatent->bhs[0];
231         fatent->entry++;
232         if (fatent->u.ent16_p < (__le16 *)(bh->b_data + (bh->b_size - 2))) {
233                 fatent->u.ent16_p++;
234                 return 1;
235         }
236         fatent->u.ent16_p = NULL;
237         return 0;
238 }
239
240 static int fat32_ent_next(struct fat_entry *fatent)
241 {
242         const struct buffer_head *bh = fatent->bhs[0];
243         fatent->entry++;
244         if (fatent->u.ent32_p < (__le32 *)(bh->b_data + (bh->b_size - 4))) {
245                 fatent->u.ent32_p++;
246                 return 1;
247         }
248         fatent->u.ent32_p = NULL;
249         return 0;
250 }
251
252 static const struct fatent_operations fat12_ops = {
253         .ent_blocknr    = fat12_ent_blocknr,
254         .ent_set_ptr    = fat12_ent_set_ptr,
255         .ent_bread      = fat12_ent_bread,
256         .ent_get        = fat12_ent_get,
257         .ent_put        = fat12_ent_put,
258         .ent_next       = fat12_ent_next,
259 };
260
261 static const struct fatent_operations fat16_ops = {
262         .ent_blocknr    = fat_ent_blocknr,
263         .ent_set_ptr    = fat16_ent_set_ptr,
264         .ent_bread      = fat_ent_bread,
265         .ent_get        = fat16_ent_get,
266         .ent_put        = fat16_ent_put,
267         .ent_next       = fat16_ent_next,
268 };
269
270 static const struct fatent_operations fat32_ops = {
271         .ent_blocknr    = fat_ent_blocknr,
272         .ent_set_ptr    = fat32_ent_set_ptr,
273         .ent_bread      = fat_ent_bread,
274         .ent_get        = fat32_ent_get,
275         .ent_put        = fat32_ent_put,
276         .ent_next       = fat32_ent_next,
277 };
278
279 static inline void lock_fat(struct msdos_sb_info *sbi)
280 {
281         mutex_lock(&sbi->fat_lock);
282 }
283
284 static inline void unlock_fat(struct msdos_sb_info *sbi)
285 {
286         mutex_unlock(&sbi->fat_lock);
287 }
288
289 void fat_ent_access_init(struct super_block *sb)
290 {
291         struct msdos_sb_info *sbi = MSDOS_SB(sb);
292
293         mutex_init(&sbi->fat_lock);
294
295         if (is_fat32(sbi)) {
296                 sbi->fatent_shift = 2;
297                 sbi->fatent_ops = &fat32_ops;
298         } else if (is_fat16(sbi)) {
299                 sbi->fatent_shift = 1;
300                 sbi->fatent_ops = &fat16_ops;
301         } else if (is_fat12(sbi)) {
302                 sbi->fatent_shift = -1;
303                 sbi->fatent_ops = &fat12_ops;
304         } else {
305                 fat_fs_error(sb, "invalid FAT variant, %u bits", sbi->fat_bits);
306         }
307 }
308
309 static void mark_fsinfo_dirty(struct super_block *sb)
310 {
311         struct msdos_sb_info *sbi = MSDOS_SB(sb);
312
313         if (sb_rdonly(sb) || !is_fat32(sbi))
314                 return;
315
316         __mark_inode_dirty(sbi->fsinfo_inode, I_DIRTY_SYNC);
317 }
318
319 static inline int fat_ent_update_ptr(struct super_block *sb,
320                                      struct fat_entry *fatent,
321                                      int offset, sector_t blocknr)
322 {
323         struct msdos_sb_info *sbi = MSDOS_SB(sb);
324         const struct fatent_operations *ops = sbi->fatent_ops;
325         struct buffer_head **bhs = fatent->bhs;
326
327         /* Is this fatent's blocks including this entry? */
328         if (!fatent->nr_bhs || bhs[0]->b_blocknr != blocknr)
329                 return 0;
330         if (is_fat12(sbi)) {
331                 if ((offset + 1) < sb->s_blocksize) {
332                         /* This entry is on bhs[0]. */
333                         if (fatent->nr_bhs == 2) {
334                                 brelse(bhs[1]);
335                                 fatent->nr_bhs = 1;
336                         }
337                 } else {
338                         /* This entry needs the next block. */
339                         if (fatent->nr_bhs != 2)
340                                 return 0;
341                         if (bhs[1]->b_blocknr != (blocknr + 1))
342                                 return 0;
343                 }
344         }
345         ops->ent_set_ptr(fatent, offset);
346         return 1;
347 }
348
349 int fat_ent_read(struct inode *inode, struct fat_entry *fatent, int entry)
350 {
351         struct super_block *sb = inode->i_sb;
352         struct msdos_sb_info *sbi = MSDOS_SB(inode->i_sb);
353         const struct fatent_operations *ops = sbi->fatent_ops;
354         int err, offset;
355         sector_t blocknr;
356
357         if (!fat_valid_entry(sbi, entry)) {
358                 fatent_brelse(fatent);
359                 fat_fs_error(sb, "invalid access to FAT (entry 0x%08x)", entry);
360                 return -EIO;
361         }
362
363         fatent_set_entry(fatent, entry);
364         ops->ent_blocknr(sb, entry, &offset, &blocknr);
365
366         if (!fat_ent_update_ptr(sb, fatent, offset, blocknr)) {
367                 fatent_brelse(fatent);
368                 err = ops->ent_bread(sb, fatent, offset, blocknr);
369                 if (err)
370                         return err;
371         }
372         return ops->ent_get(fatent);
373 }
374
375 /* FIXME: We can write the blocks as more big chunk. */
376 static int fat_mirror_bhs(struct super_block *sb, struct buffer_head **bhs,
377                           int nr_bhs)
378 {
379         struct msdos_sb_info *sbi = MSDOS_SB(sb);
380         struct buffer_head *c_bh;
381         int err, n, copy;
382
383         err = 0;
384         for (copy = 1; copy < sbi->fats; copy++) {
385                 sector_t backup_fat = sbi->fat_length * copy;
386
387                 for (n = 0; n < nr_bhs; n++) {
388                         c_bh = sb_getblk(sb, backup_fat + bhs[n]->b_blocknr);
389                         if (!c_bh) {
390                                 err = -ENOMEM;
391                                 goto error;
392                         }
393                         /* Avoid race with userspace read via bdev */
394                         lock_buffer(c_bh);
395                         memcpy(c_bh->b_data, bhs[n]->b_data, sb->s_blocksize);
396                         set_buffer_uptodate(c_bh);
397                         unlock_buffer(c_bh);
398                         mark_buffer_dirty_inode(c_bh, sbi->fat_inode);
399                         if (sb->s_flags & SB_SYNCHRONOUS)
400                                 err = sync_dirty_buffer(c_bh);
401                         brelse(c_bh);
402                         if (err)
403                                 goto error;
404                 }
405         }
406 error:
407         return err;
408 }
409
410 int fat_ent_write(struct inode *inode, struct fat_entry *fatent,
411                   int new, int wait)
412 {
413         struct super_block *sb = inode->i_sb;
414         const struct fatent_operations *ops = MSDOS_SB(sb)->fatent_ops;
415         int err;
416
417         ops->ent_put(fatent, new);
418         if (wait) {
419                 err = fat_sync_bhs(fatent->bhs, fatent->nr_bhs);
420                 if (err)
421                         return err;
422         }
423         return fat_mirror_bhs(sb, fatent->bhs, fatent->nr_bhs);
424 }
425
426 static inline int fat_ent_next(struct msdos_sb_info *sbi,
427                                struct fat_entry *fatent)
428 {
429         if (sbi->fatent_ops->ent_next(fatent)) {
430                 if (fatent->entry < sbi->max_cluster)
431                         return 1;
432         }
433         return 0;
434 }
435
436 static inline int fat_ent_read_block(struct super_block *sb,
437                                      struct fat_entry *fatent)
438 {
439         const struct fatent_operations *ops = MSDOS_SB(sb)->fatent_ops;
440         sector_t blocknr;
441         int offset;
442
443         fatent_brelse(fatent);
444         ops->ent_blocknr(sb, fatent->entry, &offset, &blocknr);
445         return ops->ent_bread(sb, fatent, offset, blocknr);
446 }
447
448 static void fat_collect_bhs(struct buffer_head **bhs, int *nr_bhs,
449                             struct fat_entry *fatent)
450 {
451         int n, i;
452
453         for (n = 0; n < fatent->nr_bhs; n++) {
454                 for (i = 0; i < *nr_bhs; i++) {
455                         if (fatent->bhs[n] == bhs[i])
456                                 break;
457                 }
458                 if (i == *nr_bhs) {
459                         get_bh(fatent->bhs[n]);
460                         bhs[i] = fatent->bhs[n];
461                         (*nr_bhs)++;
462                 }
463         }
464 }
465
466 int fat_alloc_clusters(struct inode *inode, int *cluster, int nr_cluster)
467 {
468         struct super_block *sb = inode->i_sb;
469         struct msdos_sb_info *sbi = MSDOS_SB(sb);
470         const struct fatent_operations *ops = sbi->fatent_ops;
471         struct fat_entry fatent, prev_ent;
472         struct buffer_head *bhs[MAX_BUF_PER_PAGE];
473         int i, count, err, nr_bhs, idx_clus;
474
475         BUG_ON(nr_cluster > (MAX_BUF_PER_PAGE / 2));    /* fixed limit */
476
477         lock_fat(sbi);
478         if (sbi->free_clusters != -1 && sbi->free_clus_valid &&
479             sbi->free_clusters < nr_cluster) {
480                 unlock_fat(sbi);
481                 return -ENOSPC;
482         }
483
484         err = nr_bhs = idx_clus = 0;
485         count = FAT_START_ENT;
486         fatent_init(&prev_ent);
487         fatent_init(&fatent);
488         fatent_set_entry(&fatent, sbi->prev_free + 1);
489         while (count < sbi->max_cluster) {
490                 if (fatent.entry >= sbi->max_cluster)
491                         fatent.entry = FAT_START_ENT;
492                 fatent_set_entry(&fatent, fatent.entry);
493                 err = fat_ent_read_block(sb, &fatent);
494                 if (err)
495                         goto out;
496
497                 /* Find the free entries in a block */
498                 do {
499                         if (ops->ent_get(&fatent) == FAT_ENT_FREE) {
500                                 int entry = fatent.entry;
501
502                                 /* make the cluster chain */
503                                 ops->ent_put(&fatent, FAT_ENT_EOF);
504                                 if (prev_ent.nr_bhs)
505                                         ops->ent_put(&prev_ent, entry);
506
507                                 fat_collect_bhs(bhs, &nr_bhs, &fatent);
508
509                                 sbi->prev_free = entry;
510                                 if (sbi->free_clusters != -1)
511                                         sbi->free_clusters--;
512
513                                 cluster[idx_clus] = entry;
514                                 idx_clus++;
515                                 if (idx_clus == nr_cluster)
516                                         goto out;
517
518                                 /*
519                                  * fat_collect_bhs() gets ref-count of bhs,
520                                  * so we can still use the prev_ent.
521                                  */
522                                 prev_ent = fatent;
523                         }
524                         count++;
525                         if (count == sbi->max_cluster)
526                                 break;
527                 } while (fat_ent_next(sbi, &fatent));
528         }
529
530         /* Couldn't allocate the free entries */
531         sbi->free_clusters = 0;
532         sbi->free_clus_valid = 1;
533         err = -ENOSPC;
534
535 out:
536         unlock_fat(sbi);
537         mark_fsinfo_dirty(sb);
538         fatent_brelse(&fatent);
539         if (!err) {
540                 if (inode_needs_sync(inode))
541                         err = fat_sync_bhs(bhs, nr_bhs);
542                 if (!err)
543                         err = fat_mirror_bhs(sb, bhs, nr_bhs);
544         }
545         for (i = 0; i < nr_bhs; i++)
546                 brelse(bhs[i]);
547
548         if (err && idx_clus)
549                 fat_free_clusters(inode, cluster[0]);
550
551         return err;
552 }
553
554 int fat_free_clusters(struct inode *inode, int cluster)
555 {
556         struct super_block *sb = inode->i_sb;
557         struct msdos_sb_info *sbi = MSDOS_SB(sb);
558         const struct fatent_operations *ops = sbi->fatent_ops;
559         struct fat_entry fatent;
560         struct buffer_head *bhs[MAX_BUF_PER_PAGE];
561         int i, err, nr_bhs;
562         int first_cl = cluster, dirty_fsinfo = 0;
563
564         nr_bhs = 0;
565         fatent_init(&fatent);
566         lock_fat(sbi);
567         do {
568                 cluster = fat_ent_read(inode, &fatent, cluster);
569                 if (cluster < 0) {
570                         err = cluster;
571                         goto error;
572                 } else if (cluster == FAT_ENT_FREE) {
573                         fat_fs_error(sb, "%s: deleting FAT entry beyond EOF",
574                                      __func__);
575                         err = -EIO;
576                         goto error;
577                 }
578
579                 if (sbi->options.discard) {
580                         /*
581                          * Issue discard for the sectors we no longer
582                          * care about, batching contiguous clusters
583                          * into one request
584                          */
585                         if (cluster != fatent.entry + 1) {
586                                 int nr_clus = fatent.entry - first_cl + 1;
587
588                                 sb_issue_discard(sb,
589                                         fat_clus_to_blknr(sbi, first_cl),
590                                         nr_clus * sbi->sec_per_clus,
591                                         GFP_NOFS, 0);
592
593                                 first_cl = cluster;
594                         }
595                 }
596
597                 ops->ent_put(&fatent, FAT_ENT_FREE);
598                 if (sbi->free_clusters != -1) {
599                         sbi->free_clusters++;
600                         dirty_fsinfo = 1;
601                 }
602
603                 if (nr_bhs + fatent.nr_bhs > MAX_BUF_PER_PAGE) {
604                         if (sb->s_flags & SB_SYNCHRONOUS) {
605                                 err = fat_sync_bhs(bhs, nr_bhs);
606                                 if (err)
607                                         goto error;
608                         }
609                         err = fat_mirror_bhs(sb, bhs, nr_bhs);
610                         if (err)
611                                 goto error;
612                         for (i = 0; i < nr_bhs; i++)
613                                 brelse(bhs[i]);
614                         nr_bhs = 0;
615                 }
616                 fat_collect_bhs(bhs, &nr_bhs, &fatent);
617         } while (cluster != FAT_ENT_EOF);
618
619         if (sb->s_flags & SB_SYNCHRONOUS) {
620                 err = fat_sync_bhs(bhs, nr_bhs);
621                 if (err)
622                         goto error;
623         }
624         err = fat_mirror_bhs(sb, bhs, nr_bhs);
625 error:
626         fatent_brelse(&fatent);
627         for (i = 0; i < nr_bhs; i++)
628                 brelse(bhs[i]);
629         unlock_fat(sbi);
630         if (dirty_fsinfo)
631                 mark_fsinfo_dirty(sb);
632
633         return err;
634 }
635 EXPORT_SYMBOL_GPL(fat_free_clusters);
636
637 struct fatent_ra {
638         sector_t cur;
639         sector_t limit;
640
641         unsigned int ra_blocks;
642         sector_t ra_advance;
643         sector_t ra_next;
644         sector_t ra_limit;
645 };
646
647 static void fat_ra_init(struct super_block *sb, struct fatent_ra *ra,
648                         struct fat_entry *fatent, int ent_limit)
649 {
650         struct msdos_sb_info *sbi = MSDOS_SB(sb);
651         const struct fatent_operations *ops = sbi->fatent_ops;
652         sector_t blocknr, block_end;
653         int offset;
654         /*
655          * This is the sequential read, so ra_pages * 2 (but try to
656          * align the optimal hardware IO size).
657          * [BTW, 128kb covers the whole sectors for FAT12 and FAT16]
658          */
659         unsigned long ra_pages = sb->s_bdi->ra_pages;
660         unsigned int reada_blocks;
661
662         if (fatent->entry >= ent_limit)
663                 return;
664
665         if (ra_pages > sb->s_bdi->io_pages)
666                 ra_pages = rounddown(ra_pages, sb->s_bdi->io_pages);
667         reada_blocks = ra_pages << (PAGE_SHIFT - sb->s_blocksize_bits + 1);
668
669         /* Initialize the range for sequential read */
670         ops->ent_blocknr(sb, fatent->entry, &offset, &blocknr);
671         ops->ent_blocknr(sb, ent_limit - 1, &offset, &block_end);
672         ra->cur = 0;
673         ra->limit = (block_end + 1) - blocknr;
674
675         /* Advancing the window at half size */
676         ra->ra_blocks = reada_blocks >> 1;
677         ra->ra_advance = ra->cur;
678         ra->ra_next = ra->cur;
679         ra->ra_limit = ra->cur + min_t(sector_t, reada_blocks, ra->limit);
680 }
681
682 /* Assuming to be called before reading a new block (increments ->cur). */
683 static void fat_ent_reada(struct super_block *sb, struct fatent_ra *ra,
684                           struct fat_entry *fatent)
685 {
686         if (ra->ra_next >= ra->ra_limit)
687                 return;
688
689         if (ra->cur >= ra->ra_advance) {
690                 struct msdos_sb_info *sbi = MSDOS_SB(sb);
691                 const struct fatent_operations *ops = sbi->fatent_ops;
692                 struct blk_plug plug;
693                 sector_t blocknr, diff;
694                 int offset;
695
696                 ops->ent_blocknr(sb, fatent->entry, &offset, &blocknr);
697
698                 diff = blocknr - ra->cur;
699                 blk_start_plug(&plug);
700                 /*
701                  * FIXME: we would want to directly use the bio with
702                  * pages to reduce the number of segments.
703                  */
704                 for (; ra->ra_next < ra->ra_limit; ra->ra_next++)
705                         sb_breadahead(sb, ra->ra_next + diff);
706                 blk_finish_plug(&plug);
707
708                 /* Advance the readahead window */
709                 ra->ra_advance += ra->ra_blocks;
710                 ra->ra_limit += min_t(sector_t,
711                                       ra->ra_blocks, ra->limit - ra->ra_limit);
712         }
713         ra->cur++;
714 }
715
716 int fat_count_free_clusters(struct super_block *sb)
717 {
718         struct msdos_sb_info *sbi = MSDOS_SB(sb);
719         const struct fatent_operations *ops = sbi->fatent_ops;
720         struct fat_entry fatent;
721         struct fatent_ra fatent_ra;
722         int err = 0, free;
723
724         lock_fat(sbi);
725         if (sbi->free_clusters != -1 && sbi->free_clus_valid)
726                 goto out;
727
728         free = 0;
729         fatent_init(&fatent);
730         fatent_set_entry(&fatent, FAT_START_ENT);
731         fat_ra_init(sb, &fatent_ra, &fatent, sbi->max_cluster);
732         while (fatent.entry < sbi->max_cluster) {
733                 /* readahead of fat blocks */
734                 fat_ent_reada(sb, &fatent_ra, &fatent);
735
736                 err = fat_ent_read_block(sb, &fatent);
737                 if (err)
738                         goto out;
739
740                 do {
741                         if (ops->ent_get(&fatent) == FAT_ENT_FREE)
742                                 free++;
743                 } while (fat_ent_next(sbi, &fatent));
744                 cond_resched();
745         }
746         sbi->free_clusters = free;
747         sbi->free_clus_valid = 1;
748         mark_fsinfo_dirty(sb);
749         fatent_brelse(&fatent);
750 out:
751         unlock_fat(sbi);
752         return err;
753 }
754
755 static int fat_trim_clusters(struct super_block *sb, u32 clus, u32 nr_clus)
756 {
757         struct msdos_sb_info *sbi = MSDOS_SB(sb);
758         return sb_issue_discard(sb, fat_clus_to_blknr(sbi, clus),
759                                 nr_clus * sbi->sec_per_clus, GFP_NOFS, 0);
760 }
761
762 int fat_trim_fs(struct inode *inode, struct fstrim_range *range)
763 {
764         struct super_block *sb = inode->i_sb;
765         struct msdos_sb_info *sbi = MSDOS_SB(sb);
766         const struct fatent_operations *ops = sbi->fatent_ops;
767         struct fat_entry fatent;
768         struct fatent_ra fatent_ra;
769         u64 ent_start, ent_end, minlen, trimmed = 0;
770         u32 free = 0;
771         int err = 0;
772
773         /*
774          * FAT data is organized as clusters, trim at the granulary of cluster.
775          *
776          * fstrim_range is in byte, convert values to cluster index.
777          * Treat sectors before data region as all used, not to trim them.
778          */
779         ent_start = max_t(u64, range->start>>sbi->cluster_bits, FAT_START_ENT);
780         ent_end = ent_start + (range->len >> sbi->cluster_bits) - 1;
781         minlen = range->minlen >> sbi->cluster_bits;
782
783         if (ent_start >= sbi->max_cluster || range->len < sbi->cluster_size)
784                 return -EINVAL;
785         if (ent_end >= sbi->max_cluster)
786                 ent_end = sbi->max_cluster - 1;
787
788         fatent_init(&fatent);
789         lock_fat(sbi);
790         fatent_set_entry(&fatent, ent_start);
791         fat_ra_init(sb, &fatent_ra, &fatent, ent_end + 1);
792         while (fatent.entry <= ent_end) {
793                 /* readahead of fat blocks */
794                 fat_ent_reada(sb, &fatent_ra, &fatent);
795
796                 err = fat_ent_read_block(sb, &fatent);
797                 if (err)
798                         goto error;
799                 do {
800                         if (ops->ent_get(&fatent) == FAT_ENT_FREE) {
801                                 free++;
802                         } else if (free) {
803                                 if (free >= minlen) {
804                                         u32 clus = fatent.entry - free;
805
806                                         err = fat_trim_clusters(sb, clus, free);
807                                         if (err && err != -EOPNOTSUPP)
808                                                 goto error;
809                                         if (!err)
810                                                 trimmed += free;
811                                         err = 0;
812                                 }
813                                 free = 0;
814                         }
815                 } while (fat_ent_next(sbi, &fatent) && fatent.entry <= ent_end);
816
817                 if (fatal_signal_pending(current)) {
818                         err = -ERESTARTSYS;
819                         goto error;
820                 }
821
822                 if (need_resched()) {
823                         fatent_brelse(&fatent);
824                         unlock_fat(sbi);
825                         cond_resched();
826                         lock_fat(sbi);
827                 }
828         }
829         /* handle scenario when tail entries are all free */
830         if (free && free >= minlen) {
831                 u32 clus = fatent.entry - free;
832
833                 err = fat_trim_clusters(sb, clus, free);
834                 if (err && err != -EOPNOTSUPP)
835                         goto error;
836                 if (!err)
837                         trimmed += free;
838                 err = 0;
839         }
840
841 error:
842         fatent_brelse(&fatent);
843         unlock_fat(sbi);
844
845         range->len = trimmed << sbi->cluster_bits;
846
847         return err;
848 }