GNU Linux-libre 6.9.2-gnu
[releases.git] / include / linux / page_idle.h
1 /* SPDX-License-Identifier: GPL-2.0 */
2 #ifndef _LINUX_MM_PAGE_IDLE_H
3 #define _LINUX_MM_PAGE_IDLE_H
4
5 #include <linux/bitops.h>
6 #include <linux/page-flags.h>
7 #include <linux/page_ext.h>
8
9 #ifdef CONFIG_PAGE_IDLE_FLAG
10
11 #ifndef CONFIG_64BIT
12 /*
13  * If there is not enough space to store Idle and Young bits in page flags, use
14  * page ext flags instead.
15  */
16 static inline bool folio_test_young(struct folio *folio)
17 {
18         struct page_ext *page_ext = page_ext_get(&folio->page);
19         bool page_young;
20
21         if (unlikely(!page_ext))
22                 return false;
23
24         page_young = test_bit(PAGE_EXT_YOUNG, &page_ext->flags);
25         page_ext_put(page_ext);
26
27         return page_young;
28 }
29
30 static inline void folio_set_young(struct folio *folio)
31 {
32         struct page_ext *page_ext = page_ext_get(&folio->page);
33
34         if (unlikely(!page_ext))
35                 return;
36
37         set_bit(PAGE_EXT_YOUNG, &page_ext->flags);
38         page_ext_put(page_ext);
39 }
40
41 static inline bool folio_test_clear_young(struct folio *folio)
42 {
43         struct page_ext *page_ext = page_ext_get(&folio->page);
44         bool page_young;
45
46         if (unlikely(!page_ext))
47                 return false;
48
49         page_young = test_and_clear_bit(PAGE_EXT_YOUNG, &page_ext->flags);
50         page_ext_put(page_ext);
51
52         return page_young;
53 }
54
55 static inline bool folio_test_idle(struct folio *folio)
56 {
57         struct page_ext *page_ext = page_ext_get(&folio->page);
58         bool page_idle;
59
60         if (unlikely(!page_ext))
61                 return false;
62
63         page_idle =  test_bit(PAGE_EXT_IDLE, &page_ext->flags);
64         page_ext_put(page_ext);
65
66         return page_idle;
67 }
68
69 static inline void folio_set_idle(struct folio *folio)
70 {
71         struct page_ext *page_ext = page_ext_get(&folio->page);
72
73         if (unlikely(!page_ext))
74                 return;
75
76         set_bit(PAGE_EXT_IDLE, &page_ext->flags);
77         page_ext_put(page_ext);
78 }
79
80 static inline void folio_clear_idle(struct folio *folio)
81 {
82         struct page_ext *page_ext = page_ext_get(&folio->page);
83
84         if (unlikely(!page_ext))
85                 return;
86
87         clear_bit(PAGE_EXT_IDLE, &page_ext->flags);
88         page_ext_put(page_ext);
89 }
90 #endif /* !CONFIG_64BIT */
91
92 #else /* !CONFIG_PAGE_IDLE_FLAG */
93
94 static inline bool folio_test_young(struct folio *folio)
95 {
96         return false;
97 }
98
99 static inline void folio_set_young(struct folio *folio)
100 {
101 }
102
103 static inline bool folio_test_clear_young(struct folio *folio)
104 {
105         return false;
106 }
107
108 static inline bool folio_test_idle(struct folio *folio)
109 {
110         return false;
111 }
112
113 static inline void folio_set_idle(struct folio *folio)
114 {
115 }
116
117 static inline void folio_clear_idle(struct folio *folio)
118 {
119 }
120
121 #endif /* CONFIG_PAGE_IDLE_FLAG */
122
123 static inline bool page_is_young(struct page *page)
124 {
125         return folio_test_young(page_folio(page));
126 }
127
128 static inline void set_page_young(struct page *page)
129 {
130         folio_set_young(page_folio(page));
131 }
132
133 static inline bool test_and_clear_page_young(struct page *page)
134 {
135         return folio_test_clear_young(page_folio(page));
136 }
137
138 static inline bool page_is_idle(struct page *page)
139 {
140         return folio_test_idle(page_folio(page));
141 }
142
143 static inline void set_page_idle(struct page *page)
144 {
145         folio_set_idle(page_folio(page));
146 }
147 #endif /* _LINUX_MM_PAGE_IDLE_H */