include/xen/grant_table.h

   1 /******************************************************************************
   2  * grant_table.h
   3  *
   4  * Two sets of functionality:
   5  * 1. Granting foreign access to our memory reservation.
   6  * 2. Accessing others' memory reservations via grant references.
   7  * (i.e., mechanisms for both sender and recipient of grant references)
   8  *
   9  * Copyright (c) 2004-2005, K A Fraser
  10  * Copyright (c) 2005, Christopher Clark
  11  *
  12  * This program is free software; you can redistribute it and/or
  13  * modify it under the terms of the GNU General Public License version 2
  14  * as published by the Free Software Foundation; or, when distributed
  15  * separately from the Linux kernel or incorporated into other
  16  * software packages, subject to the following license:
  17  *
  18  * Permission is hereby granted, free of charge, to any person obtaining a copy
  19  * of this source file (the "Software"), to deal in the Software without
  20  * restriction, including without limitation the rights to use, copy, modify,
  21  * merge, publish, distribute, sublicense, and/or sell copies of the Software,
  22  * and to permit persons to whom the Software is furnished to do so, subject to
  23  * the following conditions:
  24  *
  25  * The above copyright notice and this permission notice shall be included in
  26  * all copies or substantial portions of the Software.
  27  *
  28  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  29  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  30  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  31  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  32  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  33  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS
  34  * IN THE SOFTWARE.
  35  */
  36
  37 #ifndef __ASM_GNTTAB_H__
  38 #define __ASM_GNTTAB_H__
  39
  40 #include <asm/page.h>
  41
  42 #include <xen/interface/xen.h>
  43 #include <xen/interface/grant_table.h>
  44
  45 #include <asm/xen/hypervisor.h>
  46
  47 #include <xen/features.h>
  48 #include <xen/page.h>
  49 #include <linux/mm_types.h>
  50 #include <linux/page-flags.h>
  51 #include <linux/kernel.h>
  52
  53 /*
  54  * Technically there's no reliably invalid grant reference or grant handle,
  55  * so pick the value that is the most unlikely one to be observed valid.
  56  */
  57 #define INVALID_GRANT_REF          ((grant_ref_t)-1)
  58 #define INVALID_GRANT_HANDLE       ((grant_handle_t)-1)
  59
  60 #define GNTTAB_RESERVED_XENSTORE 1
  61
  62 /* NR_GRANT_FRAMES must be less than or equal to that configured in Xen */
  63 #define NR_GRANT_FRAMES 4
  64
  65 struct gnttab_free_callback {
  66         struct gnttab_free_callback *next;
  67         void (*fn)(void *);
  68         void *arg;
  69         u16 count;
  70 };
  71
  72 struct gntab_unmap_queue_data;
  73
  74 typedef void (*gnttab_unmap_refs_done)(int result, struct gntab_unmap_queue_data *data);
  75
  76 struct gntab_unmap_queue_data
  77 {
  78         struct delayed_work     gnttab_work;
  79         void *data;
  80         gnttab_unmap_refs_done  done;
  81         struct gnttab_unmap_grant_ref *unmap_ops;
  82         struct gnttab_unmap_grant_ref *kunmap_ops;
  83         struct page **pages;
  84         unsigned int count;
  85         unsigned int age;
  86 };
  87
  88 int gnttab_init(void);
  89 int gnttab_suspend(void);
  90 int gnttab_resume(void);
  91
  92 int gnttab_grant_foreign_access(domid_t domid, unsigned long frame,
  93                                 int readonly);
  94
  95 /*
  96  * End access through the given grant reference, iff the grant entry is no
  97  * longer in use.  Return 1 if the grant entry was freed, 0 if it is still in
  98  * use.
  99  */
 100 int gnttab_end_foreign_access_ref(grant_ref_t ref, int readonly);
 101
 102 /*
 103  * Eventually end access through the given grant reference, and once that
 104  * access has been ended, free the given page too.  Access will be ended
 105  * immediately iff the grant entry is not in use, otherwise it will happen
 106  * some time later.  page may be 0, in which case no freeing will occur.
 107  * Note that the granted page might still be accessed (read or write) by the
 108  * other side after gnttab_end_foreign_access() returns, so even if page was
 109  * specified as 0 it is not allowed to just reuse the page for other
 110  * purposes immediately. gnttab_end_foreign_access() will take an additional
 111  * reference to the granted page in this case, which is dropped only after
 112  * the grant is no longer in use.
 113  * This requires that multi page allocations for areas subject to
 114  * gnttab_end_foreign_access() are done via alloc_pages_exact() (and freeing
 115  * via free_pages_exact()) in order to avoid high order pages.
 116  */
 117 void gnttab_end_foreign_access(grant_ref_t ref, int readonly,
 118                                unsigned long page);
 119
 120 /*
 121  * End access through the given grant reference, iff the grant entry is
 122  * no longer in use.  In case of success ending foreign access, the
 123  * grant reference is deallocated.
 124  * Return 1 if the grant entry was freed, 0 if it is still in use.
 125  */
 126 int gnttab_try_end_foreign_access(grant_ref_t ref);
 127
 128 int gnttab_grant_foreign_transfer(domid_t domid, unsigned long pfn);
 129
 130 unsigned long gnttab_end_foreign_transfer_ref(grant_ref_t ref);
 131 unsigned long gnttab_end_foreign_transfer(grant_ref_t ref);
 132
 133 /*
 134  * operations on reserved batches of grant references
 135  */
 136 int gnttab_alloc_grant_references(u16 count, grant_ref_t *pprivate_head);
 137
 138 void gnttab_free_grant_reference(grant_ref_t ref);
 139
 140 void gnttab_free_grant_references(grant_ref_t head);
 141
 142 int gnttab_empty_grant_references(const grant_ref_t *pprivate_head);
 143
 144 int gnttab_claim_grant_reference(grant_ref_t *pprivate_head);
 145
 146 void gnttab_release_grant_reference(grant_ref_t *private_head,
 147                                     grant_ref_t release);
 148
 149 void gnttab_request_free_callback(struct gnttab_free_callback *callback,
 150                                   void (*fn)(void *), void *arg, u16 count);
 151 void gnttab_cancel_free_callback(struct gnttab_free_callback *callback);
 152
 153 void gnttab_grant_foreign_access_ref(grant_ref_t ref, domid_t domid,
 154                                      unsigned long frame, int readonly);
 155
 156 /* Give access to the first 4K of the page */
 157 static inline void gnttab_page_grant_foreign_access_ref_one(
 158         grant_ref_t ref, domid_t domid,
 159         struct page *page, int readonly)
 160 {
 161         gnttab_grant_foreign_access_ref(ref, domid, xen_page_to_gfn(page),
 162                                         readonly);
 163 }
 164
 165 void gnttab_grant_foreign_transfer_ref(grant_ref_t, domid_t domid,
 166                                        unsigned long pfn);
 167
 168 static inline void
 169 gnttab_set_map_op(struct gnttab_map_grant_ref *map, phys_addr_t addr,
 170                   uint32_t flags, grant_ref_t ref, domid_t domid)
 171 {
 172         if (flags & GNTMAP_contains_pte)
 173                 map->host_addr = addr;
 174         else if (xen_feature(XENFEAT_auto_translated_physmap))
 175                 map->host_addr = __pa(addr);
 176         else
 177                 map->host_addr = addr;
 178
 179         map->flags = flags;
 180         map->ref = ref;
 181         map->dom = domid;
 182         map->status = 1; /* arbitrary positive value */
 183 }
 184
 185 static inline void
 186 gnttab_set_unmap_op(struct gnttab_unmap_grant_ref *unmap, phys_addr_t addr,
 187                     uint32_t flags, grant_handle_t handle)
 188 {
 189         if (flags & GNTMAP_contains_pte)
 190                 unmap->host_addr = addr;
 191         else if (xen_feature(XENFEAT_auto_translated_physmap))
 192                 unmap->host_addr = __pa(addr);
 193         else
 194                 unmap->host_addr = addr;
 195
 196         unmap->handle = handle;
 197         unmap->dev_bus_addr = 0;
 198 }
 199
 200 int arch_gnttab_init(unsigned long nr_shared, unsigned long nr_status);
 201 int arch_gnttab_map_shared(xen_pfn_t *frames, unsigned long nr_gframes,
 202                            unsigned long max_nr_gframes,
 203                            void **__shared);
 204 int arch_gnttab_map_status(uint64_t *frames, unsigned long nr_gframes,
 205                            unsigned long max_nr_gframes,
 206                            grant_status_t **__shared);
 207 void arch_gnttab_unmap(void *shared, unsigned long nr_gframes);
 208
 209 struct grant_frames {
 210         xen_pfn_t *pfn;
 211         unsigned int count;
 212         void *vaddr;
 213 };
 214 extern struct grant_frames xen_auto_xlat_grant_frames;
 215 unsigned int gnttab_max_grant_frames(void);
 216 int gnttab_setup_auto_xlat_frames(phys_addr_t addr);
 217 void gnttab_free_auto_xlat_frames(void);
 218
 219 #define gnttab_map_vaddr(map) ((void *)(map.host_virt_addr))
 220
 221 int gnttab_alloc_pages(int nr_pages, struct page **pages);
 222 void gnttab_free_pages(int nr_pages, struct page **pages);
 223
 224 struct gnttab_page_cache {
 225         spinlock_t              lock;
 226 #ifdef CONFIG_XEN_UNPOPULATED_ALLOC
 227         struct page             *pages;
 228 #else
 229         struct list_head        pages;
 230 #endif
 231         unsigned int            num_pages;
 232 };
 233
 234 void gnttab_page_cache_init(struct gnttab_page_cache *cache);
 235 int gnttab_page_cache_get(struct gnttab_page_cache *cache, struct page **page);
 236 void gnttab_page_cache_put(struct gnttab_page_cache *cache, struct page **page,
 237                            unsigned int num);
 238 void gnttab_page_cache_shrink(struct gnttab_page_cache *cache,
 239                               unsigned int num);
 240
 241 #ifdef CONFIG_XEN_GRANT_DMA_ALLOC
 242 struct gnttab_dma_alloc_args {
 243         /* Device for which DMA memory will be/was allocated. */
 244         struct device *dev;
 245         /* If set then DMA buffer is coherent and write-combine otherwise. */
 246         bool coherent;
 247
 248         int nr_pages;
 249         struct page **pages;
 250         xen_pfn_t *frames;
 251         void *vaddr;
 252         dma_addr_t dev_bus_addr;
 253 };
 254
 255 int gnttab_dma_alloc_pages(struct gnttab_dma_alloc_args *args);
 256 int gnttab_dma_free_pages(struct gnttab_dma_alloc_args *args);
 257 #endif
 258
 259 int gnttab_pages_set_private(int nr_pages, struct page **pages);
 260 void gnttab_pages_clear_private(int nr_pages, struct page **pages);
 261
 262 int gnttab_map_refs(struct gnttab_map_grant_ref *map_ops,
 263                     struct gnttab_map_grant_ref *kmap_ops,
 264                     struct page **pages, unsigned int count);
 265 int gnttab_unmap_refs(struct gnttab_unmap_grant_ref *unmap_ops,
 266                       struct gnttab_unmap_grant_ref *kunmap_ops,
 267                       struct page **pages, unsigned int count);
 268 void gnttab_unmap_refs_async(struct gntab_unmap_queue_data* item);
 269 int gnttab_unmap_refs_sync(struct gntab_unmap_queue_data *item);
 270
 271
 272 /* Perform a batch of grant map/copy operations. Retry every batch slot
 273  * for which the hypervisor returns GNTST_eagain. This is typically due
 274  * to paged out target frames.
 275  *
 276  * Will retry for 1, 2, ... 255 ms, i.e. 256 times during 32 seconds.
 277  *
 278  * Return value in each iand every status field of the batch guaranteed
 279  * to not be GNTST_eagain.
 280  */
 281 void gnttab_batch_map(struct gnttab_map_grant_ref *batch, unsigned count);
 282 void gnttab_batch_copy(struct gnttab_copy *batch, unsigned count);
 283
 284
 285 struct xen_page_foreign {
 286         domid_t domid;
 287         grant_ref_t gref;
 288 };
 289
 290 static inline struct xen_page_foreign *xen_page_foreign(struct page *page)
 291 {
 292         if (!PageForeign(page))
 293                 return NULL;
 294 #if BITS_PER_LONG < 64
 295         return (struct xen_page_foreign *)page->private;
 296 #else
 297         BUILD_BUG_ON(sizeof(struct xen_page_foreign) > BITS_PER_LONG);
 298         return (struct xen_page_foreign *)&page->private;
 299 #endif
 300 }
 301
 302 /* Split Linux page in chunk of the size of the grant and call fn
 303  *
 304  * Parameters of fn:
 305  *      gfn: guest frame number
 306  *      offset: offset in the grant
 307  *      len: length of the data in the grant.
 308  *      data: internal information
 309  */
 310 typedef void (*xen_grant_fn_t)(unsigned long gfn, unsigned int offset,
 311                                unsigned int len, void *data);
 312
 313 void gnttab_foreach_grant_in_range(struct page *page,
 314                                    unsigned int offset,
 315                                    unsigned int len,
 316                                    xen_grant_fn_t fn,
 317                                    void *data);
 318
 319 /* Helper to get to call fn only on the first "grant chunk" */
 320 static inline void gnttab_for_one_grant(struct page *page, unsigned int offset,
 321                                         unsigned len, xen_grant_fn_t fn,
 322                                         void *data)
 323 {
 324         /* The first request is limited to the size of one grant */
 325         len = min_t(unsigned int, XEN_PAGE_SIZE - (offset & ~XEN_PAGE_MASK),
 326                     len);
 327
 328         gnttab_foreach_grant_in_range(page, offset, len, fn, data);
 329 }
 330
 331 /* Get @nr_grefs grants from an array of page and call fn for each grant */
 332 void gnttab_foreach_grant(struct page **pages,
 333                           unsigned int nr_grefs,
 334                           xen_grant_fn_t fn,
 335                           void *data);
 336
 337 /* Get the number of grant in a specified region
 338  *
 339  * start: Offset from the beginning of the first page
 340  * len: total length of data (can cross multiple page)
 341  */
 342 static inline unsigned int gnttab_count_grant(unsigned int start,
 343                                               unsigned int len)
 344 {
 345         return XEN_PFN_UP(xen_offset_in_page(start) + len);
 346 }
 347
 348 #endif /* __ASM_GNTTAB_H__ */