arch/x86/lib/getuser.S

   1 /*
   2  * __get_user functions.
   3  *
   4  * (C) Copyright 1998 Linus Torvalds
   5  * (C) Copyright 2005 Andi Kleen
   6  * (C) Copyright 2008 Glauber Costa
   7  *
   8  * These functions have a non-standard call interface
   9  * to make them more efficient, especially as they
  10  * return an error value in addition to the "real"
  11  * return value.
  12  */
  13
  14 /*
  15  * __get_user_X
  16  *
  17  * Inputs:      %[r|e]ax contains the address.
  18  *
  19  * Outputs:     %[r|e]ax is error code (0 or -EFAULT)
  20  *              %[r|e]dx contains zero-extended value
  21  *              %ecx contains the high half for 32-bit __get_user_8
  22  *
  23  *
  24  * These functions should not modify any other registers,
  25  * as they get called from within inline assembly.
  26  */
  27
  28 #include <linux/linkage.h>
  29 #include <asm/page_types.h>
  30 #include <asm/errno.h>
  31 #include <asm/asm-offsets.h>
  32 #include <asm/thread_info.h>
  33 #include <asm/asm.h>
  34 #include <asm/smap.h>
  35 #include <asm/export.h>
  36
  37         .text
  38 ENTRY(__get_user_1)
  39         mov PER_CPU_VAR(current_task), %_ASM_DX
  40         cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX
  41         jae bad_get_user
  42         sbb %_ASM_DX, %_ASM_DX          /* array_index_mask_nospec() */
  43         and %_ASM_DX, %_ASM_AX
  44         ASM_STAC
  45 1:      movzbl (%_ASM_AX),%edx
  46         xor %eax,%eax
  47         ASM_CLAC
  48         ret
  49 ENDPROC(__get_user_1)
  50 EXPORT_SYMBOL(__get_user_1)
  51
  52 ENTRY(__get_user_2)
  53         add $1,%_ASM_AX
  54         jc bad_get_user
  55         mov PER_CPU_VAR(current_task), %_ASM_DX
  56         cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX
  57         jae bad_get_user
  58         sbb %_ASM_DX, %_ASM_DX          /* array_index_mask_nospec() */
  59         and %_ASM_DX, %_ASM_AX
  60         ASM_STAC
  61 2:      movzwl -1(%_ASM_AX),%edx
  62         xor %eax,%eax
  63         ASM_CLAC
  64         ret
  65 ENDPROC(__get_user_2)
  66 EXPORT_SYMBOL(__get_user_2)
  67
  68 ENTRY(__get_user_4)
  69         add $3,%_ASM_AX
  70         jc bad_get_user
  71         mov PER_CPU_VAR(current_task), %_ASM_DX
  72         cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX
  73         jae bad_get_user
  74         sbb %_ASM_DX, %_ASM_DX          /* array_index_mask_nospec() */
  75         and %_ASM_DX, %_ASM_AX
  76         ASM_STAC
  77 3:      movl -3(%_ASM_AX),%edx
  78         xor %eax,%eax
  79         ASM_CLAC
  80         ret
  81 ENDPROC(__get_user_4)
  82 EXPORT_SYMBOL(__get_user_4)
  83
  84 ENTRY(__get_user_8)
  85 #ifdef CONFIG_X86_64
  86         add $7,%_ASM_AX
  87         jc bad_get_user
  88         mov PER_CPU_VAR(current_task), %_ASM_DX
  89         cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX
  90         jae bad_get_user
  91         sbb %_ASM_DX, %_ASM_DX          /* array_index_mask_nospec() */
  92         and %_ASM_DX, %_ASM_AX
  93         ASM_STAC
  94 4:      movq -7(%_ASM_AX),%rdx
  95         xor %eax,%eax
  96         ASM_CLAC
  97         ret
  98 #else
  99         add $7,%_ASM_AX
 100         jc bad_get_user_8
 101         mov PER_CPU_VAR(current_task), %_ASM_DX
 102         cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX
 103         jae bad_get_user_8
 104         sbb %_ASM_DX, %_ASM_DX          /* array_index_mask_nospec() */
 105         and %_ASM_DX, %_ASM_AX
 106         ASM_STAC
 107 4:      movl -7(%_ASM_AX),%edx
 108 5:      movl -3(%_ASM_AX),%ecx
 109         xor %eax,%eax
 110         ASM_CLAC
 111         ret
 112 #endif
 113 ENDPROC(__get_user_8)
 114 EXPORT_SYMBOL(__get_user_8)
 115
 116
 117 bad_get_user:
 118         xor %edx,%edx
 119         mov $(-EFAULT),%_ASM_AX
 120         ASM_CLAC
 121         ret
 122 END(bad_get_user)
 123
 124 #ifdef CONFIG_X86_32
 125 bad_get_user_8:
 126         xor %edx,%edx
 127         xor %ecx,%ecx
 128         mov $(-EFAULT),%_ASM_AX
 129         ASM_CLAC
 130         ret
 131 END(bad_get_user_8)
 132 #endif
 133
 134         _ASM_EXTABLE(1b,bad_get_user)
 135         _ASM_EXTABLE(2b,bad_get_user)
 136         _ASM_EXTABLE(3b,bad_get_user)
 137 #ifdef CONFIG_X86_64
 138         _ASM_EXTABLE(4b,bad_get_user)
 139 #else
 140         _ASM_EXTABLE(4b,bad_get_user_8)
 141         _ASM_EXTABLE(5b,bad_get_user_8)
 142 #endif