arch/arc/include/asm/entry-arcv2.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2
   3 #ifndef __ASM_ARC_ENTRY_ARCV2_H
   4 #define __ASM_ARC_ENTRY_ARCV2_H
   5
   6 #include <asm/asm-offsets.h>
   7 #include <asm/irqflags-arcv2.h>
   8 #include <asm/thread_info.h>    /* For THREAD_SIZE */
   9
  10 /*
  11  * Interrupt/Exception stack layout (pt_regs) for ARCv2
  12  *   (End of struct aligned to end of page [unless nested])
  13  *
  14  *  INTERRUPT                          EXCEPTION
  15  *
  16  *    manual    ---------------------  manual
  17  *              |      orig_r0      |
  18  *              |      event/ECR    |
  19  *              |      bta          |
  20  *              |      user_r25     |
  21  *              |      gp           |
  22  *              |      fp           |
  23  *              |      sp           |
  24  *              |      r12          |
  25  *              |      r30          |
  26  *              |      r58          |
  27  *              |      r59          |
  28  *  hw autosave ---------------------
  29  *    optional  |      r0           |
  30  *              |      r1           |
  31  *              ~                   ~
  32  *              |      r9           |
  33  *              |      r10          |
  34  *              |      r11          |
  35  *              |      blink        |
  36  *              |      lpe          |
  37  *              |      lps          |
  38  *              |      lpc          |
  39  *              |      ei base      |
  40  *              |      ldi base     |
  41  *              |      jli base     |
  42  *              ---------------------
  43  *  hw autosave |       pc / eret   |
  44  *   mandatory  | stat32 / erstatus |
  45  *              ---------------------
  46  */
  47
  48 /*------------------------------------------------------------------------*/
  49 .macro INTERRUPT_PROLOGUE
  50
  51         ; (A) Before jumping to Interrupt Vector, hardware micro-ops did following:
  52         ;   1. SP auto-switched to kernel mode stack
  53         ;   2. STATUS32.Z flag set if in U mode at time of interrupt (U:1,K:0)
  54         ;   3. Auto save: (mandatory) Push PC and STAT32 on stack
  55         ;                 hardware does even if CONFIG_ARC_IRQ_NO_AUTOSAVE
  56         ;   4. Auto save: (optional) r0-r11, blink, LPE,LPS,LPC, JLI,LDI,EI
  57         ;
  58         ; (B) Manually saved some regs: r12,r25,r30, sp,fp,gp, ACCL pair
  59
  60 #ifdef CONFIG_ARC_IRQ_NO_AUTOSAVE
  61         ; carve pt_regs on stack (case #3), PC/STAT32 already on stack
  62         sub     sp, sp, SZ_PT_REGS - 8
  63
  64         __SAVE_REGFILE_HARD
  65 #else
  66         ; carve pt_regs on stack (case #4), which grew partially already
  67         sub     sp, sp, PT_r0
  68 #endif
  69
  70         __SAVE_REGFILE_SOFT
  71 .endm
  72
  73 /*------------------------------------------------------------------------*/
  74 .macro EXCEPTION_PROLOGUE
  75
  76         ; (A) Before jumping to Exception Vector, hardware micro-ops did following:
  77         ;   1. SP auto-switched to kernel mode stack
  78         ;   2. STATUS32.Z flag set if in U mode at time of exception (U:1,K:0)
  79         ;
  80         ; (B) Manually save the complete reg file below
  81
  82         sub     sp, sp, SZ_PT_REGS      ; carve pt_regs
  83
  84         ; _HARD saves r10 clobbered by _SOFT as scratch hence comes first
  85
  86         __SAVE_REGFILE_HARD
  87         __SAVE_REGFILE_SOFT
  88
  89         st      r0, [sp]        ; orig_r0
  90
  91         lr      r10, [eret]
  92         lr      r11, [erstatus]
  93         ST2     r10, r11, PT_ret
  94
  95         lr      r10, [ecr]
  96         lr      r11, [erbta]
  97         ST2     r10, r11, PT_event
  98         mov     r9, r10
  99
 100         ; OUTPUT: r9 has ECR
 101 .endm
 102
 103 /*------------------------------------------------------------------------
 104  * This macro saves the registers manually which would normally be autosaved
 105  * by hardware on taken interrupts. It is used by
 106  *   - exception handlers (which don't have autosave)
 107  *   - interrupt autosave disabled due to CONFIG_ARC_IRQ_NO_AUTOSAVE
 108  */
 109 .macro __SAVE_REGFILE_HARD
 110
 111         ST2     r0,  r1,  PT_r0
 112         ST2     r2,  r3,  PT_r2
 113         ST2     r4,  r5,  PT_r4
 114         ST2     r6,  r7,  PT_r6
 115         ST2     r8,  r9,  PT_r8
 116         ST2     r10, r11, PT_r10
 117
 118         st      blink, [sp, PT_blink]
 119
 120         lr      r10, [lp_end]
 121         lr      r11, [lp_start]
 122         ST2     r10, r11, PT_lpe
 123
 124         st      lp_count, [sp, PT_lpc]
 125
 126         ; skip JLI, LDI, EI for now
 127 .endm
 128
 129 /*------------------------------------------------------------------------
 130  * This macros saves a bunch of other registers which can't be autosaved for
 131  * various reasons:
 132  *   - r12: the last caller saved scratch reg since hardware saves in pairs so r0-r11
 133  *   - r30: free reg, used by gcc as scratch
 134  *   - ACCL/ACCH pair when they exist
 135  */
 136 .macro __SAVE_REGFILE_SOFT
 137
 138         ST2     gp, fp, PT_r26          ; gp (r26), fp (r27)
 139
 140         st      r12, [sp, PT_sp + 4]
 141         st      r30, [sp, PT_sp + 8]
 142
 143         ; Saving pt_regs->sp correctly requires some extra work due to the way
 144         ; Auto stack switch works
 145         ;  - U mode: retrieve it from AUX_USER_SP
 146         ;  - K mode: add the offset from current SP where H/w starts auto push
 147         ;
 148         ; 1. Utilize the fact that Z bit is set if Intr taken in U mode
 149         ; 2. Upon entry SP is always saved (for any inspection, unwinding etc),
 150         ;    but on return, restored only if U mode
 151
 152         lr      r10, [AUX_USER_SP]      ; U mode SP
 153
 154         ; ISA requires ADD.nz to have same dest and src reg operands
 155         mov.nz  r10, sp
 156         add.nz  r10, r10, SZ_PT_REGS    ; K mode SP
 157
 158         st      r10, [sp, PT_sp]        ; SP (pt_regs->sp)
 159
 160 #ifdef CONFIG_ARC_CURR_IN_REG
 161         st      r25, [sp, PT_user_r25]
 162         GET_CURR_TASK_ON_CPU    r25
 163 #endif
 164
 165 #ifdef CONFIG_ARC_HAS_ACCL_REGS
 166         ST2     r58, r59, PT_sp + 12
 167 #endif
 168
 169 .endm
 170
 171 /*------------------------------------------------------------------------*/
 172 .macro __RESTORE_REGFILE_SOFT
 173
 174         LD2     gp, fp, PT_r26          ; gp (r26), fp (r27)
 175
 176         ld      r12, [sp, PT_sp + 4]
 177         ld      r30, [sp, PT_sp + 8]
 178
 179         ; Restore SP (into AUX_USER_SP) only if returning to U mode
 180         ;  - for K mode, it will be implicitly restored as stack is unwound
 181         ;  - Z flag set on K is inverse of what hardware does on interrupt entry
 182         ;    but that doesn't really matter
 183         bz      1f
 184
 185         ld      r10, [sp, PT_sp]        ; SP (pt_regs->sp)
 186         sr      r10, [AUX_USER_SP]
 187 1:
 188
 189 #ifdef CONFIG_ARC_CURR_IN_REG
 190         ld      r25, [sp, PT_user_r25]
 191 #endif
 192
 193 #ifdef CONFIG_ARC_HAS_ACCL_REGS
 194         LD2     r58, r59, PT_sp + 12
 195 #endif
 196 .endm
 197
 198 /*------------------------------------------------------------------------*/
 199 .macro __RESTORE_REGFILE_HARD
 200
 201         ld      blink, [sp, PT_blink]
 202
 203         LD2     r10, r11, PT_lpe
 204         sr      r10, [lp_end]
 205         sr      r11, [lp_start]
 206
 207         ld      r10, [sp, PT_lpc]       ; lp_count can't be target of LD
 208         mov     lp_count, r10
 209
 210         LD2     r0,  r1,  PT_r0
 211         LD2     r2,  r3,  PT_r2
 212         LD2     r4,  r5,  PT_r4
 213         LD2     r6,  r7,  PT_r6
 214         LD2     r8,  r9,  PT_r8
 215         LD2     r10, r11, PT_r10
 216 .endm
 217
 218
 219 /*------------------------------------------------------------------------*/
 220 .macro INTERRUPT_EPILOGUE
 221
 222         ; INPUT: r0 has STAT32 of calling context
 223         ; INPUT: Z flag set if returning to K mode
 224
 225         ; _SOFT clobbers r10 restored by _HARD hence the order
 226
 227         __RESTORE_REGFILE_SOFT
 228
 229 #ifdef CONFIG_ARC_IRQ_NO_AUTOSAVE
 230         __RESTORE_REGFILE_HARD
 231         add     sp, sp, SZ_PT_REGS - 8
 232 #else
 233         add     sp, sp, PT_r0
 234 #endif
 235
 236 .endm
 237
 238 /*------------------------------------------------------------------------*/
 239 .macro EXCEPTION_EPILOGUE
 240
 241         ; INPUT: r0 has STAT32 of calling context
 242
 243         btst    r0, STATUS_U_BIT        ; Z flag set if K, used in restoring SP
 244
 245         ld      r10, [sp, PT_event + 4]
 246         sr      r10, [erbta]
 247
 248         LD2     r10, r11, PT_ret
 249         sr      r10, [eret]
 250         sr      r11, [erstatus]
 251
 252         __RESTORE_REGFILE_SOFT
 253         __RESTORE_REGFILE_HARD
 254
 255         add     sp, sp, SZ_PT_REGS
 256 .endm
 257
 258 .macro FAKE_RET_FROM_EXCPN
 259         lr      r9, [status32]
 260         bic     r9, r9, (STATUS_U_MASK|STATUS_DE_MASK|STATUS_AE_MASK)
 261         or      r9, r9, STATUS_IE_MASK
 262         kflag   r9
 263 .endm
 264
 265 /* Get thread_info of "current" tsk */
 266 .macro GET_CURR_THR_INFO_FROM_SP  reg
 267         bmskn \reg, sp, THREAD_SHIFT - 1
 268 .endm
 269
 270 /* Get CPU-ID of this core */
 271 .macro  GET_CPU_ID  reg
 272         lr  \reg, [identity]
 273         xbfu \reg, \reg, 0xE8   /* 00111    01000 */
 274                                 /* M = 8-1  N = 8 */
 275 .endm
 276
 277 #endif