arch/powerpc/kernel/cpu_setup_power.c

   1 // SPDX-License-Identifier: GPL-2.0-or-later
   2 /*
   3  * Copyright 2020, Jordan Niethe, IBM Corporation.
   4  *
   5  * This file contains low level CPU setup functions.
   6  * Originally written in assembly by Benjamin Herrenschmidt & various other
   7  * authors.
   8  */
   9
  10 #include <asm/reg.h>
  11 #include <asm/synch.h>
  12 #include <linux/bitops.h>
  13 #include <asm/cputable.h>
  14 #include <asm/cpu_setup.h>
  15
  16 /* Disable CPU_FTR_HVMODE and return false if MSR:HV is not set */
  17 static bool init_hvmode_206(struct cpu_spec *t)
  18 {
  19         u64 msr;
  20
  21         msr = mfmsr();
  22         if (msr & MSR_HV)
  23                 return true;
  24
  25         t->cpu_features &= ~(CPU_FTR_HVMODE | CPU_FTR_P9_TM_HV_ASSIST);
  26         return false;
  27 }
  28
  29 static void init_LPCR_ISA300(u64 lpcr, u64 lpes)
  30 {
  31         /* POWER9 has no VRMASD */
  32         lpcr |= (lpes << LPCR_LPES_SH) & LPCR_LPES;
  33         lpcr |= LPCR_PECE0|LPCR_PECE1|LPCR_PECE2;
  34         lpcr |= (4ull << LPCR_DPFD_SH) & LPCR_DPFD;
  35         lpcr &= ~LPCR_HDICE;    /* clear HDICE */
  36         lpcr |= (4ull << LPCR_VC_SH);
  37         mtspr(SPRN_LPCR, lpcr);
  38         isync();
  39 }
  40
  41 /*
  42  * Setup a sane LPCR:
  43  *   Called with initial LPCR and desired LPES 2-bit value
  44  *
  45  *   LPES = 0b01 (HSRR0/1 used for 0x500)
  46  *   PECE = 0b111
  47  *   DPFD = 4
  48  *   HDICE = 0
  49  *   VC = 0b100 (VPM0=1, VPM1=0, ISL=0)
  50  *   VRMASD = 0b10000 (L=1, LP=00)
  51  *
  52  * Other bits untouched for now
  53  */
  54 static void init_LPCR_ISA206(u64 lpcr, u64 lpes)
  55 {
  56         lpcr |= (0x10ull << LPCR_VRMASD_SH) & LPCR_VRMASD;
  57         init_LPCR_ISA300(lpcr, lpes);
  58 }
  59
  60 static void init_FSCR(void)
  61 {
  62         u64 fscr;
  63
  64         fscr = mfspr(SPRN_FSCR);
  65         fscr |= FSCR_TAR|FSCR_EBB;
  66         mtspr(SPRN_FSCR, fscr);
  67 }
  68
  69 static void init_FSCR_power9(void)
  70 {
  71         u64 fscr;
  72
  73         fscr = mfspr(SPRN_FSCR);
  74         fscr |= FSCR_SCV;
  75         mtspr(SPRN_FSCR, fscr);
  76         init_FSCR();
  77 }
  78
  79 static void init_FSCR_power10(void)
  80 {
  81         u64 fscr;
  82
  83         fscr = mfspr(SPRN_FSCR);
  84         fscr |= FSCR_PREFIX;
  85         mtspr(SPRN_FSCR, fscr);
  86         init_FSCR_power9();
  87 }
  88
  89 static void init_HFSCR(void)
  90 {
  91         u64 hfscr;
  92
  93         hfscr = mfspr(SPRN_HFSCR);
  94         hfscr |= HFSCR_TAR|HFSCR_TM|HFSCR_BHRB|HFSCR_PM|HFSCR_DSCR|\
  95                  HFSCR_VECVSX|HFSCR_FP|HFSCR_EBB|HFSCR_MSGP;
  96         mtspr(SPRN_HFSCR, hfscr);
  97 }
  98
  99 static void init_PMU_HV(void)
 100 {
 101         mtspr(SPRN_MMCRC, 0);
 102 }
 103
 104 static void init_PMU_HV_ISA207(void)
 105 {
 106         mtspr(SPRN_MMCRH, 0);
 107 }
 108
 109 static void init_PMU(void)
 110 {
 111         mtspr(SPRN_MMCRA, 0);
 112         mtspr(SPRN_MMCR0, MMCR0_FC);
 113         mtspr(SPRN_MMCR1, 0);
 114         mtspr(SPRN_MMCR2, 0);
 115 }
 116
 117 static void init_PMU_ISA207(void)
 118 {
 119         mtspr(SPRN_MMCRS, 0);
 120 }
 121
 122 static void init_PMU_ISA31(void)
 123 {
 124         mtspr(SPRN_MMCR3, 0);
 125         mtspr(SPRN_MMCRA, MMCRA_BHRB_DISABLE);
 126         mtspr(SPRN_MMCR0, MMCR0_FC | MMCR0_PMCCEXT);
 127 }
 128
 129 /*
 130  * Note that we can be called twice of pseudo-PVRs.
 131  * The parameter offset is not used.
 132  */
 133
 134 void __setup_cpu_power7(unsigned long offset, struct cpu_spec *t)
 135 {
 136         if (!init_hvmode_206(t))
 137                 return;
 138
 139         mtspr(SPRN_LPID, 0);
 140         mtspr(SPRN_AMOR, ~0);
 141         mtspr(SPRN_PCR, PCR_MASK);
 142         init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
 143 }
 144
 145 void __restore_cpu_power7(void)
 146 {
 147         u64 msr;
 148
 149         msr = mfmsr();
 150         if (!(msr & MSR_HV))
 151                 return;
 152
 153         mtspr(SPRN_LPID, 0);
 154         mtspr(SPRN_AMOR, ~0);
 155         mtspr(SPRN_PCR, PCR_MASK);
 156         init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
 157 }
 158
 159 void __setup_cpu_power8(unsigned long offset, struct cpu_spec *t)
 160 {
 161         init_FSCR();
 162         init_PMU();
 163         init_PMU_ISA207();
 164
 165         if (!init_hvmode_206(t))
 166                 return;
 167
 168         mtspr(SPRN_LPID, 0);
 169         mtspr(SPRN_AMOR, ~0);
 170         mtspr(SPRN_PCR, PCR_MASK);
 171         init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
 172         init_HFSCR();
 173         init_PMU_HV();
 174         init_PMU_HV_ISA207();
 175 }
 176
 177 void __restore_cpu_power8(void)
 178 {
 179         u64 msr;
 180
 181         init_FSCR();
 182         init_PMU();
 183         init_PMU_ISA207();
 184
 185         msr = mfmsr();
 186         if (!(msr & MSR_HV))
 187                 return;
 188
 189         mtspr(SPRN_LPID, 0);
 190         mtspr(SPRN_AMOR, ~0);
 191         mtspr(SPRN_PCR, PCR_MASK);
 192         init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
 193         init_HFSCR();
 194         init_PMU_HV();
 195         init_PMU_HV_ISA207();
 196 }
 197
 198 void __setup_cpu_power9(unsigned long offset, struct cpu_spec *t)
 199 {
 200         init_FSCR_power9();
 201         init_PMU();
 202
 203         if (!init_hvmode_206(t))
 204                 return;
 205
 206         mtspr(SPRN_PSSCR, 0);
 207         mtspr(SPRN_LPID, 0);
 208         mtspr(SPRN_PID, 0);
 209         mtspr(SPRN_AMOR, ~0);
 210         mtspr(SPRN_PCR, PCR_MASK);
 211         init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 212                          LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 213         init_HFSCR();
 214         init_PMU_HV();
 215 }
 216
 217 void __restore_cpu_power9(void)
 218 {
 219         u64 msr;
 220
 221         init_FSCR_power9();
 222         init_PMU();
 223
 224         msr = mfmsr();
 225         if (!(msr & MSR_HV))
 226                 return;
 227
 228         mtspr(SPRN_PSSCR, 0);
 229         mtspr(SPRN_LPID, 0);
 230         mtspr(SPRN_PID, 0);
 231         mtspr(SPRN_AMOR, ~0);
 232         mtspr(SPRN_PCR, PCR_MASK);
 233         init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 234                          LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 235         init_HFSCR();
 236         init_PMU_HV();
 237 }
 238
 239 void __setup_cpu_power10(unsigned long offset, struct cpu_spec *t)
 240 {
 241         init_FSCR_power10();
 242         init_PMU();
 243         init_PMU_ISA31();
 244
 245         if (!init_hvmode_206(t))
 246                 return;
 247
 248         mtspr(SPRN_PSSCR, 0);
 249         mtspr(SPRN_LPID, 0);
 250         mtspr(SPRN_PID, 0);
 251         mtspr(SPRN_AMOR, ~0);
 252         mtspr(SPRN_PCR, PCR_MASK);
 253         init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 254                          LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 255         init_HFSCR();
 256         init_PMU_HV();
 257 }
 258
 259 void __restore_cpu_power10(void)
 260 {
 261         u64 msr;
 262
 263         init_FSCR_power10();
 264         init_PMU();
 265         init_PMU_ISA31();
 266
 267         msr = mfmsr();
 268         if (!(msr & MSR_HV))
 269                 return;
 270
 271         mtspr(SPRN_PSSCR, 0);
 272         mtspr(SPRN_LPID, 0);
 273         mtspr(SPRN_PID, 0);
 274         mtspr(SPRN_AMOR, ~0);
 275         mtspr(SPRN_PCR, PCR_MASK);
 276         init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 277                          LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 278         init_HFSCR();
 279         init_PMU_HV();
 280 }