arch/powerpc/kernel/vmlinux.lds.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifdef CONFIG_PPC64
   3 #define PROVIDE32(x)    PROVIDE(__unused__##x)
   4 #else
   5 #define PROVIDE32(x)    PROVIDE(x)
   6 #endif
   7
   8 #define BSS_FIRST_SECTIONS *(.bss.prominit)
   9 #define RUNTIME_DISCARD_EXIT
  10
  11 #include <asm/page.h>
  12 #include <asm-generic/vmlinux.lds.h>
  13 #include <asm/cache.h>
  14 #include <asm/thread_info.h>
  15
  16 #define STRICT_ALIGN_SIZE       (1 << CONFIG_DATA_SHIFT)
  17 #define ETEXT_ALIGN_SIZE        (1 << CONFIG_ETEXT_SHIFT)
  18
  19 ENTRY(_stext)
  20
  21 PHDRS {
  22         kernel PT_LOAD FLAGS(7); /* RWX */
  23         notes PT_NOTE FLAGS(0);
  24         dummy PT_NOTE FLAGS(0);
  25
  26         /* binutils < 2.18 has a bug that makes it misbehave when taking an
  27            ELF file with all segments at load address 0 as input.  This
  28            happens when running "strip" on vmlinux, because of the AT() magic
  29            in this linker script.  People using GCC >= 4.2 won't run into
  30            this problem, because the "build-id" support will put some data
  31            into the "notes" segment (at a non-zero load address).
  32
  33            To work around this, we force some data into both the "dummy"
  34            segment and the kernel segment, so the dummy segment will get a
  35            non-zero load address.  It's not enough to always create the
  36            "notes" segment, since if nothing gets assigned to it, its load
  37            address will be zero.  */
  38 }
  39
  40 #ifdef CONFIG_PPC64
  41 OUTPUT_ARCH(powerpc:common64)
  42 jiffies = jiffies_64;
  43 #else
  44 OUTPUT_ARCH(powerpc:common)
  45 jiffies = jiffies_64 + 4;
  46 #endif
  47 SECTIONS
  48 {
  49         . = KERNELBASE;
  50
  51 /*
  52  * Text, read only data and other permanent read-only sections
  53  */
  54
  55         _text = .;
  56         _stext = .;
  57
  58         /*
  59          * Head text.
  60          * This needs to be in its own output section to avoid ld placing
  61          * branch trampoline stubs randomly throughout the fixed sections,
  62          * which it will do (even if the branch comes from another section)
  63          * in order to optimize stub generation.
  64          */
  65         .head.text : AT(ADDR(.head.text) - LOAD_OFFSET) {
  66 #ifdef CONFIG_PPC64
  67                 KEEP(*(.head.text.first_256B));
  68 #ifdef CONFIG_PPC_BOOK3E
  69 #else
  70                 KEEP(*(.head.text.real_vectors));
  71                 *(.head.text.real_trampolines);
  72                 KEEP(*(.head.text.virt_vectors));
  73                 *(.head.text.virt_trampolines);
  74 # if defined(CONFIG_PPC_PSERIES) || defined(CONFIG_PPC_POWERNV)
  75                 KEEP(*(.head.data.fwnmi_page));
  76 # endif
  77 #endif
  78 #else /* !CONFIG_PPC64 */
  79                 HEAD_TEXT
  80 #endif
  81         } :kernel
  82
  83         __head_end = .;
  84
  85 #ifdef CONFIG_PPC64
  86         /*
  87          * ALIGN(0) overrides the default output section alignment because
  88          * this needs to start right after .head.text in order for fixed
  89          * section placement to work.
  90          */
  91         .text ALIGN(0) : AT(ADDR(.text) - LOAD_OFFSET) {
  92 #ifdef CONFIG_LD_HEAD_STUB_CATCH
  93                 KEEP(*(.linker_stub_catch));
  94                 . = . ;
  95 #endif
  96
  97 #else
  98         .text : AT(ADDR(.text) - LOAD_OFFSET) {
  99                 ALIGN_FUNCTION();
 100 #endif
 101                 /* careful! __ftr_alt_* sections need to be close to .text */
 102                 *(.text.hot .text.hot.* TEXT_MAIN .text.fixup .text.unlikely .text.unlikely.* .fixup __ftr_alt_* .ref.text);
 103 #ifdef CONFIG_PPC64
 104                 *(.tramp.ftrace.text);
 105 #endif
 106                 NOINSTR_TEXT
 107                 SCHED_TEXT
 108                 CPUIDLE_TEXT
 109                 LOCK_TEXT
 110                 KPROBES_TEXT
 111                 IRQENTRY_TEXT
 112                 SOFTIRQENTRY_TEXT
 113                 /*
 114                  * -Os builds call FP save/restore functions. The powerpc64
 115                  * linker generates those on demand in the .sfpr section.
 116                  * .sfpr gets placed at the beginning of a group of input
 117                  * sections, which can break start-of-text offset if it is
 118                  * included with the main text sections, so put it by itself.
 119                  */
 120                 *(.sfpr);
 121                 MEM_KEEP(init.text)
 122                 MEM_KEEP(exit.text)
 123
 124 #ifdef CONFIG_PPC32
 125                 *(.got1)
 126                 __got2_start = .;
 127                 *(.got2)
 128                 __got2_end = .;
 129 #endif /* CONFIG_PPC32 */
 130
 131         } :kernel
 132
 133         . = ALIGN(ETEXT_ALIGN_SIZE);
 134         _etext = .;
 135         PROVIDE32 (etext = .);
 136
 137         /* Read-only data */
 138         RO_DATA(PAGE_SIZE)
 139
 140 #ifdef CONFIG_PPC64
 141         . = ALIGN(8);
 142         __stf_entry_barrier_fixup : AT(ADDR(__stf_entry_barrier_fixup) - LOAD_OFFSET) {
 143                 __start___stf_entry_barrier_fixup = .;
 144                 *(__stf_entry_barrier_fixup)
 145                 __stop___stf_entry_barrier_fixup = .;
 146         }
 147
 148         . = ALIGN(8);
 149         __uaccess_flush_fixup : AT(ADDR(__uaccess_flush_fixup) - LOAD_OFFSET) {
 150                 __start___uaccess_flush_fixup = .;
 151                 *(__uaccess_flush_fixup)
 152                 __stop___uaccess_flush_fixup = .;
 153         }
 154
 155         . = ALIGN(8);
 156         __entry_flush_fixup : AT(ADDR(__entry_flush_fixup) - LOAD_OFFSET) {
 157                 __start___entry_flush_fixup = .;
 158                 *(__entry_flush_fixup)
 159                 __stop___entry_flush_fixup = .;
 160         }
 161
 162         . = ALIGN(8);
 163         __stf_exit_barrier_fixup : AT(ADDR(__stf_exit_barrier_fixup) - LOAD_OFFSET) {
 164                 __start___stf_exit_barrier_fixup = .;
 165                 *(__stf_exit_barrier_fixup)
 166                 __stop___stf_exit_barrier_fixup = .;
 167         }
 168
 169         . = ALIGN(8);
 170         __rfi_flush_fixup : AT(ADDR(__rfi_flush_fixup) - LOAD_OFFSET) {
 171                 __start___rfi_flush_fixup = .;
 172                 *(__rfi_flush_fixup)
 173                 __stop___rfi_flush_fixup = .;
 174         }
 175 #endif /* CONFIG_PPC64 */
 176
 177 #ifdef CONFIG_PPC_BARRIER_NOSPEC
 178         . = ALIGN(8);
 179         __spec_barrier_fixup : AT(ADDR(__spec_barrier_fixup) - LOAD_OFFSET) {
 180                 __start___barrier_nospec_fixup = .;
 181                 *(__barrier_nospec_fixup)
 182                 __stop___barrier_nospec_fixup = .;
 183         }
 184 #endif /* CONFIG_PPC_BARRIER_NOSPEC */
 185
 186 #ifdef CONFIG_PPC_FSL_BOOK3E
 187         . = ALIGN(8);
 188         __spec_btb_flush_fixup : AT(ADDR(__spec_btb_flush_fixup) - LOAD_OFFSET) {
 189                 __start__btb_flush_fixup = .;
 190                 *(__btb_flush_fixup)
 191                 __stop__btb_flush_fixup = .;
 192         }
 193 #endif
 194         EXCEPTION_TABLE(0)
 195
 196         NOTES :kernel :notes
 197
 198         /* The dummy segment contents for the bug workaround mentioned above
 199            near PHDRS.  */
 200         .dummy : AT(ADDR(.dummy) - LOAD_OFFSET) {
 201                 LONG(0)
 202                 LONG(0)
 203                 LONG(0)
 204         } :kernel :dummy
 205
 206 /*
 207  * Init sections discarded at runtime
 208  */
 209         . = ALIGN(STRICT_ALIGN_SIZE);
 210         __init_begin = .;
 211         . = ALIGN(PAGE_SIZE);
 212         .init.text : AT(ADDR(.init.text) - LOAD_OFFSET) {
 213                 _sinittext = .;
 214                 INIT_TEXT
 215
 216                 /*
 217                  *.init.text might be RO so we must ensure this section ends on
 218                  * a page boundary.
 219                  */
 220                 . = ALIGN(PAGE_SIZE);
 221                 _einittext = .;
 222 #ifdef CONFIG_PPC64
 223                 *(.tramp.ftrace.init);
 224 #endif
 225         } :kernel
 226
 227         /* .exit.text is discarded at runtime, not link time,
 228          * to deal with references from __bug_table
 229          */
 230         .exit.text : AT(ADDR(.exit.text) - LOAD_OFFSET) {
 231                 EXIT_TEXT
 232         }
 233
 234         . = ALIGN(PAGE_SIZE);
 235
 236         INIT_DATA_SECTION(16)
 237
 238         . = ALIGN(8);
 239         __ftr_fixup : AT(ADDR(__ftr_fixup) - LOAD_OFFSET) {
 240                 __start___ftr_fixup = .;
 241                 KEEP(*(__ftr_fixup))
 242                 __stop___ftr_fixup = .;
 243         }
 244         . = ALIGN(8);
 245         __mmu_ftr_fixup : AT(ADDR(__mmu_ftr_fixup) - LOAD_OFFSET) {
 246                 __start___mmu_ftr_fixup = .;
 247                 KEEP(*(__mmu_ftr_fixup))
 248                 __stop___mmu_ftr_fixup = .;
 249         }
 250         . = ALIGN(8);
 251         __lwsync_fixup : AT(ADDR(__lwsync_fixup) - LOAD_OFFSET) {
 252                 __start___lwsync_fixup = .;
 253                 KEEP(*(__lwsync_fixup))
 254                 __stop___lwsync_fixup = .;
 255         }
 256 #ifdef CONFIG_PPC64
 257         . = ALIGN(8);
 258         __fw_ftr_fixup : AT(ADDR(__fw_ftr_fixup) - LOAD_OFFSET) {
 259                 __start___fw_ftr_fixup = .;
 260                 KEEP(*(__fw_ftr_fixup))
 261                 __stop___fw_ftr_fixup = .;
 262         }
 263 #endif
 264
 265         PERCPU_SECTION(L1_CACHE_BYTES)
 266
 267         . = ALIGN(8);
 268         .machine.desc : AT(ADDR(.machine.desc) - LOAD_OFFSET) {
 269                 __machine_desc_start = . ;
 270                 KEEP(*(.machine.desc))
 271                 __machine_desc_end = . ;
 272         }
 273 #ifdef CONFIG_RELOCATABLE
 274         . = ALIGN(8);
 275         .dynsym : AT(ADDR(.dynsym) - LOAD_OFFSET)
 276         {
 277 #ifdef CONFIG_PPC32
 278                 __dynamic_symtab = .;
 279 #endif
 280                 *(.dynsym)
 281         }
 282         .dynstr : AT(ADDR(.dynstr) - LOAD_OFFSET) { *(.dynstr) }
 283         .dynamic : AT(ADDR(.dynamic) - LOAD_OFFSET)
 284         {
 285                 __dynamic_start = .;
 286                 *(.dynamic)
 287         }
 288         .hash : AT(ADDR(.hash) - LOAD_OFFSET) { *(.hash) }
 289         .interp : AT(ADDR(.interp) - LOAD_OFFSET) { *(.interp) }
 290         .rela.dyn : AT(ADDR(.rela.dyn) - LOAD_OFFSET)
 291         {
 292                 __rela_dyn_start = .;
 293                 *(.rela*)
 294         }
 295 #endif
 296         /* .exit.data is discarded at runtime, not link time,
 297          * to deal with references from .exit.text
 298          */
 299         .exit.data : AT(ADDR(.exit.data) - LOAD_OFFSET) {
 300                 EXIT_DATA
 301         }
 302
 303         /* freed after init ends here */
 304         . = ALIGN(PAGE_SIZE);
 305         __init_end = .;
 306
 307 /*
 308  * And now the various read/write data
 309  */
 310
 311         . = ALIGN(PAGE_SIZE);
 312         _sdata = .;
 313
 314 #ifdef CONFIG_PPC32
 315         .data : AT(ADDR(.data) - LOAD_OFFSET) {
 316                 DATA_DATA
 317 #ifdef CONFIG_UBSAN
 318                 *(.data..Lubsan_data*)
 319                 *(.data..Lubsan_type*)
 320 #endif
 321                 *(.data.rel*)
 322                 *(SDATA_MAIN)
 323                 *(.sdata2)
 324                 *(.got.plt) *(.got)
 325                 *(.plt)
 326                 *(.branch_lt)
 327         }
 328 #else
 329         .data : AT(ADDR(.data) - LOAD_OFFSET) {
 330                 DATA_DATA
 331                 *(.data.rel*)
 332                 *(.toc1)
 333                 *(.branch_lt)
 334         }
 335
 336         .opd : AT(ADDR(.opd) - LOAD_OFFSET) {
 337                 __start_opd = .;
 338                 KEEP(*(.opd))
 339                 __end_opd = .;
 340         }
 341
 342         . = ALIGN(256);
 343         .got : AT(ADDR(.got) - LOAD_OFFSET) {
 344                 __toc_start = .;
 345 #ifndef CONFIG_RELOCATABLE
 346                 __prom_init_toc_start = .;
 347                 arch/powerpc/kernel/prom_init.o*(.toc .got)
 348                 __prom_init_toc_end = .;
 349 #endif
 350                 *(.got)
 351                 *(.toc)
 352         }
 353 #endif
 354
 355         /* The initial task and kernel stack */
 356         INIT_TASK_DATA_SECTION(THREAD_SIZE)
 357
 358         .data..page_aligned : AT(ADDR(.data..page_aligned) - LOAD_OFFSET) {
 359                 PAGE_ALIGNED_DATA(PAGE_SIZE)
 360         }
 361
 362         .data..cacheline_aligned : AT(ADDR(.data..cacheline_aligned) - LOAD_OFFSET) {
 363                 CACHELINE_ALIGNED_DATA(L1_CACHE_BYTES)
 364         }
 365
 366         .data..read_mostly : AT(ADDR(.data..read_mostly) - LOAD_OFFSET) {
 367                 READ_MOSTLY_DATA(L1_CACHE_BYTES)
 368         }
 369
 370         . = ALIGN(PAGE_SIZE);
 371         .data_nosave : AT(ADDR(.data_nosave) - LOAD_OFFSET) {
 372                 NOSAVE_DATA
 373         }
 374
 375         BUG_TABLE
 376
 377         . = ALIGN(PAGE_SIZE);
 378         _edata  =  .;
 379         PROVIDE32 (edata = .);
 380
 381 /*
 382  * And finally the bss
 383  */
 384
 385         BSS_SECTION(0, 0, 0)
 386
 387         . = ALIGN(PAGE_SIZE);
 388         _end = . ;
 389         PROVIDE32 (end = .);
 390
 391         STABS_DEBUG
 392
 393         DWARF_DEBUG
 394
 395         DISCARDS
 396         /DISCARD/ : {
 397                 *(*.EMB.apuinfo)
 398                 *(.glink .iplt .plt .comment)
 399                 *(.gnu.version*)
 400                 *(.gnu.attributes)
 401                 *(.eh_frame)
 402 #ifndef CONFIG_RELOCATABLE
 403                 *(.rela*)
 404 #endif
 405         }
 406 }