kernel/ptrace.c

   1 /*
   2  * linux/kernel/ptrace.c
   3  *
   4  * (C) Copyright 1999 Linus Torvalds
   5  *
   6  * Common interfaces for "ptrace()" which we do not want
   7  * to continually duplicate across every architecture.
   8  */
   9
  10 #include <linux/capability.h>
  11 #include <linux/export.h>
  12 #include <linux/sched.h>
  13 #include <linux/errno.h>
  14 #include <linux/mm.h>
  15 #include <linux/highmem.h>
  16 #include <linux/pagemap.h>
  17 #include <linux/ptrace.h>
  18 #include <linux/security.h>
  19 #include <linux/signal.h>
  20 #include <linux/uio.h>
  21 #include <linux/audit.h>
  22 #include <linux/pid_namespace.h>
  23 #include <linux/syscalls.h>
  24 #include <linux/uaccess.h>
  25 #include <linux/regset.h>
  26 #include <linux/hw_breakpoint.h>
  27 #include <linux/cn_proc.h>
  28 #include <linux/compat.h>
  29
  30 /*
  31  * Access another process' address space via ptrace.
  32  * Source/target buffer must be kernel space,
  33  * Do not walk the page table directly, use get_user_pages
  34  */
  35 int ptrace_access_vm(struct task_struct *tsk, unsigned long addr,
  36                      void *buf, int len, unsigned int gup_flags)
  37 {
  38         struct mm_struct *mm;
  39         int ret;
  40
  41         mm = get_task_mm(tsk);
  42         if (!mm)
  43                 return 0;
  44
  45         if (!tsk->ptrace ||
  46             (current != tsk->parent) ||
  47             ((get_dumpable(mm) != SUID_DUMP_USER) &&
  48              !ptracer_capable(tsk, mm->user_ns))) {
  49                 mmput(mm);
  50                 return 0;
  51         }
  52
  53         ret = __access_remote_vm(tsk, mm, addr, buf, len, gup_flags);
  54         mmput(mm);
  55
  56         return ret;
  57 }
  58
  59
  60 void __ptrace_link(struct task_struct *child, struct task_struct *new_parent,
  61                    const struct cred *ptracer_cred)
  62 {
  63         BUG_ON(!list_empty(&child->ptrace_entry));
  64         list_add(&child->ptrace_entry, &new_parent->ptraced);
  65         child->parent = new_parent;
  66         child->ptracer_cred = get_cred(ptracer_cred);
  67 }
  68
  69 /*
  70  * ptrace a task: make the debugger its new parent and
  71  * move it to the ptrace list.
  72  *
  73  * Must be called with the tasklist lock write-held.
  74  */
  75 static void ptrace_link(struct task_struct *child, struct task_struct *new_parent)
  76 {
  77         __ptrace_link(child, new_parent, current_cred());
  78 }
  79
  80 /**
  81  * __ptrace_unlink - unlink ptracee and restore its execution state
  82  * @child: ptracee to be unlinked
  83  *
  84  * Remove @child from the ptrace list, move it back to the original parent,
  85  * and restore the execution state so that it conforms to the group stop
  86  * state.
  87  *
  88  * Unlinking can happen via two paths - explicit PTRACE_DETACH or ptracer
  89  * exiting.  For PTRACE_DETACH, unless the ptracee has been killed between
  90  * ptrace_check_attach() and here, it's guaranteed to be in TASK_TRACED.
  91  * If the ptracer is exiting, the ptracee can be in any state.
  92  *
  93  * After detach, the ptracee should be in a state which conforms to the
  94  * group stop.  If the group is stopped or in the process of stopping, the
  95  * ptracee should be put into TASK_STOPPED; otherwise, it should be woken
  96  * up from TASK_TRACED.
  97  *
  98  * If the ptracee is in TASK_TRACED and needs to be moved to TASK_STOPPED,
  99  * it goes through TRACED -> RUNNING -> STOPPED transition which is similar
 100  * to but in the opposite direction of what happens while attaching to a
 101  * stopped task.  However, in this direction, the intermediate RUNNING
 102  * state is not hidden even from the current ptracer and if it immediately
 103  * re-attaches and performs a WNOHANG wait(2), it may fail.
 104  *
 105  * CONTEXT:
 106  * write_lock_irq(tasklist_lock)
 107  */
 108 void __ptrace_unlink(struct task_struct *child)
 109 {
 110         const struct cred *old_cred;
 111         BUG_ON(!child->ptrace);
 112
 113         clear_tsk_thread_flag(child, TIF_SYSCALL_TRACE);
 114
 115         child->parent = child->real_parent;
 116         list_del_init(&child->ptrace_entry);
 117         old_cred = child->ptracer_cred;
 118         child->ptracer_cred = NULL;
 119         put_cred(old_cred);
 120
 121         spin_lock(&child->sighand->siglock);
 122         child->ptrace = 0;
 123         /*
 124          * Clear all pending traps and TRAPPING.  TRAPPING should be
 125          * cleared regardless of JOBCTL_STOP_PENDING.  Do it explicitly.
 126          */
 127         task_clear_jobctl_pending(child, JOBCTL_TRAP_MASK);
 128         task_clear_jobctl_trapping(child);
 129
 130         /*
 131          * Reinstate JOBCTL_STOP_PENDING if group stop is in effect and
 132          * @child isn't dead.
 133          */
 134         if (!(child->flags & PF_EXITING) &&
 135             (child->signal->flags & SIGNAL_STOP_STOPPED ||
 136              child->signal->group_stop_count)) {
 137                 child->jobctl |= JOBCTL_STOP_PENDING;
 138
 139                 /*
 140                  * This is only possible if this thread was cloned by the
 141                  * traced task running in the stopped group, set the signal
 142                  * for the future reports.
 143                  * FIXME: we should change ptrace_init_task() to handle this
 144                  * case.
 145                  */
 146                 if (!(child->jobctl & JOBCTL_STOP_SIGMASK))
 147                         child->jobctl |= SIGSTOP;
 148         }
 149
 150         /*
 151          * If transition to TASK_STOPPED is pending or in TASK_TRACED, kick
 152          * @child in the butt.  Note that @resume should be used iff @child
 153          * is in TASK_TRACED; otherwise, we might unduly disrupt
 154          * TASK_KILLABLE sleeps.
 155          */
 156         if (child->jobctl & JOBCTL_STOP_PENDING || task_is_traced(child))
 157                 ptrace_signal_wake_up(child, true);
 158
 159         spin_unlock(&child->sighand->siglock);
 160 }
 161
 162 static bool looks_like_a_spurious_pid(struct task_struct *task)
 163 {
 164         if (task->exit_code != ((PTRACE_EVENT_EXEC << 8) | SIGTRAP))
 165                 return false;
 166
 167         if (task_pid_vnr(task) == task->ptrace_message)
 168                 return false;
 169         /*
 170          * The tracee changed its pid but the PTRACE_EVENT_EXEC event
 171          * was not wait()'ed, most probably debugger targets the old
 172          * leader which was destroyed in de_thread().
 173          */
 174         return true;
 175 }
 176
 177 /* Ensure that nothing can wake it up, even SIGKILL */
 178 static bool ptrace_freeze_traced(struct task_struct *task)
 179 {
 180         bool ret = false;
 181
 182         /* Lockless, nobody but us can set this flag */
 183         if (task->jobctl & JOBCTL_LISTENING)
 184                 return ret;
 185
 186         spin_lock_irq(&task->sighand->siglock);
 187         if (task_is_traced(task) && !looks_like_a_spurious_pid(task) &&
 188             !__fatal_signal_pending(task)) {
 189                 task->state = __TASK_TRACED;
 190                 ret = true;
 191         }
 192         spin_unlock_irq(&task->sighand->siglock);
 193
 194         return ret;
 195 }
 196
 197 static void ptrace_unfreeze_traced(struct task_struct *task)
 198 {
 199         if (task->state != __TASK_TRACED)
 200                 return;
 201
 202         WARN_ON(!task->ptrace || task->parent != current);
 203
 204         /*
 205          * PTRACE_LISTEN can allow ptrace_trap_notify to wake us up remotely.
 206          * Recheck state under the lock to close this race.
 207          */
 208         spin_lock_irq(&task->sighand->siglock);
 209         if (task->state == __TASK_TRACED) {
 210                 if (__fatal_signal_pending(task))
 211                         wake_up_state(task, __TASK_TRACED);
 212                 else
 213                         task->state = TASK_TRACED;
 214         }
 215         spin_unlock_irq(&task->sighand->siglock);
 216 }
 217
 218 /**
 219  * ptrace_check_attach - check whether ptracee is ready for ptrace operation
 220  * @child: ptracee to check for
 221  * @ignore_state: don't check whether @child is currently %TASK_TRACED
 222  *
 223  * Check whether @child is being ptraced by %current and ready for further
 224  * ptrace operations.  If @ignore_state is %false, @child also should be in
 225  * %TASK_TRACED state and on return the child is guaranteed to be traced
 226  * and not executing.  If @ignore_state is %true, @child can be in any
 227  * state.
 228  *
 229  * CONTEXT:
 230  * Grabs and releases tasklist_lock and @child->sighand->siglock.
 231  *
 232  * RETURNS:
 233  * 0 on success, -ESRCH if %child is not ready.
 234  */
 235 static int ptrace_check_attach(struct task_struct *child, bool ignore_state)
 236 {
 237         int ret = -ESRCH;
 238
 239         /*
 240          * We take the read lock around doing both checks to close a
 241          * possible race where someone else was tracing our child and
 242          * detached between these two checks.  After this locked check,
 243          * we are sure that this is our traced child and that can only
 244          * be changed by us so it's not changing right after this.
 245          */
 246         read_lock(&tasklist_lock);
 247         if (child->ptrace && child->parent == current) {
 248                 WARN_ON(child->state == __TASK_TRACED);
 249                 /*
 250                  * child->sighand can't be NULL, release_task()
 251                  * does ptrace_unlink() before __exit_signal().
 252                  */
 253                 if (ignore_state || ptrace_freeze_traced(child))
 254                         ret = 0;
 255         }
 256         read_unlock(&tasklist_lock);
 257
 258         if (!ret && !ignore_state) {
 259                 if (!wait_task_inactive(child, __TASK_TRACED)) {
 260                         /*
 261                          * This can only happen if may_ptrace_stop() fails and
 262                          * ptrace_stop() changes ->state back to TASK_RUNNING,
 263                          * so we should not worry about leaking __TASK_TRACED.
 264                          */
 265                         WARN_ON(child->state == __TASK_TRACED);
 266                         ret = -ESRCH;
 267                 }
 268         }
 269
 270         return ret;
 271 }
 272
 273 static int ptrace_has_cap(struct user_namespace *ns, unsigned int mode)
 274 {
 275         if (mode & PTRACE_MODE_SCHED)
 276                 return false;
 277
 278         if (mode & PTRACE_MODE_NOAUDIT)
 279                 return has_ns_capability_noaudit(current, ns, CAP_SYS_PTRACE);
 280         else
 281                 return has_ns_capability(current, ns, CAP_SYS_PTRACE);
 282 }
 283
 284 /* Returns 0 on success, -errno on denial. */
 285 static int __ptrace_may_access(struct task_struct *task, unsigned int mode)
 286 {
 287         const struct cred *cred = current_cred(), *tcred;
 288         struct mm_struct *mm;
 289         kuid_t caller_uid;
 290         kgid_t caller_gid;
 291
 292         if (!(mode & PTRACE_MODE_FSCREDS) == !(mode & PTRACE_MODE_REALCREDS)) {
 293                 WARN(1, "denying ptrace access check without PTRACE_MODE_*CREDS\n");
 294                 return -EPERM;
 295         }
 296
 297         /* May we inspect the given task?
 298          * This check is used both for attaching with ptrace
 299          * and for allowing access to sensitive information in /proc.
 300          *
 301          * ptrace_attach denies several cases that /proc allows
 302          * because setting up the necessary parent/child relationship
 303          * or halting the specified task is impossible.
 304          */
 305
 306         /* Don't let security modules deny introspection */
 307         if (same_thread_group(task, current))
 308                 return 0;
 309         rcu_read_lock();
 310         if (mode & PTRACE_MODE_FSCREDS) {
 311                 caller_uid = cred->fsuid;
 312                 caller_gid = cred->fsgid;
 313         } else {
 314                 /*
 315                  * Using the euid would make more sense here, but something
 316                  * in userland might rely on the old behavior, and this
 317                  * shouldn't be a security problem since
 318                  * PTRACE_MODE_REALCREDS implies that the caller explicitly
 319                  * used a syscall that requests access to another process
 320                  * (and not a filesystem syscall to procfs).
 321                  */
 322                 caller_uid = cred->uid;
 323                 caller_gid = cred->gid;
 324         }
 325         tcred = __task_cred(task);
 326         if (uid_eq(caller_uid, tcred->euid) &&
 327             uid_eq(caller_uid, tcred->suid) &&
 328             uid_eq(caller_uid, tcred->uid)  &&
 329             gid_eq(caller_gid, tcred->egid) &&
 330             gid_eq(caller_gid, tcred->sgid) &&
 331             gid_eq(caller_gid, tcred->gid))
 332                 goto ok;
 333         if (ptrace_has_cap(tcred->user_ns, mode))
 334                 goto ok;
 335         rcu_read_unlock();
 336         return -EPERM;
 337 ok:
 338         rcu_read_unlock();
 339         /*
 340          * If a task drops privileges and becomes nondumpable (through a syscall
 341          * like setresuid()) while we are trying to access it, we must ensure
 342          * that the dumpability is read after the credentials; otherwise,
 343          * we may be able to attach to a task that we shouldn't be able to
 344          * attach to (as if the task had dropped privileges without becoming
 345          * nondumpable).
 346          * Pairs with a write barrier in commit_creds().
 347          */
 348         smp_rmb();
 349         mm = task->mm;
 350         if (mm &&
 351             ((get_dumpable(mm) != SUID_DUMP_USER) &&
 352              !ptrace_has_cap(mm->user_ns, mode)))
 353             return -EPERM;
 354
 355         if (mode & PTRACE_MODE_SCHED)
 356                 return 0;
 357         return security_ptrace_access_check(task, mode);
 358 }
 359
 360 bool ptrace_may_access_sched(struct task_struct *task, unsigned int mode)
 361 {
 362         return __ptrace_may_access(task, mode | PTRACE_MODE_SCHED);
 363 }
 364
 365 bool ptrace_may_access(struct task_struct *task, unsigned int mode)
 366 {
 367         int err;
 368         task_lock(task);
 369         err = __ptrace_may_access(task, mode);
 370         task_unlock(task);
 371         return !err;
 372 }
 373
 374 static int ptrace_attach(struct task_struct *task, long request,
 375                          unsigned long addr,
 376                          unsigned long flags)
 377 {
 378         bool seize = (request == PTRACE_SEIZE);
 379         int retval;
 380
 381         retval = -EIO;
 382         if (seize) {
 383                 if (addr != 0)
 384                         goto out;
 385                 if (flags & ~(unsigned long)PTRACE_O_MASK)
 386                         goto out;
 387                 flags = PT_PTRACED | PT_SEIZED | (flags << PT_OPT_FLAG_SHIFT);
 388         } else {
 389                 flags = PT_PTRACED;
 390         }
 391
 392         audit_ptrace(task);
 393
 394         retval = -EPERM;
 395         if (unlikely(task->flags & PF_KTHREAD))
 396                 goto out;
 397         if (same_thread_group(task, current))
 398                 goto out;
 399
 400         /*
 401          * Protect exec's credential calculations against our interference;
 402          * SUID, SGID and LSM creds get determined differently
 403          * under ptrace.
 404          */
 405         retval = -ERESTARTNOINTR;
 406         if (mutex_lock_interruptible(&task->signal->cred_guard_mutex))
 407                 goto out;
 408
 409         task_lock(task);
 410         retval = __ptrace_may_access(task, PTRACE_MODE_ATTACH_REALCREDS);
 411         task_unlock(task);
 412         if (retval)
 413                 goto unlock_creds;
 414
 415         write_lock_irq(&tasklist_lock);
 416         retval = -EPERM;
 417         if (unlikely(task->exit_state))
 418                 goto unlock_tasklist;
 419         if (task->ptrace)
 420                 goto unlock_tasklist;
 421
 422         if (seize)
 423                 flags |= PT_SEIZED;
 424         task->ptrace = flags;
 425
 426         ptrace_link(task, current);
 427
 428         /* SEIZE doesn't trap tracee on attach */
 429         if (!seize)
 430                 send_sig_info(SIGSTOP, SEND_SIG_FORCED, task);
 431
 432         spin_lock(&task->sighand->siglock);
 433
 434         /*
 435          * If the task is already STOPPED, set JOBCTL_TRAP_STOP and
 436          * TRAPPING, and kick it so that it transits to TRACED.  TRAPPING
 437          * will be cleared if the child completes the transition or any
 438          * event which clears the group stop states happens.  We'll wait
 439          * for the transition to complete before returning from this
 440          * function.
 441          *
 442          * This hides STOPPED -> RUNNING -> TRACED transition from the
 443          * attaching thread but a different thread in the same group can
 444          * still observe the transient RUNNING state.  IOW, if another
 445          * thread's WNOHANG wait(2) on the stopped tracee races against
 446          * ATTACH, the wait(2) may fail due to the transient RUNNING.
 447          *
 448          * The following task_is_stopped() test is safe as both transitions
 449          * in and out of STOPPED are protected by siglock.
 450          */
 451         if (task_is_stopped(task) &&
 452             task_set_jobctl_pending(task, JOBCTL_TRAP_STOP | JOBCTL_TRAPPING))
 453                 signal_wake_up_state(task, __TASK_STOPPED);
 454
 455         spin_unlock(&task->sighand->siglock);
 456
 457         retval = 0;
 458 unlock_tasklist:
 459         write_unlock_irq(&tasklist_lock);
 460 unlock_creds:
 461         mutex_unlock(&task->signal->cred_guard_mutex);
 462 out:
 463         if (!retval) {
 464                 /*
 465                  * We do not bother to change retval or clear JOBCTL_TRAPPING
 466                  * if wait_on_bit() was interrupted by SIGKILL. The tracer will
 467                  * not return to user-mode, it will exit and clear this bit in
 468                  * __ptrace_unlink() if it wasn't already cleared by the tracee;
 469                  * and until then nobody can ptrace this task.
 470                  */
 471                 wait_on_bit(&task->jobctl, JOBCTL_TRAPPING_BIT, TASK_KILLABLE);
 472                 proc_ptrace_connector(task, PTRACE_ATTACH);
 473         }
 474
 475         return retval;
 476 }
 477
 478 /**
 479  * ptrace_traceme  --  helper for PTRACE_TRACEME
 480  *
 481  * Performs checks and sets PT_PTRACED.
 482  * Should be used by all ptrace implementations for PTRACE_TRACEME.
 483  */
 484 static int ptrace_traceme(void)
 485 {
 486         int ret = -EPERM;
 487
 488         write_lock_irq(&tasklist_lock);
 489         /* Are we already being traced? */
 490         if (!current->ptrace) {
 491                 ret = security_ptrace_traceme(current->parent);
 492                 /*
 493                  * Check PF_EXITING to ensure ->real_parent has not passed
 494                  * exit_ptrace(). Otherwise we don't report the error but
 495                  * pretend ->real_parent untraces us right after return.
 496                  */
 497                 if (!ret && !(current->real_parent->flags & PF_EXITING)) {
 498                         current->ptrace = PT_PTRACED;
 499                         ptrace_link(current, current->real_parent);
 500                 }
 501         }
 502         write_unlock_irq(&tasklist_lock);
 503
 504         return ret;
 505 }
 506
 507 /*
 508  * Called with irqs disabled, returns true if childs should reap themselves.
 509  */
 510 static int ignoring_children(struct sighand_struct *sigh)
 511 {
 512         int ret;
 513         spin_lock(&sigh->siglock);
 514         ret = (sigh->action[SIGCHLD-1].sa.sa_handler == SIG_IGN) ||
 515               (sigh->action[SIGCHLD-1].sa.sa_flags & SA_NOCLDWAIT);
 516         spin_unlock(&sigh->siglock);
 517         return ret;
 518 }
 519
 520 /*
 521  * Called with tasklist_lock held for writing.
 522  * Unlink a traced task, and clean it up if it was a traced zombie.
 523  * Return true if it needs to be reaped with release_task().
 524  * (We can't call release_task() here because we already hold tasklist_lock.)
 525  *
 526  * If it's a zombie, our attachedness prevented normal parent notification
 527  * or self-reaping.  Do notification now if it would have happened earlier.
 528  * If it should reap itself, return true.
 529  *
 530  * If it's our own child, there is no notification to do. But if our normal
 531  * children self-reap, then this child was prevented by ptrace and we must
 532  * reap it now, in that case we must also wake up sub-threads sleeping in
 533  * do_wait().
 534  */
 535 static bool __ptrace_detach(struct task_struct *tracer, struct task_struct *p)
 536 {
 537         bool dead;
 538
 539         __ptrace_unlink(p);
 540
 541         if (p->exit_state != EXIT_ZOMBIE)
 542                 return false;
 543
 544         dead = !thread_group_leader(p);
 545
 546         if (!dead && thread_group_empty(p)) {
 547                 if (!same_thread_group(p->real_parent, tracer))
 548                         dead = do_notify_parent(p, p->exit_signal);
 549                 else if (ignoring_children(tracer->sighand)) {
 550                         __wake_up_parent(p, tracer);
 551                         dead = true;
 552                 }
 553         }
 554         /* Mark it as in the process of being reaped. */
 555         if (dead)
 556                 p->exit_state = EXIT_DEAD;
 557         return dead;
 558 }
 559
 560 static int ptrace_detach(struct task_struct *child, unsigned int data)
 561 {
 562         if (!valid_signal(data))
 563                 return -EIO;
 564
 565         /* Architecture-specific hardware disable .. */
 566         ptrace_disable(child);
 567
 568         write_lock_irq(&tasklist_lock);
 569         /*
 570          * We rely on ptrace_freeze_traced(). It can't be killed and
 571          * untraced by another thread, it can't be a zombie.
 572          */
 573         WARN_ON(!child->ptrace || child->exit_state);
 574         /*
 575          * tasklist_lock avoids the race with wait_task_stopped(), see
 576          * the comment in ptrace_resume().
 577          */
 578         child->exit_code = data;
 579         __ptrace_detach(current, child);
 580         write_unlock_irq(&tasklist_lock);
 581
 582         proc_ptrace_connector(child, PTRACE_DETACH);
 583
 584         return 0;
 585 }
 586
 587 /*
 588  * Detach all tasks we were using ptrace on. Called with tasklist held
 589  * for writing.
 590  */
 591 void exit_ptrace(struct task_struct *tracer, struct list_head *dead)
 592 {
 593         struct task_struct *p, *n;
 594
 595         list_for_each_entry_safe(p, n, &tracer->ptraced, ptrace_entry) {
 596                 if (unlikely(p->ptrace & PT_EXITKILL))
 597                         send_sig_info(SIGKILL, SEND_SIG_FORCED, p);
 598
 599                 if (__ptrace_detach(tracer, p))
 600                         list_add(&p->ptrace_entry, dead);
 601         }
 602 }
 603
 604 int ptrace_readdata(struct task_struct *tsk, unsigned long src, char __user *dst, int len)
 605 {
 606         int copied = 0;
 607
 608         while (len > 0) {
 609                 char buf[128];
 610                 int this_len, retval;
 611
 612                 this_len = (len > sizeof(buf)) ? sizeof(buf) : len;
 613                 retval = ptrace_access_vm(tsk, src, buf, this_len, FOLL_FORCE);
 614
 615                 if (!retval) {
 616                         if (copied)
 617                                 break;
 618                         return -EIO;
 619                 }
 620                 if (copy_to_user(dst, buf, retval))
 621                         return -EFAULT;
 622                 copied += retval;
 623                 src += retval;
 624                 dst += retval;
 625                 len -= retval;
 626         }
 627         return copied;
 628 }
 629
 630 int ptrace_writedata(struct task_struct *tsk, char __user *src, unsigned long dst, int len)
 631 {
 632         int copied = 0;
 633
 634         while (len > 0) {
 635                 char buf[128];
 636                 int this_len, retval;
 637
 638                 this_len = (len > sizeof(buf)) ? sizeof(buf) : len;
 639                 if (copy_from_user(buf, src, this_len))
 640                         return -EFAULT;
 641                 retval = ptrace_access_vm(tsk, dst, buf, this_len,
 642                                 FOLL_FORCE | FOLL_WRITE);
 643                 if (!retval) {
 644                         if (copied)
 645                                 break;
 646                         return -EIO;
 647                 }
 648                 copied += retval;
 649                 src += retval;
 650                 dst += retval;
 651                 len -= retval;
 652         }
 653         return copied;
 654 }
 655
 656 static int ptrace_setoptions(struct task_struct *child, unsigned long data)
 657 {
 658         unsigned flags;
 659
 660         if (data & ~(unsigned long)PTRACE_O_MASK)
 661                 return -EINVAL;
 662
 663         if (unlikely(data & PTRACE_O_SUSPEND_SECCOMP)) {
 664                 if (!IS_ENABLED(CONFIG_CHECKPOINT_RESTORE) ||
 665                     !IS_ENABLED(CONFIG_SECCOMP))
 666                         return -EINVAL;
 667
 668                 if (!capable(CAP_SYS_ADMIN))
 669                         return -EPERM;
 670
 671                 if (seccomp_mode(&current->seccomp) != SECCOMP_MODE_DISABLED ||
 672                     current->ptrace & PT_SUSPEND_SECCOMP)
 673                         return -EPERM;
 674         }
 675
 676         /* Avoid intermediate state when all opts are cleared */
 677         flags = child->ptrace;
 678         flags &= ~(PTRACE_O_MASK << PT_OPT_FLAG_SHIFT);
 679         flags |= (data << PT_OPT_FLAG_SHIFT);
 680         child->ptrace = flags;
 681
 682         return 0;
 683 }
 684
 685 static int ptrace_getsiginfo(struct task_struct *child, siginfo_t *info)
 686 {
 687         unsigned long flags;
 688         int error = -ESRCH;
 689
 690         if (lock_task_sighand(child, &flags)) {
 691                 error = -EINVAL;
 692                 if (likely(child->last_siginfo != NULL)) {
 693                         *info = *child->last_siginfo;
 694                         error = 0;
 695                 }
 696                 unlock_task_sighand(child, &flags);
 697         }
 698         return error;
 699 }
 700
 701 static int ptrace_setsiginfo(struct task_struct *child, const siginfo_t *info)
 702 {
 703         unsigned long flags;
 704         int error = -ESRCH;
 705
 706         if (lock_task_sighand(child, &flags)) {
 707                 error = -EINVAL;
 708                 if (likely(child->last_siginfo != NULL)) {
 709                         *child->last_siginfo = *info;
 710                         error = 0;
 711                 }
 712                 unlock_task_sighand(child, &flags);
 713         }
 714         return error;
 715 }
 716
 717 static int ptrace_peek_siginfo(struct task_struct *child,
 718                                 unsigned long addr,
 719                                 unsigned long data)
 720 {
 721         struct ptrace_peeksiginfo_args arg;
 722         struct sigpending *pending;
 723         struct sigqueue *q;
 724         int ret, i;
 725
 726         ret = copy_from_user(&arg, (void __user *) addr,
 727                                 sizeof(struct ptrace_peeksiginfo_args));
 728         if (ret)
 729                 return -EFAULT;
 730
 731         if (arg.flags & ~PTRACE_PEEKSIGINFO_SHARED)
 732                 return -EINVAL; /* unknown flags */
 733
 734         if (arg.nr < 0)
 735                 return -EINVAL;
 736
 737         /* Ensure arg.off fits in an unsigned long */
 738         if (arg.off > ULONG_MAX)
 739                 return 0;
 740
 741         if (arg.flags & PTRACE_PEEKSIGINFO_SHARED)
 742                 pending = &child->signal->shared_pending;
 743         else
 744                 pending = &child->pending;
 745
 746         for (i = 0; i < arg.nr; ) {
 747                 siginfo_t info;
 748                 unsigned long off = arg.off + i;
 749                 bool found = false;
 750
 751                 spin_lock_irq(&child->sighand->siglock);
 752                 list_for_each_entry(q, &pending->list, list) {
 753                         if (!off--) {
 754                                 found = true;
 755                                 copy_siginfo(&info, &q->info);
 756                                 break;
 757                         }
 758                 }
 759                 spin_unlock_irq(&child->sighand->siglock);
 760
 761                 if (!found) /* beyond the end of the list */
 762                         break;
 763
 764 #ifdef CONFIG_COMPAT
 765                 if (unlikely(in_compat_syscall())) {
 766                         compat_siginfo_t __user *uinfo = compat_ptr(data);
 767
 768                         if (copy_siginfo_to_user32(uinfo, &info) ||
 769                             __put_user(info.si_code, &uinfo->si_code)) {
 770                                 ret = -EFAULT;
 771                                 break;
 772                         }
 773
 774                 } else
 775 #endif
 776                 {
 777                         siginfo_t __user *uinfo = (siginfo_t __user *) data;
 778
 779                         if (copy_siginfo_to_user(uinfo, &info) ||
 780                             __put_user(info.si_code, &uinfo->si_code)) {
 781                                 ret = -EFAULT;
 782                                 break;
 783                         }
 784                 }
 785
 786                 data += sizeof(siginfo_t);
 787                 i++;
 788
 789                 if (signal_pending(current))
 790                         break;
 791
 792                 cond_resched();
 793         }
 794
 795         if (i > 0)
 796                 return i;
 797
 798         return ret;
 799 }
 800
 801 #ifdef PTRACE_SINGLESTEP
 802 #define is_singlestep(request)          ((request) == PTRACE_SINGLESTEP)
 803 #else
 804 #define is_singlestep(request)          0
 805 #endif
 806
 807 #ifdef PTRACE_SINGLEBLOCK
 808 #define is_singleblock(request)         ((request) == PTRACE_SINGLEBLOCK)
 809 #else
 810 #define is_singleblock(request)         0
 811 #endif
 812
 813 #ifdef PTRACE_SYSEMU
 814 #define is_sysemu_singlestep(request)   ((request) == PTRACE_SYSEMU_SINGLESTEP)
 815 #else
 816 #define is_sysemu_singlestep(request)   0
 817 #endif
 818
 819 static int ptrace_resume(struct task_struct *child, long request,
 820                          unsigned long data)
 821 {
 822         bool need_siglock;
 823
 824         if (!valid_signal(data))
 825                 return -EIO;
 826
 827         if (request == PTRACE_SYSCALL)
 828                 set_tsk_thread_flag(child, TIF_SYSCALL_TRACE);
 829         else
 830                 clear_tsk_thread_flag(child, TIF_SYSCALL_TRACE);
 831
 832 #ifdef TIF_SYSCALL_EMU
 833         if (request == PTRACE_SYSEMU || request == PTRACE_SYSEMU_SINGLESTEP)
 834                 set_tsk_thread_flag(child, TIF_SYSCALL_EMU);
 835         else
 836                 clear_tsk_thread_flag(child, TIF_SYSCALL_EMU);
 837 #endif
 838
 839         if (is_singleblock(request)) {
 840                 if (unlikely(!arch_has_block_step()))
 841                         return -EIO;
 842                 user_enable_block_step(child);
 843         } else if (is_singlestep(request) || is_sysemu_singlestep(request)) {
 844                 if (unlikely(!arch_has_single_step()))
 845                         return -EIO;
 846                 user_enable_single_step(child);
 847         } else {
 848                 user_disable_single_step(child);
 849         }
 850
 851         /*
 852          * Change ->exit_code and ->state under siglock to avoid the race
 853          * with wait_task_stopped() in between; a non-zero ->exit_code will
 854          * wrongly look like another report from tracee.
 855          *
 856          * Note that we need siglock even if ->exit_code == data and/or this
 857          * status was not reported yet, the new status must not be cleared by
 858          * wait_task_stopped() after resume.
 859          *
 860          * If data == 0 we do not care if wait_task_stopped() reports the old
 861          * status and clears the code too; this can't race with the tracee, it
 862          * takes siglock after resume.
 863          */
 864         need_siglock = data && !thread_group_empty(current);
 865         if (need_siglock)
 866                 spin_lock_irq(&child->sighand->siglock);
 867         child->exit_code = data;
 868         wake_up_state(child, __TASK_TRACED);
 869         if (need_siglock)
 870                 spin_unlock_irq(&child->sighand->siglock);
 871
 872         return 0;
 873 }
 874
 875 #ifdef CONFIG_HAVE_ARCH_TRACEHOOK
 876
 877 static const struct user_regset *
 878 find_regset(const struct user_regset_view *view, unsigned int type)
 879 {
 880         const struct user_regset *regset;
 881         int n;
 882
 883         for (n = 0; n < view->n; ++n) {
 884                 regset = view->regsets + n;
 885                 if (regset->core_note_type == type)
 886                         return regset;
 887         }
 888
 889         return NULL;
 890 }
 891
 892 static int ptrace_regset(struct task_struct *task, int req, unsigned int type,
 893                          struct iovec *kiov)
 894 {
 895         const struct user_regset_view *view = task_user_regset_view(task);
 896         const struct user_regset *regset = find_regset(view, type);
 897         int regset_no;
 898
 899         if (!regset || (kiov->iov_len % regset->size) != 0)
 900                 return -EINVAL;
 901
 902         regset_no = regset - view->regsets;
 903         kiov->iov_len = min(kiov->iov_len,
 904                             (__kernel_size_t) (regset->n * regset->size));
 905
 906         if (req == PTRACE_GETREGSET)
 907                 return copy_regset_to_user(task, view, regset_no, 0,
 908                                            kiov->iov_len, kiov->iov_base);
 909         else
 910                 return copy_regset_from_user(task, view, regset_no, 0,
 911                                              kiov->iov_len, kiov->iov_base);
 912 }
 913
 914 /*
 915  * This is declared in linux/regset.h and defined in machine-dependent
 916  * code.  We put the export here, near the primary machine-neutral use,
 917  * to ensure no machine forgets it.
 918  */
 919 EXPORT_SYMBOL_GPL(task_user_regset_view);
 920 #endif
 921
 922 int ptrace_request(struct task_struct *child, long request,
 923                    unsigned long addr, unsigned long data)
 924 {
 925         bool seized = child->ptrace & PT_SEIZED;
 926         int ret = -EIO;
 927         siginfo_t siginfo, *si;
 928         void __user *datavp = (void __user *) data;
 929         unsigned long __user *datalp = datavp;
 930         unsigned long flags;
 931
 932         switch (request) {
 933         case PTRACE_PEEKTEXT:
 934         case PTRACE_PEEKDATA:
 935                 return generic_ptrace_peekdata(child, addr, data);
 936         case PTRACE_POKETEXT:
 937         case PTRACE_POKEDATA:
 938                 return generic_ptrace_pokedata(child, addr, data);
 939
 940 #ifdef PTRACE_OLDSETOPTIONS
 941         case PTRACE_OLDSETOPTIONS:
 942 #endif
 943         case PTRACE_SETOPTIONS:
 944                 ret = ptrace_setoptions(child, data);
 945                 break;
 946         case PTRACE_GETEVENTMSG:
 947                 ret = put_user(child->ptrace_message, datalp);
 948                 break;
 949
 950         case PTRACE_PEEKSIGINFO:
 951                 ret = ptrace_peek_siginfo(child, addr, data);
 952                 break;
 953
 954         case PTRACE_GETSIGINFO:
 955                 ret = ptrace_getsiginfo(child, &siginfo);
 956                 if (!ret)
 957                         ret = copy_siginfo_to_user(datavp, &siginfo);
 958                 break;
 959
 960         case PTRACE_SETSIGINFO:
 961                 if (copy_from_user(&siginfo, datavp, sizeof siginfo))
 962                         ret = -EFAULT;
 963                 else
 964                         ret = ptrace_setsiginfo(child, &siginfo);
 965                 break;
 966
 967         case PTRACE_GETSIGMASK:
 968                 if (addr != sizeof(sigset_t)) {
 969                         ret = -EINVAL;
 970                         break;
 971                 }
 972
 973                 if (copy_to_user(datavp, &child->blocked, sizeof(sigset_t)))
 974                         ret = -EFAULT;
 975                 else
 976                         ret = 0;
 977
 978                 break;
 979
 980         case PTRACE_SETSIGMASK: {
 981                 sigset_t new_set;
 982
 983                 if (addr != sizeof(sigset_t)) {
 984                         ret = -EINVAL;
 985                         break;
 986                 }
 987
 988                 if (copy_from_user(&new_set, datavp, sizeof(sigset_t))) {
 989                         ret = -EFAULT;
 990                         break;
 991                 }
 992
 993                 sigdelsetmask(&new_set, sigmask(SIGKILL)|sigmask(SIGSTOP));
 994
 995                 /*
 996                  * Every thread does recalc_sigpending() after resume, so
 997                  * retarget_shared_pending() and recalc_sigpending() are not
 998                  * called here.
 999                  */
1000                 spin_lock_irq(&child->sighand->siglock);
1001                 child->blocked = new_set;
1002                 spin_unlock_irq(&child->sighand->siglock);
1003
1004                 ret = 0;
1005                 break;
1006         }
1007
1008         case PTRACE_INTERRUPT:
1009                 /*
1010                  * Stop tracee without any side-effect on signal or job
1011                  * control.  At least one trap is guaranteed to happen
1012                  * after this request.  If @child is already trapped, the
1013                  * current trap is not disturbed and another trap will
1014                  * happen after the current trap is ended with PTRACE_CONT.
1015                  *
1016                  * The actual trap might not be PTRACE_EVENT_STOP trap but
1017                  * the pending condition is cleared regardless.
1018                  */
1019                 if (unlikely(!seized || !lock_task_sighand(child, &flags)))
1020                         break;
1021
1022                 /*
1023                  * INTERRUPT doesn't disturb existing trap sans one
1024                  * exception.  If ptracer issued LISTEN for the current
1025                  * STOP, this INTERRUPT should clear LISTEN and re-trap
1026                  * tracee into STOP.
1027                  */
1028                 if (likely(task_set_jobctl_pending(child, JOBCTL_TRAP_STOP)))
1029                         ptrace_signal_wake_up(child, child->jobctl & JOBCTL_LISTENING);
1030
1031                 unlock_task_sighand(child, &flags);
1032                 ret = 0;
1033                 break;
1034
1035         case PTRACE_LISTEN:
1036                 /*
1037                  * Listen for events.  Tracee must be in STOP.  It's not
1038                  * resumed per-se but is not considered to be in TRACED by
1039                  * wait(2) or ptrace(2).  If an async event (e.g. group
1040                  * stop state change) happens, tracee will enter STOP trap
1041                  * again.  Alternatively, ptracer can issue INTERRUPT to
1042                  * finish listening and re-trap tracee into STOP.
1043                  */
1044                 if (unlikely(!seized || !lock_task_sighand(child, &flags)))
1045                         break;
1046
1047                 si = child->last_siginfo;
1048                 if (likely(si && (si->si_code >> 8) == PTRACE_EVENT_STOP)) {
1049                         child->jobctl |= JOBCTL_LISTENING;
1050                         /*
1051                          * If NOTIFY is set, it means event happened between
1052                          * start of this trap and now.  Trigger re-trap.
1053                          */
1054                         if (child->jobctl & JOBCTL_TRAP_NOTIFY)
1055                                 ptrace_signal_wake_up(child, true);
1056                         ret = 0;
1057                 }
1058                 unlock_task_sighand(child, &flags);
1059                 break;
1060
1061         case PTRACE_DETACH:      /* detach a process that was attached. */
1062                 ret = ptrace_detach(child, data);
1063                 break;
1064
1065 #ifdef CONFIG_BINFMT_ELF_FDPIC
1066         case PTRACE_GETFDPIC: {
1067                 struct mm_struct *mm = get_task_mm(child);
1068                 unsigned long tmp = 0;
1069
1070                 ret = -ESRCH;
1071                 if (!mm)
1072                         break;
1073
1074                 switch (addr) {
1075                 case PTRACE_GETFDPIC_EXEC:
1076                         tmp = mm->context.exec_fdpic_loadmap;
1077                         break;
1078                 case PTRACE_GETFDPIC_INTERP:
1079                         tmp = mm->context.interp_fdpic_loadmap;
1080                         break;
1081                 default:
1082                         break;
1083                 }
1084                 mmput(mm);
1085
1086                 ret = put_user(tmp, datalp);
1087                 break;
1088         }
1089 #endif
1090
1091 #ifdef PTRACE_SINGLESTEP
1092         case PTRACE_SINGLESTEP:
1093 #endif
1094 #ifdef PTRACE_SINGLEBLOCK
1095         case PTRACE_SINGLEBLOCK:
1096 #endif
1097 #ifdef PTRACE_SYSEMU
1098         case PTRACE_SYSEMU:
1099         case PTRACE_SYSEMU_SINGLESTEP:
1100 #endif
1101         case PTRACE_SYSCALL:
1102         case PTRACE_CONT:
1103                 return ptrace_resume(child, request, data);
1104
1105         case PTRACE_KILL:
1106                 if (child->exit_state)  /* already dead */
1107                         return 0;
1108                 return ptrace_resume(child, request, SIGKILL);
1109
1110 #ifdef CONFIG_HAVE_ARCH_TRACEHOOK
1111         case PTRACE_GETREGSET:
1112         case PTRACE_SETREGSET: {
1113                 struct iovec kiov;
1114                 struct iovec __user *uiov = datavp;
1115
1116                 if (!access_ok(VERIFY_WRITE, uiov, sizeof(*uiov)))
1117                         return -EFAULT;
1118
1119                 if (__get_user(kiov.iov_base, &uiov->iov_base) ||
1120                     __get_user(kiov.iov_len, &uiov->iov_len))
1121                         return -EFAULT;
1122
1123                 ret = ptrace_regset(child, request, addr, &kiov);
1124                 if (!ret)
1125                         ret = __put_user(kiov.iov_len, &uiov->iov_len);
1126                 break;
1127         }
1128 #endif
1129
1130         case PTRACE_SECCOMP_GET_FILTER:
1131                 ret = seccomp_get_filter(child, addr, datavp);
1132                 break;
1133
1134         default:
1135                 break;
1136         }
1137
1138         return ret;
1139 }
1140
1141 static struct task_struct *ptrace_get_task_struct(pid_t pid)
1142 {
1143         struct task_struct *child;
1144
1145         rcu_read_lock();
1146         child = find_task_by_vpid(pid);
1147         if (child)
1148                 get_task_struct(child);
1149         rcu_read_unlock();
1150
1151         if (!child)
1152                 return ERR_PTR(-ESRCH);
1153         return child;
1154 }
1155
1156 #ifndef arch_ptrace_attach
1157 #define arch_ptrace_attach(child)       do { } while (0)
1158 #endif
1159
1160 SYSCALL_DEFINE4(ptrace, long, request, long, pid, unsigned long, addr,
1161                 unsigned long, data)
1162 {
1163         struct task_struct *child;
1164         long ret;
1165
1166         if (request == PTRACE_TRACEME) {
1167                 ret = ptrace_traceme();
1168                 if (!ret)
1169                         arch_ptrace_attach(current);
1170                 goto out;
1171         }
1172
1173         child = ptrace_get_task_struct(pid);
1174         if (IS_ERR(child)) {
1175                 ret = PTR_ERR(child);
1176                 goto out;
1177         }
1178
1179         if (request == PTRACE_ATTACH || request == PTRACE_SEIZE) {
1180                 ret = ptrace_attach(child, request, addr, data);
1181                 /*
1182                  * Some architectures need to do book-keeping after
1183                  * a ptrace attach.
1184                  */
1185                 if (!ret)
1186                         arch_ptrace_attach(child);
1187                 goto out_put_task_struct;
1188         }
1189
1190         ret = ptrace_check_attach(child, request == PTRACE_KILL ||
1191                                   request == PTRACE_INTERRUPT);
1192         if (ret < 0)
1193                 goto out_put_task_struct;
1194
1195         ret = arch_ptrace(child, request, addr, data);
1196         if (ret || request != PTRACE_DETACH)
1197                 ptrace_unfreeze_traced(child);
1198
1199  out_put_task_struct:
1200         put_task_struct(child);
1201  out:
1202         return ret;
1203 }
1204
1205 int generic_ptrace_peekdata(struct task_struct *tsk, unsigned long addr,
1206                             unsigned long data)
1207 {
1208         unsigned long tmp;
1209         int copied;
1210
1211         copied = ptrace_access_vm(tsk, addr, &tmp, sizeof(tmp), FOLL_FORCE);
1212         if (copied != sizeof(tmp))
1213                 return -EIO;
1214         return put_user(tmp, (unsigned long __user *)data);
1215 }
1216
1217 int generic_ptrace_pokedata(struct task_struct *tsk, unsigned long addr,
1218                             unsigned long data)
1219 {
1220         int copied;
1221
1222         copied = ptrace_access_vm(tsk, addr, &data, sizeof(data),
1223                         FOLL_FORCE | FOLL_WRITE);
1224         return (copied == sizeof(data)) ? 0 : -EIO;
1225 }
1226
1227 #if defined CONFIG_COMPAT
1228
1229 int compat_ptrace_request(struct task_struct *child, compat_long_t request,
1230                           compat_ulong_t addr, compat_ulong_t data)
1231 {
1232         compat_ulong_t __user *datap = compat_ptr(data);
1233         compat_ulong_t word;
1234         siginfo_t siginfo;
1235         int ret;
1236
1237         switch (request) {
1238         case PTRACE_PEEKTEXT:
1239         case PTRACE_PEEKDATA:
1240                 ret = ptrace_access_vm(child, addr, &word, sizeof(word),
1241                                 FOLL_FORCE);
1242                 if (ret != sizeof(word))
1243                         ret = -EIO;
1244                 else
1245                         ret = put_user(word, datap);
1246                 break;
1247
1248         case PTRACE_POKETEXT:
1249         case PTRACE_POKEDATA:
1250                 ret = ptrace_access_vm(child, addr, &data, sizeof(data),
1251                                 FOLL_FORCE | FOLL_WRITE);
1252                 ret = (ret != sizeof(data) ? -EIO : 0);
1253                 break;
1254
1255         case PTRACE_GETEVENTMSG:
1256                 ret = put_user((compat_ulong_t) child->ptrace_message, datap);
1257                 break;
1258
1259         case PTRACE_GETSIGINFO:
1260                 ret = ptrace_getsiginfo(child, &siginfo);
1261                 if (!ret)
1262                         ret = copy_siginfo_to_user32(
1263                                 (struct compat_siginfo __user *) datap,
1264                                 &siginfo);
1265                 break;
1266
1267         case PTRACE_SETSIGINFO:
1268                 memset(&siginfo, 0, sizeof siginfo);
1269                 if (copy_siginfo_from_user32(
1270                             &siginfo, (struct compat_siginfo __user *) datap))
1271                         ret = -EFAULT;
1272                 else
1273                         ret = ptrace_setsiginfo(child, &siginfo);
1274                 break;
1275 #ifdef CONFIG_HAVE_ARCH_TRACEHOOK
1276         case PTRACE_GETREGSET:
1277         case PTRACE_SETREGSET:
1278         {
1279                 struct iovec kiov;
1280                 struct compat_iovec __user *uiov =
1281                         (struct compat_iovec __user *) datap;
1282                 compat_uptr_t ptr;
1283                 compat_size_t len;
1284
1285                 if (!access_ok(VERIFY_WRITE, uiov, sizeof(*uiov)))
1286                         return -EFAULT;
1287
1288                 if (__get_user(ptr, &uiov->iov_base) ||
1289                     __get_user(len, &uiov->iov_len))
1290                         return -EFAULT;
1291
1292                 kiov.iov_base = compat_ptr(ptr);
1293                 kiov.iov_len = len;
1294
1295                 ret = ptrace_regset(child, request, addr, &kiov);
1296                 if (!ret)
1297                         ret = __put_user(kiov.iov_len, &uiov->iov_len);
1298                 break;
1299         }
1300 #endif
1301
1302         default:
1303                 ret = ptrace_request(child, request, addr, data);
1304         }
1305
1306         return ret;
1307 }
1308
1309 COMPAT_SYSCALL_DEFINE4(ptrace, compat_long_t, request, compat_long_t, pid,
1310                        compat_long_t, addr, compat_long_t, data)
1311 {
1312         struct task_struct *child;
1313         long ret;
1314
1315         if (request == PTRACE_TRACEME) {
1316                 ret = ptrace_traceme();
1317                 goto out;
1318         }
1319
1320         child = ptrace_get_task_struct(pid);
1321         if (IS_ERR(child)) {
1322                 ret = PTR_ERR(child);
1323                 goto out;
1324         }
1325
1326         if (request == PTRACE_ATTACH || request == PTRACE_SEIZE) {
1327                 ret = ptrace_attach(child, request, addr, data);
1328                 /*
1329                  * Some architectures need to do book-keeping after
1330                  * a ptrace attach.
1331                  */
1332                 if (!ret)
1333                         arch_ptrace_attach(child);
1334                 goto out_put_task_struct;
1335         }
1336
1337         ret = ptrace_check_attach(child, request == PTRACE_KILL ||
1338                                   request == PTRACE_INTERRUPT);
1339         if (!ret) {
1340                 ret = compat_arch_ptrace(child, request, addr, data);
1341                 if (ret || request != PTRACE_DETACH)
1342                         ptrace_unfreeze_traced(child);
1343         }
1344
1345  out_put_task_struct:
1346         put_task_struct(child);
1347  out:
1348         return ret;
1349 }
1350 #endif  /* CONFIG_COMPAT */