drivers/staging/lustre/lustre/include/lustre_import.h

   1 /*
   2  * GPL HEADER START
   3  *
   4  * DO NOT ALTER OR REMOVE COPYRIGHT NOTICES OR THIS FILE HEADER.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 only,
   8  * as published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License version 2 for more details (a copy is included
  14  * in the LICENSE file that accompanied this code).
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * version 2 along with this program; If not, see
  18  * http://www.gnu.org/licenses/gpl-2.0.html
  19  *
  20  * GPL HEADER END
  21  */
  22 /*
  23  * Copyright (c) 2002, 2010, Oracle and/or its affiliates. All rights reserved.
  24  * Use is subject to license terms.
  25  *
  26  * Copyright (c) 2011, 2012, Intel Corporation.
  27  */
  28 /*
  29  * This file is part of Lustre, http://www.lustre.org/
  30  * Lustre is a trademark of Sun Microsystems, Inc.
  31  */
  32 /** \defgroup obd_import PtlRPC import definitions
  33  * Imports are client-side representation of remote obd target.
  34  *
  35  * @{
  36  */
  37
  38 #ifndef __IMPORT_H
  39 #define __IMPORT_H
  40
  41 /** \defgroup export export
  42  *
  43  * @{
  44  */
  45
  46 #include <lustre_handles.h>
  47 #include <uapi/linux/lustre/lustre_idl.h>
  48
  49 /**
  50  * Adaptive Timeout stuff
  51  *
  52  * @{
  53  */
  54 #define D_ADAPTTO D_OTHER
  55 #define AT_BINS 4                 /* "bin" means "N seconds of history" */
  56 #define AT_FLG_NOHIST 0x1         /* use last reported value only */
  57
  58 struct adaptive_timeout {
  59         time64_t        at_binstart;     /* bin start time */
  60         unsigned int    at_hist[AT_BINS];    /* timeout history bins */
  61         unsigned int    at_flags;
  62         unsigned int    at_current;       /* current timeout value */
  63         unsigned int    at_worst_ever;       /* worst-ever timeout value */
  64         time64_t        at_worst_time;       /* worst-ever timeout timestamp */
  65         spinlock_t      at_lock;
  66 };
  67
  68 struct ptlrpc_at_array {
  69         struct list_head       *paa_reqs_array; /** array to hold requests */
  70         __u32        paa_size;       /** the size of array */
  71         __u32        paa_count;      /** the total count of reqs */
  72         time64_t     paa_deadline;   /** the earliest deadline of reqs */
  73         __u32       *paa_reqs_count; /** the count of reqs in each entry */
  74 };
  75
  76 #define IMP_AT_MAX_PORTALS 8
  77 struct imp_at {
  78         int                  iat_portal[IMP_AT_MAX_PORTALS];
  79         struct adaptive_timeout iat_net_latency;
  80         struct adaptive_timeout iat_service_estimate[IMP_AT_MAX_PORTALS];
  81 };
  82
  83 /** @} */
  84
  85 /** Possible import states */
  86 enum lustre_imp_state {
  87         LUSTRE_IMP_CLOSED     = 1,
  88         LUSTRE_IMP_NEW  = 2,
  89         LUSTRE_IMP_DISCON     = 3,
  90         LUSTRE_IMP_CONNECTING = 4,
  91         LUSTRE_IMP_REPLAY     = 5,
  92         LUSTRE_IMP_REPLAY_LOCKS = 6,
  93         LUSTRE_IMP_REPLAY_WAIT  = 7,
  94         LUSTRE_IMP_RECOVER    = 8,
  95         LUSTRE_IMP_FULL       = 9,
  96         LUSTRE_IMP_EVICTED    = 10,
  97 };
  98
  99 /** Returns test string representation of numeric import state \a state */
 100 static inline char *ptlrpc_import_state_name(enum lustre_imp_state state)
 101 {
 102         static char *import_state_names[] = {
 103                 "<UNKNOWN>", "CLOSED",  "NEW", "DISCONN",
 104                 "CONNECTING", "REPLAY", "REPLAY_LOCKS", "REPLAY_WAIT",
 105                 "RECOVER", "FULL", "EVICTED",
 106         };
 107
 108         LASSERT(state <= LUSTRE_IMP_EVICTED);
 109         return import_state_names[state];
 110 }
 111
 112 /**
 113  * List of import event types
 114  */
 115 enum obd_import_event {
 116         IMP_EVENT_DISCON     = 0x808001,
 117         IMP_EVENT_INACTIVE   = 0x808002,
 118         IMP_EVENT_INVALIDATE = 0x808003,
 119         IMP_EVENT_ACTIVE     = 0x808004,
 120         IMP_EVENT_OCD   = 0x808005,
 121         IMP_EVENT_DEACTIVATE = 0x808006,
 122         IMP_EVENT_ACTIVATE   = 0x808007,
 123 };
 124
 125 /**
 126  * Definition of import connection structure
 127  */
 128 struct obd_import_conn {
 129         /** Item for linking connections together */
 130         struct list_head                oic_item;
 131         /** Pointer to actual PortalRPC connection */
 132         struct ptlrpc_connection *oic_conn;
 133         /** uuid of remote side */
 134         struct obd_uuid    oic_uuid;
 135         /**
 136          * Time (64 bit jiffies) of last connection attempt on this connection
 137          */
 138         __u64                oic_last_attempt;
 139 };
 140
 141 /* state history */
 142 #define IMP_STATE_HIST_LEN 16
 143 struct import_state_hist {
 144         enum lustre_imp_state ish_state;
 145         time64_t        ish_time;
 146 };
 147
 148 /**
 149  * Definition of PortalRPC import structure.
 150  * Imports are representing client-side view to remote target.
 151  */
 152 struct obd_import {
 153         /** Local handle (== id) for this import. */
 154         struct portals_handle     imp_handle;
 155         /** Reference counter */
 156         atomic_t              imp_refcount;
 157         struct lustre_handle      imp_dlm_handle; /* client's ldlm export */
 158         /** Currently active connection */
 159         struct ptlrpc_connection *imp_connection;
 160         /** PortalRPC client structure for this import */
 161         struct ptlrpc_client     *imp_client;
 162         /** List element for linking into pinger chain */
 163         struct list_head                imp_pinger_chain;
 164         /** List element for linking into chain for destruction */
 165         struct list_head                imp_zombie_chain;
 166
 167         /**
 168          * Lists of requests that are retained for replay, waiting for a reply,
 169          * or waiting for recovery to complete, respectively.
 170          * @{
 171          */
 172         struct list_head                imp_replay_list;
 173         struct list_head                imp_sending_list;
 174         struct list_head                imp_delayed_list;
 175         /** @} */
 176
 177         /**
 178          * List of requests that are retained for committed open replay. Once
 179          * open is committed, open replay request will be moved from the
 180          * imp_replay_list into the imp_committed_list.
 181          * The imp_replay_cursor is for accelerating searching during replay.
 182          * @{
 183          */
 184         struct list_head                imp_committed_list;
 185         struct list_head               *imp_replay_cursor;
 186         /** @} */
 187
 188         /** List of not replied requests */
 189         struct list_head        imp_unreplied_list;
 190         /** Known maximal replied XID */
 191         __u64                   imp_known_replied_xid;
 192
 193         /** obd device for this import */
 194         struct obd_device       *imp_obd;
 195
 196         /**
 197          * some seciruty-related fields
 198          * @{
 199          */
 200         struct ptlrpc_sec       *imp_sec;
 201         struct mutex              imp_sec_mutex;
 202         time64_t                imp_sec_expire;
 203         /** @} */
 204
 205         /** Wait queue for those who need to wait for recovery completion */
 206         wait_queue_head_t              imp_recovery_waitq;
 207
 208         /** Number of requests currently in-flight */
 209         atomic_t              imp_inflight;
 210         /** Number of requests currently unregistering */
 211         atomic_t              imp_unregistering;
 212         /** Number of replay requests inflight */
 213         atomic_t              imp_replay_inflight;
 214         /** Number of currently happening import invalidations */
 215         atomic_t              imp_inval_count;
 216         /** Numbner of request timeouts */
 217         atomic_t              imp_timeouts;
 218         /** Current import state */
 219         enum lustre_imp_state     imp_state;
 220         /** Last replay state */
 221         enum lustre_imp_state     imp_replay_state;
 222         /** History of import states */
 223         struct import_state_hist  imp_state_hist[IMP_STATE_HIST_LEN];
 224         int                    imp_state_hist_idx;
 225         /** Current import generation. Incremented on every reconnect */
 226         int                    imp_generation;
 227         /** Incremented every time we send reconnection request */
 228         __u32                imp_conn_cnt;
 229        /**
 230         * \see ptlrpc_free_committed remembers imp_generation value here
 231         * after a check to save on unnecessary replay list iterations
 232         */
 233         int                    imp_last_generation_checked;
 234         /** Last transno we replayed */
 235         __u64                imp_last_replay_transno;
 236         /** Last transno committed on remote side */
 237         __u64                imp_peer_committed_transno;
 238         /**
 239          * \see ptlrpc_free_committed remembers last_transno since its last
 240          * check here and if last_transno did not change since last run of
 241          * ptlrpc_free_committed and import generation is the same, we can
 242          * skip looking for requests to remove from replay list as optimisation
 243          */
 244         __u64                imp_last_transno_checked;
 245         /**
 246          * Remote export handle. This is how remote side knows what export
 247          * we are talking to. Filled from response to connect request
 248          */
 249         struct lustre_handle      imp_remote_handle;
 250         /** When to perform next ping. time in jiffies. */
 251         unsigned long           imp_next_ping;
 252         /** When we last successfully connected. time in 64bit jiffies */
 253         __u64                imp_last_success_conn;
 254
 255         /** List of all possible connection for import. */
 256         struct list_head                imp_conn_list;
 257         /**
 258          * Current connection. \a imp_connection is imp_conn_current->oic_conn
 259          */
 260         struct obd_import_conn   *imp_conn_current;
 261
 262         /** Protects flags, level, generation, conn_cnt, *_list */
 263         spinlock_t                imp_lock;
 264
 265         /* flags */
 266         unsigned long        imp_no_timeout:1, /* timeouts are disabled */
 267                                   imp_invalid:1,    /* evicted */
 268                                   /* administratively disabled */
 269                                   imp_deactive:1,
 270                                   /* try to recover the import */
 271                                   imp_replayable:1,
 272                                   /* don't run recovery (timeout instead) */
 273                                   imp_dlm_fake:1,
 274                                   /* use 1/2 timeout on MDS' OSCs */
 275                                   imp_server_timeout:1,
 276                                   /* VBR: imp in delayed recovery */
 277                                   imp_delayed_recovery:1,
 278                                   /* VBR: if gap was found then no lock replays
 279                                    */
 280                                   imp_no_lock_replay:1,
 281                                   /* recovery by versions was failed */
 282                                   imp_vbr_failed:1,
 283                                   /* force an immediate ping */
 284                                   imp_force_verify:1,
 285                                   /* force a scheduled ping */
 286                                   imp_force_next_verify:1,
 287                                   /* pingable */
 288                                   imp_pingable:1,
 289                                   /* resend for replay */
 290                                   imp_resend_replay:1,
 291                                   /* disable normal recovery, for test only. */
 292                                   imp_no_pinger_recover:1,
 293 #if OBD_OCD_VERSION(3, 0, 53, 0) > LUSTRE_VERSION_CODE
 294                                   /* need IR MNE swab */
 295                                   imp_need_mne_swab:1,
 296 #endif
 297                                   /* import must be reconnected instead of
 298                                    * chosing new connection
 299                                    */
 300                                   imp_force_reconnect:1,
 301                                   /* import has tried to connect with server */
 302                                   imp_connect_tried:1,
 303                                  /* connected but not FULL yet */
 304                                  imp_connected:1;
 305         __u32                imp_connect_op;
 306         struct obd_connect_data   imp_connect_data;
 307         __u64                imp_connect_flags_orig;
 308         int                    imp_connect_error;
 309
 310         __u32                imp_msg_magic;
 311         __u32                imp_msghdr_flags;       /* adjusted based on server capability */
 312
 313         struct imp_at        imp_at;             /* adaptive timeout data */
 314         time64_t             imp_last_reply_time;    /* for health check */
 315 };
 316
 317 /* import.c */
 318 static inline unsigned int at_est2timeout(unsigned int val)
 319 {
 320         /* add an arbitrary minimum: 125% +5 sec */
 321         return (val + (val >> 2) + 5);
 322 }
 323
 324 static inline unsigned int at_timeout2est(unsigned int val)
 325 {
 326         /* restore estimate value from timeout: e=4/5(t-5) */
 327         LASSERT(val);
 328         return (max((val << 2) / 5, 5U) - 4);
 329 }
 330
 331 static inline void at_reset(struct adaptive_timeout *at, int val)
 332 {
 333         spin_lock(&at->at_lock);
 334         at->at_current = val;
 335         at->at_worst_ever = val;
 336         at->at_worst_time = ktime_get_real_seconds();
 337         spin_unlock(&at->at_lock);
 338 }
 339
 340 static inline void at_init(struct adaptive_timeout *at, int val, int flags)
 341 {
 342         memset(at, 0, sizeof(*at));
 343         spin_lock_init(&at->at_lock);
 344         at->at_flags = flags;
 345         at_reset(at, val);
 346 }
 347
 348 extern unsigned int at_min;
 349 static inline int at_get(struct adaptive_timeout *at)
 350 {
 351         return (at->at_current > at_min) ? at->at_current : at_min;
 352 }
 353
 354 int at_measured(struct adaptive_timeout *at, unsigned int val);
 355 int import_at_get_index(struct obd_import *imp, int portal);
 356 extern unsigned int at_max;
 357 #define AT_OFF (at_max == 0)
 358
 359 /* genops.c */
 360 struct obd_export;
 361 struct obd_import *class_exp2cliimp(struct obd_export *);
 362
 363 /** @} import */
 364
 365 #endif /* __IMPORT_H */
 366
 367 /** @} obd_import */