module/mes/getopt-long.scm

   1 ;;; Copyright (C) 1998, 2001, 2006 Free Software Foundation, Inc.
   2 ;;; Copyright (C) 2017,2018 Jan Nieuwenhuizen <janneke@gnu.org>
   3 ;;;
   4 ;; This library is free software; you can redistribute it and/or
   5 ;; modify it under the terms of the GNU Lesser General Public
   6 ;; License as published by the Free Software Foundation; either
   7 ;; version 2.1 of the License, or (at your option) any later version.
   8 ;;
   9 ;; This library is distributed in the hope that it will be useful,
  10 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12 ;; Lesser General Public License for more details.
  13 ;;
  14 ;; You should have received a copy of the GNU Lesser General Public
  15 ;; License along with this library; if not, write to the Free Software
  16 ;; Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  17
  18 ;;; Author: Russ McManus (rewritten by Thien-Thi Nguyen)
  19 ;;;                      (regexps removed by Jan Nieuwenhuizen)
  20 ;;;                      (srfi-9 backport by Jan Nieuwenhuizen)
  21
  22 ;;; Commentary:
  23
  24 ;;; This module implements some complex command line option parsing, in
  25 ;;; the spirit of the GNU C library function `getopt_long'.  Both long
  26 ;;; and short options are supported.
  27 ;;;
  28 ;;; The theory is that people should be able to constrain the set of
  29 ;;; options they want to process using a grammar, rather than some arbitrary
  30 ;;; structure.  The grammar makes the option descriptions easy to read.
  31 ;;;
  32 ;;; `getopt-long' is a procedure for parsing command-line arguments in a
  33 ;;; manner consistent with other GNU programs.  `option-ref' is a procedure
  34 ;;; that facilitates processing of the `getopt-long' return value.
  35
  36 ;;; (getopt-long ARGS GRAMMAR)
  37 ;;; Parse the arguments ARGS according to the argument list grammar GRAMMAR.
  38 ;;;
  39 ;;; ARGS should be a list of strings.  Its first element should be the
  40 ;;; name of the program; subsequent elements should be the arguments
  41 ;;; that were passed to the program on the command line.  The
  42 ;;; `program-arguments' procedure returns a list of this form.
  43 ;;;
  44 ;;; GRAMMAR is a list of the form:
  45 ;;; ((OPTION (PROPERTY VALUE) ...) ...)
  46 ;;;
  47 ;;; Each OPTION should be a symbol.  `getopt-long' will accept a
  48 ;;; command-line option named `--OPTION'.
  49 ;;; Each option can have the following (PROPERTY VALUE) pairs:
  50 ;;;
  51 ;;;   (single-char CHAR) --- Accept `-CHAR' as a single-character
  52 ;;;             equivalent to `--OPTION'.  This is how to specify traditional
  53 ;;;             Unix-style flags.
  54 ;;;   (required? BOOL) --- If BOOL is true, the option is required.
  55 ;;;             getopt-long will raise an error if it is not found in ARGS.
  56 ;;;   (value BOOL) --- If BOOL is #t, the option accepts a value; if
  57 ;;;             it is #f, it does not; and if it is the symbol
  58 ;;;             `optional', the option may appear in ARGS with or
  59 ;;;             without a value.
  60 ;;;   (predicate FUNC) --- If the option accepts a value (i.e. you
  61 ;;;             specified `(value #t)' for this option), then getopt
  62 ;;;             will apply FUNC to the value, and throw an exception
  63 ;;;             if it returns #f.  FUNC should be a procedure which
  64 ;;;             accepts a string and returns a boolean value; you may
  65 ;;;             need to use quasiquotes to get it into GRAMMAR.
  66 ;;;
  67 ;;; The (PROPERTY VALUE) pairs may occur in any order, but each
  68 ;;; property may occur only once.  By default, options do not have
  69 ;;; single-character equivalents, are not required, and do not take
  70 ;;; values.
  71 ;;;
  72 ;;; In ARGS, single-character options may be combined, in the usual
  73 ;;; Unix fashion: ("-x" "-y") is equivalent to ("-xy").  If an option
  74 ;;; accepts values, then it must be the last option in the
  75 ;;; combination; the value is the next argument.  So, for example, using
  76 ;;; the following grammar:
  77 ;;;      ((apples    (single-char #\a))
  78 ;;;       (blimps    (single-char #\b) (value #t))
  79 ;;;       (catalexis (single-char #\c) (value #t)))
  80 ;;; the following argument lists would be acceptable:
  81 ;;;    ("-a" "-b" "bang" "-c" "couth")     ("bang" and "couth" are the values
  82 ;;;                                         for "blimps" and "catalexis")
  83 ;;;    ("-ab" "bang" "-c" "couth")         (same)
  84 ;;;    ("-ac" "couth" "-b" "bang")         (same)
  85 ;;;    ("-abc" "couth" "bang")             (an error, since `-b' is not the
  86 ;;;                                         last option in its combination)
  87 ;;;
  88 ;;; If an option's value is optional, then `getopt-long' decides
  89 ;;; whether it has a value by looking at what follows it in ARGS.  If
  90 ;;; the next element is does not appear to be an option itself, then
  91 ;;; that element is the option's value.
  92 ;;;
  93 ;;; The value of a long option can appear as the next element in ARGS,
  94 ;;; or it can follow the option name, separated by an `=' character.
  95 ;;; Thus, using the same grammar as above, the following argument lists
  96 ;;; are equivalent:
  97 ;;;   ("--apples" "Braeburn" "--blimps" "Goodyear")
  98 ;;;   ("--apples=Braeburn" "--blimps" "Goodyear")
  99 ;;;   ("--blimps" "Goodyear" "--apples=Braeburn")
 100 ;;;
 101 ;;; If the option "--" appears in ARGS, argument parsing stops there;
 102 ;;; subsequent arguments are returned as ordinary arguments, even if
 103 ;;; they resemble options.  So, in the argument list:
 104 ;;;         ("--apples" "Granny Smith" "--" "--blimp" "Goodyear")
 105 ;;; `getopt-long' will recognize the `apples' option as having the
 106 ;;; value "Granny Smith", but it will not recognize the `blimp'
 107 ;;; option; it will return the strings "--blimp" and "Goodyear" as
 108 ;;; ordinary argument strings.
 109 ;;;
 110 ;;; The `getopt-long' function returns the parsed argument list as an
 111 ;;; assocation list, mapping option names --- the symbols from GRAMMAR
 112 ;;; --- onto their values, or #t if the option does not accept a value.
 113 ;;; Unused options do not appear in the alist.
 114 ;;;
 115 ;;; All arguments that are not the value of any option are returned
 116 ;;; as a list, associated with the empty list.
 117 ;;;
 118 ;;; `getopt-long' throws an exception if:
 119 ;;; - it finds an unrecognized property in GRAMMAR
 120 ;;; - the value of the `single-char' property is not a character
 121 ;;; - it finds an unrecognized option in ARGS
 122 ;;; - a required option is omitted
 123 ;;; - an option that requires an argument doesn't get one
 124 ;;; - an option that doesn't accept an argument does get one (this can
 125 ;;;   only happen using the long option `--opt=value' syntax)
 126 ;;; - an option predicate fails
 127 ;;;
 128 ;;; So, for example:
 129 ;;;
 130 ;;; (define grammar
 131 ;;;   `((lockfile-dir (required? #t)
 132 ;;;                   (value #t)
 133 ;;;                   (single-char #\k)
 134 ;;;                   (predicate ,file-is-directory?))
 135 ;;;     (verbose (required? #f)
 136 ;;;              (single-char #\v)
 137 ;;;              (value #f))
 138 ;;;     (x-includes (single-char #\x))
 139 ;;;     (rnet-server (single-char #\y)
 140 ;;;                  (predicate ,string?))))
 141 ;;;
 142 ;;; (getopt-long '("my-prog" "-vk" "/tmp" "foo1" "--x-includes=/usr/include"
 143 ;;;                "--rnet-server=lamprod" "--" "-fred" "foo2" "foo3")
 144 ;;;                grammar)
 145 ;;; => ((() "foo1" "-fred" "foo2" "foo3")
 146 ;;;     (rnet-server . "lamprod")
 147 ;;;     (x-includes . "/usr/include")
 148 ;;;     (lockfile-dir . "/tmp")
 149 ;;;     (verbose . #t))
 150
 151 ;;; (option-ref OPTIONS KEY DEFAULT)
 152 ;;; Return value in alist OPTIONS using KEY, a symbol; or DEFAULT if not
 153 ;;; found.  The value is either a string or `#t'.
 154 ;;;
 155 ;;; For example, using the `getopt-long' return value from above:
 156 ;;;
 157 ;;; (option-ref (getopt-long ...) 'x-includes 42) => "/usr/include"
 158 ;;; (option-ref (getopt-long ...) 'not-a-key! 31) => 31
 159
 160 ;;; Code:
 161
 162 (define-module (mes getopt-long)
 163   #:use-module (srfi srfi-1)
 164   #:use-module (srfi srfi-9)
 165   #:export (getopt-long option-ref))
 166
 167 (define-record-type option-spec
 168   (%make-option-spec name value required? option-spec->single-char predicate value-policy)
 169   option-spec?
 170   (name
 171    option-spec->name set-option-spec-name!)
 172   (value
 173    option-spec->value set-option-spec-value!)
 174   (required?
 175    option-spec->required? set-option-spec-required?!)
 176   (option-spec->single-char
 177    option-spec->single-char set-option-spec-single-char!)
 178   (predicate
 179    option-spec->predicate set-option-spec-predicate!)
 180   (value-policy
 181    option-spec->value-policy set-option-spec-value-policy!))
 182
 183 (define (make-option-spec name)
 184   (%make-option-spec name #f #f #f #f #f))
 185
 186 (define (parse-option-spec desc)
 187   (let ((spec (make-option-spec (symbol->string (car desc)))))
 188     (for-each (lambda (desc-elem)
 189                 (let ((given (lambda () (cadr desc-elem))))
 190                   (case (car desc-elem)
 191                     ((required?)
 192                      (set-option-spec-required?! spec (given)))
 193                     ((value)
 194                      (set-option-spec-value-policy! spec (given)))
 195                     ((single-char)
 196                      (or (char? (given))
 197                          (error "`single-char' value must be a char!"))
 198                      (set-option-spec-single-char! spec (given)))
 199                     ((predicate)
 200                      (set-option-spec-predicate!
 201                       spec ((lambda (pred)
 202                               (lambda (name val)
 203                                 (or (not val)
 204                                     (pred val)
 205                                     (error "option predicate failed:" name))))
 206                             (given))))
 207                     (else
 208                      (error "invalid getopt-long option property:"
 209                             (car desc-elem))))))
 210               (cdr desc))
 211     spec))
 212
 213 (define (split-arg-list argument-list)
 214   ;; Scan ARGUMENT-LIST for "--" and return (BEFORE-LS . AFTER-LS).
 215   ;; Discard the "--".  If no "--" is found, AFTER-LS is empty.
 216   (let loop ((yes '()) (no argument-list))
 217     (cond ((null? no)               (cons (reverse yes) no))
 218           ((string=? "--" (car no)) (cons (reverse yes) (cdr no)))
 219           (else (loop (cons (car no) yes) (cdr no))))))
 220
 221 (define (expand-clumped-singles opt-ls)
 222   ;; example: ("--xyz" "-abc5d") => ("--xyz" "-a" "-b" "-c" "5d")
 223   (let loop ((opt-ls opt-ls) (ret-ls '()))
 224     (cond ((null? opt-ls)
 225            (reverse ret-ls))                                    ;;; retval
 226           ((let ((opt (car opt-ls)))
 227              (and (eq? (string-ref opt 0) #\-)
 228                   (> (string-length opt) 1)
 229                   (char-alphabetic? (string-ref opt 1))))
 230            (let* ((opt (car opt-ls))
 231                   (n (char->integer (string-ref opt 1)))
 232                   (sub (substring opt 1 (string-length opt)))
 233                   (end (string-index (substring opt 1 (string-length opt)) (negate char-alphabetic?)))
 234                   (end (if end (1+ end) (string-length opt)))
 235                   (singles-string (substring opt 1 end))
 236                   (singles (reverse
 237                             (map (lambda (c)
 238                                    (string-append "-" (make-string 1 c)))
 239                                  (string->list singles-string))))
 240                   (extra (substring opt end)))
 241              (loop (cdr opt-ls)
 242                    (append (if (string=? "" extra)
 243                                singles
 244                                (cons extra singles))
 245                            ret-ls))))
 246           (else (loop (cdr opt-ls)
 247                       (cons (car opt-ls) ret-ls))))))
 248
 249 (define (looks-like-an-option string)
 250   (eq? (string-ref string 0) #\-))
 251
 252 (define (process-options specs argument-ls)
 253   ;; Use SPECS to scan ARGUMENT-LS; return (FOUND . ETC).
 254   ;; FOUND is an unordered list of option specs for found options, while ETC
 255   ;; is an order-maintained list of elements in ARGUMENT-LS that are neither
 256   ;; options nor their values.
 257   (let ((idx (map (lambda (spec)
 258                     (cons (option-spec->name spec) spec))
 259                   specs))
 260         (sc-idx (map (lambda (spec)
 261                        (cons (make-string 1 (option-spec->single-char spec))
 262                              spec))
 263                      (filter option-spec->single-char specs))))
 264     (let loop ((argument-ls argument-ls) (found '()) (etc '()))
 265       (let ((eat! (lambda (spec ls)
 266                     (let ((val!loop (lambda (val n-ls n-found n-etc)
 267                                       (set-option-spec-value!
 268                                        spec
 269                                        ;; handle multiple occurrances
 270                                        (cond ((option-spec->value spec)
 271                                               => (lambda (cur)
 272                                                    ((if (list? cur) cons list)
 273                                                     val cur)))
 274                                              (else val)))
 275                                       (loop n-ls n-found n-etc)))
 276                           (ERR:no-arg (lambda ()
 277                                         (error (string-append
 278                                                 "option must be specified"
 279                                                 " with argument:")
 280                                                (option-spec->name spec)))))
 281                       (cond
 282                        ((eq? 'optional (option-spec->value-policy spec))
 283                         (if (or (null? (cdr ls))
 284                                 (looks-like-an-option (cadr ls)))
 285                             (val!loop #t
 286                                       (cdr ls)
 287                                       (cons spec found)
 288                                       etc)
 289                             (val!loop (cadr ls)
 290                                       (cddr ls)
 291                                       (cons spec found)
 292                                       etc)))
 293                        ((eq? #t (option-spec->value-policy spec))
 294                         (if (or (null? (cdr ls))
 295                                 (looks-like-an-option (cadr ls)))
 296                             (ERR:no-arg)
 297                             (val!loop (cadr ls)
 298                                       (cddr ls)
 299                                       (cons spec found)
 300                                       etc)))
 301                        (else
 302                         (val!loop #t
 303                                   (cdr ls)
 304                                   (cons spec found)
 305                                   etc)))))))
 306
 307         (if (null? argument-ls)
 308             (cons found (reverse etc))                          ;;; retval
 309             (cond ((let ((opt (car argument-ls)))
 310                      (and (eq? (string-ref opt 0) #\-)
 311                           (let ((n (char->integer (string-ref opt 1))))
 312                             (or (and (>= n (char->integer #\A)) (<= n (char->integer #\Z)))
 313                                 (and (>= n (char->integer #\a)) (<= n (char->integer #\z)))))))
 314                    (let* ((c (substring (car argument-ls) 1 2))
 315                           (spec (or (assoc-ref sc-idx c)
 316                                     (error "no such option:" (car argument-ls)))))
 317                      (eat! spec argument-ls)))
 318                   ((let ((opt (car argument-ls)))
 319                      (and (string-prefix? "--" opt)
 320                           (let ((n (char->integer (string-ref opt 2))))
 321                             (or (and (>= n (char->integer #\A)) (<= n (char->integer #\Z)))
 322                                 (and (>= n (char->integer #\a)) (<= n (char->integer #\z)))))
 323                           (not (string-index opt #\space))
 324                           (not (string-index opt #\=))))
 325                    (let* ((opt (substring (car argument-ls) 2))
 326                           (spec (or (assoc-ref idx opt)
 327                                     (error "no such option:" (car argument-ls)))))
 328                      (eat! spec argument-ls)))
 329                   ((let ((opt (car argument-ls)))
 330                      (and (string-prefix? "--" opt)
 331                           (let ((n (char->integer (string-ref opt 2))))
 332                             (or (and (>= n (char->integer #\A)) (<= n (char->integer #\Z)))
 333                                 (and (>= n (char->integer #\a)) (<= n (char->integer #\z)))))
 334                           (or (string-index opt #\=)
 335                               (string-index opt #\space))))
 336                    (let* ((is (or (string-index (car argument-ls) #\=)
 337                                   (string-index (car argument-ls) #\space)))
 338                           (opt (substring (car argument-ls) 2 is))
 339                           (spec (or (assoc-ref idx opt)
 340                                     (error "no such option:" (substring opt is)))))
 341                      (if (option-spec->value-policy spec)
 342                          (eat! spec (append
 343                                      (list 'ignored
 344                                            (substring (car argument-ls) (1+ is)))
 345                                      (cdr argument-ls)))
 346                          (error "option does not support argument:"
 347                                 opt))))
 348                   (else
 349                    (loop (cdr argument-ls)
 350                          found
 351                          (cons (car argument-ls) etc)))))))))
 352
 353 (define (getopt-long program-arguments option-desc-list)
 354   "Process options, handling both long and short options, similar to
 355 the glibc function 'getopt_long'.  PROGRAM-ARGUMENTS should be a value
 356 similar to what (program-arguments) returns.  OPTION-DESC-LIST is a
 357 list of option descriptions.  Each option description must satisfy the
 358 following grammar:
 359
 360     <option-spec>           :: (<name> . <attribute-ls>)
 361     <attribute-ls>          :: (<attribute> . <attribute-ls>)
 362                                | ()
 363     <attribute>             :: <required-attribute>
 364                                | <arg-required-attribute>
 365                                | <single-char-attribute>
 366                                | <predicate-attribute>
 367                                | <value-attribute>
 368     <required-attribute>    :: (required? <boolean>)
 369     <single-char-attribute> :: (single-char <char>)
 370     <value-attribute>       :: (value #t)
 371                                (value #f)
 372                                (value optional)
 373     <predicate-attribute>   :: (predicate <1-ary-function>)
 374
 375     The procedure returns an alist of option names and values.  Each
 376 option name is a symbol.  The option value will be '#t' if no value
 377 was specified.  There is a special item in the returned alist with a
 378 key of the empty list, (): the list of arguments that are not options
 379 or option values.
 380     By default, options are not required, and option values are not
 381 required.  By default, single character equivalents are not supported;
 382 if you want to allow the user to use single character options, you need
 383 to add a `single-char' clause to the option description."
 384   (let* ((specifications (map parse-option-spec option-desc-list))
 385          (pair (split-arg-list (cdr program-arguments)))
 386          (split-ls (expand-clumped-singles (car pair)))
 387          (non-split-ls (cdr pair))
 388          (found/etc (process-options specifications split-ls))
 389          (found (car found/etc))
 390          (rest-ls (append (cdr found/etc) non-split-ls)))
 391     (for-each (lambda (spec)
 392                 (let ((name (option-spec->name spec))
 393                       (val (option-spec->value spec)))
 394                   (and (option-spec->required? spec)
 395                        (or (memq spec found)
 396                            (error "option must be specified:" name)))
 397                   (and (memq spec found)
 398                        (eq? #t (option-spec->value-policy spec))
 399                        (or val
 400                            (error "option must be specified with argument:"
 401                                   name)))
 402                   (let ((pred (option-spec->predicate spec)))
 403                     (and pred (pred name val)))))
 404               specifications)
 405     (cons (cons '() rest-ls)
 406           (let ((multi-count (map (lambda (desc)
 407                                     (cons (car desc) 0))
 408                                   option-desc-list)))
 409             (map (lambda (spec)
 410                    (let ((name (string->symbol (option-spec->name spec))))
 411                      (cons name
 412                            ;; handle multiple occurrances
 413                            (let ((maybe-ls (option-spec->value spec)))
 414                              (if (list? maybe-ls)
 415                                  (let* ((look (assq name multi-count))
 416                                         (idx (cdr look))
 417                                         (val (list-ref maybe-ls idx)))
 418                                    (set-cdr! look (1+ idx)) ; ugh!
 419                                    val)
 420                                  maybe-ls)))))
 421                  found)))))
 422
 423 (define (option-ref options key default)
 424   "Return value in alist OPTIONS using KEY, a symbol; or DEFAULT if not found.
 425 The value is either a string or `#t'."
 426   (or (assq-ref options key) default))
 427
 428 ;;; getopt-long.scm ends here