mes: getopt-long: Support stop-at-first-non-option.
[mes.git] / module / mes / getopt-long.scm
1 ;;; Copyright (C) 1998, 2001, 2006 Free Software Foundation, Inc.
2 ;;; Copyright (C) 2017,2018 Jan (janneke) Nieuwenhuizen <janneke@gnu.org>
3 ;;;
4 ;; This library is free software; you can redistribute it and/or
5 ;; modify it under the terms of the GNU Lesser General Public
6 ;; License as published by the Free Software Foundation; either
7 ;; version 2.1 of the License, or (at your option) any later version.
8 ;;
9 ;; This library is distributed in the hope that it will be useful,
10 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
11 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12 ;; Lesser General Public License for more details.
13 ;;
14 ;; You should have received a copy of the GNU Lesser General Public
15 ;; License along with this library; if not, write to the Free Software
16 ;; Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17
18 ;;; Author: Russ McManus (rewritten by Thien-Thi Nguyen)
19 ;;;                      (regexps removed by Jan (janneke) Nieuwenhuizen)
20 ;;;                      (srfi-9 backport by Jan (janneke) Nieuwenhuizen)
21
22 ;;; Commentary:
23
24 ;;; This module implements some complex command line option parsing, in
25 ;;; the spirit of the GNU C library function `getopt_long'.  Both long
26 ;;; and short options are supported.
27 ;;;
28 ;;; The theory is that people should be able to constrain the set of
29 ;;; options they want to process using a grammar, rather than some arbitrary
30 ;;; structure.  The grammar makes the option descriptions easy to read.
31 ;;;
32 ;;; `getopt-long' is a procedure for parsing command-line arguments in a
33 ;;; manner consistent with other GNU programs.  `option-ref' is a procedure
34 ;;; that facilitates processing of the `getopt-long' return value.
35
36 ;;; (getopt-long ARGS GRAMMAR)
37 ;;; Parse the arguments ARGS according to the argument list grammar GRAMMAR.
38 ;;;
39 ;;; ARGS should be a list of strings.  Its first element should be the
40 ;;; name of the program; subsequent elements should be the arguments
41 ;;; that were passed to the program on the command line.  The
42 ;;; `program-arguments' procedure returns a list of this form.
43 ;;;
44 ;;; GRAMMAR is a list of the form:
45 ;;; ((OPTION (PROPERTY VALUE) ...) ...)
46 ;;;
47 ;;; Each OPTION should be a symbol.  `getopt-long' will accept a
48 ;;; command-line option named `--OPTION'.
49 ;;; Each option can have the following (PROPERTY VALUE) pairs:
50 ;;;
51 ;;;   (single-char CHAR) --- Accept `-CHAR' as a single-character
52 ;;;             equivalent to `--OPTION'.  This is how to specify traditional
53 ;;;             Unix-style flags.
54 ;;;   (required? BOOL) --- If BOOL is true, the option is required.
55 ;;;             getopt-long will raise an error if it is not found in ARGS.
56 ;;;   (value BOOL) --- If BOOL is #t, the option accepts a value; if
57 ;;;             it is #f, it does not; and if it is the symbol
58 ;;;             `optional', the option may appear in ARGS with or
59 ;;;             without a value.
60 ;;;   (predicate FUNC) --- If the option accepts a value (i.e. you
61 ;;;             specified `(value #t)' for this option), then getopt
62 ;;;             will apply FUNC to the value, and throw an exception
63 ;;;             if it returns #f.  FUNC should be a procedure which
64 ;;;             accepts a string and returns a boolean value; you may
65 ;;;             need to use quasiquotes to get it into GRAMMAR.
66 ;;;
67 ;;; The (PROPERTY VALUE) pairs may occur in any order, but each
68 ;;; property may occur only once.  By default, options do not have
69 ;;; single-character equivalents, are not required, and do not take
70 ;;; values.
71 ;;;
72 ;;; In ARGS, single-character options may be combined, in the usual
73 ;;; Unix fashion: ("-x" "-y") is equivalent to ("-xy").  If an option
74 ;;; accepts values, then it must be the last option in the
75 ;;; combination; the value is the next argument.  So, for example, using
76 ;;; the following grammar:
77 ;;;      ((apples    (single-char #\a))
78 ;;;       (blimps    (single-char #\b) (value #t))
79 ;;;       (catalexis (single-char #\c) (value #t)))
80 ;;; the following argument lists would be acceptable:
81 ;;;    ("-a" "-b" "bang" "-c" "couth")     ("bang" and "couth" are the values
82 ;;;                                         for "blimps" and "catalexis")
83 ;;;    ("-ab" "bang" "-c" "couth")         (same)
84 ;;;    ("-ac" "couth" "-b" "bang")         (same)
85 ;;;    ("-abc" "couth" "bang")             (an error, since `-b' is not the
86 ;;;                                         last option in its combination)
87 ;;;
88 ;;; If an option's value is optional, then `getopt-long' decides
89 ;;; whether it has a value by looking at what follows it in ARGS.  If
90 ;;; the next element is does not appear to be an option itself, then
91 ;;; that element is the option's value.
92 ;;;
93 ;;; The value of a long option can appear as the next element in ARGS,
94 ;;; or it can follow the option name, separated by an `=' character.
95 ;;; Thus, using the same grammar as above, the following argument lists
96 ;;; are equivalent:
97 ;;;   ("--apples" "Braeburn" "--blimps" "Goodyear")
98 ;;;   ("--apples=Braeburn" "--blimps" "Goodyear")
99 ;;;   ("--blimps" "Goodyear" "--apples=Braeburn")
100 ;;;
101 ;;; If the option "--" appears in ARGS, argument parsing stops there;
102 ;;; subsequent arguments are returned as ordinary arguments, even if
103 ;;; they resemble options.  So, in the argument list:
104 ;;;         ("--apples" "Granny Smith" "--" "--blimp" "Goodyear")
105 ;;; `getopt-long' will recognize the `apples' option as having the
106 ;;; value "Granny Smith", but it will not recognize the `blimp'
107 ;;; option; it will return the strings "--blimp" and "Goodyear" as
108 ;;; ordinary argument strings.
109 ;;;
110 ;;; The `getopt-long' function returns the parsed argument list as an
111 ;;; assocation list, mapping option names --- the symbols from GRAMMAR
112 ;;; --- onto their values, or #t if the option does not accept a value.
113 ;;; Unused options do not appear in the alist.
114 ;;;
115 ;;; All arguments that are not the value of any option are returned
116 ;;; as a list, associated with the empty list.
117 ;;;
118 ;;; `getopt-long' throws an exception if:
119 ;;; - it finds an unrecognized property in GRAMMAR
120 ;;; - the value of the `single-char' property is not a character
121 ;;; - it finds an unrecognized option in ARGS
122 ;;; - a required option is omitted
123 ;;; - an option that requires an argument doesn't get one
124 ;;; - an option that doesn't accept an argument does get one (this can
125 ;;;   only happen using the long option `--opt=value' syntax)
126 ;;; - an option predicate fails
127 ;;;
128 ;;; So, for example:
129 ;;;
130 ;;; (define grammar
131 ;;;   `((lockfile-dir (required? #t)
132 ;;;                   (value #t)
133 ;;;                   (single-char #\k)
134 ;;;                   (predicate ,file-is-directory?))
135 ;;;     (verbose (required? #f)
136 ;;;              (single-char #\v)
137 ;;;              (value #f))
138 ;;;     (x-includes (single-char #\x))
139 ;;;     (rnet-server (single-char #\y)
140 ;;;                  (predicate ,string?))))
141 ;;;
142 ;;; (getopt-long '("my-prog" "-vk" "/tmp" "foo1" "--x-includes=/usr/include"
143 ;;;                "--rnet-server=lamprod" "--" "-fred" "foo2" "foo3")
144 ;;;                grammar)
145 ;;; => ((() "foo1" "-fred" "foo2" "foo3")
146 ;;;     (rnet-server . "lamprod")
147 ;;;     (x-includes . "/usr/include")
148 ;;;     (lockfile-dir . "/tmp")
149 ;;;     (verbose . #t))
150
151 ;;; (option-ref OPTIONS KEY DEFAULT)
152 ;;; Return value in alist OPTIONS using KEY, a symbol; or DEFAULT if not
153 ;;; found.  The value is either a string or `#t'.
154 ;;;
155 ;;; For example, using the `getopt-long' return value from above:
156 ;;;
157 ;;; (option-ref (getopt-long ...) 'x-includes 42) => "/usr/include"
158 ;;; (option-ref (getopt-long ...) 'not-a-key! 31) => 31
159
160 ;;; Code:
161
162 (define-module (mes getopt-long)
163   #:use-module (ice-9 optargs)
164   #:use-module (srfi srfi-1)
165   #:use-module (srfi srfi-9)
166   #:export (getopt-long option-ref))
167
168 (define-record-type option-spec
169   (%make-option-spec name value required? option-spec->single-char predicate value-policy)
170   option-spec?
171   (name
172    option-spec->name set-option-spec-name!)
173   (value
174    option-spec->value set-option-spec-value!)
175   (required?
176    option-spec->required? set-option-spec-required?!)
177   (option-spec->single-char
178    option-spec->single-char set-option-spec-single-char!)
179   (predicate
180    option-spec->predicate set-option-spec-predicate!)
181   (value-policy
182    option-spec->value-policy set-option-spec-value-policy!))
183
184 (define (make-option-spec name)
185   (%make-option-spec name #f #f #f #f #f))
186
187 (define (parse-option-spec desc)
188   (let ((spec (make-option-spec (symbol->string (car desc)))))
189     (for-each (lambda (desc-elem)
190                 (let ((given (lambda () (cadr desc-elem))))
191                   (case (car desc-elem)
192                     ((required?)
193                      (set-option-spec-required?! spec (given)))
194                     ((value)
195                      (set-option-spec-value-policy! spec (given)))
196                     ((single-char)
197                      (or (char? (given))
198                          (error "`single-char' value must be a char!"))
199                      (set-option-spec-single-char! spec (given)))
200                     ((predicate)
201                      (set-option-spec-predicate!
202                       spec ((lambda (pred)
203                               (lambda (name val)
204                                 (or (not val)
205                                     (pred val)
206                                     (error "option predicate failed:" name))))
207                             (given))))
208                     (else
209                      (error "invalid getopt-long option property:"
210                             (car desc-elem))))))
211               (cdr desc))
212     spec))
213
214 (define (split-arg-list argument-list)
215   ;; Scan ARGUMENT-LIST for "--" and return (BEFORE-LS . AFTER-LS).
216   ;; Discard the "--".  If no "--" is found, AFTER-LS is empty.
217   (let loop ((yes '()) (no argument-list))
218     (cond ((null? no)               (cons (reverse yes) no))
219           ((string=? "--" (car no)) (cons (reverse yes) (cdr no)))
220           (else (loop (cons (car no) yes) (cdr no))))))
221
222 (define (expand-clumped-singles opt-ls)
223   ;; example: ("--xyz" "-abc5d") => ("--xyz" "-a" "-b" "-c" "5d")
224   (let loop ((opt-ls opt-ls) (ret-ls '()))
225     (cond ((null? opt-ls)
226            (reverse ret-ls))                                    ;;; retval
227           ((let ((opt (car opt-ls)))
228              (and (eq? (string-ref opt 0) #\-)
229                   (> (string-length opt) 1)
230                   (char-alphabetic? (string-ref opt 1))))
231            (let* ((opt (car opt-ls))
232                   (n (char->integer (string-ref opt 1)))
233                   (sub (substring opt 1 (string-length opt)))
234                   (end (string-index (substring opt 1 (string-length opt)) (negate char-alphabetic?)))
235                   (end (if end (1+ end) (string-length opt)))
236                   (singles-string (substring opt 1 end))
237                   (singles (reverse
238                             (map (lambda (c)
239                                    (string-append "-" (make-string 1 c)))
240                                  (string->list singles-string))))
241                   (extra (substring opt end)))
242              (loop (cdr opt-ls)
243                    (append (if (string=? "" extra)
244                                singles
245                                (cons extra singles))
246                            ret-ls))))
247           (else (loop (cdr opt-ls)
248                       (cons (car opt-ls) ret-ls))))))
249
250 (define (looks-like-an-option string)
251   (eq? (string-ref string 0) #\-))
252
253 (define (process-options specs argument-ls stop-at-first-non-option)
254   ;; Use SPECS to scan ARGUMENT-LS; return (FOUND . ETC).
255   ;; FOUND is an unordered list of option specs for found options, while ETC
256   ;; is an order-maintained list of elements in ARGUMENT-LS that are neither
257   ;; options nor their values.
258   (let ((idx (map (lambda (spec)
259                     (cons (option-spec->name spec) spec))
260                   specs))
261         (sc-idx (map (lambda (spec)
262                        (cons (make-string 1 (option-spec->single-char spec))
263                              spec))
264                      (filter option-spec->single-char specs))))
265     (let loop ((argument-ls argument-ls) (found '()) (etc '()))
266       (let ((eat! (lambda (spec ls)
267                     (let ((val!loop (lambda (val n-ls n-found n-etc)
268                                       (set-option-spec-value!
269                                        spec
270                                        ;; handle multiple occurrances
271                                        (cond ((option-spec->value spec)
272                                               => (lambda (cur)
273                                                    ((if (list? cur) cons list)
274                                                     val cur)))
275                                              (else val)))
276                                       (loop n-ls n-found n-etc)))
277                           (ERR:no-arg (lambda ()
278                                         (error (string-append
279                                                 "option must be specified"
280                                                 " with argument:")
281                                                (option-spec->name spec)))))
282                       (cond
283                        ((eq? 'optional (option-spec->value-policy spec))
284                         (if (or (null? (cdr ls))
285                                 (looks-like-an-option (cadr ls)))
286                             (val!loop #t
287                                       (cdr ls)
288                                       (cons spec found)
289                                       etc)
290                             (val!loop (cadr ls)
291                                       (cddr ls)
292                                       (cons spec found)
293                                       etc)))
294                        ((eq? #t (option-spec->value-policy spec))
295                         (if (or (null? (cdr ls))
296                                 (looks-like-an-option (cadr ls)))
297                             (ERR:no-arg)
298                             (val!loop (cadr ls)
299                                       (cddr ls)
300                                       (cons spec found)
301                                       etc)))
302                        (else
303                         (val!loop #t
304                                   (cdr ls)
305                                   (cons spec found)
306                                   etc)))))))
307
308         (if (null? argument-ls)
309             (cons found (reverse etc))                          ;;; retval
310             (cond ((let ((opt (car argument-ls)))
311                      (and (eq? (string-ref opt 0) #\-)
312                           (> (string-length opt) 1)
313                           (let ((n (char->integer (string-ref opt 1))))
314                             (or (and (>= n (char->integer #\A)) (<= n (char->integer #\Z)))
315                                 (and (>= n (char->integer #\a)) (<= n (char->integer #\z)))))))
316                    (let* ((c (substring (car argument-ls) 1 2))
317                           (spec (or (assoc-ref sc-idx c)
318                                     (error "no such option:" (car argument-ls)))))
319                      (eat! spec argument-ls)))
320                   ((let ((opt (car argument-ls)))
321                      (and (string-prefix? "--" opt)
322                           (let ((n (char->integer (string-ref opt 2))))
323                             (or (and (>= n (char->integer #\A)) (<= n (char->integer #\Z)))
324                                 (and (>= n (char->integer #\a)) (<= n (char->integer #\z)))))
325                           (not (string-index opt #\space))
326                           (not (string-index opt #\=))))
327                    (let* ((opt (substring (car argument-ls) 2))
328                           (spec (or (assoc-ref idx opt)
329                                     (error "no such option:" (car argument-ls)))))
330                      (eat! spec argument-ls)))
331                   ((let ((opt (car argument-ls)))
332                      (and (string-prefix? "--" opt)
333                           (let ((n (char->integer (string-ref opt 2))))
334                             (or (and (>= n (char->integer #\A)) (<= n (char->integer #\Z)))
335                                 (and (>= n (char->integer #\a)) (<= n (char->integer #\z)))))
336                           (or (string-index opt #\=)
337                               (string-index opt #\space))))
338                    (let* ((is (or (string-index (car argument-ls) #\=)
339                                   (string-index (car argument-ls) #\space)))
340                           (opt (substring (car argument-ls) 2 is))
341                           (spec (or (assoc-ref idx opt)
342                                     (error "no such option:" (substring opt is)))))
343                      (if (option-spec->value-policy spec)
344                          (eat! spec (append
345                                      (list 'ignored
346                                            (substring (car argument-ls) (1+ is)))
347                                      (cdr argument-ls)))
348                          (error "option does not support argument:"
349                                 opt))))
350                   (stop-at-first-non-option
351                    (cons found (append (reverse etc) argument-ls)))
352                   (else
353                    (loop (cdr argument-ls)
354                          found
355                          (cons (car argument-ls) etc)))))))))
356
357 (define* (getopt-long program-arguments option-desc-list #:key stop-at-first-non-option)
358   "Process options, handling both long and short options, similar to
359 the glibc function 'getopt_long'.  PROGRAM-ARGUMENTS should be a value
360 similar to what (program-arguments) returns.  OPTION-DESC-LIST is a
361 list of option descriptions.  Each option description must satisfy the
362 following grammar:
363
364     <option-spec>           :: (<name> . <attribute-ls>)
365     <attribute-ls>          :: (<attribute> . <attribute-ls>)
366                                | ()
367     <attribute>             :: <required-attribute>
368                                | <arg-required-attribute>
369                                | <single-char-attribute>
370                                | <predicate-attribute>
371                                | <value-attribute>
372     <required-attribute>    :: (required? <boolean>)
373     <single-char-attribute> :: (single-char <char>)
374     <value-attribute>       :: (value #t)
375                                (value #f)
376                                (value optional)
377     <predicate-attribute>   :: (predicate <1-ary-function>)
378
379     The procedure returns an alist of option names and values.  Each
380 option name is a symbol.  The option value will be '#t' if no value
381 was specified.  There is a special item in the returned alist with a
382 key of the empty list, (): the list of arguments that are not options
383 or option values.
384     By default, options are not required, and option values are not
385 required.  By default, single character equivalents are not supported;
386 if you want to allow the user to use single character options, you need
387 to add a `single-char' clause to the option description."
388   (let* ((specifications (map parse-option-spec option-desc-list))
389          (pair (split-arg-list (cdr program-arguments) ))
390          (split-ls (expand-clumped-singles (car pair)))
391          (non-split-ls (cdr pair))
392          (found/etc (process-options specifications split-ls
393                                      stop-at-first-non-option))
394          (found (car found/etc))
395          (rest-ls (append (cdr found/etc) non-split-ls)))
396     (for-each (lambda (spec)
397                 (let ((name (option-spec->name spec))
398                       (val (option-spec->value spec)))
399                   (and (option-spec->required? spec)
400                        (or (memq spec found)
401                            (error "option must be specified:" name)))
402                   (and (memq spec found)
403                        (eq? #t (option-spec->value-policy spec))
404                        (or val
405                            (error "option must be specified with argument:"
406                                   name)))
407                   (let ((pred (option-spec->predicate spec)))
408                     (and pred (pred name val)))))
409               specifications)
410     (cons (cons '() rest-ls)
411           (let ((multi-count (map (lambda (desc)
412                                     (cons (car desc) 0))
413                                   option-desc-list)))
414             (map (lambda (spec)
415                    (let ((name (string->symbol (option-spec->name spec))))
416                      (cons name
417                            ;; handle multiple occurrances
418                            (let ((maybe-ls (option-spec->value spec)))
419                              (if (list? maybe-ls)
420                                  (let* ((look (assq name multi-count))
421                                         (idx (cdr look))
422                                         (val (list-ref maybe-ls idx)))
423                                    (set-cdr! look (1+ idx)) ; ugh!
424                                    val)
425                                  maybe-ls)))))
426                  found)))))
427
428 (define (option-ref options key default)
429   "Return value in alist OPTIONS using KEY, a symbol; or DEFAULT if not found.
430 The value is either a string or `#t'."
431   (or (assq-ref options key) default))
432
433 ;;; getopt-long.scm ends here