remove unused futures things
[8sync.git] / eightsync / agenda.scm
1 ;; Copyright (C) 2015 Christopher Allan Webber <cwebber@dustycloud.org>
2
3 ;; This library is free software; you can redistribute it and/or
4 ;; modify it under the terms of the GNU Lesser General Public
5 ;; License as published by the Free Software Foundation; either
6 ;; version 3 of the License, or (at your option) any later version.
7 ;;
8 ;; This library is distributed in the hope that it will be useful,
9 ;; but WITHOUT ANY WARRANTY; without even the implied warranty of
10 ;; MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
11 ;; Lesser General Public License for more details.
12 ;;
13 ;; You should have received a copy of the GNU Lesser General Public
14 ;; License along with this library; if not, write to the Free Software
15 ;; Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
16 ;; 02110-1301 USA
17
18 (define-module (eightsync agenda)
19   #:use-module (srfi srfi-1)
20   #:use-module (srfi srfi-9)
21   #:use-module (srfi srfi-9 gnu)
22   #:use-module (ice-9 q)
23   #:use-module (ice-9 match)
24   #:use-module (ice-9 receive)
25   #:export (<agenda>
26             make-agenda agenda?
27             agenda-queue agenda-prompt-tag
28             agenda-read-port-map agenda-write-port-map agenda-except-port-map
29             agenda-schedule
30             
31             make-async-prompt-tag
32
33             <time-segment>
34             make-time-segment time-segment?
35             time-segment-time time-segment-queue
36
37             time< time= time<= time-delta+
38             time-minus time-plus
39
40             <time-delta>
41             make-time-delta tdelta time-delta?
42             time-delta-sec time-delta-usec
43
44             <schedule>
45             make-schedule schedule?
46             schedule-add! schedule-empty?
47             schedule-segments
48             schedule-soonest-time
49
50             schedule-segments-split schedule-extract-until!
51             add-segments-contents-to-queue!
52
53             %8sync
54
55             <run-request>
56             make-run-request run-request?
57             run-request-proc run-request-when
58
59             <port-request>
60             make-port-request port-request port-request?
61             port-request-port
62             port-request-read port-request-write port-request-except
63
64             run-it wrap wrap-apply run run-at run-delay
65
66             %port-request %run %run-at %run-delay
67             
68             print-error-and-continue
69
70             %current-agenda
71             start-agenda agenda-run-once))
72
73 ;; @@: Using immutable agendas here, so wouldn't it make sense to
74 ;;   replace this queue stuff with using pfds based immutable queues?
75
76 \f
77 ;;; Agenda definition
78 ;;; =================
79
80 ;;; The agenda consists of:
81 ;;;  - a queue of immediate items to handle
82 ;;;  - sheduled future events to be added to a future queue
83 ;;;  - a tag by which running processes can escape for some asynchronous
84 ;;;    operation (from which they can be returned later)
85 ;;;  - a mapping of ports to various handler procedures
86 ;;;
87 ;;; The goal, eventually, is for this all to be immutable and functional.
88 ;;; However, we aren't there yet.  Some tricky things:
89 ;;;  - The schedule needs to be immutable, yet reasonably efficient.
90 ;;;  - Need to use immutable queues (ijp's pfds library?)
91 ;;;  - Modeling reading from ports as something repeatable,
92 ;;;    and with reasonable separation from functional components?
93
94 (define-immutable-record-type <agenda>
95   (make-agenda-intern queue prompt-tag
96                       read-port-map write-port-map except-port-map
97                       schedule time catch-handler pre-unwind-handler)
98   agenda?
99   (queue agenda-queue)
100   (prompt-tag agenda-prompt-tag)
101   (read-port-map agenda-read-port-map)
102   (write-port-map agenda-write-port-map)
103   (except-port-map agenda-except-port-map)
104   (schedule agenda-schedule)
105   (time agenda-time)
106   (catch-handler agenda-catch-handler)
107   (pre-unwind-handler agenda-pre-unwind-handler))
108
109 (define (make-async-prompt-tag)
110   "Make an async prompt tag for an agenda.
111
112 Generally done automatically for the user through (make-agenda)."
113   (make-prompt-tag "prompt"))
114
115 (define* (make-agenda #:key
116                       (queue (make-q))
117                       (prompt (make-prompt-tag))
118                       (read-port-map (make-hash-table))
119                       (write-port-map (make-hash-table))
120                       (except-port-map (make-hash-table))
121                       (schedule (make-schedule))
122                       (time (gettimeofday))
123                       (catch-handler #f)
124                       (pre-unwind-handler #f))
125   ;; TODO: document arguments
126   "Make a fresh agenda."
127   (make-agenda-intern queue prompt
128                       read-port-map write-port-map except-port-map
129                       schedule time
130                       catch-handler pre-unwind-handler))
131
132 (define (current-agenda-prompt)
133   "Get the prompt for the current agenda; signal an error if there isn't one."
134   (let ((current-agenda (%current-agenda)))
135     (if (not current-agenda)
136         (throw
137          'no-current-agenda
138          "Can't get current agenda prompt if there's no current agenda!")
139         (agenda-prompt-tag current-agenda))))
140
141
142 \f
143 ;;; Schedule
144 ;;; ========
145
146 ;;; This is where we handle timed events for the future
147
148 ;; This section totally borrows from the ideas in SICP
149 ;; <3 <3 <3
150
151 ;; NOTE: time is a cons of (seconds . microseconds)
152
153 (define-record-type <time-segment>
154   (make-time-segment-intern time queue)
155   time-segment?
156   (time time-segment-time)
157   (queue time-segment-queue))
158
159 ;; @@: This seems to be the same as srfi-18's seconds->time procedure?
160 ;;   Maybe double check and switch to that?  (Thanks amz3!)
161
162 (define (time-from-float-or-fraction time)
163   "Produce a (sec . usec) pair from TIME, a float or fraction"
164   (let* ((mixed-whole (floor time))
165          (mixed-rest (- time mixed-whole))  ; float or fraction component
166          (sec mixed-whole)
167          (usec (floor (* 1000000 mixed-rest))))
168     (cons (inexact->exact sec) (inexact->exact usec))))
169
170 (define (time-segment-right-format time)
171   "Ensure TIME is in the right format.
172
173 The right format means (second . microsecond).
174 If an integer, will convert appropriately."
175   ;; TODO: add floating point / rational number support.
176   (match time
177     ;; time is already a cons of second and microsecnd
178     (((? integer? s) . (? integer? u)) time)
179     ;; time was just an integer (just the second)
180     ((? integer? _) (cons time 0))
181     ((or (? rational? _) (? inexact? _))
182      (time-from-float-or-fraction time))
183     (_ (throw 'invalid-time "Invalid time" time))))
184
185 (define* (make-time-segment time #:optional (queue (make-q)))
186   "Make a time segment of TIME and QUEUE
187
188 No automatic conversion is done, so you might have to
189 run (time-segment-right-format) first."
190   (make-time-segment-intern time queue))
191
192 (define (time< time1 time2)
193   "Check if TIME1 is less than TIME2"
194   (cond ((< (car time1)
195             (car time2))
196          #t)
197         ((and (= (car time1)
198                  (car time2))
199               (< (cdr time1)
200                  (cdr time2)))
201          #t)
202         (else #f)))
203
204 (define (time= time1 time2)
205   "Check whether TIME1 and TIME2 are equivalent"
206   (and (= (car time1) (car time2))
207        (= (cdr time1) (cdr time2))))
208
209 (define (time<= time1 time2)
210   "Check if TIME1 is less than or equal to TIME2"
211   (or (time< time1 time2)
212       (time= time1 time2)))
213
214
215 (define-record-type <time-delta>
216   (make-time-delta-intern sec usec)
217   time-delta?
218   (sec time-delta-sec)
219   (usec time-delta-usec))
220
221 (define* (make-time-delta time)
222   "Make a <time-delta> of SEC seconds and USEC microseconds.
223
224 This is used primarily so the agenda can recognize RUN-REQUEST objects
225 which are meant to delay computation"
226   (match (time-segment-right-format time)
227     ((sec . usec)
228      (make-time-delta-intern sec usec))))
229
230 (define tdelta make-time-delta)
231
232 (define (time-carry-correct time)
233   "Corrects/handles time microsecond carry.
234 Will produce (0 . 0) instead of a negative number, if needed."
235   (cond ((>= (cdr time) 1000000)
236          (cons
237           (+ (car time) 1)
238           (- (cdr time) 1000000)))
239         ((< (cdr time) 0)
240          (if (= (car time) 0)
241              '(0 0)
242              (cons
243               (- (car time) 1)
244               (+ (cdr time) 1000000))))
245         (else time)))
246
247 (define (time-delta+ time time-delta)
248   "Increment a TIME by the value of TIME-DELTA"
249   (time-carry-correct
250    (cons (+ (car time) (time-delta-sec time-delta))
251          (+ (cdr time) (time-delta-usec time-delta)))))
252
253 (define (time-minus time1 time2)
254   "Subtract TIME2 from TIME1"
255   (time-carry-correct
256    (cons (- (car time1) (car time2))
257          (- (cdr time1) (cdr time2)))))
258
259 (define (time-plus time1 time2)
260   "Add TIME1 and TIME2"
261   (time-carry-correct
262    (cons (+ (car time1) (car time2))
263          (+ (cdr time1) (cdr time2)))))
264
265
266 (define-record-type <schedule>
267   (make-schedule-intern segments)
268   schedule?
269   (segments schedule-segments set-schedule-segments!))
270
271 (define* (make-schedule #:optional segments)
272   "Make a schedule, optionally pre-composed of SEGMENTS"
273   (make-schedule-intern (or segments '())))
274
275 (define (schedule-soonest-time schedule)
276   "Return a cons of (sec . usec) for next time segement, or #f if none"
277   (let ((segments (schedule-segments schedule)))
278     (if (eq? segments '())
279         #f
280         (time-segment-time (car segments)))))
281
282 ;; TODO: This code is reasonably easy to read but it
283 ;;   mutates AND is worst case of O(n) in both space and time :(
284 ;;   but at least it'll be reasonably easy to refactor to
285 ;;   a more functional setup?
286 (define (schedule-add! schedule time proc)
287   "Mutate SCHEDULE, adding PROC at an appropriate time segment for TIME"
288   (let ((time (time-segment-right-format time)))
289     (define (new-time-segment)
290       (let ((new-segment
291              (make-time-segment time)))
292         (enq! (time-segment-queue new-segment) proc)
293         new-segment))
294     (define (loop segments)
295       (define (segment-equals-time? segment)
296         (time= time (time-segment-time segment)))
297
298       (define (segment-more-than-time? segment)
299         (time< time (time-segment-time segment)))
300
301       ;; We could switch this out to be more mutate'y
302       ;; and avoid the O(n) of space... is that over-optimizing?
303       (match segments
304         ;; If we're at the end of the list, time to make a new
305         ;; segment...
306         ('() (cons (new-time-segment) '()))
307         ;; If the segment's time is exactly our time, good news
308         ;; everyone!  Let's append our stuff to its queue
309         (((? segment-equals-time? first) rest ...)
310          (enq! (time-segment-queue first) proc)
311          segments)
312         ;; If the first segment is more than our time,
313         ;; ours belongs before this one, so add it and
314         ;; start consing our way back
315         (((? segment-more-than-time? first) rest ...)
316          (cons (new-time-segment) segments))
317         ;; Otherwise, build up recursive result
318         ((first rest ... )
319          (cons first (loop rest)))))
320     (set-schedule-segments!
321      schedule
322      (loop (schedule-segments schedule)))))
323
324 (define (schedule-empty? schedule)
325   "Check if the SCHEDULE is currently empty"
326   (eq? (schedule-segments schedule) '()))
327
328 (define (schedule-segments-split schedule time)
329   "Does a multiple value return of time segments before/at and after TIME"
330   (let ((time (time-segment-right-format time)))
331     (define (segment-is-now? segment)
332       (time= (time-segment-time segment) time))
333     (define (segment-is-before-now? segment)
334       (time< (time-segment-time segment) time))
335
336     (let loop ((segments-before '())
337                (segments-left (schedule-segments schedule)))
338       (match segments-left
339         ;; end of the line, return
340         ('()
341          (values (reverse segments-before) '()))
342
343         ;; It's right now, so time to stop, but include this one in before
344         ;; but otherwise return
345         (((? segment-is-now? first) rest ...)
346          (values (reverse (cons first segments-before)) rest))
347
348         ;; This is prior or at now, so add it and keep going
349         (((? segment-is-before-now? first) rest ...)
350          (loop (cons first segments-before) rest))
351
352         ;; Otherwise it's past now, just return what we have
353         (segments-after
354          (values segments-before segments-after))))))
355
356 (define (schedule-extract-until! schedule time)
357   "Extract all segments until TIME from SCHEDULE, and pop old segments off"
358   (receive (segments-before segments-after)
359       (schedule-segments-split schedule time)
360     (set-schedule-segments! schedule segments-after)
361     segments-before))
362
363 (define (add-segments-contents-to-queue! segments queue)
364   (for-each
365    (lambda (segment)
366      (let ((seg-queue (time-segment-queue segment)))
367        (while (not (q-empty? seg-queue))
368          (enq! queue (deq! seg-queue)))))
369    segments))
370
371
372 \f
373 ;;; Request to run stuff
374 ;;; ====================
375
376 (define-record-type <run-request>
377   (make-run-request proc when)
378   run-request?
379   (proc run-request-proc)
380   (when run-request-when))
381
382 (define* (run-it proc #:optional when)
383   "Make a request to run PROC (possibly at WHEN)"
384   (make-run-request proc when))
385
386 (define-syntax-rule (wrap body ...)
387   "Wrap contents in a procedure"
388   (lambda ()
389     body ...))
390
391 (define-syntax-rule (wrap-apply body)
392   "Wrap possibly multi-value function in a procedure, applies all arguments"
393   (lambda args
394     (apply body args)))
395
396
397 ;; @@: Do we really want `body ...' here?
398 ;;   what about just `body'?
399 (define-syntax-rule (run body ...)
400   "Run everything in BODY but wrap in a convenient procedure"
401   (make-run-request (wrap body ...) #f))
402
403 (define-syntax-rule (run-at body ... when)
404   "Run BODY at WHEN"
405   (make-run-request (wrap body ...) when))
406
407 ;; @@: Is it okay to overload the term "delay" like this?
408 ;;   Would `run-in' be better?
409 (define-syntax-rule (run-delay body ... delay-time)
410   "Run BODY at DELAY-TIME time from now"
411   (make-run-request (wrap body ...) (tdelta delay-time)))
412
413
414 ;; A request to set up a port with at least one of read, write, except
415 ;; handling processes
416
417 (define-record-type <port-request>
418   (make-port-request-intern port read write except)
419   port-request?
420   (port port-request-port)
421   (read port-request-read)
422   (write port-request-write)
423   (except port-request-except))
424
425 (define* (make-port-request port #:key read write except)
426   (if (not (or read write except))
427       (throw 'no-port-handler-given "No port handler given.\n"))
428   (make-port-request-intern port read write except))
429
430 (define port-request make-port-request)
431
432
433 \f
434 ;;; Asynchronous escape to run things
435 ;;; =================================
436
437 (define (agenda-on-error agenda)
438   (const #f))
439
440 (define (agenda-on-fail agenda)
441   (const #f))
442
443 (define-syntax-rule (%8sync async-request)
444   "Run BODY asynchronously at a prompt, passing args to make-future.
445
446 Runs things asynchronously (8synchronously?)"
447   (abort-to-prompt (current-agenda-prompt)
448                    async-request))
449
450 ;; Async port request and run-request meta-requests
451 (define (make-async-request proc)
452   "Wrap PROC in an async-request
453
454 The purpose of this is to make sure that users don't accidentally
455 return the wrong thing via (%8sync) and trip themselves up."
456   (cons '*async-request* proc))
457
458 (define (setup-async-request resume-kont async-request)
459   "Complete an async request for agenda-run-once's continuation handling"
460   (match async-request
461     (('*async-request* . async-setup-proc)
462      (async-setup-proc resume-kont))
463     ;; TODO: deliver more helpful errors depending on what the user
464     ;;   returned
465     (_ (throw 'invalid-async-request
466               "Invalid request passed back via an (%8sync) procedure."
467               async-request))))
468
469 (define-syntax-rule (%run body ...)
470   (%run-at body ... #f))
471
472 (define-syntax-rule (%run-at body ... when)
473   (make-async-request
474    (lambda (kont)
475      (make-run-request
476       (wrap
477        (kont
478         (begin body ...)))
479       when))))
480
481 (define-syntax-rule (%run-delay body ... delay-time)
482   (%run-at body ... (tdelta delay-time)))
483
484 (define-syntax-rule (%port-request add-this-port port-request-args ...)
485   (make-async-request
486    (lambda (kont)
487      (list (make-port-request port-request-args ...)
488            (make-run-request kont)))))
489
490 ;; TODO
491 (define-syntax-rule (%run-with-return return body ...)
492   (make-async-request
493    (lambda (kont)
494      (let ((return kont))
495        (lambda ()
496          body ...)))))
497
498
499 \f
500 ;;; Execution of agenda, and current agenda
501 ;;; =======================================
502
503 (define %current-agenda (make-parameter #f))
504
505 (define (update-agenda-from-select! agenda)
506   "Potentially (select) on ports specified in agenda, adding items to queue"
507   (define (hash-keys hash)
508     (hash-map->list (lambda (k v) k) hash))
509   (define (get-wait-time)
510     ;; TODO: we need to figure this out based on whether there's anything
511     ;;   in the queue, and if not, how long till the next scheduled item
512     (let ((soonest-time (schedule-soonest-time (agenda-schedule agenda))))
513       (cond 
514        ((not (q-empty? (agenda-queue agenda)))
515         (cons 0 0))
516        (soonest-time    ; ie, the agenda is non-empty
517         (let* ((current-time (agenda-time agenda)))
518           (if (time<= soonest-time current-time)
519               ;; Well there's something due so let's select
520               ;; (this avoids a (possible?) race condition chance)
521               (cons 0 0)
522               (time-minus soonest-time current-time))))
523        (else
524         (cons #f #f)))))
525   (define (do-select)
526     ;; TODO: support usecond wait time too
527     (match (get-wait-time)
528       ((sec . usec)
529        (catch 'system-error
530          (lambda ()
531            (select (hash-keys (agenda-read-port-map agenda))
532                    (hash-keys (agenda-write-port-map agenda))
533                    (hash-keys (agenda-except-port-map agenda))
534                    sec usec))
535          (lambda (key . rest-args)
536            (match rest-args
537              ((_ _ _ (EINTR))
538               '(() () ()))
539              (_ (error "Unhandled error in select!" key rest-args))))))))
540   (define (get-procs-to-run)
541     (define (ports->procs ports port-map)
542       (lambda (initial-procs)
543         (fold
544          (lambda (port prev)
545            (cons (lambda ()
546                    ((hash-ref port-map port) port))
547                  prev))
548          initial-procs
549          ports)))
550     (match (do-select)
551       ((read-ports write-ports except-ports)
552        ;; @@: Come on, we can do better than append ;P
553        ((compose (ports->procs
554                   read-ports
555                   (agenda-read-port-map agenda))
556                  (ports->procs
557                   write-ports
558                   (agenda-write-port-map agenda))
559                  (ports->procs
560                   except-ports
561                   (agenda-except-port-map agenda)))
562         '()))))
563   (define (update-agenda)
564     (let ((procs-to-run (get-procs-to-run))
565           (q (agenda-queue agenda)))
566       (for-each
567        (lambda (proc)
568          (enq! q proc))
569        procs-to-run))
570     agenda)
571   (define (ports-to-select?)
572     (define (has-items? selector)
573       ;; @@: O(n)
574       ;;    ... we could use hash-for-each and a continuation to jump
575       ;;    out with a #t at first indication of an item
576       (not (= (hash-count (const #t)
577                           (selector agenda))
578               0)))
579     (or (has-items? agenda-read-port-map)
580         (has-items? agenda-write-port-map)
581         (has-items? agenda-except-port-map)))
582
583   (if (ports-to-select?)
584       (update-agenda)
585       agenda))
586
587 (define (agenda-handle-port-request! agenda port-request)
588   "Update an agenda for a port-request"
589   (define (handle-selector request-selector port-map-selector)
590     (if (request-selector port-request)
591         (hash-set! (port-map-selector agenda)
592                    (port-request-port port-request)
593                    (request-selector port-request))))
594   (handle-selector port-request-read agenda-read-port-map)
595   (handle-selector port-request-write agenda-write-port-map)
596   (handle-selector port-request-except agenda-except-port-map))
597
598
599 (define* (start-agenda agenda
600                        #:key stop-condition
601                        (get-time gettimeofday)
602                        (handle-ports update-agenda-from-select!))
603   ;; TODO: Document fields
604   "Start up the AGENDA"
605   (let loop ((agenda agenda))
606     (let ((agenda   
607            ;; @@: Hm, maybe here would be a great place to handle
608            ;;   select'ing on ports.
609            ;;   We could compose over agenda-run-once and agenda-read-ports
610            (agenda-run-once agenda)))
611       (if (and stop-condition (stop-condition agenda))
612           'done
613           (let* ((agenda
614                   ;; We have to update the time after ports handled, too
615                   ;; because it may have changed after a select
616                   (set-field
617                    (handle-ports
618                     ;; Adjust the agenda's time just in time
619                     ;; We do this here rather than in agenda-run-once to make
620                     ;; agenda-run-once's behavior fairly predictable
621                     (set-field agenda (agenda-time) (get-time)))
622                    (agenda-time) (get-time))))
623             ;; Update the agenda's current queue based on
624             ;; currently applicable time segments
625             (add-segments-contents-to-queue!
626              (schedule-extract-until! (agenda-schedule agenda) (agenda-time agenda))
627              (agenda-queue agenda))
628             (loop agenda))))))
629
630 (define (print-error-and-continue . args)
631   "Frequently used as pre-unwind-handler for agenda"
632   (format (current-error-port) "\n*** Caught exception with arguments: ~s ***\n"
633           args)
634   (display-backtrace (make-stack #t 1 0)
635                      (current-error-port))
636   (newline (current-error-port)))
637
638 (define-syntax-rule (maybe-catch-all (catch-handler pre-unwind-handler)
639                                      body ...)
640   (if (or catch-handler pre-unwind-handler)
641       (catch
642         #t
643         (lambda ()
644           body ...)
645         (or catch-handler (lambda _ #f))
646         (or pre-unwind-handler (lambda _ #f)))
647       (begin body ...)))
648
649 (define (agenda-run-once agenda)
650   "Run once through the agenda, and produce a new agenda
651 based on the results"
652   (define (call-proc proc)
653     (call-with-prompt
654      (agenda-prompt-tag agenda)
655      (lambda ()
656        (parameterize ((%current-agenda agenda))
657          (maybe-catch-all
658           ((agenda-catch-handler agenda)
659            (agenda-pre-unwind-handler agenda))
660           (proc))))
661      (lambda (kont async-request)
662        (setup-async-request kont async-request))))
663
664   (let ((queue (agenda-queue agenda))
665         (next-queue (make-q)))
666     (while (not (q-empty? queue))
667       (let* ((proc (q-pop! queue))
668              (proc-result (call-proc proc))
669              (enqueue
670               (lambda (run-request)
671                 (define (schedule-at! time proc)
672                   (schedule-add! (agenda-schedule agenda) time proc))
673                 (let ((request-time (run-request-when run-request)))
674                   (match request-time
675                     ((? time-delta? time-delta)
676                      (let ((time (time-delta+ (agenda-time agenda)
677                                               time-delta)))
678                        (schedule-at! time (run-request-proc run-request))))
679                     ((? integer? sec)
680                      (let ((time (cons sec 0)))
681                        (schedule-at! time (run-request-proc run-request))))
682                     (((? integer? sec) . (? integer? usec))
683                      (schedule-at! request-time (run-request-proc run-request)))
684                     (#f
685                      (enq! next-queue (run-request-proc run-request))))))))
686         (define (handle-individual result)
687           (match result
688             ((? run-request? new-proc)
689              (enqueue new-proc))
690             ((? port-request? port-request)
691              (agenda-handle-port-request! agenda port-request))
692             ;; do nothing
693             (_ #f)))
694         ;; @@: We might support delay-wrapped procedures here
695         (match proc-result
696           ((results ...)
697            (for-each handle-individual results))
698           (one-result (handle-individual one-result)))))
699     ;; TODO: Alternately, we could return the next-queue
700     ;;   along with changes to be added to the schedule here?
701     ;; Return new agenda, with next queue set
702     (set-field agenda (agenda-queue) next-queue)))