doc: Release update.
[mes.git] / NEWS
1                                                               -*- org -*-
2 #+TITLE: GNU Mes NEWS – history of user-visible changes
3 #+STARTUP: content hidestars
4
5 Copyright © 2016,2017,2018 Jan (janneke) Nieuwenhuizen <janneke@gnu.org>
6
7   Copying and distribution of this file, with or without modification,
8   are permitted in any medium without royalty provided the copyright
9   notice and this notice are preserved.
10
11 Please send Mes bug reports to bug-mes@gnu.org.
12
13 * Changes in 0.17 since 0.16.1
14 ** Core
15 *** GNU Mes is now an official GNU package.
16 *** MesCC is now installed as a regular Guile package.
17 *** Support --srcdir build.
18 *** Support all standard GNU make targets.
19 ** MesCC
20 *** Mes C Lib now bootstraps glibc-2.2.5, binutils-2.20.1, gcc-4.7.4.
21 * Changes in 0.16.1 since 0.16
22 ** Core
23 *** Mes now builds out of the box on Debian buster/testing.
24 *** Mes now comes with a generic build recipe: build-aux/setup-mes.sh.
25 *** Mes now comes with INFO documentation.
26 ** MesCC
27 *** MesCC now exits if spawning BLOOD_ELF, M1, or HEX2 fails.
28 * Changes in 0.16 since 0.15
29 ** Core
30 *** Support building with tcc, including Mes C Lib in-line assembly.
31 *** core:execl now supports 1000 arguments.
32 ** MesCC
33 *** Mes C Lib now bootstraps glibc-2.2.5, binutils-2.20.1, gcc-4.1.0.
34 *** MesCC binaries now run on Linux 4.17 too, i.e. survive Linus' new `sane mmap limits.'
35 *** MesCC now runs with mescc-tools 0.5 (no = in long options).
36 **** 3 new C test
37 88-strrchrc, 97-fopen.c, 98-fopen.c.
38 ** Noteworthy bug fixes
39 *** strrchr now stops when it reaches start of string.
40 *** fopen now return 0 upon failure.  Supports binutils' hack: fd=-2 means `cached'.
41 *** vfprintf, vsprintf now support precision and width on integers strings better.
42 *** fread now produces ungetc'd chars too.
43 *** memcmp now supports comparing 0 bytes, supporting binutils.
44
45 *** The unused ELF header data section, identical to the text section, has been removed.
46 * Changes in 0.15 since 0.14
47 ** Core
48 *** Support fork, exec, waitpid.
49 *** Boot-0 loading has been refactored.
50 *** MesCC now has out of the box Geiser support.
51 ** Language
52 *** 2 new functions
53 drop, drop-right.
54 ** MesCC
55 *** MesCC and Mes C Lib can now build binutils-2.30, gcc-2.95.3 and glibc-2.2.5.
56 *** MesCC now provides dummy crti.o, crtn.o so that tcc needs not be patched for those.
57 *** Mes C Lib now supports compiling glibc-2.2.25.
58 *** Mes C Lib now supports compiling gcc-2.95.3
59 *** Mes C Lib now supports compiling binutils-2.30.
60 *** Mes C Lib now supports compiling m4-1.4.
61 *** Mes C Lib has been split into archs: gcc, x86-mes-gcc and x86-mes.
62 *** MesCC now has a posixy command line interface.
63 **** 70 new functions
64 abs, access, alarm, alloca, atexit, atol, bcmp, bcopy, brk, bzero,
65 chmod, clearerr, close, dup, dup2, execve, fabs, fcntl, fdgets, feof,
66 fgets, fileno, fork, freopen, fscanf, fstat, fsync, getcwd, getgid,
67 getpid, getrusage, getuid, index, ioctl, isalnum, isalpha, isascii,
68 iscntrl, isprint, ispunct, kill, link, lseek, lstat, mkdir, mktemp,
69 nanosleep, open, perror, pipe, raise, read, rename, rindex, rmdir,
70 sbrk, sbrk, setitimer, signal, sleep, stat, strcspn, strdup, strerror,
71 strncat, strpbrk, strspn, unlink, unsetenv, waitpid.
72 **** 23 new stubs
73 abort, atof, bsearch, bsearch, chown, ctime, fpurge, freadahead,
74 frexp, getpwnam, gmtime, mbstowcs, pclose, popen, rewind, setbuf,
75 sigsetmask, strftime, sys_siglist, system, times, umask, utime.
76 **** 10 new C tests
77 51-strcmp.c, 70-printf.c, 87-sscanf.c, 90-strpbrk.c, 91-fseek.c,
78 92-stat.c, 93-fread-fwrite.c, 94-unsetenv.c, 95-signal.c, 96-strto.c.
79
80 * Changes in 0.14 since 0.13
81 ** Core
82 *** Bootstrapped Mes+MesCC  now compiles a tcc that is self-hosting and only slightly patched.
83 *** The reader now supports binary numbers (previously: read as decimal).
84 *** String port support has been moved to C.
85 *** The build has been simplified, the Make-in-Scheme experiment has been removed.
86 *** 2 new functions
87 chmod, logxor.
88 ** Language
89 *** Mes now supports define-immutable-record-type and single set-field from srfi-9 gnu.
90 *** 12 new functions
91 basename, chmod, const, delete-duplicates, logxor, string-contains,
92 string-map, string-replace, string-trim, string-trim-both,
93 string-trim-right, unfold.
94 ** MesCC
95 *** MesCC now supports standalone usage of nestedly defined enums, structs and unions.
96 *** MesCC now supports comparison of unsigned and promotion of signed/unsigned -> unsigned.
97 *** MesCC now supports sign extension for char, short.
98 *** MesCC now has stubbing for floats; compiling works, data is fu.
99 *** MesCC now has full suport for switch case, e.g. with default as first clause.
100 *** MesCC now supports destruction of casted expressions: ((struct foo*)p)->bar.
101 *** MesCC now has full support for pre/post, e.g.: (foo--)->bar and permutations.
102 *** MesCC now supports sizeof any expression or type.
103 *** MesCC now supports initialization of anonymous unions.
104 *** MesCC now supports bit fields.
105 *** MesCC now supports valued functions in expressions: destruction and dereferencing.
106 *** MesCC now supports function-static variables.
107 *** MesCC now supports initializer lists in structs and unions.
108 *** MesCC now has full support for heterogeneous variable declarations, e.g.: char p, *x = "foo", buf[3];
109 **** 4 new functions
110 __lshrdi3, __ashldi3, __ashrdi3, strncpy.
111 **** 9 new mlibc stubs
112 __fixdfdi, __fixsfdi, __fixunsxfdi, __fixxfdi, __floatundixf, ldexp,
113 strtod, strtof, strtold.
114 * Changes in 0.13 since 0.12
115 ** Core
116 *** Bootstrapped Mes+MesCC can now compile a patched tcc in ~1h45' (~25,000 LOC).
117 *** MesCC scripts for Mes and Guile are now merged; executable is: `mescc'.
118 *** Mes now uses only one arena for stop-and-copy; doubles available size.
119 *** Mes now has a Guile-like command-line interface (mes.repl has been removed).
120 *** Mes now boots into a full Scheme by default.
121 *** Mes can now be compiled (MES_MINI=1) to boot into a minimal Scheme (~2000 cells).
122 *** Mes now creates less garbage in the reader and in
123 append2, append_reverse, reverse, reverse!, vector-for-each, vector-to-list, vector-map.
124 *** 5 new functions
125 append-reverse, chmod, ioctl, isatty, isspace, last_pair, reverse!.
126 ** Language
127 *** 3 new functions
128 char-whitespace?, chmod, isatty?
129 ** Noteworthy bug fixes
130 *** Two bugs in the jam scraper/garbage collector have been fixed.
131 *** equal2_p now uses tail call elimination.
132 *** Escaped characters in strings are now read and write'd correctly.
133 *** The repl now expands macros again.
134 * Changes in 0.12 since 0.11
135 ** Core
136 *** Mes can now run Nyacc (0.80.42) to compile itself in ~4min (~3000 LOC).
137 *** Mes now recursively expands global variables per top level statement.
138 *** Mes now recursively expands macros per top level statement.
139 *** Mes now boots from MES_BOOT (default: module/mes/boot-0.scm).
140 *** Mes now has a full Scheme reader in C again.
141 This gives a 10x-20x performance improvement and increases the
142 bootstrap footprint by 160 LOC.
143 *** Mes reader now supports older abbreviated character forms
144 #\bel, #\bs, #\ht and #\vt.
145 *** 3 new functions
146 equal2?, memq, core:write.
147 ** Language
148 *** Mes now has an incremental Scheme semantics test suite with 71 small tests.
149 *** Variable names can now have ticks.
150 *** Mes now evaluates expresions of COND only once.
151 *** srfi-9 records have been reimplemented.
152 *** #\page is now whitespace.
153 *** #<eof> is no longer a character.
154 *** 2 new macros
155 define-macro*, with-fluids.
156 *** 9 new functions
157 dirname, last, reverse-list->string, setenv, string-drop-right,
158 string-fold, string-fold-right, string-null?, write.
159 ** MesCC
160 **** 9 new functions
161 chmod, getopt_long, ferror, itoab, longjmp, qsort, setenv, setjmp, strtol.
162 **** 2 new header files
163 endian.h, sys/signal.h.
164
165 * Changes in 0.11 since 0.10
166 ** MesCC
167 *** MesCC now compiles a mes-tcc that fails 41/69 of mescc's C tests.
168 *** MesCC's libc can now be compiled with tcc (syscall support: write).
169 *** MesCC now compiles a less-patched tcc: -214/+458 lines [WAS: -333/+747].
170 *** MesCC now supports empty for.
171 *** MesCC has been greatly refactored, 500/3000 lines have been removed.
172 *** MesCC now supports complex [struct] by value assign foo.bar, foo->bar, foo[bar].
173 *** MesCC now depends on Nyacc 0.82.4.
174 * Changes in 0.10 since 0.9
175 ** Core
176 *** 2 new functions
177 logand, lognot.
178 *** Mes now includes M1 sources for full source bootstrapping up to tcc.
179 ** Mescc
180 *** Mescc now depends on Nyacc 0.81.0.
181 *** Mescc now compiles a mes-tcc that compiles a trivial C to a running a.out.
182 *** Mescc now supports several (as used my tinycc) struct by value assignments.
183 *** Mescc now has _start in a separate crt1.c.
184 *** Mescc now supports initializer arithmetic.
185 *** Mescc now supports arrays of struct of arbitrary size.
186 *** Mescc now supports pointer arithmetic.
187 *** Mescc now defines __i386__, __linux__.
188 *** Mescc now supports --*p, ++*p.
189 *** Mescc now supports int foo[bar] = {baz,...}.
190 *** Mescc now supports \x00 in strings in M1.
191 *** Mescc now supports complex enum expressions.  Thanks, rain1!
192 *** Mescc now supports short.
193 *** Mescc now supports foo.bar = foo.baz = bla.
194 *** Mescc now supports foo = bar < baz and comparison permutations.
195 *** Mescc now supports (anonymous) structs in unions.
196 *** Mescc now writes M1 strings if possible.
197 **** 2 improved mlibc functions
198 malloc, realloc.
199 **** 13 new mlibc functions
200 fclose, fgetc, fprintf, fwrite, memcpy, memmove, memset, snprintf, strcat,
201 strchr, strrchr, strtoull, vnsprintf.
202 **** 15 new tinycc-support tests
203 76-pointer-arithmetic.c, 77-pointer-assign.c, 78-union-struct.c,
204 79-int-array.c, 7a-struct-char-array.c, 7b-struct-int-array.c,
205 7c-dynarray.c, 7d-cast-char.c, 7e-struct-array-access.c,
206 7f-struct-pointer-arithmetic.c, 7g-struct-byte-word-field.c,
207 7h-struct-assign.c, 7i-struct-struct.c, 7j-strtoull.c,
208 7k-for-each-elem.c.
209 ** Noteworthy bug fixes
210 *** Mescc has many fixes for foo.bar[baz], foo[bar].baz with ./-> permutations.
211 *** Many bugs and limitations in mescc have been fixed and removed.
212 * Changes in 0.9 since 0.8
213 ** Core
214 *** Mes now builds better in non-Guix[SD] legacy distros/environments.  Thanks, rain1!
215 ** Mescc
216 *** Mescc now compiles a modified tinycc into a running [mostly segfaulting] mes-tcc.
217 https://gitlab.com/janneke/tinycc branch wip-mescc.
218 *** Mescc now supports locals stack frame larger than 1 byte offset.
219 *** Mescc now supports incomplete struct initializers {0}.
220 *** Mescc now supports >>=, <<=, ^=, ~.
221 *** Mescc now supports the comma operator.
222 *** Mescc now supports mullti-line string initializers.
223 *** Mescc now supports unions.
224 *** Mescc now supports arrays in structs.
225 *** Mescc now supports structs in structs.
226 *** Mescc now builds and runs with Guile-2.0 (legacy distro support, Guile-2.2 recommended).
227 *** Mescc has been refactored to use records.
228 *** Mescc now bundles tinycc's test2 test suite, passes one more test [34/55 pass].
229 *** Mescc now has an incremental test suite consisting of 56 tests.
230 *** Mescc now supports stdarg variable argument lists.
231 *** Mescc now has __GNUC__ unset, #f (WAS: 0).
232 *** Mescc now depends on Nyacc 0.80.3.
233 *** Mescc now depends on M1 from [[https://github.com/oriansj/mescc-tools][mescc-tools]] v0.2.
234 *** Mescc now compiles to M1 object files.
235 **** 7 new mlibc functions
236 calloc, close, getcwd, lseek, sprintf, unlink, vprintf.
237 **** 31 new mlibc stubs
238 execvp, fclose, fdopen, fflush, fopen, fprintf, fread, free, fseek,
239 ftell, fwrite, localtime, longjmp, memcpy, memmove, memmove, memset,
240 qsort, remove, setjump, snprintf, sscanf, strchr, strrchr, strstr,
241 strtol, strtoll, strtoul, strtoull, time, vnsprintf.
242 **** 10 new header files
243 alloca.h, float.h, libgen.h, locale.h, stdbool.h, stddef.h, stdint.h,
244 stdnoreturn.h, sys/select.h, sys/wait.h.
245 ** Noteworthy bug fixes
246 *** Many bugs and limitations in mescc have been fixed and removed.
247 * Changes in 0.8 since 0.7
248 ** Mescc
249 *** Mescc now has experimental annotation support for hex2.
250 *** Mescc now depends on the hex2 linker from [[https://github.com/oriansj/mescc-tools][mescc-tools]].
251 Direct ELF output support has been removed.
252 ELF symbol and string table creation has been removed.
253 *** Mescc has been simplified by leveraging use labels in hex2 output.
254 *** Mescc now supports continue in loops.
255 *** Mescc now compiles to hex2 object files.
256 ** Language
257 *** 1 new function
258 list-index.
259 * Changes in 0.7 since 0.6
260 ** Core
261 *** The minimal C reader is now always included; dependencies
262 on i686-unknown-linux-gnu-gcc and binary read-0-32.mo have been
263 dropped, these are now optional.
264 ** Language
265 *** Mes reader now supports octal numbers #oXXX.
266 *** 10 new functions
267 current-output-port, getopt-long, negate, open-output-file,
268 option-ref, set-current-output-port, string-rindex, string-suffix?,
269 with-ouwith-output-to-file, with-output-to-port.
270 ** Mescc
271 *** Mescc can now be installed and used alongside a gcc installation.
272 *** Mescc can now handle const anywhere.
273 *** Mescc now supports array fields in structs.
274 *** Mescc now supports forward declarations and typedef.
275 *** Mescc can now handle comments anywhere.
276 *** Mescc now supports addition and substraction for enum field values.
277 *** Mescc now supports anonymous enums.
278 *** Mescc now supports all C99 header files needed to compile tcc.c.
279 *** build: C sources are now preprocessed separately, then compiled and linked.
280 *** build: mlibc and C sources are now compiled separately and then linked.
281 *** mlibc has been moved from Scheme snippets into C.
282 *** Mescc now supports -c, -D, -E, -I and -o options.
283 **** open now supports optional third mode parameter.
284 ** Noteworthy bug fixes
285 *** string-index now supports function predicate.
286 *** number->string for radix > 10 now produces `a' instead of `:'.
287 * Changes in 0.6 since 0.5
288 ** Core
289 *** configure, build now supports x86 and development for arm with-courage.
290 ** Language
291 *** Nyacc has been unbundled and is now a dependency.
292 *** Mes now supports case-lambda.
293 *** Mes reader now supports abbreviated form for return character #\cr.
294 *** 1 new function
295 string-index.
296 ** Mescc
297 *** Mescc can be used on regular C sources, like tinycc's tests/test2 suite.
298 *** make check passes 33/55 of tinycc's test suite etest/test2 tests.
299 *** Mescc now recognizes `short' as a type.
300 *** Mescc now supports sizeof (<identifier>), sizeof(<expression>).
301 *** Mescc now respects enum field initializers and supports enum variables.
302 *** Mescc now supports binary constants .
303 *** Mescc now supports assignments from ==, != boolean expressions .
304 *** Mescc now supports &, ^.
305 *** Mescc now supports struct pointers.
306 *** Mescc now supports struct definition with immediatete variable declaration.
307 *** Mescc now supports calling (returning correctly from) void functions.
308 *** Mescc now handles case statements breaks without compound correctly.
309 *** Mescc now has better [int/pointer] array support.
310 *** Mescc now has better support for simple (non-array-)structs.
311 *** Mescc now supports multiple declarations in one statement like: int a,b;
312 **** 2 new mlibc functions
313 printf, strcpy.
314 ** Noteworthy bug fixes
315 *** Installed mes and mes.repl now also run outside of source tree again.
316 * Changes in 0.5 since 0.4
317 ** Core
318 *** Support compilation with Mescc.
319 *** Support compilation with -nostdinc, -nostdlib using mlibc.
320 *** Support call-with-current-continuation.
321 *** Support exception handling, catch/throw.
322 *** Give sensible error message when a macro is missing.
323 ** Language
324 *** Map now supports 4 lists.
325 *** The reader supports negative hex numbers.
326 *** 24 new functions
327 access?, assoc-set! c????r, compose, list->char-set,
328 open-input-string, read-string, string-delete, with-throw-handler.
329 ** Mescc
330 *** Mescc can be used separately as a Nyacc-based C compiler backend for Guile.
331 *** Switch to Nyacc frontend, update Nyacc to 0.76.5.
332 *** Mescc now has a test suite, scaffold/t.c.
333 *** Mescc now includes a minimal C library libc/mlib.c libc/mstart.c.
334 *** Mescc can now compile mes.c.
335 ** Noteworthy bug fixes
336 *** The build system (configure, make) has been refactored.
337 *** Support map-4.
338 *** Evaluate arguments of OR only once.
339 *** Fix assq-set!
340 *** Fix ,expand in the REPL.
341
342 * Changes in 0.4 since 0.3
343 ** Core
344 *** Improved performance.
345 Macros are now memoized; after expansion and before eval'ing the
346 expanded form, their input s-expression is replaced by the expansion.
347 This yields a nice performance improvement which finally allowed
348 moving all non-essential bits from the C-core into Scheme...including
349 the reader.  The Scheme reader is much, much slower than the previous
350 C version, making Mes--again-- feel slow.  Think of that as a feature.
351 *** Bootstrap with minimal reader in C.
352 The C-reader needs only support reading of words and lists
353 (s-expressions), line-comments to read the initial [[file:module/mes/read-0.mes][Scheme reader]] which
354 then takes over and handles reading of quoting, characters, strings,
355 block-comments.
356 *** Reduced size.
357 Total C size: ~1500LOC.  The main Mes evaluator is now ~1000LOC
358 including cell creation and garbage collector.  This code is able to
359 execute a Scheme program that has been loaded into memory.  Another
360 ~500LOC is spent to load a minimal Scheme program and to dump it, to
361 provide a small posix interface, math functions and do some error
362 reporting.
363 *** Programs can be dumped and loaded using --dump and --load.
364 ** Language
365 *** Minimal syntactic exception support for Nyacc.
366 *** Minimal syntactic fluids support for Nyacc.
367 *** Keywords are now supported.
368 *** Cond now supports =>.
369 *** Guile's optargs: lambda* and define* are now supported.
370 *** #;-comments are now supported.
371 *** Non-nested #| |#-comments are now supported.
372 *** Quasisyntax is now supported.
373 *** R7RS syntax-rules with custom ellipsis, with-ellipsis are now supported.
374 *** 9 new [partial] modules
375 (mes fluids), (mes nyacc), (mes optargs), (mes pmatch), (mes peg),
376 (srfi srfi-13), (srfi srfi-9-psyntax), (srfi srfi-26), (srfi srfi-43),
377 (rnrs arithmetic bitwise), (sxml xpath)
378 *** 36 new functions
379 1+, 1-, abs, and=>, append-reverse, ash, char<=?, char<?, char>=?,
380 char>?, even?, filter, delete, delq, vector-copy, fold, fold-right,
381 getenv, iota, keyword->symbol list-head, list-tail, negative?, odd?,
382 positive?, remove!, remove, string->number, string-copy,
383 string-prefix?, string=, string=?, symbol->keyword symbol-append,
384 symbol-prefix?, unless, write, zero?.
385 ** Noteworthy bug fixes
386 *** Macros are now memoized.
387 *** An error is reported when using a wrong number of arguments with a call.
388 *** Cond now evaluates its test clauses only once.
389 *** Append can also handle one argument.
390 *** For-each now supports 2 list arguments.
391 *** Map now supports 3 list arguments.
392 *** Backslash in string is supported.
393 *** Closure is not a pair.
394 *** All standard characters are supported.
395 *** Mescc now also runs in Guile.
396 * Changes in 0.3 since 0.2
397 ** Core
398 *** Number-based rather than pointer-based cells.
399 *** Garbage collector aka Jam scraper.
400 A variant on SICP's stop and copy Garbage Colletor (Jam Scraper?)
401 algorithm has been implemented.
402 *** The reader has been moved to Scheme.
403 ** Language
404 *** Simple loadable modules.
405 *** Srfi-9 and match use handwritten syntax-rules (mes-use-module (mes syntax)).
406 *** Optional syntax-case using psyntax (mes-use-module (mes psyntax)).
407 ** Noteworthy bug fixes
408 *** Srfi-0 has been fixed.
409 * Changes in 0.2 since 0.1
410 ** Core
411 *** Names of symbols and strings are list of characters [WAS: c-string].
412 *** Sc-expand from pre-R6RS's psyntax has been integrated.
413 *** Undefined variable error now shows the name of the undefined variable.
414 *** There is now only one SCM type for builtin functions.
415 *** Macro expansion has been cleaned-up.
416 ** Language
417 *** Mes now provides a subset of R6RS.
418 *** Mes now provides syntax-case.
419 *** Mes now provides `load'.
420 ** Noteworthy bug fixes
421 *** Using values as second parameter of builtin function yields first value.
422 *** Quoted internals (e.g. 'if 'lambda) are now symbols.
423 *** Syntax error now exits.
424 *** Make+Bash voodoo has been replaced by build-aux/mes-snarf.scm.
425 *** Apply now accepts multiple list arguments.
426 *** Apply of character, inernal, number, string is an error.
427 *** Quasisyntax reading
428
429 * Changes in 0.1 (since progress report #2)
430 ** Core
431 *** expand_macro is now a separate function.
432 *** A smaller core can now compiled using BOOT=1.
433 The smaller core does not provide define, define-macro, or quasiquote;
434 these are provided from a Scheme version of implemented eval/apply.
435 ** Language
436 *** Mes now provides a subset of R5RS.
437 *** Mes now provides let-syntax.
438 *** Mes now provides match.
439 *** Mes now provides quasisyntax, unsyntax and unsyntax-splicing.
440 ** User interface
441 *** Mes now provides a REPL, run:
442     scripts/repl.mes
443 *** Mes compiler can be run as a script:
444     scripts/mescc.mes doc/examples/main.c
445 *** Macro expansion can be inspected in the REPL, e.g.:
446     ,expand (and 0 1)
447 ** Noteworthy bug fixes
448 *** Performance: scripts/mescc.mes now takes 2s to compile main.c (was 1'20").
449 *** Symbols are now truly unique.
450   * '(), #t, #f are no longer symbols.