Integrate multifile test into TAP sequence.
authorEric S. Raymond <esr@thyrsus.com>
Wed, 13 Apr 2022 06:58:02 +0000 (02:58 -0400)
committerEric S. Raymond <esr@thyrsus.com>
Wed, 13 Apr 2022 06:58:02 +0000 (02:58 -0400)
tests/Makefile

index 498dbb80a4293e1ffb0c9a604e9b14f5a2103742..4bf20e5e3ae0754aced240c2c5d5ba3c73de3e2d 100644 (file)
@@ -101,7 +101,7 @@ regress:
        @(echo "inven" | advent isofoo.log /dev/stdin | diff --text -u multifile.chk -) || exit 1
        rm -f scratch.tmp /tmp/regress$$$$
 
-# Steps towards TAP. savecheck and the isofoo test are not yet integrated.
+# Steps towards TAP. savecheck is not yet integrated.
 
 # The TAP filter. Only affects presentation of the test suite messages
 TAPCONSUMER=tapview
@@ -111,17 +111,19 @@ TAPCONSUMER=tapview
 # the logfiles to carry the raw TAP messages. 
 TAPFILTER=$(shell command -v $(TAPCONSUMER) || echo cat)
 
-# Parallel make doesn't return a fail status when a single subprocess fails,
-# so we need to log the failures and check the log for nonemptiness in order
-# to hand a real status back. This is important for CI/CD.  
 FAILLOG=/tmp/advent-test.log
 
-TEST_TARGETS=$(TESTLOADS:%=run-regress-%)
-$(TEST_TARGETS): run-regress-%: %.log
+RUN_TARGETS=$(TESTLOADS:%=run-regress-%)
+$(RUN_TARGETS): run-regress-%: %.log
        @(test=$(<:.log=); legend=$$(sed -n '/^## /s///p' <"$<" 2>/dev/null || echo "(no description)"); \
        OPTS=`sed -n /#options:/s///p $<`; \
        $(advent) $$OPTS <$< | tapdiffer "$<: $${legend}" "$${test}.chk") >>$(FAILLOG)
 
+multifile-regress:
+       @(echo "inven" | advent isofoo.log /dev/stdin) | tapdiffer "multifile: multiple-file test" multifile.chk >>$(FAILLOG)
+
+TEST_TARGETS = $(RUN_TARGETS) multifile-regress
+
 tap: count $(TEST_TARGETS)
 count:
        @echo 1..$(words $(TEST_TARGETS)) >$(FAILLOG)