Merge branch 'open_check'
[kconfig-hardened-check.git] / .github / workflows / functional_test.sh
1 #!/bin/sh
2
3 set -x
4 set -e
5
6 git status
7 git show -s
8
9 echo "Beginning of the functional tests"
10
11 echo ">>>>> get help <<<<<"
12 coverage run -a --branch bin/kernel-hardening-checker
13 coverage run -a --branch bin/kernel-hardening-checker -h
14
15 echo ">>>>> get version <<<<<"
16 coverage run -a --branch bin/kernel-hardening-checker --version
17
18 echo ">>>>> print the security hardening recommendations <<<<<"
19 coverage run -a --branch bin/kernel-hardening-checker -p X86_64
20 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m verbose
21 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m json
22
23 coverage run -a --branch bin/kernel-hardening-checker -p X86_32
24 coverage run -a --branch bin/kernel-hardening-checker -p X86_32 -m verbose
25 coverage run -a --branch bin/kernel-hardening-checker -p X86_32 -m json
26
27 coverage run -a --branch bin/kernel-hardening-checker -p ARM64
28 coverage run -a --branch bin/kernel-hardening-checker -p ARM64 -m verbose
29 coverage run -a --branch bin/kernel-hardening-checker -p ARM64 -m json
30
31 coverage run -a --branch bin/kernel-hardening-checker -p ARM
32 coverage run -a --branch bin/kernel-hardening-checker -p ARM -m verbose
33 coverage run -a --branch bin/kernel-hardening-checker -p ARM -m json
34
35 echo ">>>>> generate the Kconfig fragment <<<<<"
36 coverage run -a --branch bin/kernel-hardening-checker -g X86_64
37 coverage run -a --branch bin/kernel-hardening-checker -g X86_32
38 coverage run -a --branch bin/kernel-hardening-checker -g ARM64
39 coverage run -a --branch bin/kernel-hardening-checker -g ARM
40
41 echo ">>>>> check the example kconfig files, cmdline, and sysctl <<<<<"
42 cat /proc/cmdline
43 echo "l1tf=off mds=full mitigations=off randomize_kstack_offset=on retbleed=0 iommu.passthrough=0" > ./cmdline_example
44 cat ./cmdline_example
45 sysctl -a > /tmp/sysctls
46 CONFIG_DIR=`find . -name config_files`
47 SYSCTL_EXAMPLE=$CONFIG_DIR/distros/example_sysctls.txt
48 KCONFIGS=`find $CONFIG_DIR -type f | grep -e "\.config" -e "\.gz"`
49 COUNT=0
50 for C in $KCONFIGS
51 do
52         COUNT=$(expr $COUNT + 1)
53         echo "\n>>>>> checking kconfig number $COUNT <<<<<"
54         coverage run -a --branch bin/kernel-hardening-checker -c $C
55         coverage run -a --branch bin/kernel-hardening-checker -c $C -m verbose > /dev/null
56         coverage run -a --branch bin/kernel-hardening-checker -c $C -l /proc/cmdline
57         coverage run -a --branch bin/kernel-hardening-checker -c $C -s /tmp/sysctls
58         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE
59         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m verbose > /dev/null
60         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m json
61         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m show_ok
62         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m show_fail
63 done
64 echo "\n>>>>> have checked $COUNT kconfigs <<<<<"
65
66 echo ">>>>> check sysctl separately <<<<<"
67 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE
68 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m verbose > /dev/null
69 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m json
70 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m show_ok
71 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m show_fail
72
73 echo "Collect coverage for error handling"
74
75 echo ">>>>> -c and -p together <<<<<"
76 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -c kernel_hardening_checker/config_files/distros/fedora_34.config && exit 1
77
78 echo ">>>>> -c and -g together <<<<<"
79 coverage run -a --branch bin/kernel-hardening-checker -g X86_64 -c kernel_hardening_checker/config_files/distros/fedora_34.config && exit 1
80
81 echo ">>>>> -l without -c <<<<<"
82 coverage run -a --branch bin/kernel-hardening-checker -l /proc/cmdline && exit 1
83
84 echo ">>>>> -s and -p together <<<<<"
85 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -s $SYSCTL_EXAMPLE && exit 1
86
87 echo ">>>>> -s and -g together <<<<<"
88 coverage run -a --branch bin/kernel-hardening-checker -g X86_64 -s $SYSCTL_EXAMPLE && exit 1
89
90 echo ">>>>> -p and -g together <<<<<"
91 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -g X86_64 && exit 1
92
93 echo ">>>>> wrong modes for -p <<<<<"
94 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m show_ok && exit 1
95 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m show_fail && exit 1
96
97 echo ">>>>> wrong mode for -g <<<<<"
98 coverage run -a --branch bin/kernel-hardening-checker -g X86_64 -m show_ok && exit 1
99
100 cp kernel_hardening_checker/config_files/distros/fedora_34.config ./test.config
101
102 echo ">>>>> no kconfig file <<<<<"
103 coverage run -a --branch bin/kernel-hardening-checker -c ./nosuchfile && exit 1
104
105 echo ">>>>> no cmdline file <<<<<"
106 coverage run -a --branch bin/kernel-hardening-checker -c ./test.config -l ./nosuchfile && exit 1
107
108 echo ">>>>> empty cmdline file <<<<<"
109 touch ./empty_file
110 coverage run -a --branch bin/kernel-hardening-checker -c ./test.config -l ./empty_file && exit 1
111
112 echo ">>>>> no sysctl file <<<<<"
113 coverage run -a --branch bin/kernel-hardening-checker -s ./nosuchfile && exit 1
114
115 echo ">>>>> no kernel version <<<<<"
116 sed '3d' test.config > error.config
117 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
118
119 echo ">>>>> strange kernel version string <<<<<"
120 sed '3 s/5./version 5./' test.config > error.config
121 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
122
123 echo ">>>>> no arch <<<<<"
124 sed '305d' test.config > error.config
125 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
126
127 echo ">>>>> more than one arch <<<<<"
128 cp test.config error.config
129 echo 'CONFIG_ARM64=y' >> error.config
130 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
131
132 echo ">>>>> invalid enabled kconfig option <<<<<"
133 cp test.config error.config
134 echo 'CONFIG_FOO=is not set' >> error.config
135 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
136
137 echo ">>>>> one config option multiple times <<<<<"
138 cp test.config error.config
139 echo 'CONFIG_BUG=y' >> error.config
140 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
141
142 echo ">>>>> invalid compiler versions <<<<<"
143 cp test.config error.config
144 sed '8 s/CONFIG_CLANG_VERSION=0/CONFIG_CLANG_VERSION=120000/' test.config > error.config
145 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
146
147 echo ">>>>> unexpected line in the kconfig file <<<<<"
148 cp test.config error.config
149 echo 'some strange line' >> error.config
150 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
151
152 echo ">>>>> multi-line cmdline file <<<<<"
153 echo 'hey man 1' > cmdline
154 echo 'hey man 2' >> cmdline
155 coverage run -a --branch bin/kernel-hardening-checker -c test.config -l cmdline && exit 1
156
157 echo ">>>>> unexpected line in the sysctl file <<<<<"
158 cp $SYSCTL_EXAMPLE error_sysctls
159 echo 'some strange line' >> error_sysctls
160 coverage run -a --branch bin/kernel-hardening-checker -c test.config -s error_sysctls && exit 1
161
162 echo ">>>>> invalid sysctl file <<<<<"
163 coverage run -a --branch bin/kernel-hardening-checker -c test.config -s empty_file && exit 1
164
165 echo "The end of the functional tests"