.github/workflows/functional_test.sh

   1 #!/bin/sh
   2
   3 set -x
   4 set -e
   5
   6 git status
   7 git show -s
   8
   9 echo "Beginning of the functional tests"
  10
  11 echo ">>>>> get help <<<<<"
  12 coverage run -a --branch bin/kernel-hardening-checker
  13 coverage run -a --branch bin/kernel-hardening-checker -h
  14
  15 echo ">>>>> get version <<<<<"
  16 coverage run -a --branch bin/kernel-hardening-checker --version
  17
  18 echo ">>>>> print the security hardening recommendations <<<<<"
  19 coverage run -a --branch bin/kernel-hardening-checker -p X86_64
  20 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m verbose
  21 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m json
  22
  23 coverage run -a --branch bin/kernel-hardening-checker -p X86_32
  24 coverage run -a --branch bin/kernel-hardening-checker -p X86_32 -m verbose
  25 coverage run -a --branch bin/kernel-hardening-checker -p X86_32 -m json
  26
  27 coverage run -a --branch bin/kernel-hardening-checker -p ARM64
  28 coverage run -a --branch bin/kernel-hardening-checker -p ARM64 -m verbose
  29 coverage run -a --branch bin/kernel-hardening-checker -p ARM64 -m json
  30
  31 coverage run -a --branch bin/kernel-hardening-checker -p ARM
  32 coverage run -a --branch bin/kernel-hardening-checker -p ARM -m verbose
  33 coverage run -a --branch bin/kernel-hardening-checker -p ARM -m json
  34
  35 echo ">>>>> generate the Kconfig fragment <<<<<"
  36 coverage run -a --branch bin/kernel-hardening-checker -g X86_64
  37 coverage run -a --branch bin/kernel-hardening-checker -g X86_32
  38 coverage run -a --branch bin/kernel-hardening-checker -g ARM64
  39 coverage run -a --branch bin/kernel-hardening-checker -g ARM
  40
  41 echo ">>>>> check the example kconfig files, cmdline, and sysctl <<<<<"
  42 cat /proc/cmdline
  43 echo "l1tf=off mds=full mitigations=off randomize_kstack_offset=on retbleed=0 iommu.passthrough=0" > ./cmdline_example
  44 cat ./cmdline_example
  45 sysctl -a > /tmp/sysctls
  46 CONFIG_DIR=`find . -name config_files`
  47 SYSCTL_EXAMPLE=$CONFIG_DIR/distros/example_sysctls.txt
  48 KCONFIGS=`find $CONFIG_DIR -type f | grep -e "\.config" -e "\.gz"`
  49 COUNT=0
  50 for C in $KCONFIGS
  51 do
  52         COUNT=$(expr $COUNT + 1)
  53         echo "\n>>>>> checking kconfig number $COUNT <<<<<"
  54         coverage run -a --branch bin/kernel-hardening-checker -c $C
  55         coverage run -a --branch bin/kernel-hardening-checker -c $C -m verbose > /dev/null
  56         coverage run -a --branch bin/kernel-hardening-checker -c $C -l /proc/cmdline
  57         coverage run -a --branch bin/kernel-hardening-checker -c $C -s /tmp/sysctls
  58         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE
  59         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m verbose > /dev/null
  60         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m json
  61         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m show_ok
  62         coverage run -a --branch bin/kernel-hardening-checker -c $C -l ./cmdline_example -s $SYSCTL_EXAMPLE -m show_fail
  63 done
  64 echo "\n>>>>> have checked $COUNT kconfigs <<<<<"
  65
  66 echo ">>>>> check sysctl separately <<<<<"
  67 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE
  68 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m verbose > /dev/null
  69 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m json
  70 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m show_ok
  71 coverage run -a --branch bin/kernel-hardening-checker -s $SYSCTL_EXAMPLE -m show_fail
  72
  73 echo ">>>>> test -v (kernel version detection) <<<<<"
  74 cp kernel_hardening_checker/config_files/distros/fedora_34.config ./test.config
  75 coverage run -a --branch bin/kernel-hardening-checker -c ./test.config -v /proc/version
  76
  77 echo "Collect coverage for error handling"
  78
  79 echo ">>>>> -c and -p together <<<<<"
  80 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -c ./test.config && exit 1
  81
  82 echo ">>>>> -c and -g together <<<<<"
  83 coverage run -a --branch bin/kernel-hardening-checker -g X86_64 -c ./test.config && exit 1
  84
  85 echo ">>>>> -l without -c <<<<<"
  86 coverage run -a --branch bin/kernel-hardening-checker -l /proc/cmdline && exit 1
  87
  88 echo ">>>>> -s and -p together <<<<<"
  89 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -s $SYSCTL_EXAMPLE && exit 1
  90
  91 echo ">>>>> -s and -g together <<<<<"
  92 coverage run -a --branch bin/kernel-hardening-checker -g X86_64 -s $SYSCTL_EXAMPLE && exit 1
  93
  94 echo ">>>>> -p and -g together <<<<<"
  95 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -g X86_64 && exit 1
  96
  97 echo ">>>>> wrong modes for -p <<<<<"
  98 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m show_ok && exit 1
  99 coverage run -a --branch bin/kernel-hardening-checker -p X86_64 -m show_fail && exit 1
 100
 101 echo ">>>>> wrong mode for -g <<<<<"
 102 coverage run -a --branch bin/kernel-hardening-checker -g X86_64 -m show_ok && exit 1
 103
 104 echo ">>>>> no kconfig file <<<<<"
 105 coverage run -a --branch bin/kernel-hardening-checker -c ./nosuchfile && exit 1
 106
 107 echo ">>>>> no cmdline file <<<<<"
 108 coverage run -a --branch bin/kernel-hardening-checker -c ./test.config -l ./nosuchfile && exit 1
 109
 110 echo ">>>>> empty cmdline file <<<<<"
 111 touch ./empty_file
 112 coverage run -a --branch bin/kernel-hardening-checker -c ./test.config -l ./empty_file && exit 1
 113
 114 echo ">>>>> no sysctl file <<<<<"
 115 coverage run -a --branch bin/kernel-hardening-checker -s ./nosuchfile && exit 1
 116
 117 echo ">>>>> no kernel version <<<<<"
 118 sed '3d' test.config > error.config
 119 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 120
 121 echo ">>>>> strange kernel version in kconfig <<<<<"
 122 sed '3 s/5./version 5./' test.config > error.config
 123 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 124
 125 echo ">>>>> strange kernel version via -v <<<<<"
 126 sed '3d' test.config > error.config
 127 coverage run -a --branch bin/kernel-hardening-checker -c error.config -v /proc/cmdline && exit 1
 128
 129 echo ">>>>> no arch <<<<<"
 130 sed '305d' test.config > error.config
 131 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 132
 133 echo ">>>>> more than one arch <<<<<"
 134 cp test.config error.config
 135 echo 'CONFIG_ARM64=y' >> error.config
 136 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 137
 138 echo ">>>>> invalid enabled kconfig option <<<<<"
 139 cp test.config error.config
 140 echo 'CONFIG_FOO=is not set' >> error.config
 141 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 142
 143 echo ">>>>> one config option multiple times <<<<<"
 144 cp test.config error.config
 145 echo 'CONFIG_BUG=y' >> error.config
 146 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 147
 148 echo ">>>>> invalid compiler versions <<<<<"
 149 cp test.config error.config
 150 sed '8 s/CONFIG_CLANG_VERSION=0/CONFIG_CLANG_VERSION=120000/' test.config > error.config
 151 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 152
 153 echo ">>>>> unexpected line in the kconfig file <<<<<"
 154 cp test.config error.config
 155 echo 'some strange line' >> error.config
 156 coverage run -a --branch bin/kernel-hardening-checker -c error.config && exit 1
 157
 158 echo ">>>>> multi-line cmdline file <<<<<"
 159 echo 'hey man 1' > cmdline
 160 echo 'hey man 2' >> cmdline
 161 coverage run -a --branch bin/kernel-hardening-checker -c test.config -l cmdline && exit 1
 162
 163 echo ">>>>> unexpected line in the sysctl file <<<<<"
 164 cp $SYSCTL_EXAMPLE error_sysctls
 165 echo 'some strange line' >> error_sysctls
 166 coverage run -a --branch bin/kernel-hardening-checker -c test.config -s error_sysctls && exit 1
 167
 168 echo ">>>>> invalid sysctl file <<<<<"
 169 coverage run -a --branch bin/kernel-hardening-checker -c test.config -s empty_file && exit 1
 170
 171 echo "The end of the functional tests"