kernel_hardening_checker/test_engine.py

   1 #!/usr/bin/env python3
   2
   3 """
   4 This tool is for checking the security hardening options of the Linux kernel.
   5
   6 Author: Alexander Popov <alex.popov@linux.com>
   7
   8 This module performs unit-testing of the kernel-hardening-checker engine.
   9 """
  10
  11 # pylint: disable=missing-function-docstring,line-too-long
  12
  13 import unittest
  14 import io
  15 import sys
  16 import json
  17 import inspect
  18 from typing import Union, Optional, List, Dict, Tuple
  19 from .engine import StrOrBool, ChecklistObjType, KconfigCheck, CmdlineCheck, SysctlCheck, VersionCheck, OR, AND
  20 from .engine import populate_with_data, perform_checks, override_expected_value
  21
  22
  23 ResultType = List[Union[Dict[str, StrOrBool], str]]
  24
  25
  26 class TestEngine(unittest.TestCase):
  27     """
  28     Example test scenario:
  29
  30         # 1. prepare the checklist
  31         config_checklist = [] # type: List[ChecklistObjType]
  32         config_checklist += [KconfigCheck('reason_1', 'decision_1', 'KCONFIG_NAME', 'expected_1')]
  33         config_checklist += [CmdlineCheck('reason_2', 'decision_2', 'cmdline_name', 'expected_2')]
  34         config_checklist += [SysctlCheck('reason_3', 'decision_3', 'sysctl_name', 'expected_3')]
  35
  36         # 2. prepare the parsed kconfig options
  37         parsed_kconfig_options  = {}
  38         parsed_kconfig_options['CONFIG_KCONFIG_NAME'] = 'UNexpected_1'
  39
  40         # 3. prepare the parsed cmdline options
  41         parsed_cmdline_options  = {}
  42         parsed_cmdline_options['cmdline_name'] = 'expected_2'
  43
  44         # 4. prepare the parsed sysctl options
  45         parsed_sysctl_options  = {}
  46         parsed_sysctl_options['sysctl_name'] = 'expected_3'
  47
  48         # 5. prepare the kernel version
  49         kernel_version = (42, 43, 44)
  50
  51         # 6. run the engine
  52         self.run_engine(config_checklist, parsed_kconfig_options, parsed_cmdline_options, parsed_sysctl_options, kernel_version)
  53
  54         # 7. check that the results are correct
  55         result = [] # type: ResultType
  56         self.get_engine_result(config_checklist, result, 'json')
  57         self.assertEqual(...
  58     """
  59
  60     maxDiff = None
  61
  62     @staticmethod
  63     def run_engine(checklist: List[ChecklistObjType],
  64                    parsed_kconfig_options: Optional[Dict[str, str]],
  65                    parsed_cmdline_options: Optional[Dict[str, str]],
  66                    parsed_sysctl_options: Optional[Dict[str, str]],
  67                    kernel_version: Optional[Tuple[int, int, int]]) -> None:
  68         # populate the checklist with data
  69         if parsed_kconfig_options:
  70             populate_with_data(checklist, parsed_kconfig_options, 'kconfig')
  71         if parsed_cmdline_options:
  72             populate_with_data(checklist, parsed_cmdline_options, 'cmdline')
  73         if parsed_sysctl_options:
  74             populate_with_data(checklist, parsed_sysctl_options, 'sysctl')
  75         if kernel_version:
  76             populate_with_data(checklist, kernel_version, 'version')
  77
  78         # now everything is ready, perform the checks
  79         perform_checks(checklist)
  80
  81         # print the table with the results
  82         print(f'\n{inspect.stack()[1].function}():')
  83         print('=' * 121)
  84         for opt in checklist:
  85             opt.table_print('verbose', True) # verbose mode, with_results
  86             print()
  87             print('=' * 121)
  88
  89         # print the results in JSON
  90         result = []
  91         for opt in checklist:
  92             result.append(opt.json_dump(True)) # with_results
  93         print(json.dumps(result))
  94         print()
  95
  96     @staticmethod
  97     def get_engine_result(checklist: List[ChecklistObjType], result: ResultType, result_type: str) -> None:
  98         assert(result_type in ('json', 'stdout', 'stdout_verbose')), \
  99                f'invalid result type "{result_type}"'
 100
 101         if result_type == 'json':
 102             for opt in checklist:
 103                 result.append(opt.json_dump(True)) # with_results
 104             return
 105
 106         captured_output = io.StringIO()
 107         stdout_backup = sys.stdout
 108         sys.stdout = captured_output
 109         for opt in checklist:
 110             if result_type == 'stdout_verbose':
 111                 opt.table_print('verbose', True) # verbose mode, with_results
 112             else:
 113                 opt.table_print(None, True) # normal mode, with_results
 114         sys.stdout = stdout_backup
 115         result.append(captured_output.getvalue())
 116
 117     def test_simple_kconfig(self) -> None:
 118         # 1. prepare the checklist
 119         config_checklist = [] # type: List[ChecklistObjType]
 120         config_checklist += [KconfigCheck('reason_1', 'decision_1', 'NAME_1', 'expected_1')]
 121         config_checklist += [KconfigCheck('reason_2', 'decision_2', 'NAME_2', 'expected_2')]
 122         config_checklist += [KconfigCheck('reason_3', 'decision_3', 'NAME_3', 'expected_3')]
 123         config_checklist += [KconfigCheck('reason_4', 'decision_4', 'NAME_4', 'is not set')]
 124         config_checklist += [KconfigCheck('reason_5', 'decision_5', 'NAME_5', 'is present')]
 125         config_checklist += [KconfigCheck('reason_6', 'decision_6', 'NAME_6', 'is present')]
 126         config_checklist += [KconfigCheck('reason_7', 'decision_7', 'NAME_7', 'is not off')]
 127         config_checklist += [KconfigCheck('reason_8', 'decision_8', 'NAME_8', 'is not off')]
 128         config_checklist += [KconfigCheck('reason_9', 'decision_9', 'NAME_9', 'is not off')]
 129         config_checklist += [KconfigCheck('reason_10', 'decision_10', 'NAME_10', 'is not off')]
 130
 131         # 2. prepare the parsed kconfig options
 132         parsed_kconfig_options  = {}
 133         parsed_kconfig_options['CONFIG_NAME_1'] = 'expected_1'
 134         parsed_kconfig_options['CONFIG_NAME_2'] = 'UNexpected_2'
 135         parsed_kconfig_options['CONFIG_NAME_5'] = 'UNexpected_5'
 136         parsed_kconfig_options['CONFIG_NAME_7'] = 'really_not_off'
 137         parsed_kconfig_options['CONFIG_NAME_8'] = 'off'
 138         parsed_kconfig_options['CONFIG_NAME_9'] = '0'
 139
 140         # 3. run the engine
 141         self.run_engine(config_checklist, parsed_kconfig_options, None, None, None)
 142
 143         # 4. check that the results are correct
 144         result = [] # type: ResultType
 145         self.get_engine_result(config_checklist, result, 'json')
 146         self.assertEqual(
 147                 result,
 148                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 149                  {'option_name': 'CONFIG_NAME_2', 'type': 'kconfig', 'desired_val': 'expected_2', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'FAIL: "UNexpected_2"', 'check_result_bool': False},
 150                  {'option_name': 'CONFIG_NAME_3', 'type': 'kconfig', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'FAIL: is not found', 'check_result_bool': False},
 151                  {'option_name': 'CONFIG_NAME_4', 'type': 'kconfig', 'desired_val': 'is not set', 'decision': 'decision_4', 'reason': 'reason_4', 'check_result': 'OK: is not found', 'check_result_bool': True},
 152                  {'option_name': 'CONFIG_NAME_5', 'type': 'kconfig', 'desired_val': 'is present', 'decision': 'decision_5', 'reason': 'reason_5', 'check_result': 'OK: is present', 'check_result_bool': True},
 153                  {'option_name': 'CONFIG_NAME_6', 'type': 'kconfig', 'desired_val': 'is present', 'decision': 'decision_6', 'reason': 'reason_6', 'check_result': 'FAIL: is not present', 'check_result_bool': False},
 154                  {'option_name': 'CONFIG_NAME_7', 'type': 'kconfig', 'desired_val': 'is not off', 'decision': 'decision_7', 'reason': 'reason_7', 'check_result': 'OK: is not off, "really_not_off"', 'check_result_bool': True},
 155                  {'option_name': 'CONFIG_NAME_8', 'type': 'kconfig', 'desired_val': 'is not off', 'decision': 'decision_8', 'reason': 'reason_8', 'check_result': 'FAIL: is off', 'check_result_bool': False},
 156                  {'option_name': 'CONFIG_NAME_9', 'type': 'kconfig', 'desired_val': 'is not off', 'decision': 'decision_9', 'reason': 'reason_9', 'check_result': 'FAIL: is off, "0"', 'check_result_bool': False},
 157                  {'option_name': 'CONFIG_NAME_10', 'type': 'kconfig', 'desired_val': 'is not off', 'decision': 'decision_10', 'reason': 'reason_10', 'check_result': 'FAIL: is off, not found', 'check_result_bool': False}]
 158         )
 159
 160     def test_simple_cmdline(self) -> None:
 161         # 1. prepare the checklist
 162         config_checklist = [] # type: List[ChecklistObjType]
 163         config_checklist += [CmdlineCheck('reason_1', 'decision_1', 'name_1', 'expected_1')]
 164         config_checklist += [CmdlineCheck('reason_2', 'decision_2', 'name_2', 'expected_2')]
 165         config_checklist += [CmdlineCheck('reason_3', 'decision_3', 'name_3', 'expected_3')]
 166         config_checklist += [CmdlineCheck('reason_4', 'decision_4', 'name_4', 'is not set')]
 167         config_checklist += [CmdlineCheck('reason_5', 'decision_5', 'name_5', 'is present')]
 168         config_checklist += [CmdlineCheck('reason_6', 'decision_6', 'name_6', 'is present')]
 169         config_checklist += [CmdlineCheck('reason_7', 'decision_7', 'name_7', 'is not off')]
 170         config_checklist += [CmdlineCheck('reason_8', 'decision_8', 'name_8', 'is not off')]
 171         config_checklist += [CmdlineCheck('reason_9', 'decision_9', 'name_9', 'is not off')]
 172         config_checklist += [CmdlineCheck('reason_10', 'decision_10', 'name_10', 'is not off')]
 173
 174         # 2. prepare the parsed cmdline options
 175         parsed_cmdline_options  = {}
 176         parsed_cmdline_options['name_1'] = 'expected_1'
 177         parsed_cmdline_options['name_2'] = 'UNexpected_2'
 178         parsed_cmdline_options['name_5'] = ''
 179         parsed_cmdline_options['name_7'] = ''
 180         parsed_cmdline_options['name_8'] = 'off'
 181         parsed_cmdline_options['name_9'] = '0'
 182
 183         # 3. run the engine
 184         self.run_engine(config_checklist, None, parsed_cmdline_options, None, None)
 185
 186         # 4. check that the results are correct
 187         result = [] # type: ResultType
 188         self.get_engine_result(config_checklist, result, 'json')
 189         self.assertEqual(
 190                 result,
 191                 [{'option_name': 'name_1', 'type': 'cmdline', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 192                  {'option_name': 'name_2', 'type': 'cmdline', 'desired_val': 'expected_2', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'FAIL: "UNexpected_2"', 'check_result_bool': False},
 193                  {'option_name': 'name_3', 'type': 'cmdline', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'FAIL: is not found', 'check_result_bool': False},
 194                  {'option_name': 'name_4', 'type': 'cmdline', 'desired_val': 'is not set', 'decision': 'decision_4', 'reason': 'reason_4', 'check_result': 'OK: is not found', 'check_result_bool': True},
 195                  {'option_name': 'name_5', 'type': 'cmdline', 'desired_val': 'is present', 'decision': 'decision_5', 'reason': 'reason_5', 'check_result': 'OK: is present', 'check_result_bool': True},
 196                  {'option_name': 'name_6', 'type': 'cmdline', 'desired_val': 'is present', 'decision': 'decision_6', 'reason': 'reason_6', 'check_result': 'FAIL: is not present', 'check_result_bool': False},
 197                  {'option_name': 'name_7', 'type': 'cmdline', 'desired_val': 'is not off', 'decision': 'decision_7', 'reason': 'reason_7', 'check_result': 'OK: is not off, ""', 'check_result_bool': True},
 198                  {'option_name': 'name_8', 'type': 'cmdline', 'desired_val': 'is not off', 'decision': 'decision_8', 'reason': 'reason_8', 'check_result': 'FAIL: is off', 'check_result_bool': False},
 199                  {'option_name': 'name_9', 'type': 'cmdline', 'desired_val': 'is not off', 'decision': 'decision_9', 'reason': 'reason_9', 'check_result': 'FAIL: is off, "0"', 'check_result_bool': False},
 200                  {'option_name': 'name_10', 'type': 'cmdline', 'desired_val': 'is not off', 'decision': 'decision_10', 'reason': 'reason_10', 'check_result': 'FAIL: is off, not found', 'check_result_bool': False}]
 201         )
 202
 203     def test_simple_sysctl(self) -> None:
 204         # 1. prepare the checklist
 205         config_checklist = [] # type: List[ChecklistObjType]
 206         config_checklist += [SysctlCheck('reason_1', 'decision_1', 'name_1', 'expected_1')]
 207         config_checklist += [SysctlCheck('reason_2', 'decision_2', 'name_2', 'expected_2')]
 208         config_checklist += [SysctlCheck('reason_3', 'decision_3', 'name_3', 'expected_3')]
 209         config_checklist += [SysctlCheck('reason_4', 'decision_4', 'name_4', 'is not set')]
 210         config_checklist += [SysctlCheck('reason_5', 'decision_5', 'name_5', 'is present')]
 211         config_checklist += [SysctlCheck('reason_6', 'decision_6', 'name_6', 'is present')]
 212         config_checklist += [SysctlCheck('reason_7', 'decision_7', 'name_7', 'is not off')]
 213         config_checklist += [SysctlCheck('reason_8', 'decision_8', 'name_8', 'is not off')]
 214         config_checklist += [SysctlCheck('reason_9', 'decision_9', 'name_9', 'is not off')]
 215         config_checklist += [SysctlCheck('reason_10', 'decision_10', 'name_10', 'is not off')]
 216
 217         # 2. prepare the parsed sysctl options
 218         parsed_sysctl_options  = {}
 219         parsed_sysctl_options['name_1'] = 'expected_1'
 220         parsed_sysctl_options['name_2'] = 'UNexpected_2'
 221         parsed_sysctl_options['name_5'] = ''
 222         parsed_sysctl_options['name_7'] = ''
 223         parsed_sysctl_options['name_8'] = 'off'
 224         parsed_sysctl_options['name_9'] = '0'
 225
 226         # 3. run the engine
 227         self.run_engine(config_checklist, None, None, parsed_sysctl_options, None)
 228
 229         # 4. check that the results are correct
 230         result = [] # type: ResultType
 231         self.get_engine_result(config_checklist, result, 'json')
 232         self.assertEqual(
 233                 result,
 234                 [{'option_name': 'name_1', 'type': 'sysctl', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 235                  {'option_name': 'name_2', 'type': 'sysctl', 'desired_val': 'expected_2', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'FAIL: "UNexpected_2"', 'check_result_bool': False},
 236                  {'option_name': 'name_3', 'type': 'sysctl', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'FAIL: is not found', 'check_result_bool': False},
 237                  {'option_name': 'name_4', 'type': 'sysctl', 'desired_val': 'is not set', 'decision': 'decision_4', 'reason': 'reason_4', 'check_result': 'OK: is not found', 'check_result_bool': True},
 238                  {'option_name': 'name_5', 'type': 'sysctl', 'desired_val': 'is present', 'decision': 'decision_5', 'reason': 'reason_5', 'check_result': 'OK: is present', 'check_result_bool': True},
 239                  {'option_name': 'name_6', 'type': 'sysctl', 'desired_val': 'is present', 'decision': 'decision_6', 'reason': 'reason_6', 'check_result': 'FAIL: is not present', 'check_result_bool': False},
 240                  {'option_name': 'name_7', 'type': 'sysctl', 'desired_val': 'is not off', 'decision': 'decision_7', 'reason': 'reason_7', 'check_result': 'OK: is not off, ""', 'check_result_bool': True},
 241                  {'option_name': 'name_8', 'type': 'sysctl', 'desired_val': 'is not off', 'decision': 'decision_8', 'reason': 'reason_8', 'check_result': 'FAIL: is off', 'check_result_bool': False},
 242                  {'option_name': 'name_9', 'type': 'sysctl', 'desired_val': 'is not off', 'decision': 'decision_9', 'reason': 'reason_9', 'check_result': 'FAIL: is off, "0"', 'check_result_bool': False},
 243                  {'option_name': 'name_10', 'type': 'sysctl', 'desired_val': 'is not off', 'decision': 'decision_10', 'reason': 'reason_10', 'check_result': 'FAIL: is off, not found', 'check_result_bool': False}]
 244         )
 245
 246     def test_complex_or(self) -> None:
 247         # 1. prepare the checklist
 248         config_checklist = [] # type: List[ChecklistObjType]
 249         config_checklist += [OR(KconfigCheck('reason_1', 'decision_1', 'NAME_1', 'expected_1'),
 250                                 KconfigCheck('reason_2', 'decision_2', 'NAME_2', 'expected_2'))]
 251         config_checklist += [OR(KconfigCheck('reason_3', 'decision_3', 'NAME_3', 'expected_3'),
 252                                 KconfigCheck('reason_4', 'decision_4', 'NAME_4', 'expected_4'))]
 253         config_checklist += [OR(KconfigCheck('reason_5', 'decision_5', 'NAME_5', 'expected_5'),
 254                                 KconfigCheck('reason_6', 'decision_6', 'NAME_6', 'expected_6'))]
 255         config_checklist += [OR(KconfigCheck('reason_7', 'decision_7', 'NAME_7', 'expected_7'),
 256                                 KconfigCheck('reason_8', 'decision_8', 'NAME_8', 'is not set'))]
 257         config_checklist += [OR(KconfigCheck('reason_9', 'decision_9', 'NAME_9', 'expected_9'),
 258                                 KconfigCheck('reason_10', 'decision_10', 'NAME_10', 'is present'))]
 259         config_checklist += [OR(KconfigCheck('reason_11', 'decision_11', 'NAME_11', 'expected_11'),
 260                                 KconfigCheck('reason_12', 'decision_12', 'NAME_12', 'is not off'))]
 261
 262         # 2. prepare the parsed kconfig options
 263         parsed_kconfig_options  = {}
 264         parsed_kconfig_options['CONFIG_NAME_1'] = 'expected_1'
 265         parsed_kconfig_options['CONFIG_NAME_2'] = 'UNexpected_2'
 266         parsed_kconfig_options['CONFIG_NAME_3'] = 'UNexpected_3'
 267         parsed_kconfig_options['CONFIG_NAME_4'] = 'expected_4'
 268         parsed_kconfig_options['CONFIG_NAME_5'] = 'UNexpected_5'
 269         parsed_kconfig_options['CONFIG_NAME_6'] = 'UNexpected_6'
 270         parsed_kconfig_options['CONFIG_NAME_10'] = 'UNexpected_10'
 271         parsed_kconfig_options['CONFIG_NAME_12'] = 'really_not_off'
 272
 273         # 3. run the engine
 274         self.run_engine(config_checklist, parsed_kconfig_options, None, None, None)
 275
 276         # 4. check that the results are correct
 277         result = [] # type: ResultType
 278         self.get_engine_result(config_checklist, result, 'json')
 279         self.assertEqual(
 280                 result,
 281                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 282                  {'option_name': 'CONFIG_NAME_3', 'type': 'kconfig', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'OK: CONFIG_NAME_4 is "expected_4"', 'check_result_bool': True},
 283                  {'option_name': 'CONFIG_NAME_5', 'type': 'kconfig', 'desired_val': 'expected_5', 'decision': 'decision_5', 'reason': 'reason_5', 'check_result': 'FAIL: "UNexpected_5"', 'check_result_bool': False},
 284                  {'option_name': 'CONFIG_NAME_7', 'type': 'kconfig', 'desired_val': 'expected_7', 'decision': 'decision_7', 'reason': 'reason_7', 'check_result': 'OK: CONFIG_NAME_8 is not found', 'check_result_bool': True},
 285                  {'option_name': 'CONFIG_NAME_9', 'type': 'kconfig', 'desired_val': 'expected_9', 'decision': 'decision_9', 'reason': 'reason_9', 'check_result': 'OK: CONFIG_NAME_10 is present', 'check_result_bool': True},
 286                  {'option_name': 'CONFIG_NAME_11', 'type': 'kconfig', 'desired_val': 'expected_11', 'decision': 'decision_11', 'reason': 'reason_11', 'check_result': 'OK: CONFIG_NAME_12 is not off', 'check_result_bool': True}]
 287         )
 288
 289     def test_complex_and(self) -> None:
 290         # 1. prepare the checklist
 291         config_checklist = [] # type: List[ChecklistObjType]
 292         config_checklist += [AND(KconfigCheck('reason_1', 'decision_1', 'NAME_1', 'expected_1'),
 293                                  KconfigCheck('reason_2', 'decision_2', 'NAME_2', 'expected_2'))]
 294         config_checklist += [AND(KconfigCheck('reason_3', 'decision_3', 'NAME_3', 'expected_3'),
 295                                  KconfigCheck('reason_4', 'decision_4', 'NAME_4', 'expected_4'))]
 296         config_checklist += [AND(KconfigCheck('reason_5', 'decision_5', 'NAME_5', 'expected_5'),
 297                                  KconfigCheck('reason_6', 'decision_6', 'NAME_6', 'expected_6'))]
 298         config_checklist += [AND(KconfigCheck('reason_7', 'decision_7', 'NAME_7', 'expected_7'),
 299                                  KconfigCheck('reason_8', 'decision_8', 'NAME_8', 'is present'))]
 300         config_checklist += [AND(KconfigCheck('reason_9', 'decision_9', 'NAME_9', 'expected_9'),
 301                                  KconfigCheck('reason_10', 'decision_10', 'NAME_10', 'is not off'))]
 302         config_checklist += [AND(KconfigCheck('reason_11', 'decision_11', 'NAME_11', 'expected_11'),
 303                                  KconfigCheck('reason_12', 'decision_12', 'NAME_12', 'is not off'))]
 304
 305         # 2. prepare the parsed kconfig options
 306         parsed_kconfig_options  = {}
 307         parsed_kconfig_options['CONFIG_NAME_1'] = 'expected_1'
 308         parsed_kconfig_options['CONFIG_NAME_2'] = 'expected_2'
 309         parsed_kconfig_options['CONFIG_NAME_3'] = 'expected_3'
 310         parsed_kconfig_options['CONFIG_NAME_4'] = 'UNexpected_4'
 311         parsed_kconfig_options['CONFIG_NAME_5'] = 'UNexpected_5'
 312         parsed_kconfig_options['CONFIG_NAME_6'] = 'expected_6'
 313         parsed_kconfig_options['CONFIG_NAME_7'] = 'expected_7'
 314         parsed_kconfig_options['CONFIG_NAME_9'] = 'expected_9'
 315         parsed_kconfig_options['CONFIG_NAME_10'] = '0'
 316         parsed_kconfig_options['CONFIG_NAME_11'] = 'expected_11'
 317
 318         # 3. run the engine
 319         self.run_engine(config_checklist, parsed_kconfig_options, None, None, None)
 320
 321         # 4. check that the results are correct
 322         result = [] # type: ResultType
 323         self.get_engine_result(config_checklist, result, 'json')
 324         self.assertEqual(
 325                 result,
 326                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 327                  {'option_name': 'CONFIG_NAME_3', 'type': 'kconfig', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'FAIL: CONFIG_NAME_4 is not "expected_4"', 'check_result_bool': False},
 328                  {'option_name': 'CONFIG_NAME_5', 'type': 'kconfig', 'desired_val': 'expected_5', 'decision': 'decision_5', 'reason': 'reason_5', 'check_result': 'FAIL: "UNexpected_5"', 'check_result_bool': False},
 329                  {'option_name': 'CONFIG_NAME_7', 'type': 'kconfig', 'desired_val': 'expected_7', 'decision': 'decision_7', 'reason': 'reason_7', 'check_result': 'FAIL: CONFIG_NAME_8 is not present', 'check_result_bool': False},
 330                  {'option_name': 'CONFIG_NAME_9', 'type': 'kconfig', 'desired_val': 'expected_9', 'decision': 'decision_9', 'reason': 'reason_9', 'check_result': 'FAIL: CONFIG_NAME_10 is off', 'check_result_bool': False},
 331                  {'option_name': 'CONFIG_NAME_11', 'type': 'kconfig', 'desired_val': 'expected_11', 'decision': 'decision_11', 'reason': 'reason_11', 'check_result': 'FAIL: CONFIG_NAME_12 is off, not found', 'check_result_bool': False}]
 332         )
 333
 334     def test_complex_nested(self) -> None:
 335         # 1. prepare the checklist
 336         config_checklist = [] # type: List[ChecklistObjType]
 337         config_checklist += [AND(KconfigCheck('reason_1', 'decision_1', 'NAME_1', 'expected_1'),
 338                                  OR(KconfigCheck('reason_2', 'decision_2', 'NAME_2', 'expected_2'),
 339                                     KconfigCheck('reason_3', 'decision_3', 'NAME_3', 'expected_3')))]
 340         config_checklist += [AND(KconfigCheck('reason_4', 'decision_4', 'NAME_4', 'expected_4'),
 341                                  OR(KconfigCheck('reason_5', 'decision_5', 'NAME_5', 'expected_5'),
 342                                     KconfigCheck('reason_6', 'decision_6', 'NAME_6', 'expected_6')))]
 343         config_checklist += [OR(KconfigCheck('reason_7', 'decision_7', 'NAME_7', 'expected_7'),
 344                                  AND(KconfigCheck('reason_8', 'decision_8', 'NAME_8', 'expected_8'),
 345                                      KconfigCheck('reason_9', 'decision_9', 'NAME_9', 'expected_9')))]
 346         config_checklist += [OR(KconfigCheck('reason_10', 'decision_10', 'NAME_10', 'expected_10'),
 347                                  AND(KconfigCheck('reason_11', 'decision_11', 'NAME_11', 'expected_11'),
 348                                      KconfigCheck('reason_12', 'decision_12', 'NAME_12', 'expected_12')))]
 349
 350         # 2. prepare the parsed kconfig options
 351         parsed_kconfig_options  = {}
 352         parsed_kconfig_options['CONFIG_NAME_1'] = 'expected_1'
 353         parsed_kconfig_options['CONFIG_NAME_2'] = 'UNexpected_2'
 354         parsed_kconfig_options['CONFIG_NAME_3'] = 'expected_3'
 355         parsed_kconfig_options['CONFIG_NAME_4'] = 'expected_4'
 356         parsed_kconfig_options['CONFIG_NAME_5'] = 'UNexpected_5'
 357         parsed_kconfig_options['CONFIG_NAME_6'] = 'UNexpected_6'
 358         parsed_kconfig_options['CONFIG_NAME_7'] = 'UNexpected_7'
 359         parsed_kconfig_options['CONFIG_NAME_8'] = 'expected_8'
 360         parsed_kconfig_options['CONFIG_NAME_9'] = 'expected_9'
 361         parsed_kconfig_options['CONFIG_NAME_10'] = 'UNexpected_10'
 362         parsed_kconfig_options['CONFIG_NAME_11'] = 'UNexpected_11'
 363         parsed_kconfig_options['CONFIG_NAME_12'] = 'expected_12'
 364
 365         # 3. run the engine
 366         self.run_engine(config_checklist, parsed_kconfig_options, None, None, None)
 367
 368         # 4. check that the results are correct
 369         result = [] # type: ResultType
 370         self.get_engine_result(config_checklist, result, 'json')
 371         self.assertEqual(
 372                 result,
 373                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 374                  {'option_name': 'CONFIG_NAME_4', 'type': 'kconfig', 'desired_val': 'expected_4', 'decision': 'decision_4', 'reason': 'reason_4', 'check_result': 'FAIL: CONFIG_NAME_5 is not "expected_5"', 'check_result_bool': False},
 375                  {'option_name': 'CONFIG_NAME_7', 'type': 'kconfig', 'desired_val': 'expected_7', 'decision': 'decision_7', 'reason': 'reason_7', 'check_result': 'OK: CONFIG_NAME_8 is "expected_8"', 'check_result_bool': True},
 376                  {'option_name': 'CONFIG_NAME_10', 'type': 'kconfig', 'desired_val': 'expected_10', 'decision': 'decision_10', 'reason': 'reason_10', 'check_result': 'FAIL: "UNexpected_10"', 'check_result_bool': False}]
 377         )
 378
 379     def test_version(self) -> None:
 380         # 1. prepare the checklist
 381         config_checklist = [] # type: List[ChecklistObjType]
 382         config_checklist += [OR(KconfigCheck('reason_1', 'decision_1', 'NAME_1', 'expected_1'),
 383                                 VersionCheck((41, 101, 0)))]
 384         config_checklist += [AND(KconfigCheck('reason_2', 'decision_2', 'NAME_2', 'expected_2'),
 385                                  VersionCheck((43, 1, 0)))]
 386         config_checklist += [OR(KconfigCheck('reason_3', 'decision_3', 'NAME_3', 'expected_3'),
 387                                 VersionCheck((42, 42, 101)))]
 388         config_checklist += [AND(KconfigCheck('reason_4', 'decision_4', 'NAME_4', 'expected_4'),
 389                                  VersionCheck((42, 44, 1)))]
 390         config_checklist += [OR(KconfigCheck('reason_5', 'decision_5', 'NAME_5', 'expected_5'),
 391                                 VersionCheck((42, 43, 44)))]
 392         config_checklist += [AND(KconfigCheck('reason_6', 'decision_6', 'NAME_6', 'expected_6'),
 393                                  VersionCheck((42, 43, 45)))]
 394
 395         # 2. prepare the parsed kconfig options
 396         parsed_kconfig_options  = {}
 397         parsed_kconfig_options['CONFIG_NAME_2'] = 'expected_2'
 398         parsed_kconfig_options['CONFIG_NAME_4'] = 'expected_4'
 399         parsed_kconfig_options['CONFIG_NAME_6'] = 'expected_6'
 400
 401         # 3. prepare the kernel version
 402         kernel_version = (42, 43, 44)
 403
 404         # 4. run the engine
 405         self.run_engine(config_checklist, parsed_kconfig_options, None, None, kernel_version)
 406
 407         # 5. check that the results are correct
 408         result = [] # type: ResultType
 409         self.get_engine_result(config_checklist, result, 'json')
 410         self.assertEqual(
 411                 result,
 412                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK: version >= (41, 101, 0)', 'check_result_bool': True},
 413                  {'option_name': 'CONFIG_NAME_2', 'type': 'kconfig', 'desired_val': 'expected_2', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'FAIL: version < (43, 1, 0)', 'check_result_bool': False},
 414                  {'option_name': 'CONFIG_NAME_3', 'type': 'kconfig', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'OK: version >= (42, 42, 101)', 'check_result_bool': True},
 415                  {'option_name': 'CONFIG_NAME_4', 'type': 'kconfig', 'desired_val': 'expected_4', 'decision': 'decision_4', 'reason': 'reason_4', 'check_result': 'FAIL: version < (42, 44, 1)', 'check_result_bool': False},
 416                  {'option_name': 'CONFIG_NAME_5', 'type': 'kconfig', 'desired_val': 'expected_5', 'decision': 'decision_5', 'reason': 'reason_5', 'check_result': 'OK: version >= (42, 43, 44)', 'check_result_bool': True},
 417                  {'option_name': 'CONFIG_NAME_6', 'type': 'kconfig', 'desired_val': 'expected_6', 'decision': 'decision_6', 'reason': 'reason_6', 'check_result': 'FAIL: version < (42, 43, 45)', 'check_result_bool': False}]
 418         )
 419
 420     def test_stdout(self) -> None:
 421         # 1. prepare the checklist
 422         config_checklist = [] # type: List[ChecklistObjType]
 423         config_checklist += [OR(KconfigCheck('reason_1', 'decision_1', 'NAME_1', 'expected_1'),
 424                                 CmdlineCheck('reason_2', 'decision_2', 'name_2', 'expected_2'),
 425                                 SysctlCheck('reason_3', 'decision_3', 'name_3', 'expected_3'))]
 426         config_checklist += [AND(KconfigCheck('reason_4', 'decision_4', 'NAME_4', 'expected_4'),
 427                                  CmdlineCheck('reason_5', 'decision_5', 'name_5', 'expected_5'),
 428                                  SysctlCheck('reason_6', 'decision_6', 'name_6', 'expected_6'))]
 429
 430         # 2. prepare the parsed kconfig options
 431         parsed_kconfig_options  = {}
 432         parsed_kconfig_options['CONFIG_NAME_1'] = 'UNexpected_1'
 433
 434         # 3. prepare the parsed cmdline options
 435         parsed_cmdline_options  = {}
 436         parsed_cmdline_options['name_2'] = 'expected_2'
 437         parsed_cmdline_options['name_5'] = 'UNexpected_5'
 438
 439         # 4. prepare the parsed sysctl options
 440         parsed_sysctl_options  = {}
 441         parsed_sysctl_options['name_6'] = 'expected_6'
 442
 443         # 5. run the engine
 444         self.run_engine(config_checklist, parsed_kconfig_options, parsed_cmdline_options, parsed_sysctl_options, None)
 445
 446         # 6. check that the results are correct
 447         json_result = [] # type: ResultType
 448         self.get_engine_result(config_checklist, json_result, 'json')
 449         self.assertEqual(
 450                 json_result,
 451                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK: name_2 is "expected_2"', 'check_result_bool': True},
 452                  {'option_name': 'CONFIG_NAME_4', 'type': 'kconfig', 'desired_val': 'expected_4', 'decision': 'decision_4', 'reason': 'reason_4', 'check_result': 'FAIL: name_5 is not "expected_5"', 'check_result_bool': False}]
 453         )
 454
 455         stdout_result = [] # type: ResultType
 456         self.get_engine_result(config_checklist, stdout_result, 'stdout')
 457         self.assertEqual(
 458                 stdout_result,
 459                 [
 460 '\
 461 CONFIG_NAME_1                           |kconfig| expected_1 |decision_1|     reason_1     | OK: name_2 is "expected_2"\
 462 CONFIG_NAME_4                           |kconfig| expected_4 |decision_4|     reason_4     | FAIL: name_5 is not "expected_5"\
 463 '               ]
 464         )
 465
 466         stdout_result = []
 467         self.get_engine_result(config_checklist, stdout_result, 'stdout_verbose')
 468         self.assertEqual(
 469                 stdout_result,
 470                 [
 471 '\
 472     <<< OR >>>                                                                             | OK: name_2 is "expected_2"\n\
 473 CONFIG_NAME_1                           |kconfig| expected_1 |decision_1|     reason_1     | FAIL: "UNexpected_1"\n\
 474 name_2                                  |cmdline| expected_2 |decision_2|     reason_2     | OK\n\
 475 name_3                                  |sysctl | expected_3 |decision_3|     reason_3     | None\
 476 '\
 477 '\
 478     <<< AND >>>                                                                            | FAIL: name_5 is not "expected_5"\n\
 479 CONFIG_NAME_4                           |kconfig| expected_4 |decision_4|     reason_4     | None\n\
 480 name_5                                  |cmdline| expected_5 |decision_5|     reason_5     | FAIL: "UNexpected_5"\n\
 481 name_6                                  |sysctl | expected_6 |decision_6|     reason_6     | OK\
 482 '               ]
 483         )
 484
 485     def test_value_overriding(self) -> None:
 486         # 1. prepare the checklist
 487         config_checklist = [] # type: List[ChecklistObjType]
 488         config_checklist += [KconfigCheck('reason_1', 'decision_1', 'NAME_1', 'expected_1')]
 489         config_checklist += [CmdlineCheck('reason_2', 'decision_2', 'name_2', 'expected_2')]
 490         config_checklist += [SysctlCheck('reason_3', 'decision_3', 'name_3', 'expected_3')]
 491
 492         # 2. prepare the parsed kconfig options
 493         parsed_kconfig_options  = {}
 494         parsed_kconfig_options['CONFIG_NAME_1'] = 'expected_1_new'
 495
 496         # 3. prepare the parsed cmdline options
 497         parsed_cmdline_options  = {}
 498         parsed_cmdline_options['name_2'] = 'expected_2_new'
 499
 500         # 4. prepare the parsed sysctl options
 501         parsed_sysctl_options  = {}
 502         parsed_sysctl_options['name_3'] = 'expected_3_new'
 503
 504         # 5. run the engine
 505         self.run_engine(config_checklist, parsed_kconfig_options, parsed_cmdline_options, parsed_sysctl_options, None)
 506
 507         # 6. check that the results are correct
 508         result = [] # type: ResultType
 509         self.get_engine_result(config_checklist, result, 'json')
 510         self.assertEqual(
 511                 result,
 512                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'FAIL: "expected_1_new"', 'check_result_bool': False},
 513                  {'option_name': 'name_2', 'type': 'cmdline', 'desired_val': 'expected_2', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'FAIL: "expected_2_new"', 'check_result_bool': False},
 514                  {'option_name': 'name_3', 'type': 'sysctl', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'FAIL: "expected_3_new"', 'check_result_bool': False}]
 515         )
 516
 517         # 7. override expected value and perform the checks again
 518         override_expected_value(config_checklist, 'CONFIG_NAME_1', 'expected_1_new')
 519         perform_checks(config_checklist)
 520
 521         # 8. check that the results are correct
 522         result = []
 523         self.get_engine_result(config_checklist, result, 'json')
 524         self.assertEqual(
 525                 result,
 526                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1_new', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 527                  {'option_name': 'name_2', 'type': 'cmdline', 'desired_val': 'expected_2', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'FAIL: "expected_2_new"', 'check_result_bool': False},
 528                  {'option_name': 'name_3', 'type': 'sysctl', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'FAIL: "expected_3_new"', 'check_result_bool': False}]
 529         )
 530
 531         # 9. override expected value and perform the checks again
 532         override_expected_value(config_checklist, 'name_2', 'expected_2_new')
 533         perform_checks(config_checklist)
 534
 535         # 10. check that the results are correct
 536         result = []
 537         self.get_engine_result(config_checklist, result, 'json')
 538         self.assertEqual(
 539                 result,
 540                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1_new', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 541                  {'option_name': 'name_2', 'type': 'cmdline', 'desired_val': 'expected_2_new', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'OK', 'check_result_bool': True},
 542                  {'option_name': 'name_3', 'type': 'sysctl', 'desired_val': 'expected_3', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'FAIL: "expected_3_new"', 'check_result_bool': False}]
 543         )
 544
 545         # 11. override expected value and perform the checks again
 546         override_expected_value(config_checklist, 'name_3', 'expected_3_new')
 547         perform_checks(config_checklist)
 548
 549         # 12. check that the results are correct
 550         result = []
 551         self.get_engine_result(config_checklist, result, 'json')
 552         self.assertEqual(
 553                 result,
 554                 [{'option_name': 'CONFIG_NAME_1', 'type': 'kconfig', 'desired_val': 'expected_1_new', 'decision': 'decision_1', 'reason': 'reason_1', 'check_result': 'OK', 'check_result_bool': True},
 555                  {'option_name': 'name_2', 'type': 'cmdline', 'desired_val': 'expected_2_new', 'decision': 'decision_2', 'reason': 'reason_2', 'check_result': 'OK', 'check_result_bool': True},
 556                  {'option_name': 'name_3', 'type': 'sysctl', 'desired_val': 'expected_3_new', 'decision': 'decision_3', 'reason': 'reason_3', 'check_result': 'OK', 'check_result_bool': True}]
 557         )