test_engine: improve the output

test_engine: improve the test_stdout()

(The nested AND/OR should be tested separately, stay tuned)

test_engine: refactor test_complex_or() and test_complex_and()

Don't remove ANSI colors, adapt the testcases instead

This rewrites the commit aa7e1bffebde9d4f1855df93819cea75a5bc4c79.

Refers to #86.

Add colors to output (#86)

Shows OK in green and FAIL in red

Thanks to @frakman1.

Refers to #81. Needs fixing `test_stdout()` in the unit-test.

Adjust test scripts to scrub ANSI colors from output

Fix pylints and verbose/None case

fix typo

cleanup spaces

cleanup

re-factoring

Add colors for OK and FAIL cases

Fix arch conditions for some CmdlineChecks

By the way, don't add `if arch` for checks that require 'is not set'
(there is nothing wrong with that).

Make the functional tests more informative

Drop `> /dev/null` for non-verbose output of the tool.

Test more wrong combinations of options

Test checking sysctl separately

Support separate sysctl checking (without kconfig)

Improve coverage of the functional test a bit

Clean .gitignore

Show git information in the functional test

Test an invalid sysctl file

Test an unexpected line in the sysctl file

Test an unexpected line in the Kconfig file

Drop `if __name__ == "__main__"` from ./bin/kconfig-hardened-check

It always runs as a main program.

Turn the warning about unexpected line in Kconfig file into an error

Update the README (add the --sysctl mode)

Add the Kconfig file of Fedora 38

Use example_sysctls.txt in the functional test

This file was made with root privileges, so it has a full list of sysctls.

Add an example sysctl output file

Add the / symbol to the sysctl parsing pattern

The GitHub Actions virtual machine has such a sysctl:
  fs.binfmt_misc.llvm-14-runtime/binfmt = enabled

This example shows that sysctl names may contain the / symbol.

Add --sysctl to functional testing

Refers to #65

Improve checking the combinations of flags in the functional test

Fix syntax to run on the Woodpecker 1.0.0 CI (part II)

Fix syntax to run on the Woodpecker 1.0.0 CI

Report that --print and --generate can't be used together

Enable sysctl checking

Refers to #65

Check the kernel.unprivileged_bpf_disabled sysctl

Check the dev.tty.ldisc_autoload sysctl

Check the user.max_user_namespaces sysctl

Check the kernel.kexec_load_disabled sysctl

Check the kernel.perf_event_paranoid sysctl

Check the kernel.dmesg_restrict sysctl

Check the net.core.bpf_jit_harden sysctl

test_engine: use SysctlCheck in test_value_overriding()

test_engine: use SysctlCheck in test_stdout()

test_engine: implement test_simple_sysctl()

test_engine: support SysctlCheck

Refactor populate_opt_with_data()

Much better code, no functional changes

Mute warnings in the JSON mode and improve wording

Implement parse_sysctl_file()

Refers to #65

Drop an obsolete error handling test

Fix the bug in the functional tests

`man 1 sh` says about '-e':
```
The shell does not exit if the command that fails is part of the command list
immediately following a while or until keyword, part of the test following
the if or elif reserved words, part of any command executed in a && or || list
except the command following the final && or ||, any command in a pipeline
but the last, or if the command's return value is being inverted with !.

That's why testing error handling in the functional tests didn't check
the exit status at all :(

Let's fix that.
Example before the fix:
! coverage run -a --branch bin/kconfig-hardened-check -l /proc/cmdline
Example after the fix:
coverage run -a --branch bin/kconfig-hardened-check -l /proc/cmdline && exit 1

Emit WARNING for the cmdline options that exist multiple times

Don't emit ERROR here. Even GitHub Actions machines have repeated options
in /proc/cmdline.

Also see the comment in cmdline parsing for x86:
https://elixir.bootlin.com/linux/v5.16.7/source/arch/x86/boot/cmdline.c#L21
```
In accordance with standard Linux practice, if this option is repeated,
this returns the last instance on the command line.
```

Precise the Kconfig parsing

Get rid of useless regular expressions in detect_compiler()

Precise the regular expressions in detect_arch() and detect_kernel_version()

And fix the wording in the error message by the way.

Show error if some cmdline option exists multiple times

Add the basic infrastructure for checking sysctl

Refers to #65

Introduce the SysctlCheck class

Refers to #65

Check disabling XFS_SUPPORT_V4 for cutting attack surface

The XFS V4 format is deprecated:
https://elixir.bootlin.com/linux/v6.3.11/source/fs/xfs/Kconfig#L25

Quote:
The V4 filesystem format lacks certain features that are supported
by the V5 format, such as metadata checksumming, strengthened
metadata verification, and the ability to store timestamps past the
year 2038. Because of this, the V4 format is deprecated. All users
should upgrade by backing up their files, reformatting, and restoring
from the backup... To close off an attack surface, say N.

Print the microarchitecture in --generate mode

The Kconfig fragment should describe the microarchitecture to avoid mistakes.

Update the README

Add the info about /proc/cmdline to the usage help

I tested CONFIG_CMDLINE and CONFIG_BOOT_CONFIG mechanisms.
They allow passing additional boot parameters for the Linux kernel.

I see that all boot parameters are collected in /proc/cmdline.

So /proc/cmdline is the only information source that we should check to
analyze the Linux kernel boot parameters.

setup: fix "The license_file parameter is deprecated"

Use 'license_files' instead.

setup: Don't use the automatic "find_namespace:" discovery

This automatic discovery doesn't fit to the flat layout of my package
(without the "src" directory).

Instead, let's specify the "packages" explicitly in setup.cfg.

setup: Fix the warning "Package would be ignored"

The warning:
  ############################
  # Package would be ignored #
  ############################
  Python recognizes 'kconfig_hardened_check.config_files.distros' as an importable package,
  but it is not listed in the `packages` configuration of setuptools.

  'kconfig_hardened_check.config_files.distros' has been automatically added to the distribution only
  because it may contain data files, but this behavior is likely to change
  in future versions of setuptools (and therefore is considered deprecated).

  Please make sure that 'kconfig_hardened_check.config_files.distros' is included as a package by using
  the `packages` configuration field or the proper discovery methods
  (for example by using `find_namespace_packages(...)`/`find_namespace:`
  instead of `find_packages(...)`/`find:`).

So let's use "find_namespace:" for package directory to include
the package data. More info in the documentation:
https://setuptools.pypa.io/en/latest/userguide/package_discovery.html#finding-namespace-packages

setup: Drop obsolete zip_safe flag

More info in the documentation:
https://setuptools.pypa.io/en/latest/deprecated/zip_safe.html

And fix style by the way.

Move the draft of the security hardening sysctls to a proper place

Refers to #65

Improve normalize_cmdline_options()

GitHub Actions: decrease the max-parallel to 1 to avoid the codecov rate limit

Add functional tests for --generate

Refers to #67.

Update the README

Refers to #67.

Add a new feature --generate

With this argument the tool generates a Kconfig fragment with the security
hardening options for the selected microarchitecture.

Refers to #67.

This Kconfig fragment can be merged with the existing Linux kernel config:

$ ./bin/kconfig-hardened-check -g X86_64 > /tmp/fragment
$ cd ~/linux-src/
$ ./scripts/kconfig/merge_config.sh .config /tmp/fragment
Using .config as base
Merging /tmp/fragment
Value of CONFIG_BUG_ON_DATA_CORRUPTION is redefined by fragment /tmp/fragment:
Previous value: # CONFIG_BUG_ON_DATA_CORRUPTION is not set
New value: CONFIG_BUG_ON_DATA_CORRUPTION=y
...

Refactoring of the argument parsing

Improve the comments and README (part II)

Skip normalize_cmdline_options() for the vdso32 and vdso cmdline parameters

See vdso32_setup() in arch/x86/entry/vdso/vdso32-setup.c

Skip normalize_cmdline_options() for the vsyscall cmdline parameter

See vsyscall_setup() in arch/x86/entry/vsyscall/vsyscall_64.c

Skip normalize_cmdline_options() for the iommu cmdline parameter

See iommu_setup() in arch/x86/kernel/pci-dma.c

Skip normalize_cmdline_options() for the slub_debug cmdline parameter

See setup_slub_debug() in mm/slub.c

Improve the comments and README

Skip normalize_cmdline_options() for the rodata cmdline parameter

Also fix the rodata check (change '1' to 'on').

See set_debug_rodata() in init/main.c.

Skip normalize_cmdline_options() for the ssbd cmdline parameter

See parse_spectre_v4_param() in arch/arm64/kernel/proton-pack.c

Add a comment about cfi boot parameter

Add the X86_KERNEL_IBT check

Now it's enabled by default for X86_64.

Add a comment about `kernel.oops_limit` and `kernel.warn_limit` sysctls

Add a comment about `kernel.unprivileged_userns_clone` sysctl in Debian

Add the comments about HARDENED_USERCOPY features

Fix CI output style and move `pip install coverage` to the proper place

Use .github/workflows/functional_test.sh in GitHub Actions (like in Woodpecker-CI)

Now functional_test.sh is a common script used both in GitHub Actions
and Woodpecker-CI.

And also test the forgotten .gz kernel config.

Run the functional tests and collect the coverage in Woodpecker-CI

Check all configs with the installed tool the functional test in Woodpecker-CI

Test the package installation in the functional test in Woodpecker-CI

Run the engine unit-test in Woodpecker-CI

Create multiple pipelines for Woodpecker-CI at Codeberg

Create a configuration template for Codeberg CI (.woodpecker.yml)

Add the checks for vdso32 and vdso on X86_64 and X86_32

We need to check them because these kernel cmdline parameters can
override the COMPAT_VDSO kconfig option.

Improve the COMPAT_VDSO check

CONFIG_COMPAT_VDSO disabled ASLR of vDSO only on X86_64 and X86_32.
On ARM64 this option has different meaning (see the mainline commit
7c4791c9efca8c105a86022f7d5532aeaa819125).

Thanks to @izh1979 for the idea

Improve the vsyscall checks

Disabling X86_VSYSCALL_EMULATION turns vsyscall off completely, and
LEGACY_VSYSCALL_NONE can be changed at boot time via the cmdline parameter.

Thanks to @izh1979 for the idea

Add the comment about kernel.sysrq=0

Make hackish refinement of the CONFIG_ARCH_MMAP_RND_BITS check

Use new override_expected_value() for that.

This is needed to avoid wrong recommendations for ARM64 and ARM, where
CONFIG_ARCH_MMAP_RND_BITS_MAX depends on the paging configuration.