sanitize-annotations: move the script to the top folder

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

kconfig: fix incompatibility with python < 3.9

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

move sanitize-annotations into tools/

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

fix a bunch of pylint warnings

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: never drop configs that have notes different than the parent

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

introduce sanitize-annotations.py

Add a script to (try to) automatically sanitize old annotations files by
dropping all the deprecated flags, arbitrary enforcements rules, etc.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

kconfig/annotations.py: support older way of merging dicts

The '|=' update operator for merging dicts is available starting in
python 3.9 however in focal we have python 3.8, which causes the
annotation parsing script to crash.

Support also the old way of merging dicts available since python 3.5
that uses dict unpacking, e.g. dict1 = {**dict1, **dict2}

Signed-off-by: Luke Nowakowski-Krijger <luke.nowakowskikrijger@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: use python3 in the shebang

Make sure to not depend on python-is-python3 and explicitly use python3
for the main script.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: prevent duplicate include lines

Includes are always parsed recursively, but when we save them (e.g.,
when the annotations file is updated) we should always save only the
top-level includes, without repeating the recursive ones.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

doc: resync README.md with the one in the main kernel

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

kconfig: Fix pylint violations

Fix the following:
R0205: Class 'Config' inherits from object, can be safely removed from bases in python3 (useless-object-inheritance)
E1101: Instance of 'Config' has no '_parse' member (no-member)
W0613: Unused argument 'arch' (unused-argument)
W0613: Unused argument 'flavour' (unused-argument)
W1514: Using open without explicitly specifying an encoding (unspecified-encoding)
R0201: Method could be a function (no-self-use)
E1101: Instance of 'Config' has no 'config' member (no-member)
W0707: Consider explicitly re-raising using the 'from' keyword (raise-missing-from)
W0105: String statement has no effect (pointless-string-statement)
W0123: Use of eval (eval-used)
W0102: Dangerous default value [] as argument (dangerous-default-value)
R1723: Unnecessary "elif" after "break" (no-else-break)
R1705: Unnecessary "elif" after "return" (no-else-return)
R1704: Redefining argument with the local name 'arch' (redefined-argument-from-local)

Signed-off-by: Juerg Haefliger <juergh@proton.me>

annotations: Fix pylint violations

Fix the following:
R1722: Consider using sys.exit() (consider-using-sys-exit)
C0209: Formatting a regular string which could be a f-string (consider-using-f-string)
W0703: Catching too general exception Exception (broad-except)
W1514: Using open without explicitly specifying an encoding (unspecified-encoding)
C0411: standard import "from signal import signal, SIGPIPE, SIG_DFL" should be placed before "from kconfig.annotations import Annotation, KConfig" (wrong-import-order)

Signed-off-by: Juerg Haefliger <juergh@proton.me>

setup.cfg: Disable some overly conservative pylint checks

Disable some 'too-many-<foo>' and 'too-few-<bar>' checks which we don't
really care about too much :-).

Signed-off-by: Juerg Haefliger <juergh@proton.me>

Add 'pylint' target and config section

Signed-off-by: Juerg Haefliger <juergh@proton.me>

Fix flake8 violations

Signed-off-by: Juerg Haefliger <juergh@proton.me>

Add Makefile with initial 'lint' target

Signed-off-by: Juerg Haefliger <juergh@proton.me>

annotations: Check validity of FLAVOUR_DEP

FLAVOUR_DEP is used to map flavors from the main annotations file to
flavors from includes. Currently, there is no check that any of the
listed flavors exists or is valid so the resulting behavior is
(probably) undefined/unexpected. Add a sanity check to verify the
FLAVOUR_DEP flavors.

Signed-off-by: Juerg Haefliger <juerg.haefliger@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: cleanups + always save configs with note at the top

Signed-off-by: Juerg Haefliger <juerg.haefliger@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: support single-line rules

The old annotations scheme allowed single-line rules like:
CONFIG_FOO  policy<{..}> note<..>

With the switch to the new annotations script, we lost that capability.
This change brings it back.

Signed-off-by: Juerg Haefliger <juerg.haefliger@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: fix _remove_entry() logic

Drop unnecessary delete statements and fix the code to properly remove
the entry in _remove_entry().

Reported-by: Juerg Haefliger <juerg.haefliger@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: do not drop undefined configs in derivatives

Prevent dropping configs that are undefined across all the supported
architectures in annotations that have includes, because we may want to
use them to override configs imported from other annotations.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: make sure to always drop undefined configs

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: add CONFIG_GCC_VERSION to the list of skipped configs

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: remove configs that are undefined across all arches/flavours

Sometimes certain config options are removed in new kernels, so when
annotations is updated these options result to be undefined across all
architectures and flavours, in this case it's much more clean to simply
drop them from annotations (considering that the kernel doesn't support
them anymore).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: compact same value across all flavour within the same arch

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: do not add constraints on toolchain

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: do not enforce toolchain versions

Allow to use different versions of gcc, as and ld in the build ppa,
respect to the version used to produce the kernel packages.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: add missing CONFIG_ prefix in main()

This is common for do_query(), do_note(), do_write() (and whatever
command might be added in the future).

Move it to main().

Signed-off-by: Masahiro Yamada <masahiro.yamada@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: introduce --source

Add an option to jump to the definition of a specific config option in
the kernel source code (this requires a prior `make tags` to work).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: add an option to enable config autocompletion in bash

Type `source <(annotations --autocomplete)` to enable auto-completion of
config options (without the CONFIG_ prefix) in bash when running
annotations script commands.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to specify --write and --note at the same time

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: prevent python broken pipe errors

Prevent broken pipe errors when showing output in pipe to other tools
(less for example).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: prevent generating .pyc files on import

We may end up adding these files to our git repos by mistake, so simply
prevent generating them in advance.

There's a tiny performance penalty with this change, because python
needs to re-generate the bytecode on-the-fly every time the annotations
script is called, but this overhead is absolutely negligible compared
the rest of the kernel build time.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: catch syntax errors in annotations

Trigger a syntax error when a policy or note rule is not properly
closed.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: properly support multiple levels of inclusion

Moreover, do some refactoring to optimize parsing.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: clarify error message with --import

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: accept config options with or without CONFIG_ prefix

Allow to specify config options with or without CONFIG_ prefix in the
commands --write and --note, to be consistent with --query that already
accepts both formats.

Reported-by: Masahiro Yamada <masahiro.yamada@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: properly merge configs with includes

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: support flavour dependencies (flavour inheritance)

Allow to define flavour inheritance relationship in the annotations
file, such as:

  # FLAVOUR_DEP: {'amd64-lowlatency': 'amd64-generic', 'arm64-lowlatency': 'arm64-generic', 'arm64-lowlatency-64k': 'arm64-lowlatency-64k'}

In this case, for example, -lowlatency flavours inherits the config
values from -generic (both for amd64 and arm64) and -lowlatency-64
inherits the value from -generic-64k (only on arm64).

This allows to strongly reduce the size of annotations and helps to
read and review changes in annotations.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to query CONFIG_<option> or just <option>

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to set notes directly and assume --query is the default command

Allow to set a note directly to a config option without changing any
value and also assume --query is the default command, so we don't have
to specify --query explicitly to query config options.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: set and delete configs from command line

Allow to set and delete config options from command line using the
'annotations' script (instead of manually editing the annotations file).

This also provides an interface to manage the annotations file from
other scripts.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: report config failures in alphabetical order

This allows to review config check failures across multiple
architectures.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: provide --update command

Add a command to import a partial .config (instead of resycning a full
.config as --import does).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: compact more redundant arch and flavours settings

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

doc: simplify commands in examples

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: avoid generating a KeyError exception

Always try to return None when a config is not defined in annotations
rather then throwing an exception.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to import/resync single config option

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

doc: update TODO list

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: properly handle dropped configs during import

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: check: catch options that are removed from the .config

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: make action argument mandatory

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: avoid converting null results to kconfig format

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: try to compact annotations before saving it

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: automatically detect annotations file location

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

doc: add a basic README.md

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

add a .gitignore

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

initial version

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>