annotations: fix _remove_entry() logic

Drop unnecessary delete statements and fix the code to properly remove
the entry in _remove_entry().

Reported-by: Juerg Haefliger <juerg.haefliger@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: do not drop undefined configs in derivatives

Prevent dropping configs that are undefined across all the supported
architectures in annotations that have includes, because we may want to
use them to override configs imported from other annotations.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: make sure to always drop undefined configs

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: add CONFIG_GCC_VERSION to the list of skipped configs

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: remove configs that are undefined across all arches/flavours

Sometimes certain config options are removed in new kernels, so when
annotations is updated these options result to be undefined across all
architectures and flavours, in this case it's much more clean to simply
drop them from annotations (considering that the kernel doesn't support
them anymore).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: compact same value across all flavour within the same arch

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: do not add constraints on toolchain

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: do not enforce toolchain versions

Allow to use different versions of gcc, as and ld in the build ppa,
respect to the version used to produce the kernel packages.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: add missing CONFIG_ prefix in main()

This is common for do_query(), do_note(), do_write() (and whatever
command might be added in the future).

Move it to main().

Signed-off-by: Masahiro Yamada <masahiro.yamada@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: introduce --source

Add an option to jump to the definition of a specific config option in
the kernel source code (this requires a prior `make tags` to work).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: add an option to enable config autocompletion in bash

Type `source <(annotations --autocomplete)` to enable auto-completion of
config options (without the CONFIG_ prefix) in bash when running
annotations script commands.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to specify --write and --note at the same time

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: prevent python broken pipe errors

Prevent broken pipe errors when showing output in pipe to other tools
(less for example).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: prevent generating .pyc files on import

We may end up adding these files to our git repos by mistake, so simply
prevent generating them in advance.

There's a tiny performance penalty with this change, because python
needs to re-generate the bytecode on-the-fly every time the annotations
script is called, but this overhead is absolutely negligible compared
the rest of the kernel build time.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: catch syntax errors in annotations

Trigger a syntax error when a policy or note rule is not properly
closed.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: properly support multiple levels of inclusion

Moreover, do some refactoring to optimize parsing.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: clarify error message with --import

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: accept config options with or without CONFIG_ prefix

Allow to specify config options with or without CONFIG_ prefix in the
commands --write and --note, to be consistent with --query that already
accepts both formats.

Reported-by: Masahiro Yamada <masahiro.yamada@canonical.com>
Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: properly merge configs with includes

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: support flavour dependencies (flavour inheritance)

Allow to define flavour inheritance relationship in the annotations
file, such as:

  # FLAVOUR_DEP: {'amd64-lowlatency': 'amd64-generic', 'arm64-lowlatency': 'arm64-generic', 'arm64-lowlatency-64k': 'arm64-lowlatency-64k'}

In this case, for example, -lowlatency flavours inherits the config
values from -generic (both for amd64 and arm64) and -lowlatency-64
inherits the value from -generic-64k (only on arm64).

This allows to strongly reduce the size of annotations and helps to
read and review changes in annotations.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to query CONFIG_<option> or just <option>

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to set notes directly and assume --query is the default command

Allow to set a note directly to a config option without changing any
value and also assume --query is the default command, so we don't have
to specify --query explicitly to query config options.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: set and delete configs from command line

Allow to set and delete config options from command line using the
'annotations' script (instead of manually editing the annotations file).

This also provides an interface to manage the annotations file from
other scripts.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: report config failures in alphabetical order

This allows to review config check failures across multiple
architectures.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: provide --update command

Add a command to import a partial .config (instead of resycning a full
.config as --import does).

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: compact more redundant arch and flavours settings

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

doc: simplify commands in examples

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: avoid generating a KeyError exception

Always try to return None when a config is not defined in annotations
rather then throwing an exception.

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: allow to import/resync single config option

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

doc: update TODO list

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: properly handle dropped configs during import

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: check: catch options that are removed from the .config

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: make action argument mandatory

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: avoid converting null results to kconfig format

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: try to compact annotations before saving it

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

annotations: automatically detect annotations file location

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

doc: add a basic README.md

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

add a .gitignore

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>

initial version

Signed-off-by: Andrea Righi <andrea.righi@canonical.com>