Move GPU 3D FFT code to fft module

Then we can have tests of all the 3D FFT implementations together

Refs #3965

Test gmxapi and clients through Py 3.9.

* Begin moving to the new CI matrix config conventions.
* Clarify test intentions.
* Add testing for sample_restraint in master branch.
* Use the clang-8 build artifacts instead of gcc-10
  for faster gmxapi build.
* Adjust CMake options to get installed headers
  needed by consumers of the build artifact.

Fix python_packaging Dockerfiles.

* Don't try to copy a directory that was removed in a recent commit.
* Add CMake option to install needed headers.
* Reduce image size.

Merge branch release-2021 into master

Resolved Conflicts:
api/gmxapi/CMakeLists.txt
cmake/gmxGenerateVersionInfoWithoutGit.cmake
cmake/gmxManageClangCudaConfig.cmake
python_packaging/sample_restraint/src/cpp/CMakeLists.txt
python_packaging/src/CMakeLists.txt
python_packaging/src/gmxapi/export_system.cpp
python_packaging/src/gmxapi/version.py
python_packaging/src/setup.py
src/gromacs/applied_forces/awh/awh.cpp
src/gromacs/ewald/pme_gpu_program_impl.cu
src/gromacs/gmxana/gmx_dipoles.cpp
src/gromacs/tools/convert_tpr.cpp

Allow gmxapi.commandline.cli to check GMXBIN.

If `shutil.which` initially fails, try again using
the equivalent of `PATH=$GMXBIN`.

Refs #2961

Revert "Enable back floating-point exceptions for SYCL build"

This reverts commit c502562354b1de48aa4e8e102a04d7586ce345e3.

Turns out, the FPEs are still occasionally triggered, at least for DG1.

Fix leak in copy_t_atoms

Add nblib virials function with test

Restore gmxapi._gmxapi.add_mdmodule() Python functionality.

Decouple PME GPU 3DFFT from PME GPU module

Fix wallcycle counting

apply reviewer suggestions

Don't run full CI when stages fail.

See https://docs.gitlab.com/ee/ci/yaml/#when

Fixes #3482

Update hipSYCL CI container

Let gmxapi.commandline access GROMACS installation details.

Require Python 3.7 for gmxapi in GROMACS 2022

Introduce AngleInteractionType

This adds a template from which subsequent angle types can be generated.

SYCL NBNXM: Use hand-crafted energy reduction

Enable back floating-point exceptions for SYCL build

Originally, they were disabled in
48fb95de1e456569deed5096924e617d511cf109 because Intel IGC compiler was
triggering them while doing JIT compilation of NBNXM kernels from the
intermediate bytecode.

Now:

- The problem was fixed in IGC 1.0.7683 (compute-runtime 21.24.20098).

- Either NBNXM kernels or the DPC++ compiler changed, and the generated
  SPIR-V code does not trigger FPEs even for earlier IGC versions.

Activate the existing 20.04 CI containers

Reworked convert-tpr runtime extension

Fixes extension of run using -until flag.

Fixes #4056

Continue fixing warnings with clang as host compiler

Minor docs fixes

- Imbalanced quoting in a math formula causing incorrect rendering.
- Unnecessary escaping of an underscore in a code block.

Speed up grompp LJ parameter generation

Suppressed -Wold-style-cast for clang as nvcc host compiler

Also updated some cache variable names to fit the style used for other
warning suppressions, in case we get to re-use the configure-time
result in future.

Update device detection code for hipSYCL

Allow to build and install nblib and gmxapi  without GMX TESTS enabled

Introduce ReferenceTemperatureManager

Fixed docs build

Fix warnings when clang is the CUDA host compiler

Fix clang-format in src/gromacs/fft/fft_mkl.cpp

SYCL: Reduce the number of atomic ops in NBNXM fShift calculation

Improve hipSYCL GpuEventSynchronizer implementation

Previously, an inefficient stub was added. Here, we do proper event
tracking using the HIPSYCL_EXT_QUEUE_WAIT_LIST extension.

Since now we can have to wait on multiple events, replaced the
std::optional with std::vector.

Closes #4064

Rework -Weverything

Make doxygen assertion more helpful

Knowing the name of the clashing symbol helps understand where the
problem lies.

Use doxygen properly

Remove workaround for old clang

No longer needed as we require a more recent clang than version 6.

Use 20.04 for docs build

Updated image with new tex font package needed for 20.04

Improve robustness of StopSignalClient test.

A previous commit inadvertently rendered this test ineffective.

This change clarifies the test and restores its utility.
Rearranged commentary and additional assertions should help to prevent
another regression in the future.

Additionally, the two simulations run in the test have been
further decoupled.

Fixes #4076

Prepare free energy element for external FEP state setting

Use unique_ptr<ListedForcesGpu> in forcerec

Fix reporting of quadrupole moment

Update interface of gmx_stats_t

The only error code returned was one that checked that there was data
points to work with. Given our style, that makes sense to implement
with an internal assertion at the point where it is necessary, and to
throw when the user input is observed to be inconsistent (ie.
requesting statistical work without providing a valid dataset).

At least one routines always returned the error code for success,
creating complexity which is now eliminated.

Used a template to permit one routine to be implemented in two
slightly different ways.

This change helps with warning-free compilation with gcc 12 by
eliminating the assertion that was only used in debug mode. It is now
always a throw, since it makes no sense to continue to report garbage
statistics in the case being checked. Now the enum class is also no
longer useful and is eliminated.

Uncovered bug #4080 which is fixed here, and backported to
release-2021 separately.

Support testing CUDA-aware MPI in CI

Remove some NOLINT now that clang-tidy-11 is required

Not all NOLINT can be removed yet, as not all bugs are fixed.

SYCL: Shorten mangled kernel name types

Because they are used, for example, in the profiler output, and long
names make it hard to read.

Before:
- _ZTSZZL18isDeviceFunctionalRKN2cl4sycl6deviceEPNSt7__cxx1112basic_stringIcSt11char_traitsIcESaIcEEEENK3
- _ZTSN3gmx18LeapFrogKernelNameILNS_18NumTempScaleValuesE0ELNS_19VelocityScalingTypeE0EEE
- _ZTSN5Nbnxm15NbnxmKernelNameILb0ELb1ELNS_8ElecTypeE0ELNS_7VdwTypeE1EEE
- _ZTSN5Nbnxm24NbnxmKernelPruneOnlyNameILb1EEE

After:
- _ZTS11DummyKernel
- _ZTS14LeapFrogKernelILN3gmx18NumTempScaleValuesE2ELNS0_19VelocityScalingTypeE1EE
- _ZTS11NbnxmKernelILb0ELb1ELN5Nbnxm8ElecTypeE0ELNS0_7VdwTypeE1EE
- _ZTS20NbnxmKernelPruneOnlyILb1EE

Can be shortened further by casting enums to integers in template
arguments, but not sure it will improve readability much.

Add createNbnxmCPU, usage, and test

Update parts of the CPU CMAP kernel

Refactor temperature annealing

This refactors temperature annealing by dividing it into two subfunctions,
one which returns a new temperature, keeping the inputrec constant and
being independent of the Update object, and one which updates the inputrec
and the Update object.

This separation allows most of the code to be reused by modular simulator,
and it is also a first step towards a design which does not need to modify
the input record (#3854)

Refs #3417, #3854

Allow elements to schedule pre-step and post-step functions

Pre-step and post-step functions allow elements to perform operations
which need to happen before any of the integration step functions run,
or after all integration step functions have run. Unlike the main
integration step scheduling, whose order is defined by the order of the
elements in the integration algorithm, the functions are not guaranteed
to run in a specific order, only before / after the integration step.

One example this is useful for is the pull code, which needs to print
some output once all external pull providers (currently only AWH) have
run. Having a post-step function allows for an easy way for the pull
element to run during the integration run, but defer printout until
after the step.

Refs #3417, #3435, #3436

Remove some unused-but-set variables

Detected by the -Wunused-but-set-variable option in the
open-source IntelLLVM (and, in theory, upstream Clang trunk).

There are also false-positive warnings there, so the
compilation log is noisy.
I'm not doing any silencing here, since it will, hopefully, change by
the time of Clang 13 release.
But the variables removed here appear to be genuinely unused.

Bump hipSYCL version in the CI container

Use [..] instead of at(..) in LINCS GPU data management code

The .at(..) was used to make sure that the indices are within bonds
while the code is not thoroughly tested. Now it can be replaced with
direct access [..] for performance reasons.

Move nbnxm setup responsibility to its own files and add tests

Compute reference indices in GPU LINCS upon data preparation

The reference indices are used to map into shared memory location.
The start of the block is then subtracted from the index in map
to get the location in shared memory that should be used. This can
be done when the structure is populated to reduce the amount of
computations in the GPU kernel.

Refs #3350

Expose and test getVdwKernelType

Add .clang-tidy file for nbnxn tests

Extend nblib listed pbc holder and template kernels

Prepare simulated annealing refactoring

Prepare simulated annealing refactoring by moving variable declarations
to where they are first used, rename a non-descriptive integer `i`, use
a const reference to the inputrec where possible, replace a gmx_fatal
by an assert, and replace a switch / case construct by an if / else.

This is pure refactoring, no change in functionality, but will make
follow-up changes significantly easier to review.

CoulombKernelType enum, lookup function, and tests

Unify FEP period setting

Work around hipSYCL buffer reinterpret error

Remove gmxapi roadmap.rst and acceptance tests.

This document and the supporting tests are out-of-date and unused for
project planning, as far as I can tell.

Resolves #3706

Fix clang-tidy complaints

Introduced in 6cd214d6 (MR !1591)

Allow selection of rocm version to install

Unite the post-DD-partition update of the local topology

Also simplify and clarify the implementation of doSorting

Removed ilsortFE_UNSORTED now that it is unused

Refs #4004

Add hasPerturbedChargeIn14Interaction to atomInfo bits

Introduce Trotter decomposition / MTTK for modular simulator

Use enum class for checkpoint version

Make LocalTopologyChecker class and hide implementation details

This allows capturing useful state that is only used when writing the
error output, without leaking dependencies for implementation details
to high-level code.

Some minor improvements to const correctness of the error output. Also
moved it into gmx namespace.

Minor improvement to include order

Removed unused forward declaration in domdec.h

Refs #3887

Rename some paramters in nblib listed forces

This is pure refactoring.
HarmonicAngleType -> HarmonicAngle
EquilDistance -> EquilConstant

Add unit tests for topology sorting

Remove duplicating pointers to device buffers in GPU listed forces

XYZQ, forces and shift forces are saved in both ListedForces class and
in BondedCudaKernelParameters class. This removes the later and
make it so the buffers are passed directly to the kernel.

Push GPU PME-PP force from PME task instead of pull from PP task

Add SYCL-related information to the mdrun version header

Added EnergyOutputRequestChecker notification for MDModules

Miscellaneous updates from nblib

Update to Ubuntu 20.04 in CI

Fix clang-format

Introduced in 100125464e111f9925b8aa9e4e12098fc4510f24

Updates to nblib test infra and tests

AWH data structures modular checkpointing

Pull and AWH exact continuation tests

Convert atomInfo to int64_t

This ensures we can use bits from a 64-bit range if we ever need
that. Or easily switch to 32-bit range if that's advantageous.

Refs #4004

Require CUDA 11.0

Also remove some cmake code that aided support for version <11.0.

Refs #3708

Move useMts flag from forcerec to simulationWorkload

Make constraints and SETTLE tests backend-agnostic

Remove useless charge-group work during repartitioning

Update tested CUDA versions

Remove preprocessor usage for atomInfo

Added QM input file name as command-line parameter for grompp

Part of #3172

Fix getLocalAtomCount()

Pass dd as pointer to avoid nullptr dereferencing introduced in
ba71b7526c22715aceb36586e76f2ae58c4a2461.

Refs #3915

Minor pull code cleanup

Replaced some pointer by references, removed some unnecessary struct,
converted a loop to range and converted some documentation to doxygen.

Add domainWorkload flags for CPU local force contributions

Part of #3913

Free energy history modular checkpointing

This introduces a function that allows df_history_t objects to save to
and reset from modular simulator checkpoints. This allows elements
owning such an object to easily checkpoint it.

This also introduces a helper function to create CheckpointDataOperation
dependent ArrayRefs from C arrays.

Add a getter function for the local atom count

Refs #3915

Remove unneeded template keyword which trips up MSVC

Solves part 1 of #4065

SYCL: Update env. vars to select GPUs

SYCL_DEVICE_FILTER is supported in OneAPI releases, so we can safely
recommend it. Also added the ROCm string when compiled with hipSYCL.

Add notifications for MDModules that will be used in QMMM

Removed GMX_CLANG_CUDA build using old versions

Clarified that a release job was targetting clang as host-only
compiler, ie. not GMX_CLANG_CUDA.

Refs #3708

Fix gmx nmr -viol option