Add PP decomposition simluationWorkload flags

Add the complete set of flags that indicate whether there is PP
decomposition using CPU/GPU communication.

These flags allow simplifications in the force schedule.

The additional benefit is a reduced reliance on passing around commrec
for checks related to parallelization.

Refs #3913

Introduce ObservablesReducer

Fix compiler warnings introduced in 8f6ea9eb6c (!1865)

- Add ifdef around clang-specific pragmas.
- Add newline at the end of file.

Simplify nblib listed forces type tests

GpuEventSynchronizer: extract backend-specific functionality

No new functionality or added checks.

Preparatory work for adding advanced event accounting logic to GpuEventSynchronizer.

DeviceEvent class contains only backend-specific functions and minimal sanity checks.
The more advanced logic (the one we're trying to fix in #3988) is kept in
GpuEventSynchronizer, and currently left unchanged (1:1 for OpenCL and SYCL,
very relaxed rules for CUDA).

Refs #2527, #3988.

Update GPU CI configuration

CUDA 11.4.1 updates the most recent supported versions of gcc and
clang so we should update those also.

ROCM 4.3 is out, and is more likely than any older version to be the
one we will support in 2022, so we should update them.

Several recent bug fixes in hipSYCL are worth having to avoid needing
to work around them in other changes.

Previously we re-used the hipsycl container for clang-tidy with CUDA,
but as we wish that to remain at clang version 11, we need an alternative
solution. Simplest would be to add CUDA to the linting image, but that
also builds LLVM with TSAN. As that TSAN build didn't work out of the box
on a CUDA base image, I split the TSAN image off from the image that does
linting, and added CUDA to the latter.

Add workaround for CorrelationsTest with Intel ICPX

Add basic tests for GpuEventSynchronizer

Move the ownership of the xUpdatedOnDevice event to update constraints

Add Urey-Bradley listed interaction to nblib

Random cosmetic fixes

Add common header to GpuEventSynchronizer

Move the pre-processor conditional to a common header, that can be
included unconditionally. Will simplify code unification further on.

Updates for updated Python version requirement.

* Update documented required Python version.
* Remove some references to Python 3.6 and 3.7.
* Cite issues where appropriate.

Refs #3716

Add `breathe` package to CI Python venvs.

It seems likely that at least one of the projects documented in the
GROMACS manual will want to incorporate documentation from C++ headers
(Doxygen) into the Sphinx pages. We can update the container build
script in advance so that the package will be available for
experimentation and testing after the next container rebuild.

See also #2698

Remove support for Python 3.6

This version goes end-of-life before we will release GROAMCS 2022, so
we should stop testing it. We decided this a long time ago, but didn't
actually do it.

Refs #3708

grompp no longer modifies nstcomm

Updates to nblib listed forces kernels

Rework nblib kernel checks and setup code

Update regular CI images to OneAPI 2021.3.0

Do not allow AtomLocality::All for coordinates and velocities transfer.

1. Use AtomLocality:Local instead of AtomLocality::All in PME-only ranks
   and in PME tests.
2. Assert on using AtomLocality::All for positions and velocities transfers,
   print verbose message on assert.

This reduces the number of possible streams used in StatePropagatoerData, hence
reduces its complexity. In preparation for buffer state tracking.

Refs. #3323

Refs. #3020

Fix MSVC error in toppush.cpp

Provide better defaults for GMX_GPU_NB_CLUSTER_SIZE with SYCL

Now that we know whether a SYCL configuration targets hipSYCL and if
so for which hardware, we can provide a default non-bonded cluster
size that works well in all SYCL cases.

Refs #3965

Remove duplicate waiting for coordinates

Added class for generating standard CP2K input

Nblib doc fixes

Update some doc strings to make future merges more concise.

Fix few issues with open-source Intel LLVM (Clang 13)

- Add -Wno-reserved-identifier to avoid false-positive with _real
  user-defined literal (https://bugs.llvm.org/show_bug.cgi?id=50644).
- Change the alignment-checking code to avoid "warning: performing
  pointer subtraction with a null pointer may have undefined behavior".
- Update some comments about SYCL version quirks.

There are some deprecation warnings related to SYCL naming being brought
into agreement with the final SYCL2020 standard, but those will be fixed
once they appear in any official release.

Add hipSYCL sanity check

Improve testutils infrastructure

Add SYCL SETTLE kernel

Refs #3931

Fix GMX_PYTHON_PACKAGE option.

Only enable GPU FFT test for build supporting it

Minor clean-up to sample_restraint tests.

Avoid expensive atom-type lookups in grompp

For each dihedral interaction for which parameters needed to be looked
up, many non-inline function calls were made to see if dihedral types
matched. Instead they are now compared as two ranges with std::equal.

Add a helpful dev docs link.

Try to connect the contribution guidelines better
to the requirements on acceptable commits.

Lift atom type lookup out of inner loops

Grompp loops over molecule types, looking up force parameters for each
interaction from the associated bond types for the system (e.g. from
the force field). The atom types for that interaction have to be
looked up from the atoms for the molecule type that contains it, but
this should be done only once, before considering each bond type as a
possible match. The lookups for both A- and B-state parameters are now
lifted out of the loops over bond types, simplifying the logic and
significantly improving performance.

Once that is done, one custom function could be replaced by
std::equal.

Improved some variable naming

Apply 1 suggestion(s) to 1 file(s)

Remove leftover licenses for optional and string_view

After 175d3bb6 (MR !98), we don't bundle std::optional and
std::string_view, so no need to mention licenses of their reference
implementations.

Add GPU 3D FFT tests

Update bundled GoogleTest to current HEAD

Reorganize COPYING file for auto-detection of licenses

It seems our previous complex COPYING file that did not start with
the LGPL license causes GitLab to detect our license as "other", rather
than an OSI-approved one. By clearly putting the LGPL license first
in the file and then add the more permissible exceptions we allow
at the end we avoid this.

Remove StatePropagatorDataGpu::getVelocitiesReadyOnDeviceEvent

It was unused, since we were using the copied data only in the stream in
which we did the copy. So, the synchronization was performed implicitly,
with no need to wait for the event.

Also added a comment about a rare redundant copy.

Refs #3988

Update to support CUDA 11.4

Update to test the newest supported CUDA now that it can support GROMACS

Refs #3912

Add LICENSE file to make GitLab detect LGPL v2.1

Fix style violations

Remove MPI comm from GPU PME-PP force transfer initiation

Only define GMX_SYCL_DPCPP macro in SYLC builds

Previously the macro could get defined not only when the build was not a
hipSYCL build, but also when the build was not a SYCL build at all.

Simplify short-circuit logic in grompp

This is simpler to understand, and also prepares for a future
change that removes bB while improving performance.

Check nvcc accepts flags before using them

Optimize grompp VDW parameter-generation allocations

Remove duplicate waiting for coordinates

Fix Doxygen issues introduced in 997d9e02 (MR !1783)

Fix modular simulator MTTK

The modular simulator MTTK pressure coupling was slightly off due to
different reasons:
* The PV term was taken at the time of the update of the extended
  degree of freedom rather than at the time of reporting. This leads to
  slight differences when using nsttcoupling and nstpcoupling > 1.
* The NH chain coupled to the thermostat would alter the extended
  variable and hence the integral before it is reported. This NHC update
  already belongs to the next step, so shouldn't change the reported
  integral.
* The NH chain couple to the thermostat would not update the propagator
  scaling. Again, this leads to very slight differences when using
  nsttcoupling > 1.

These slight inaccuracies went undetected because they are minimal in
normal usage. To emphasize them in testing, the compressibility in the
simulator equivalence tests was strongly increased. This shows the
differences and would make the tests fail without the fixes in the
current change.

To implement these changes, the responsibility to calculate the
integral and set the scaling factor was moved from the elements to the
MTTK data structure which is accessed by all elements changing the
external degree of freedom and the box.

Avoid passing a temporary object to emplace_back

Use MDP database for simulator equivalence tests

Changes the simulator equivalence tests to use the additional MDP
database introduced recently. This will allow to test algorithms
requiring additional MDP parameters more cleanly.

This also changes the MDP database behavior to overwrite default
parameters. This does not change any current behavior, as in the
current usage, no parameters are defined in both the default and
the additional parameter sets. Moving forward, it's more likely
that we will want to explicitly overwrite default parameters with
the additional database rather than have parameter redefinitions
silently fail.

Test with newer compilers in CI

Now compiles with clang 12 and gcc 11 without warnings in various
configurations. Did not update santizer configurations as they're
already on clang 11.

Adjusted various CI job intents to be either accurate or placed on
more suitable configurations.

Eliminated one build container, since we target only gcc versions that
are most recent supported, oldest supported, and if needed also those
required for e.g. support of most recent and oldest supported CUDA
versions.

Code changes mostly related to false positives.

Suppresses a false-positive warning in GoogleTest

Avoids warnings about loop variables referring to temporaries. Our
usage was safe, but the warning is potentially valuable elsewhere, so
we should respect it.

Rewrote a test with idiomatic value-parametrization to avoid a warning
about a reference to a temporary

Refs #3912

Port basic pull test to gtest framework

Fix GCC warning

Move GPU 3D FFT code to fft module

Then we can have tests of all the 3D FFT implementations together

Refs #3965

Test gmxapi and clients through Py 3.9.

* Begin moving to the new CI matrix config conventions.
* Clarify test intentions.
* Add testing for sample_restraint in master branch.
* Use the clang-8 build artifacts instead of gcc-10
  for faster gmxapi build.
* Adjust CMake options to get installed headers
  needed by consumers of the build artifact.

Fix python_packaging Dockerfiles.

* Don't try to copy a directory that was removed in a recent commit.
* Add CMake option to install needed headers.
* Reduce image size.

Merge branch release-2021 into master

Resolved Conflicts:
api/gmxapi/CMakeLists.txt
cmake/gmxGenerateVersionInfoWithoutGit.cmake
cmake/gmxManageClangCudaConfig.cmake
python_packaging/sample_restraint/src/cpp/CMakeLists.txt
python_packaging/src/CMakeLists.txt
python_packaging/src/gmxapi/export_system.cpp
python_packaging/src/gmxapi/version.py
python_packaging/src/setup.py
src/gromacs/applied_forces/awh/awh.cpp
src/gromacs/ewald/pme_gpu_program_impl.cu
src/gromacs/gmxana/gmx_dipoles.cpp
src/gromacs/tools/convert_tpr.cpp

Allow gmxapi.commandline.cli to check GMXBIN.

If `shutil.which` initially fails, try again using
the equivalent of `PATH=$GMXBIN`.

Refs #2961

Revert "Enable back floating-point exceptions for SYCL build"

This reverts commit c502562354b1de48aa4e8e102a04d7586ce345e3.

Turns out, the FPEs are still occasionally triggered, at least for DG1.

Fix leak in copy_t_atoms

Add nblib virials function with test

Restore gmxapi._gmxapi.add_mdmodule() Python functionality.

Decouple PME GPU 3DFFT from PME GPU module

Fix wallcycle counting

apply reviewer suggestions

Don't run full CI when stages fail.

See https://docs.gitlab.com/ee/ci/yaml/#when

Fixes #3482

Update hipSYCL CI container

Let gmxapi.commandline access GROMACS installation details.

Require Python 3.7 for gmxapi in GROMACS 2022

Introduce AngleInteractionType

This adds a template from which subsequent angle types can be generated.

SYCL NBNXM: Use hand-crafted energy reduction

Enable back floating-point exceptions for SYCL build

Originally, they were disabled in
48fb95de1e456569deed5096924e617d511cf109 because Intel IGC compiler was
triggering them while doing JIT compilation of NBNXM kernels from the
intermediate bytecode.

Now:

- The problem was fixed in IGC 1.0.7683 (compute-runtime 21.24.20098).

- Either NBNXM kernels or the DPC++ compiler changed, and the generated
  SPIR-V code does not trigger FPEs even for earlier IGC versions.

Activate the existing 20.04 CI containers

Reworked convert-tpr runtime extension

Fixes extension of run using -until flag.

Fixes #4056

Continue fixing warnings with clang as host compiler

Minor docs fixes

- Imbalanced quoting in a math formula causing incorrect rendering.
- Unnecessary escaping of an underscore in a code block.

Speed up grompp LJ parameter generation

Suppressed -Wold-style-cast for clang as nvcc host compiler

Also updated some cache variable names to fit the style used for other
warning suppressions, in case we get to re-use the configure-time
result in future.

Update device detection code for hipSYCL

Allow to build and install nblib and gmxapi  without GMX TESTS enabled

Introduce ReferenceTemperatureManager

Fixed docs build

Fix warnings when clang is the CUDA host compiler

Fix clang-format in src/gromacs/fft/fft_mkl.cpp

SYCL: Reduce the number of atomic ops in NBNXM fShift calculation

Improve hipSYCL GpuEventSynchronizer implementation

Previously, an inefficient stub was added. Here, we do proper event
tracking using the HIPSYCL_EXT_QUEUE_WAIT_LIST extension.

Since now we can have to wait on multiple events, replaced the
std::optional with std::vector.

Closes #4064

Rework -Weverything

Make doxygen assertion more helpful

Knowing the name of the clashing symbol helps understand where the
problem lies.

Use doxygen properly

Remove workaround for old clang

No longer needed as we require a more recent clang than version 6.

Use 20.04 for docs build

Updated image with new tex font package needed for 20.04

Improve robustness of StopSignalClient test.

A previous commit inadvertently rendered this test ineffective.

This change clarifies the test and restores its utility.
Rearranged commentary and additional assertions should help to prevent
another regression in the future.

Additionally, the two simulations run in the test have been
further decoupled.

Fixes #4076

Prepare free energy element for external FEP state setting

Use unique_ptr<ListedForcesGpu> in forcerec

Fix reporting of quadrupole moment

Update interface of gmx_stats_t

The only error code returned was one that checked that there was data
points to work with. Given our style, that makes sense to implement
with an internal assertion at the point where it is necessary, and to
throw when the user input is observed to be inconsistent (ie.
requesting statistical work without providing a valid dataset).

At least one routines always returned the error code for success,
creating complexity which is now eliminated.

Used a template to permit one routine to be implemented in two
slightly different ways.

This change helps with warning-free compilation with gcc 12 by
eliminating the assertion that was only used in debug mode. It is now
always a throw, since it makes no sense to continue to report garbage
statistics in the case being checked. Now the enum class is also no
longer useful and is eliminated.

Uncovered bug #4080 which is fixed here, and backported to
release-2021 separately.

Support testing CUDA-aware MPI in CI