Redesign GPU FFT abstraction
- Modify interface to allow distributed FFT implementation in future
- Provide support for choosing FFT backend at runtime. E.g. CUFFT backend can be instantiated for single-GPU FFT but HeFFTe can be instantiated in case PME decomposition is used.

This is a pre-requisite for GPU PME-decomposition implementation.

Refs #3884

Introduce plumbing for ObservablesReducer

Replace ResidueTypeMap with std::unordered_map

Describe procedure and labeling for MR closure.

Use latest cmake for ASAN configuration

Add support for transformation pull coordinates

Minor clean-up and optimization in DD topology

Use better data structure to implement ResidueType

Now insertions and lookups occur in constant time, rather than linear
time. This greatly improves the many lookups needed in grompp to
build the ndx file.

Renamed entry field as entries, which works better for naming a
container.

Revert "Revert "Add muparser and CMake handling""

This reverts commit 4bfdcf2ccb21b5d0702da65083e52944ca112588.

We want to add this functionality again.

Make orires work with DD particle reordering

Get rid of sycl::buffer::reinterpret

This functionality is not properly supported in hipSYCL yet, and was
only needed in order to use atomic accessors. After fully switching to
atomic_ref, we can directly use buffers of Float3.

Closes #4063.

SYCL: Fully switch to atomic_ref

Removes PME rank dependency on Non-local X H2D copy when  buffer ops are on GPU but, Halo exchange happens over host-MPI.

This was not a problem until now because because !stepWork.haveGpuPmeOnThisRank will always evaluate to true in case of domain decomposition as PME will always be on a separate rank.
But now with PME decomposition this bug gets exposed.

Refs #4125

Disable DLB if GPU direct communication Halo exchange is enabled.

Document Status labels for issues.

Add missing Doxygen for SYCL functions and some others

Sometimes it was enough to convert existing comments to Doxygen.

Now there are no SYCL-related warnings when building webpage.

Also fixed a bit of trivial clang-tidy complaints.

Added toUpperCase and toLowerCase transformations of string

Make the output of the constraints tests readable

In parametrized tests, the failed runs output parameters. In order
for them to be meaningfull for human, the parameter types should be
provided with function that converts them to strings. This adds
these functions for t_pbc and ConstraintsTestSystem types in
constraints tests.

Add several more listed forces interaction types to nblib

Find rocFFT for hipSYCL build when targeting AMD devices

We need this so that we can call rocFFT for PME GPU 3D FFT

Refs #3965

Fixed typos in replica exchange formulas

Enable atom reordering in WholeMoleculeTransform

Add back original index file content that was accidentally overwritten by MR 1761

Makes spc216.ndx functional again.

Use better data structures in gmx chi

This removes part of the dependency of gmx chi histogramming from
ResidueType handling, which will permit changes to the latter that
will benefit both grompp and pdb2gmx

Replaced vectors that needed a stable numerical index to look up a
residue name with a map that uses the residue name to do the look up.

Removed capabilities of ResidueType that are no longer used.

Simplify gmx chi

This change is pure refactoring that prepares for performance
improvements to ResidueType handling that will benefit both grompp and
pdb2gmx.

Use vector and ArrayRef to replace C-style memory handling. Some
histogram vectors were being over-allocated by 1, which is no longer
safe to do now that the size of the vector is relevant when looping,
so those are reduced.

Eliminated and reduce scope of iteration variables. Removed an unused
function and some debug code in comments. Used const references rather
than pointers where possible. Used range-based for and algorithms in
some places that are now possible to do so.

Add tests for gmx chi

Fixed many memory leaks, unfortunately needing to add a new function
in order to work around the use of read_first_x().

Formally documented read_first_x() and read_next_x() as deprecated, as
the implementation of close_trx() in trxio.cpp has mentioned for a
long time.

Avoid using cr->duty in setupStepWorkload

Revert "Add workaround for CorrelationsTest with Intel ICPX"

This reverts commit 79fa11933f.

The proper fix was introduced in f3adc2fabe (MR !1794), and
then merged into master, making the workaround from 79fa11933f (MR
!1869) obsolete.

Refs #3955.

Use workload flags more in do_md()

Fix stale link in warning message.

Pointed out by user, needs a matching fix in the regression tests.

Add separate PME rank SimluationWorkload flags

Added the complete set of flags that indicate whether separate PME ranks
are used and what type of PP-PME communication is used.

These flags allow simplifications in the force schedule as well as reducing
the use of the confusingly defined cr->duty for now in do_force().

The additional benefit is a reduced reliance on passing around commrec
for checks related to parallelization.

Refs #3913

Update Python package version to account for merge from gmxapi 0.2.2

Merge remote-tracking branch 'origin/release-2021' into merge-2021-into-master

Resolved conflicts:
 - cmake/gmxVersionInfo.cmake
 - docs/CMakeLists.txt
 - python_packaging/src/gmxapi/export_system.cpp
 - python_packaging/src/setup.py
 - src/gromacs/domdec/domdec.cpp
 - src/gromacs/gmxana/gmx_chi.cpp

Restrict scope of step and step_rel

This prevents use-before-set issues

Clarify StepWorkload doxygen

StepWorkload is rank-specific as it is also used on separate PME ranks.

Refs #3913

Add PP decomposition simluationWorkload flags

Add the complete set of flags that indicate whether there is PP
decomposition using CPU/GPU communication.

These flags allow simplifications in the force schedule.

The additional benefit is a reduced reliance on passing around commrec
for checks related to parallelization.

Refs #3913

Prepares for the branch GROMACS 2021.4

Introduce ObservablesReducer

Fix compiler warnings introduced in 8f6ea9eb6c (!1865)

- Add ifdef around clang-specific pragmas.
- Add newline at the end of file.

Simplify nblib listed forces type tests

GpuEventSynchronizer: extract backend-specific functionality

No new functionality or added checks.

Preparatory work for adding advanced event accounting logic to GpuEventSynchronizer.

DeviceEvent class contains only backend-specific functions and minimal sanity checks.
The more advanced logic (the one we're trying to fix in #3988) is kept in
GpuEventSynchronizer, and currently left unchanged (1:1 for OpenCL and SYCL,
very relaxed rules for CUDA).

Refs #2527, #3988.

Prepares for the GROMACS 2021.3 release

Ensure restart with update groups always works

Fix mdrun -ddorder pp_pme

Update GPU CI configuration

CUDA 11.4.1 updates the most recent supported versions of gcc and
clang so we should update those also.

ROCM 4.3 is out, and is more likely than any older version to be the
one we will support in 2022, so we should update them.

Several recent bug fixes in hipSYCL are worth having to avoid needing
to work around them in other changes.

Previously we re-used the hipsycl container for clang-tidy with CUDA,
but as we wish that to remain at clang version 11, we need an alternative
solution. Simplest would be to add CUDA to the linting image, but that
also builds LLVM with TSAN. As that TSAN build didn't work out of the box
on a CUDA base image, I split the TSAN image off from the image that does
linting, and added CUDA to the latter.

Add workaround for CorrelationsTest with Intel ICPX

Add basic tests for GpuEventSynchronizer

Move the ownership of the xUpdatedOnDevice event to update constraints

Make ExpfitTest.EffnERREST well defined

The original test was poorly constructed, and the τ₂ fitting parameter
was not defined for the test data: with α = 1, it could take any value
and the function would fit just the same.

Here, we replace the test data with the one where 0<α<1, and thus both
τ₁ and τ₂ are well-defined.

Also updated the documentation to reflect the actual function used in
the code: it was missing a prefactor of 2.

Closes #3955

Add Urey-Bradley listed interaction to nblib

Random cosmetic fixes

Add common header to GpuEventSynchronizer

Move the pre-processor conditional to a common header, that can be
included unconditionally. Will simplify code unification further on.

Updates for updated Python version requirement.

* Update documented required Python version.
* Remove some references to Python 3.6 and 3.7.
* Cite issues where appropriate.

Refs #3716

Add `breathe` package to CI Python venvs.

It seems likely that at least one of the projects documented in the
GROMACS manual will want to incorporate documentation from C++ headers
(Doxygen) into the Sphinx pages. We can update the container build
script in advance so that the package will be available for
experimentation and testing after the next container rebuild.

See also #2698

Remove support for Python 3.6

This version goes end-of-life before we will release GROAMCS 2022, so
we should stop testing it. We decided this a long time ago, but didn't
actually do it.

Refs #3708

grompp no longer modifies nstcomm

Updates to nblib listed forces kernels

Rework nblib kernel checks and setup code

Update regular CI images to OneAPI 2021.3.0

Do not allow AtomLocality::All for coordinates and velocities transfer.

1. Use AtomLocality:Local instead of AtomLocality::All in PME-only ranks
   and in PME tests.
2. Assert on using AtomLocality::All for positions and velocities transfers,
   print verbose message on assert.

This reduces the number of possible streams used in StatePropagatoerData, hence
reduces its complexity. In preparation for buffer state tracking.

Refs. #3323

Refs. #3020

Fix MSVC error in toppush.cpp

Provide better defaults for GMX_GPU_NB_CLUSTER_SIZE with SYCL

Now that we know whether a SYCL configuration targets hipSYCL and if
so for which hardware, we can provide a default non-bonded cluster
size that works well in all SYCL cases.

Refs #3965

Remove duplicate waiting for coordinates

Fix bugs in gmx chi and gmx angle

Some of these bugs have been present for several years. They were
introduced during refactorings in commits aa286ff6, 73b83321, and
89b03397.

Added class for generating standard CP2K input

Nblib doc fixes

Update some doc strings to make future merges more concise.

Fix few issues with open-source Intel LLVM (Clang 13)

- Add -Wno-reserved-identifier to avoid false-positive with _real
  user-defined literal (https://bugs.llvm.org/show_bug.cgi?id=50644).
- Change the alignment-checking code to avoid "warning: performing
  pointer subtraction with a null pointer may have undefined behavior".
- Update some comments about SYCL version quirks.

There are some deprecation warnings related to SYCL naming being brought
into agreement with the final SYCL2020 standard, but those will be fixed
once they appear in any official release.

Allow gmxapi Python package to build with all 2021 releases.

Add hipSYCL sanity check

Improve testutils infrastructure

Add SYCL SETTLE kernel

Refs #3931

Fix GMX_PYTHON_PACKAGE option.

Only enable GPU FFT test for build supporting it

Minor clean-up to sample_restraint tests.

Avoid expensive atom-type lookups in grompp

For each dihedral interaction for which parameters needed to be looked
up, many non-inline function calls were made to see if dihedral types
matched. Instead they are now compared as two ranges with std::equal.

Add a helpful dev docs link.

Try to connect the contribution guidelines better
to the requirements on acceptable commits.

Add a LICENSE file for gmxapi.

Add a LICENSE file to python_packaging/src/ so that
packages generated from this directory conform to
[packaging guidelines](https://packaging.python.org/tutorials/packaging-projects/#creating-a-license).

Refs #4102

Add `long_description` to gmxapi package.

Ref #4102

Lift atom type lookup out of inner loops

Grompp loops over molecule types, looking up force parameters for each
interaction from the associated bond types for the system (e.g. from
the force field). The atom types for that interaction have to be
looked up from the atoms for the molecule type that contains it, but
this should be done only once, before considering each bond type as a
possible match. The lookups for both A- and B-state parameters are now
lifted out of the loops over bond types, simplifying the logic and
significantly improving performance.

Once that is done, one custom function could be replaced by
std::equal.

Improved some variable naming

Apply 1 suggestion(s) to 1 file(s)

Remove leftover licenses for optional and string_view

After 175d3bb6 (MR !98), we don't bundle std::optional and
std::string_view, so no need to mention licenses of their reference
implementations.

Add GPU 3D FFT tests

Update bundled GoogleTest to current HEAD

Reorganize COPYING file for auto-detection of licenses

It seems our previous complex COPYING file that did not start with
the LGPL license causes GitLab to detect our license as "other", rather
than an OSI-approved one. By clearly putting the LGPL license first
in the file and then add the more permissible exceptions we allow
at the end we avoid this.

Remove StatePropagatorDataGpu::getVelocitiesReadyOnDeviceEvent

It was unused, since we were using the copied data only in the stream in
which we did the copy. So, the synchronization was performed implicitly,
with no need to wait for the event.

Also added a comment about a rare redundant copy.

Refs #3988

Update to support CUDA 11.4

Update to test the newest supported CUDA now that it can support GROMACS

Refs #3912

Add LICENSE file to make GitLab detect LGPL v2.1

Fix style violations

Remove MPI comm from GPU PME-PP force transfer initiation

Only define GMX_SYCL_DPCPP macro in SYLC builds

Previously the macro could get defined not only when the build was not a
hipSYCL build, but also when the build was not a SYCL build at all.

Simplify short-circuit logic in grompp

This is simpler to understand, and also prepares for a future
change that removes bB while improving performance.

Check nvcc accepts flags before using them

Optimize grompp VDW parameter-generation allocations

Remove duplicate waiting for coordinates

Fix Doxygen issues introduced in 997d9e02 (MR !1783)

Fix modular simulator MTTK

The modular simulator MTTK pressure coupling was slightly off due to
different reasons:
* The PV term was taken at the time of the update of the extended
  degree of freedom rather than at the time of reporting. This leads to
  slight differences when using nsttcoupling and nstpcoupling > 1.
* The NH chain coupled to the thermostat would alter the extended
  variable and hence the integral before it is reported. This NHC update
  already belongs to the next step, so shouldn't change the reported
  integral.
* The NH chain couple to the thermostat would not update the propagator
  scaling. Again, this leads to very slight differences when using
  nsttcoupling > 1.

These slight inaccuracies went undetected because they are minimal in
normal usage. To emphasize them in testing, the compressibility in the
simulator equivalence tests was strongly increased. This shows the
differences and would make the tests fail without the fixes in the
current change.

To implement these changes, the responsibility to calculate the
integral and set the scaling factor was moved from the elements to the
MTTK data structure which is accessed by all elements changing the
external degree of freedom and the box.

Revert "GROMACS 2021.3 release"

This reverts commit c83234f62deaab566d0c4ccbef908adebfbe0bc4.

Avoid passing a temporary object to emplace_back

GROMACS 2021.3 release

Use MDP database for simulator equivalence tests

Changes the simulator equivalence tests to use the additional MDP
database introduced recently. This will allow to test algorithms
requiring additional MDP parameters more cleanly.

This also changes the MDP database behavior to overwrite default
parameters. This does not change any current behavior, as in the
current usage, no parameters are defined in both the default and
the additional parameter sets. Moving forward, it's more likely
that we will want to explicitly overwrite default parameters with
the additional database rather than have parameter redefinitions
silently fail.

Test with newer compilers in CI

Now compiles with clang 12 and gcc 11 without warnings in various
configurations. Did not update santizer configurations as they're
already on clang 11.

Adjusted various CI job intents to be either accurate or placed on
more suitable configurations.

Eliminated one build container, since we target only gcc versions that
are most recent supported, oldest supported, and if needed also those
required for e.g. support of most recent and oldest supported CUDA
versions.

Code changes mostly related to false positives.

Suppresses a false-positive warning in GoogleTest

Avoids warnings about loop variables referring to temporaries. Our
usage was safe, but the warning is potentially valuable elsewhere, so
we should respect it.

Rewrote a test with idiomatic value-parametrization to avoid a warning
about a reference to a temporary

Refs #3912