SYCL PME Spread kernel

Fix compilation with oneAPI 2021.2 and earlier

We were using some PP defines introduced only in 2021.3. And, since they
are not standard, now we play it safe and don't use them if they are not
defined.

Bug introduced in MR !1888 (2861057f).

Fix rare UB / assertion failure in MdlibUnitTest

In LeapFrogHostTestRunner::integrate, we were checking whether
testData->mdAtoms_.ptype is null, but we were not initializing this
field.

This was leading to occasional assertion failure in
ArrayRef constructor from this pointer when begin+size was overflowing,
which caused end < begin.

Only unit tests were affected.

Find MPI quietly on second pass

GROMACS expects package detection to be quiet upon repeat calls
to cmake, unless something has actually changed. It's fine to report
details thoroughly the first time through, however.

The previous code seemed to conflate verbosity with enforcing
requirements, which is now clearer.

Expanded the GetIrTest behavior to enable efficient testing

Prepare ThreadedForceBuffer for FE kernel use

Made the energy terms optional.
Skip reductions and allow nullptr/empty input for buffers that are
not used according to the stepwork flags.
Instantiate RVec versions of the templated types.

Add Ewald coefficients to nonbonded fep test

Refs #4151

Change hpccm scripts to add heffte package

SYCL: prepareGpuKernelArgument/launchGpuKernel

Implement the functions for abstracting the kernel launch.

The abstraction is not idiomatic in SYCL, but it is conformant with what
is used in CUDA and OpenCL for PME kernel launches.

Refs #3927.

Fix Clang warnings for built-in XDR libraries

Minor fixes to comments and Doxygen

- Fix issue number in cmake/gmxManageNvccConfig.cmake.
- Fix use of \tparam in CUDA code.

Miscellaneous doxygen fixes

Use a pointer to kernel parameters instead of a reference

clang-tidy complains that the reference is not const.

Introduces in 98b7831420261dba9746da962551eb4376c77e3a

Eliminate GMX_MIMIC symbol from source code

Add SYCL compiler and MKL versions

Add SYCL implementation of LINCS

Make static selections of large index groups work.

The default allocation size is the number of atoms, but this does not
work for large static selections. Such selections might well be used
with gmx distance for listing more pairs of atoms than there are
atoms. Fixed by allocating the needed size.

Fixes #4148

Fix clang warnings

Merge remote-tracking branch 'origin/release-2021' into master

Conflicts:
cmake/gmxVersionInfo.cmake
src/gromacs/ewald/pme_gather.cu
src/gromacs/ewald/pme_gpu_calculate_splines.cuh
src/gromacs/ewald/pme_gpu_internal.cpp
src/gromacs/ewald/tests/pmetestcommon.cpp
src/gromacs/gmxana/gmx_cluster.cpp
src/gromacs/gmxpreprocess/gen_vsite.cpp
src/gromacs/simd/support.cpp
src/gromacs/tools/trjconv.cpp

Add advanced event consumption accounting to GpuEventSynchronizer

Reenable GPUs in CI

Revert "Temporarily lift requirement to detect GPUs in CI"

This reverts commit b5f89c1771eda9912d94672bae31e611da9b4107.

Not needed after CI fix.

Added class for making QMMM-related topology modifications

Clang-format

Simplify MPI implementation checks.

Calculate FEP (GPU) splines for all atoms.

Since charges can be 0 in one state, but not in the other, the splines
still need to be calculated. This was already ensured by c_skipNeutralAtoms
being false, but this commit makes that more clear.

Refs: #4139

Add release notes for transformation pull coordinate

Fix issues from downstream patches and suppressions

Added CP2K related options to CMake files

Allow flexible requirements for gmxManageMPI.cmake

Remove MPI_LINKER_FLAGS.

GROMACS used MPI_LINKER_FLAGS before MPI_LINK_FLAGS
was standard, presumably. MPI_LINK_FLAGS has been superseded
by MPI_CXX_LINK_FLAGS.

Ref #3672

Always call `find_package(MPI)`.

It is getting increasingly hard to coordinate MPI requirements across
the toolkit that a GROMACS or its CMake infrastructure may be involved
in.

This change allows is to call `find_package(MPI)` exactly once in the
GROMACS CMake configuration and begins to normalize infrastructure on
the modern CMake FindMPI.cmake module, which has been substantially
updated since the last major revisions to gmxManageMPI.cmake.

Also, try to decouple and compartmentalize GMX_MPI, GMX_LIB_MPI, and
the presence of MPI in the build system.

Follow-up changes can continue to refine the dependent use cases and
allow more coordination of the different MPI requirements in different
build configurations.

Refs #3672
Also refs #3776

Normalize indentation.

Make followup changes more readable and focused.

Fix GMX_VERSION_STRING_OF_FORK with REGRESSIONTEST_DOWNLOAD

Previously, the name of the fork was used to try to download
the normal regressiontests, which can't be found.

Compute correct dV/dl when nstcalcenergy % nstdhdl != 0

Word SIMD report better

Fixes #4135

Fix misc-misplaced-const clang-tidy warning

The problem was introduced in 4a4ade89 (MR !1903).

As MPI_Comm is typedef'd as a pointer to a structure, declaring it const
would be of little use: the pointer itself would be const, not the data
it is pointing to.

Minor improvements to SYCL utils and related clean-up

- ewald/pme_gpu_types_host.h: Remove unused forward declaration.
- gpu_utils/devicebuffer_sycl.h: Allow casting our "blackhole" class to
  nullptr.
- gpu_utils/sycl_kernel_utils.h: Make subGroupBarrier usable with any
  group dimension.

In preparation for #3927.

Fix typo in selectSpreadKernelPtr causing wrong kernel to be selected

Fixes #4138

Extract ThreadForceBuffer from listed forces

Enable GPU PME unit tests

Redesign GPU FFT abstraction
- Modify interface to allow distributed FFT implementation in future
- Provide support for choosing FFT backend at runtime. E.g. CUFFT backend can be instantiated for single-GPU FFT but HeFFTe can be instantiated in case PME decomposition is used.

This is a pre-requisite for GPU PME-decomposition implementation.

Refs #3884

Introduce plumbing for ObservablesReducer

Replace ResidueTypeMap with std::unordered_map

Describe procedure and labeling for MR closure.

Use latest cmake for ASAN configuration

Add support for transformation pull coordinates

Minor clean-up and optimization in DD topology

Use better data structure to implement ResidueType

Now insertions and lookups occur in constant time, rather than linear
time. This greatly improves the many lookups needed in grompp to
build the ndx file.

Renamed entry field as entries, which works better for naming a
container.

Revert "Revert "Add muparser and CMake handling""

This reverts commit 4bfdcf2ccb21b5d0702da65083e52944ca112588.

We want to add this functionality again.

Fix grompp note on comm removal with posres

The grompp note with position restraints and center of mass motion
removal checked for absolute reference instead of COMM removal.
This bug was introduced in commit 0c7124d7 when fixing #3996.

Fixes #4128

Make orires work with DD particle reordering

Get rid of sycl::buffer::reinterpret

This functionality is not properly supported in hipSYCL yet, and was
only needed in order to use atomic accessors. After fully switching to
atomic_ref, we can directly use buffers of Float3.

Closes #4063.

SYCL: Fully switch to atomic_ref

Removes PME rank dependency on Non-local X H2D copy when  buffer ops are on GPU but, Halo exchange happens over host-MPI.

This was not a problem until now because because !stepWork.haveGpuPmeOnThisRank will always evaluate to true in case of domain decomposition as PME will always be on a separate rank.
But now with PME decomposition this bug gets exposed.

Refs #4125

Disable DLB if GPU direct communication Halo exchange is enabled.

Document Status labels for issues.

Add missing Doxygen for SYCL functions and some others

Sometimes it was enough to convert existing comments to Doxygen.

Now there are no SYCL-related warnings when building webpage.

Also fixed a bit of trivial clang-tidy complaints.

Added toUpperCase and toLowerCase transformations of string

Make the output of the constraints tests readable

In parametrized tests, the failed runs output parameters. In order
for them to be meaningfull for human, the parameter types should be
provided with function that converts them to strings. This adds
these functions for t_pbc and ConstraintsTestSystem types in
constraints tests.

Add several more listed forces interaction types to nblib

Find rocFFT for hipSYCL build when targeting AMD devices

We need this so that we can call rocFFT for PME GPU 3D FFT

Refs #3965

Fixed typos in replica exchange formulas

Enable atom reordering in WholeMoleculeTransform

Add back original index file content that was accidentally overwritten by MR 1761

Makes spc216.ndx functional again.

Use better data structures in gmx chi

This removes part of the dependency of gmx chi histogramming from
ResidueType handling, which will permit changes to the latter that
will benefit both grompp and pdb2gmx

Replaced vectors that needed a stable numerical index to look up a
residue name with a map that uses the residue name to do the look up.

Removed capabilities of ResidueType that are no longer used.

Simplify gmx chi

This change is pure refactoring that prepares for performance
improvements to ResidueType handling that will benefit both grompp and
pdb2gmx.

Use vector and ArrayRef to replace C-style memory handling. Some
histogram vectors were being over-allocated by 1, which is no longer
safe to do now that the size of the vector is relevant when looping,
so those are reduced.

Eliminated and reduce scope of iteration variables. Removed an unused
function and some debug code in comments. Used const references rather
than pointers where possible. Used range-based for and algorithms in
some places that are now possible to do so.

Add tests for gmx chi

Fixed many memory leaks, unfortunately needing to add a new function
in order to work around the use of read_first_x().

Formally documented read_first_x() and read_next_x() as deprecated, as
the implementation of close_trx() in trxio.cpp has mentioned for a
long time.

Avoid using cr->duty in setupStepWorkload

Revert "Add workaround for CorrelationsTest with Intel ICPX"

This reverts commit 79fa11933f.

The proper fix was introduced in f3adc2fabe (MR !1794), and
then merged into master, making the workaround from 79fa11933f (MR
!1869) obsolete.

Refs #3955.

Use workload flags more in do_md()

Fix stale link in warning message.

Pointed out by user, needs a matching fix in the regression tests.

Add separate PME rank SimluationWorkload flags

Added the complete set of flags that indicate whether separate PME ranks
are used and what type of PP-PME communication is used.

These flags allow simplifications in the force schedule as well as reducing
the use of the confusingly defined cr->duty for now in do_force().

The additional benefit is a reduced reliance on passing around commrec
for checks related to parallelization.

Refs #3913

Update Python package version to account for merge from gmxapi 0.2.2

Merge remote-tracking branch 'origin/release-2021' into merge-2021-into-master

Resolved conflicts:
 - cmake/gmxVersionInfo.cmake
 - docs/CMakeLists.txt
 - python_packaging/src/gmxapi/export_system.cpp
 - python_packaging/src/setup.py
 - src/gromacs/domdec/domdec.cpp
 - src/gromacs/gmxana/gmx_chi.cpp

Restrict scope of step and step_rel

This prevents use-before-set issues

Clarify StepWorkload doxygen

StepWorkload is rank-specific as it is also used on separate PME ranks.

Refs #3913

Add PP decomposition simluationWorkload flags

Add the complete set of flags that indicate whether there is PP
decomposition using CPU/GPU communication.

These flags allow simplifications in the force schedule.

The additional benefit is a reduced reliance on passing around commrec
for checks related to parallelization.

Refs #3913

Prepares for the branch GROMACS 2021.4

Introduce ObservablesReducer

Fix compiler warnings introduced in 8f6ea9eb6c (!1865)

- Add ifdef around clang-specific pragmas.
- Add newline at the end of file.

Simplify nblib listed forces type tests

GpuEventSynchronizer: extract backend-specific functionality

No new functionality or added checks.

Preparatory work for adding advanced event accounting logic to GpuEventSynchronizer.

DeviceEvent class contains only backend-specific functions and minimal sanity checks.
The more advanced logic (the one we're trying to fix in #3988) is kept in
GpuEventSynchronizer, and currently left unchanged (1:1 for OpenCL and SYCL,
very relaxed rules for CUDA).

Refs #2527, #3988.

Prepares for the GROMACS 2021.3 release

Ensure restart with update groups always works

Fix mdrun -ddorder pp_pme

Update GPU CI configuration

CUDA 11.4.1 updates the most recent supported versions of gcc and
clang so we should update those also.

ROCM 4.3 is out, and is more likely than any older version to be the
one we will support in 2022, so we should update them.

Several recent bug fixes in hipSYCL are worth having to avoid needing
to work around them in other changes.

Previously we re-used the hipsycl container for clang-tidy with CUDA,
but as we wish that to remain at clang version 11, we need an alternative
solution. Simplest would be to add CUDA to the linting image, but that
also builds LLVM with TSAN. As that TSAN build didn't work out of the box
on a CUDA base image, I split the TSAN image off from the image that does
linting, and added CUDA to the latter.

Add workaround for CorrelationsTest with Intel ICPX

Add basic tests for GpuEventSynchronizer

Move the ownership of the xUpdatedOnDevice event to update constraints

Make ExpfitTest.EffnERREST well defined

The original test was poorly constructed, and the τ₂ fitting parameter
was not defined for the test data: with α = 1, it could take any value
and the function would fit just the same.

Here, we replace the test data with the one where 0<α<1, and thus both
τ₁ and τ₂ are well-defined.

Also updated the documentation to reflect the actual function used in
the code: it was missing a prefactor of 2.

Closes #3955

Add Urey-Bradley listed interaction to nblib

Random cosmetic fixes

Add common header to GpuEventSynchronizer

Move the pre-processor conditional to a common header, that can be
included unconditionally. Will simplify code unification further on.

Updates for updated Python version requirement.

* Update documented required Python version.
* Remove some references to Python 3.6 and 3.7.
* Cite issues where appropriate.

Refs #3716

Add `breathe` package to CI Python venvs.

It seems likely that at least one of the projects documented in the
GROMACS manual will want to incorporate documentation from C++ headers
(Doxygen) into the Sphinx pages. We can update the container build
script in advance so that the package will be available for
experimentation and testing after the next container rebuild.

See also #2698

Remove support for Python 3.6

This version goes end-of-life before we will release GROAMCS 2022, so
we should stop testing it. We decided this a long time ago, but didn't
actually do it.

Refs #3708

grompp no longer modifies nstcomm

Updates to nblib listed forces kernels

Rework nblib kernel checks and setup code