Fix stepWork.useGpuXHalo on search steps

The value of stepWork.useGpuXHalo was not correct on search steps when
mdrun always falls back to comunicating over the CPU.

[RFC] Change nonbonded-fep-test reference data to analytical Ewald

The nonbonded-fep-test reference data for Ewald type interactions
was generated using tabulated interactions. There have a max error
of 0.1*ewald_trol=1e-6. In preparation for the switch to analytical
corrections, the reference data is now generated with analytical
corrections. The required a tolerance in double precision of 1e-6.

Use ObservablesReducer for LINCS RMSD computation

Use term "collective variable" in manual

Replace DOMAINDECOMP macro by a renamed function

SYCL PME Gather kernel

Improve ObservablesReducer and its handling

Fix compilation issues with master branch when OpenMPI is built with --enable-cxx-exceptions option

Also use DD partitioning in serial

Add manual subsection for transformation pull coord

Added QMMMOptions class for managing mdp and KVT I/O

Remove unused declaration of function

This was left over from an early stage of development. MSVC complains
that it can't find a definition when instantiating the template class.

Fix clang-tidy warnings in pme and sim_utils

1. The global non-const variable was temporary introduced to able to
   test the PME SYCL spread kernel independently of the rest of the PME
   (f190fa59b4a72390b2aea2e74b4960941098ce4d). NOLINT should be
   temporary fix as this variable will go away once the rest of PME
   is implemented in SYCL.
2. The conditionals in sim_utils wrap the same copy operation after
   4d38a0d65839f951bf275e465f8fb65a35b60b8d. So these conditional can
   now be combined.

Fix incorrect event dependency of GPU update

With separate PME ranks, staged communication and GPU update, the final
forces are produced on the CPU and re-uploaded to the GPU prior to
update. This upload was done on a "All" locality leading to an incorrect
dependency on an event corresponding to the GPU reduction.
This leads ot a logic error and incorrect synchronization, but not
incorrect results as the "All" locality copy is done on the update
stream, hence implicit dependency applies.

This change moves this special case copy to the same locality used in
other force host to device copies to eliminate the bug.

Fixes #4130

Initialize t_inputrec properly

Refs #4169

Use ObservablesReducer for check of DD bonded interaction count.

The lifetime of the local and global state has been shifted, so that
the LocalTopologyChecker can now be initialized with the handles it
might need to use to report an error, even though one of those handles
will not contain valid data until after the first DD partition.

This simplifies ComputeGlobalsElement from the modular simulator.

The changes to StatePropagatorData motivated by this change reduce the
number of copies of x and v vectors that were being done every
partitioning step. Those are needed only when the state backup is
taken so that trajectory output can be handled correctly.

The check is now implemented for minimizers, where previously it
was not.

Refs #3887 #3421

Make CpuPpLongRangeNonbondeds class

The CpuPpLongRangeNonbondeds class replaces the calculateLongRangeNonbondeds
function. Now simulation constant data is passed to a constructor,
domain constant data is passed to an updateAfterPartition function,
and per step data is passed to a calculate function.

Added QMMMForceProvider class for QMMM MdModule

Remove useless top level nblib force calculator

The top level nblib force calculator was a place holder in
anticipation of a unification of CPU and GPU force calculator
backends, which did not occur. As such it is removed since it only
adds maintenance burden and not utility.

Also removed is a useless class holding the non-bonded force
calculator setup director, which is now a free function.

Update MPI dependence for `gmxapi` target.

Use the `MPI::MPI_CXX` target instead of deprecated FindMPI output variables.

Ref #3672.

Fix compilation with GMX_USE_MUPARSER=None

Without muparser enabled, it is in invalid to catch its exception.

Related #4165

Fix out of bound vector access in vsites

operator[] is invalid for one past the last element. Using
the pointer to it as end-pointer is fine.

Found by Microsoft STL debug iterator.

Various minor nblib updates

A small selection of miscellaneous changes that don't fit in as part
of any larger MR.

Add heffte package in gcc-7-cuda-11.0 container

Remove ResidueTypeMap dependency from gmx chi

This dependency had the sole effect of making the tool harder to use
when residue names unknown to GROMACS were used. The dihedrals are
found from the atom names, and the residue name is used only for
reporting results, so there is no reason to require the user to add
the name to an arbitrary list.

Introduce expanded ensemble in modular simulator

SYCL PME Spread kernel

Fix compilation with oneAPI 2021.2 and earlier

We were using some PP defines introduced only in 2021.3. And, since they
are not standard, now we play it safe and don't use them if they are not
defined.

Bug introduced in MR !1888 (2861057f).

Fix rare UB / assertion failure in MdlibUnitTest

In LeapFrogHostTestRunner::integrate, we were checking whether
testData->mdAtoms_.ptype is null, but we were not initializing this
field.

This was leading to occasional assertion failure in
ArrayRef constructor from this pointer when begin+size was overflowing,
which caused end < begin.

Only unit tests were affected.

Find MPI quietly on second pass

GROMACS expects package detection to be quiet upon repeat calls
to cmake, unless something has actually changed. It's fine to report
details thoroughly the first time through, however.

The previous code seemed to conflate verbosity with enforcing
requirements, which is now clearer.

Expanded the GetIrTest behavior to enable efficient testing

Prepare ThreadedForceBuffer for FE kernel use

Made the energy terms optional.
Skip reductions and allow nullptr/empty input for buffers that are
not used according to the stepwork flags.
Instantiate RVec versions of the templated types.

Add Ewald coefficients to nonbonded fep test

Refs #4151

Change hpccm scripts to add heffte package

SYCL: prepareGpuKernelArgument/launchGpuKernel

Implement the functions for abstracting the kernel launch.

The abstraction is not idiomatic in SYCL, but it is conformant with what
is used in CUDA and OpenCL for PME kernel launches.

Refs #3927.

Fix Clang warnings for built-in XDR libraries

Minor fixes to comments and Doxygen

- Fix issue number in cmake/gmxManageNvccConfig.cmake.
- Fix use of \tparam in CUDA code.

Miscellaneous doxygen fixes

Use a pointer to kernel parameters instead of a reference

clang-tidy complains that the reference is not const.

Introduces in 98b7831420261dba9746da962551eb4376c77e3a

Eliminate GMX_MIMIC symbol from source code

Add SYCL compiler and MKL versions

Add SYCL implementation of LINCS

Fix clang warnings

Merge remote-tracking branch 'origin/release-2021' into master

Conflicts:
cmake/gmxVersionInfo.cmake
src/gromacs/ewald/pme_gather.cu
src/gromacs/ewald/pme_gpu_calculate_splines.cuh
src/gromacs/ewald/pme_gpu_internal.cpp
src/gromacs/ewald/tests/pmetestcommon.cpp
src/gromacs/gmxana/gmx_cluster.cpp
src/gromacs/gmxpreprocess/gen_vsite.cpp
src/gromacs/simd/support.cpp
src/gromacs/tools/trjconv.cpp

Add advanced event consumption accounting to GpuEventSynchronizer

Reenable GPUs in CI

Revert "Temporarily lift requirement to detect GPUs in CI"

This reverts commit b5f89c1771eda9912d94672bae31e611da9b4107.

Not needed after CI fix.

Added class for making QMMM-related topology modifications

Clang-format

Simplify MPI implementation checks.

Calculate FEP (GPU) splines for all atoms.

Since charges can be 0 in one state, but not in the other, the splines
still need to be calculated. This was already ensured by c_skipNeutralAtoms
being false, but this commit makes that more clear.

Refs: #4139

Add release notes for transformation pull coordinate

Fix issues from downstream patches and suppressions

Added CP2K related options to CMake files

Allow flexible requirements for gmxManageMPI.cmake

Remove MPI_LINKER_FLAGS.

GROMACS used MPI_LINKER_FLAGS before MPI_LINK_FLAGS
was standard, presumably. MPI_LINK_FLAGS has been superseded
by MPI_CXX_LINK_FLAGS.

Ref #3672

Always call `find_package(MPI)`.

It is getting increasingly hard to coordinate MPI requirements across
the toolkit that a GROMACS or its CMake infrastructure may be involved
in.

This change allows is to call `find_package(MPI)` exactly once in the
GROMACS CMake configuration and begins to normalize infrastructure on
the modern CMake FindMPI.cmake module, which has been substantially
updated since the last major revisions to gmxManageMPI.cmake.

Also, try to decouple and compartmentalize GMX_MPI, GMX_LIB_MPI, and
the presence of MPI in the build system.

Follow-up changes can continue to refine the dependent use cases and
allow more coordination of the different MPI requirements in different
build configurations.

Refs #3672
Also refs #3776

Normalize indentation.

Make followup changes more readable and focused.

Fix GMX_VERSION_STRING_OF_FORK with REGRESSIONTEST_DOWNLOAD

Previously, the name of the fork was used to try to download
the normal regressiontests, which can't be found.

Compute correct dV/dl when nstcalcenergy % nstdhdl != 0

Word SIMD report better

Fixes #4135

Fix misc-misplaced-const clang-tidy warning

The problem was introduced in 4a4ade89 (MR !1903).

As MPI_Comm is typedef'd as a pointer to a structure, declaring it const
would be of little use: the pointer itself would be const, not the data
it is pointing to.

Minor improvements to SYCL utils and related clean-up

- ewald/pme_gpu_types_host.h: Remove unused forward declaration.
- gpu_utils/devicebuffer_sycl.h: Allow casting our "blackhole" class to
  nullptr.
- gpu_utils/sycl_kernel_utils.h: Make subGroupBarrier usable with any
  group dimension.

In preparation for #3927.

Fix typo in selectSpreadKernelPtr causing wrong kernel to be selected

Fixes #4138

Extract ThreadForceBuffer from listed forces

Enable GPU PME unit tests

Redesign GPU FFT abstraction
- Modify interface to allow distributed FFT implementation in future
- Provide support for choosing FFT backend at runtime. E.g. CUFFT backend can be instantiated for single-GPU FFT but HeFFTe can be instantiated in case PME decomposition is used.

This is a pre-requisite for GPU PME-decomposition implementation.

Refs #3884

Introduce plumbing for ObservablesReducer

Replace ResidueTypeMap with std::unordered_map

Describe procedure and labeling for MR closure.

Use latest cmake for ASAN configuration

Add support for transformation pull coordinates

Minor clean-up and optimization in DD topology

Use better data structure to implement ResidueType

Now insertions and lookups occur in constant time, rather than linear
time. This greatly improves the many lookups needed in grompp to
build the ndx file.

Renamed entry field as entries, which works better for naming a
container.

Revert "Revert "Add muparser and CMake handling""

This reverts commit 4bfdcf2ccb21b5d0702da65083e52944ca112588.

We want to add this functionality again.

Fix grompp note on comm removal with posres

The grompp note with position restraints and center of mass motion
removal checked for absolute reference instead of COMM removal.
This bug was introduced in commit 0c7124d7 when fixing #3996.

Fixes #4128

Make orires work with DD particle reordering

Get rid of sycl::buffer::reinterpret

This functionality is not properly supported in hipSYCL yet, and was
only needed in order to use atomic accessors. After fully switching to
atomic_ref, we can directly use buffers of Float3.

Closes #4063.

SYCL: Fully switch to atomic_ref

Removes PME rank dependency on Non-local X H2D copy when  buffer ops are on GPU but, Halo exchange happens over host-MPI.

This was not a problem until now because because !stepWork.haveGpuPmeOnThisRank will always evaluate to true in case of domain decomposition as PME will always be on a separate rank.
But now with PME decomposition this bug gets exposed.

Refs #4125

Disable DLB if GPU direct communication Halo exchange is enabled.

Document Status labels for issues.

Add missing Doxygen for SYCL functions and some others

Sometimes it was enough to convert existing comments to Doxygen.

Now there are no SYCL-related warnings when building webpage.

Also fixed a bit of trivial clang-tidy complaints.

Added toUpperCase and toLowerCase transformations of string

Make the output of the constraints tests readable

In parametrized tests, the failed runs output parameters. In order
for them to be meaningfull for human, the parameter types should be
provided with function that converts them to strings. This adds
these functions for t_pbc and ConstraintsTestSystem types in
constraints tests.

Add several more listed forces interaction types to nblib

Find rocFFT for hipSYCL build when targeting AMD devices

We need this so that we can call rocFFT for PME GPU 3D FFT

Refs #3965

Fixed typos in replica exchange formulas

Enable atom reordering in WholeMoleculeTransform

Add back original index file content that was accidentally overwritten by MR 1761

Makes spc216.ndx functional again.

Use better data structures in gmx chi

This removes part of the dependency of gmx chi histogramming from
ResidueType handling, which will permit changes to the latter that
will benefit both grompp and pdb2gmx

Replaced vectors that needed a stable numerical index to look up a
residue name with a map that uses the residue name to do the look up.

Removed capabilities of ResidueType that are no longer used.

Simplify gmx chi

This change is pure refactoring that prepares for performance
improvements to ResidueType handling that will benefit both grompp and
pdb2gmx.

Use vector and ArrayRef to replace C-style memory handling. Some
histogram vectors were being over-allocated by 1, which is no longer
safe to do now that the size of the vector is relevant when looping,
so those are reduced.

Eliminated and reduce scope of iteration variables. Removed an unused
function and some debug code in comments. Used const references rather
than pointers where possible. Used range-based for and algorithms in
some places that are now possible to do so.

Add tests for gmx chi

Fixed many memory leaks, unfortunately needing to add a new function
in order to work around the use of read_first_x().

Formally documented read_first_x() and read_next_x() as deprecated, as
the implementation of close_trx() in trxio.cpp has mentioned for a
long time.

Avoid using cr->duty in setupStepWorkload

Revert "Add workaround for CorrelationsTest with Intel ICPX"

This reverts commit 79fa11933f.

The proper fix was introduced in f3adc2fabe (MR !1794), and
then merged into master, making the workaround from 79fa11933f (MR
!1869) obsolete.

Refs #3955.

Use workload flags more in do_md()

Fix stale link in warning message.

Pointed out by user, needs a matching fix in the regression tests.

Add separate PME rank SimluationWorkload flags

Added the complete set of flags that indicate whether separate PME ranks
are used and what type of PP-PME communication is used.

These flags allow simplifications in the force schedule as well as reducing
the use of the confusingly defined cr->duty for now in do_force().

The additional benefit is a reduced reliance on passing around commrec
for checks related to parallelization.

Refs #3913

Update Python package version to account for merge from gmxapi 0.2.2

Merge remote-tracking branch 'origin/release-2021' into merge-2021-into-master

Resolved conflicts:
 - cmake/gmxVersionInfo.cmake
 - docs/CMakeLists.txt
 - python_packaging/src/gmxapi/export_system.cpp
 - python_packaging/src/setup.py
 - src/gromacs/domdec/domdec.cpp
 - src/gromacs/gmxana/gmx_chi.cpp