Introduce explicit parameters for gapsys-sc.

Remove SoftcoreType::None.

Swap position of sc-function in readir.

Reverse order of conditions.

Fix use of literals.

Remove changes to the test cases.

Add gapsys softcore function.

Change nonbonded fep-kernel to allow to use both, standard
beutler function as well as new gapsys function. Add new
input name to choose one of these.

Fix force reduction dependencies with process-MPI and PP-PME on same rank

Force reduction dependency on PME force computation was not being set in case of process-MPI when PP and PME are on same rank.

Refs: #4189

QMMM description and release notes update

Add transformation pull coord mdp examples

Improve transformation coordinate expression checks

Change exceptions for transformation expression evaluation from
"internal bug" to "user input inconsistency", as these with throw
with incorrect or inconsistent user input.

Added explicit check for quotes, as that might confuse users.

Avoid overflows in free-energy kernel

SYCL: remove (un)flatten

SYCL: 3D FFT using oneMKL

Requires Intel oneAPI binary installation (the open-source version of
oneMKL does not support FFT yet).

Only in-place transforms are supported, du to a bug in MKL up to, at
least, 2021.4.0.

Also removes errorneous buffer clearing on "in-place" codepath in FFT tests.

Refs #3927.

Fix clang format and suppres clang lint warning

Pad RVec force buffer in ThreadForceBuffer

Add hipSYCL support to GPU 3DFFT

Made the testing of the complex-to-real transform less likely to pass
when there's a problem.

Refs #3965

Add missing includes

Relax requirement for bonded atom type names

Activate QMMM MDModule

Avoid MPI sync for PME force sender GPU scheduling code and thread API calls

Replaces synchronous PME-PP MPI comms of event at every step with
exchange of event address and associated flag only on search
steps. The PP rank now ensures that event has been recorded before
enqueueing by spinning on flag written by PME rank in shared CPU
memory. This allows not only async progress by PME rank, but also
OpenMP parallelization of cudaMemcpy launches to the multiple PP
ranks, such that the CUDA API overheads will overlap.

Partly addresses #4047

Use reference data in constraints tests

Update links to googletests and remove some refs to Jenkins and Gerrit from the docs

- Update links to googletests framework
- Remove some more mentioning of Jenkins and Gerrit
- Remove migrating from Gerrit section

Clang-format of nb-fep-kernel

SIMD support for nonbonded free-energy kernels

Allow disabling cj prefetch in the CUDA nbnxm kernels

Build internal muparser more simply

Add HeFFTe based FFT backend

Implementation of QMMM, QMMMSimulationParameterSetup and QMMMOutputProvider classes

Fix stepWork.useGpuXHalo on search steps

The value of stepWork.useGpuXHalo was not correct on search steps when
mdrun always falls back to comunicating over the CPU.

[RFC] Change nonbonded-fep-test reference data to analytical Ewald

The nonbonded-fep-test reference data for Ewald type interactions
was generated using tabulated interactions. There have a max error
of 0.1*ewald_trol=1e-6. In preparation for the switch to analytical
corrections, the reference data is now generated with analytical
corrections. The required a tolerance in double precision of 1e-6.

Use ObservablesReducer for LINCS RMSD computation

Use term "collective variable" in manual

Replace DOMAINDECOMP macro by a renamed function

SYCL PME Gather kernel

Improve ObservablesReducer and its handling

Fix compilation issues with master branch when OpenMPI is built with --enable-cxx-exceptions option

Also use DD partitioning in serial

Add manual subsection for transformation pull coord

Added QMMMOptions class for managing mdp and KVT I/O

Remove unused declaration of function

This was left over from an early stage of development. MSVC complains
that it can't find a definition when instantiating the template class.

Fix clang-tidy warnings in pme and sim_utils

1. The global non-const variable was temporary introduced to able to
   test the PME SYCL spread kernel independently of the rest of the PME
   (f190fa59b4a72390b2aea2e74b4960941098ce4d). NOLINT should be
   temporary fix as this variable will go away once the rest of PME
   is implemented in SYCL.
2. The conditionals in sim_utils wrap the same copy operation after
   4d38a0d65839f951bf275e465f8fb65a35b60b8d. So these conditional can
   now be combined.

Fix incorrect event dependency of GPU update

With separate PME ranks, staged communication and GPU update, the final
forces are produced on the CPU and re-uploaded to the GPU prior to
update. This upload was done on a "All" locality leading to an incorrect
dependency on an event corresponding to the GPU reduction.
This leads ot a logic error and incorrect synchronization, but not
incorrect results as the "All" locality copy is done on the update
stream, hence implicit dependency applies.

This change moves this special case copy to the same locality used in
other force host to device copies to eliminate the bug.

Fixes #4130

Initialize t_inputrec properly

Refs #4169

Use ObservablesReducer for check of DD bonded interaction count.

The lifetime of the local and global state has been shifted, so that
the LocalTopologyChecker can now be initialized with the handles it
might need to use to report an error, even though one of those handles
will not contain valid data until after the first DD partition.

This simplifies ComputeGlobalsElement from the modular simulator.

The changes to StatePropagatorData motivated by this change reduce the
number of copies of x and v vectors that were being done every
partitioning step. Those are needed only when the state backup is
taken so that trajectory output can be handled correctly.

The check is now implemented for minimizers, where previously it
was not.

Refs #3887 #3421

Make CpuPpLongRangeNonbondeds class

The CpuPpLongRangeNonbondeds class replaces the calculateLongRangeNonbondeds
function. Now simulation constant data is passed to a constructor,
domain constant data is passed to an updateAfterPartition function,
and per step data is passed to a calculate function.

Added QMMMForceProvider class for QMMM MdModule

Remove useless top level nblib force calculator

The top level nblib force calculator was a place holder in
anticipation of a unification of CPU and GPU force calculator
backends, which did not occur. As such it is removed since it only
adds maintenance burden and not utility.

Also removed is a useless class holding the non-bonded force
calculator setup director, which is now a free function.

Update MPI dependence for `gmxapi` target.

Use the `MPI::MPI_CXX` target instead of deprecated FindMPI output variables.

Ref #3672.

Fix compilation with GMX_USE_MUPARSER=None

Without muparser enabled, it is in invalid to catch its exception.

Related #4165

Fix out of bound vector access in vsites

operator[] is invalid for one past the last element. Using
the pointer to it as end-pointer is fine.

Found by Microsoft STL debug iterator.

Various minor nblib updates

A small selection of miscellaneous changes that don't fit in as part
of any larger MR.

Add heffte package in gcc-7-cuda-11.0 container

Remove ResidueTypeMap dependency from gmx chi

This dependency had the sole effect of making the tool harder to use
when residue names unknown to GROMACS were used. The dihedrals are
found from the atom names, and the residue name is used only for
reporting results, so there is no reason to require the user to add
the name to an arbitrary list.

Introduce expanded ensemble in modular simulator

SYCL PME Spread kernel

Fix compilation with oneAPI 2021.2 and earlier

We were using some PP defines introduced only in 2021.3. And, since they
are not standard, now we play it safe and don't use them if they are not
defined.

Bug introduced in MR !1888 (2861057f).

Fix rare UB / assertion failure in MdlibUnitTest

In LeapFrogHostTestRunner::integrate, we were checking whether
testData->mdAtoms_.ptype is null, but we were not initializing this
field.

This was leading to occasional assertion failure in
ArrayRef constructor from this pointer when begin+size was overflowing,
which caused end < begin.

Only unit tests were affected.

Find MPI quietly on second pass

GROMACS expects package detection to be quiet upon repeat calls
to cmake, unless something has actually changed. It's fine to report
details thoroughly the first time through, however.

The previous code seemed to conflate verbosity with enforcing
requirements, which is now clearer.

Expanded the GetIrTest behavior to enable efficient testing

Prepare ThreadedForceBuffer for FE kernel use

Made the energy terms optional.
Skip reductions and allow nullptr/empty input for buffers that are
not used according to the stepwork flags.
Instantiate RVec versions of the templated types.

Add Ewald coefficients to nonbonded fep test

Refs #4151

Change hpccm scripts to add heffte package

SYCL: prepareGpuKernelArgument/launchGpuKernel

Implement the functions for abstracting the kernel launch.

The abstraction is not idiomatic in SYCL, but it is conformant with what
is used in CUDA and OpenCL for PME kernel launches.

Refs #3927.

Fix Clang warnings for built-in XDR libraries

Minor fixes to comments and Doxygen

- Fix issue number in cmake/gmxManageNvccConfig.cmake.
- Fix use of \tparam in CUDA code.

Miscellaneous doxygen fixes

Use a pointer to kernel parameters instead of a reference

clang-tidy complains that the reference is not const.

Introduces in 98b7831420261dba9746da962551eb4376c77e3a

Eliminate GMX_MIMIC symbol from source code

Add SYCL compiler and MKL versions

Add SYCL implementation of LINCS

Fix clang warnings

Merge remote-tracking branch 'origin/release-2021' into master

Conflicts:
cmake/gmxVersionInfo.cmake
src/gromacs/ewald/pme_gather.cu
src/gromacs/ewald/pme_gpu_calculate_splines.cuh
src/gromacs/ewald/pme_gpu_internal.cpp
src/gromacs/ewald/tests/pmetestcommon.cpp
src/gromacs/gmxana/gmx_cluster.cpp
src/gromacs/gmxpreprocess/gen_vsite.cpp
src/gromacs/simd/support.cpp
src/gromacs/tools/trjconv.cpp

Add advanced event consumption accounting to GpuEventSynchronizer

Reenable GPUs in CI

Revert "Temporarily lift requirement to detect GPUs in CI"

This reverts commit b5f89c1771eda9912d94672bae31e611da9b4107.

Not needed after CI fix.

Added class for making QMMM-related topology modifications

Clang-format

Simplify MPI implementation checks.

Calculate FEP (GPU) splines for all atoms.

Since charges can be 0 in one state, but not in the other, the splines
still need to be calculated. This was already ensured by c_skipNeutralAtoms
being false, but this commit makes that more clear.

Refs: #4139

Add release notes for transformation pull coordinate

Fix issues from downstream patches and suppressions

Added CP2K related options to CMake files

Allow flexible requirements for gmxManageMPI.cmake

Remove MPI_LINKER_FLAGS.

GROMACS used MPI_LINKER_FLAGS before MPI_LINK_FLAGS
was standard, presumably. MPI_LINK_FLAGS has been superseded
by MPI_CXX_LINK_FLAGS.

Ref #3672

Always call `find_package(MPI)`.

It is getting increasingly hard to coordinate MPI requirements across
the toolkit that a GROMACS or its CMake infrastructure may be involved
in.

This change allows is to call `find_package(MPI)` exactly once in the
GROMACS CMake configuration and begins to normalize infrastructure on
the modern CMake FindMPI.cmake module, which has been substantially
updated since the last major revisions to gmxManageMPI.cmake.

Also, try to decouple and compartmentalize GMX_MPI, GMX_LIB_MPI, and
the presence of MPI in the build system.

Follow-up changes can continue to refine the dependent use cases and
allow more coordination of the different MPI requirements in different
build configurations.

Refs #3672
Also refs #3776

Normalize indentation.

Make followup changes more readable and focused.

Fix GMX_VERSION_STRING_OF_FORK with REGRESSIONTEST_DOWNLOAD

Previously, the name of the fork was used to try to download
the normal regressiontests, which can't be found.

Compute correct dV/dl when nstcalcenergy % nstdhdl != 0

Word SIMD report better

Fixes #4135

Fix misc-misplaced-const clang-tidy warning

The problem was introduced in 4a4ade89 (MR !1903).

As MPI_Comm is typedef'd as a pointer to a structure, declaring it const
would be of little use: the pointer itself would be const, not the data
it is pointing to.

Minor improvements to SYCL utils and related clean-up

- ewald/pme_gpu_types_host.h: Remove unused forward declaration.
- gpu_utils/devicebuffer_sycl.h: Allow casting our "blackhole" class to
  nullptr.
- gpu_utils/sycl_kernel_utils.h: Make subGroupBarrier usable with any
  group dimension.

In preparation for #3927.

Fix typo in selectSpreadKernelPtr causing wrong kernel to be selected

Fixes #4138

Extract ThreadForceBuffer from listed forces

Enable GPU PME unit tests

Redesign GPU FFT abstraction
- Modify interface to allow distributed FFT implementation in future
- Provide support for choosing FFT backend at runtime. E.g. CUFFT backend can be instantiated for single-GPU FFT but HeFFTe can be instantiated in case PME decomposition is used.

This is a pre-requisite for GPU PME-decomposition implementation.

Refs #3884

Introduce plumbing for ObservablesReducer

Replace ResidueTypeMap with std::unordered_map

Describe procedure and labeling for MR closure.

Use latest cmake for ASAN configuration