Redevelopment of GPU Force Reduction/Buffer Ops

Introduces a new purpose-build class for GPU force reduction, which
replaces the previous force buffer ops mechanism.

Refs #3370

Clarifications for ResourceAssignment interface.

Add and update some documentation. Improve error messages. Improve
file naming.

Refs #3644

Support ResourceAssignment interface for tMPI library builds.

Fixes #3644

Allow MPI-enabled clients to provide the library communicator.

Provide library helpers and template headers to allow clients to
createContext() with explitly assigned resources.

Relates to #3644

Use MpiContextManager to provide MPI communicator.

* Give MpiContextManager a MPI_Comm and make it movable so that it can
  be provided while creating the ContextImpl.
* In gmxapi::ContextImpl::launch(), use an MpiContextManager instance as
  the source for the SimulationContext communicator.

Refs #3644

Relocate MpiContextManager.

* Change the scope of the MpiContextManager instance from the Session
  to the ContextImpl.
* Tighten up some details to help maintain clarity over subsequent
  changes.

Refs #3644

Interface updates allowing client to provide MPI communicator.

gmxapi::MpiContextManager is acquired earlier in API initialization
and has a larger role in setting up the SimulationContext as a member
of gmxapi::ContextImpl. The MpiContextManager can be acquired with
appropriate default values for the various MPI-related GROMACS build
variants, or it can be initialized with user-provided resources.

gmxapi::Context creation method has been updated to accept optional
non-default resources from the client.

A template header helps MPI-enabled client code to provide resources
to createContext(). The client requires minimal awareness of whether
GROMACS was built for thread-MPI or an installed MPI library.
Thread-MPI details are isolated from any translation unit that might
include the client MPI tool chain.

Refs #3644

Remove single-dimension limitation from GPU halo exchange

Allows GPU halo exchange to be active when the number of dimensions is
greater than 1, thus simplifying the codepath logic.

Partly addresses #3370

Add nblib backend: Part 1 of 2

Fix error in ensureReferenceCount

We were overwriting input value and comparing it to itself.

Add initial nblib public API

Fixed incorrect enum

Harmless, since both have value 1, but confusing

add detection of CPX 5300 w/ 2FMAs

Signed-off-by: Hammond, Jeff R <jeff.r.hammond@intel.com>

Compare trajectories to reference data

This introduces functionality to compare trajectories (x/v/f/box)
to reference data. It also allows to define the maximum number of
frames which should be checked. The latter allows to have a single
reference data, but decide based on the simulation setup (e.g.
parallelization scheme) how many frames are expected to match
before numerical divergence gets too large. To allow this, the
reference data functionality needs to give the option to ignore
unused reference frames.

Roll back "Ensure the modular simulator runs only when it should"

The fact that GMX_USE_MODULAR_SIMULATOR does not lead to an error
when the run is not supported is a feature, not a bug. It allows
to run the entire test set using modular simulator wherever is is
implemented by using "export GMX_USE_MODULAR_SIMULATOR=ON; make check",
even if modular simulator is disabled by default. It is the only way
to make sure that modular simulator is a valid replacement for the
legacy code path.

Similarly, using "export GMX_DISABLE_MODULAR_SIMULATOR=OFF; make check"
allows to check the legacy code path, even if modular simulator is used
by default.

Fix #3668

Following the implementation in Google's cpu_features tool made by an
Intel engineer used for original implementation, we only check for the
presence of the second AVX-512 FMA unit if the CPU supports AVX-512F
(foundation), which should be present for all AVX-512 implementations.

That's distinct from the way cpu_features tool does AVX detection, but
should be no less reliable.

Replace FramesToCompare enum by MaxNumFrames

This allows to explicitly chose a maximum number of frames to be
tested, rather than only chosing to compare the first frame or
all frames. It also implements to chose the number of frames for
tests comparing to reference data rather than only when comparing
simulation results.

Ensure the modular simulator runs only when it should

Previous checks were ineffective if an unsupported inputrec
was accompanied by GMX_USE_MODULAR_SIMULATOR.

Change-Id: I74e4c177b6b4d7dc25bb3ca32a7dff5a6027276e

Fix bad logic in regressiontest branch selection

Change-Id: I1eed8a5228362d34af9426a73c2a9d06eae7a714

Allow deployment of nightly webpage to server

Still needs to have variables defined on Gitlab.

Change-Id: Id7378942555b69df19cbe377d7c90851d6cf56ba

Improve OpenCL log/error reporting

Improve reporting by making messages more specific; also added logging of binary caching also for the case where a cache files is found in addition to the case where no cache file is present

Fix false-positives in checkDeviceBuffer for OpenCL

The function takes required number of elements as its argument, but then
compares it with the buffer size measured in bytes.

Report name of missing OpenCL kernels

Refs #3686

Access write checkpoint functionality directly

Implement Berendsen thermostat for modular simulator

Refs #3423

Permit comparison of only first frames

Integration tests of mdrun sometimes want to compare only the
quantities from the first frame of a trajectory.  This is now
permitted.

Add regression tests for gpucomm paths

Adds regression test runs with GPU communication codepaths enabled for
both thread-MPI and MPI builds.

Split mdrun-test

The PME tests are the most time-consuming part, so have been split off.

Draft: Fix compilation

Also, make ctor etc always defined for DeviceInformation. Otherwise it's
just ugly.

Make Oneapi use CCache again

The custom before_script meant that builds are not using the cache.

Change-Id: Iaf0546e2dd48cf2a6438c2aa0d6461977ee6b2dd

Nelder-Mead downhill simplex optimisation

Nelder-Mead simplex optimiser, according to Saša Singer and
John Nelder (2009), Scholarpedia, 4(7):2928. doi:10.4249/scholarpedia.2928

Implementation for functions returning real values from
vectors of reals.

Checkpointdata DD followup

Wrong logic was used

Log files in gitlab gave the warning message for twin-cutoff, but we
are not setting these env variables.

simd/impl_none: add missing macros

add macros for GMX_SIMD_HAVE_HSIMD_UTIL_{FLOAT,DOUBLE}

Fix script building all CI containers and add gcovr

Additions in 48f9056c196fda338b83e74212d4f9bc5ab3474e broke the script
by changing the default values, while
e9cb08d17b06bc5649d316ee06159b633db9b3d8 inadvertently made all images
use the oneapi images as base.

Also add gcovr tool to documentation images, preparing for coverage
builds.

Change-Id: I0eb9a3bf1e8b45dd4b4a3a41fd214678c4c1c4c2

Add OpenSSH to docs build images

Change-Id: I9b1994a78ef869f3147aa45b5893645ce74f5e04

AWH avoid constructors only differing in parameter types

Also clarified a function name in the tests.
Tests had to be updated since the force constant (now removed)
should not have been used before at all.

Do not run PinnedMemoryCheckerTest when there are no CUDA-capable devices

If there are no CUDA devices in the system, cudaPointerGetAttributes(...)
CUDA API call returns an error. This causes the GPU Utils tests to fail
with fatal error.

Fixes #3679

Move the message to the deprEcation-policy file

Also update the message according to the move

Add NVIDIA GPU compatibility check, following issue #3125

The incompatibility is documented, but better to verify.

Set active device when the device stream manager is initialized

Replace the direct CUDA API call in PME by the wrapper called
when the device context and streams are created.

Allow using old environment variables, but print deprecation message

The following environment variables were unified in
2c644d3b5ebb64f6c89a5db36160c9dc30329888:

GMX_CUDA_NB_ANA_EWALD and GMX_OCL_NB_ANA_EWALD into GMX_GPU_NB_ANA_EWALD
GMX_CUDA_NB_TAB_EWALD and GMX_OCL_NB_TAB_EWALD into GMX_GPU_NB_TAB_EWALD
GMX_CUDA_NB_EWALD_TWINCUT and GMX_OCL_NB_EWALD_TWINCUT into GMX_GPU_NB_EWALD_TWINCUT

This allows user to use old environment variables, but prints deprecation message.

Refactor v-rescale thermostat to allow for other algorithms

This is pure refactoring, splitting the element class (interfaces with
the simulator and other objects) from the actual implementation of the
thermostat. This will allow to implement other thermostat algorithms
using the same infrastructure.

Refs #3423

Improve naming and docs.

Follow up from https://gitlab.com/gromacs/gromacs/-/merge_requests/541

Fixes #3673

Remove cutoff_scheme from t_forcerec and interaction_const_t

Document a Mdrunner::BuilderImplementation member.

Fixes #3665.

Move bNonbonded flag from t_forcerec to SimulationWorkload

The flag to store whether nonbonded calculations are requested to be
skipped (set by env.var.) is move from t_forcerec to
SimulationWorkload. A minor side-effect of this change is that the
nbnxn module logs kernels choices when this option is set.

Rename VRescaleThermostat to VelocityScalingTemperatureCoupling

Also moves vrescalethermostat.h/cpp to
velocityscalingtemperaturecoupling.h/cpp.

This reflects upcoming changes making the thermostat more general.
As these changes touch a lot of lines in the implementation file,
renaming the file at the same time throws git diff off. Doing the
renaming in a separate commit should therefore make for easier reviewing.

Refs #3423

Remove the CPU hardware context from the general list of test hardware contexts

Having CPU code path in the general hardware context list leads to having
many if (CPU) clauses. This complicates things in places, where there are
several CPU runners. Since in most cases (i.e. everywhere apart from Ewald
tests) the runners know the hardware they should use, the selection of CPU
or GPU is now done when the runners are created. TestHardwareContext is
to become TestDeviceContext and will only hold GPU devices.

Remove unnecessary condition in DD force buffer resizing

Removed a condition that was no longer necessary, as exactly
the same condition is checked inside the resize() method of
ForceHelperBuffers.

Activate AMD OpenCL build in release matrix

This had never been turned on.

Fixed missing file for OpenCL installation.

Also reordered the install list in alphabetical order, per style.

Refs #3272

Reduce transitive dependencies in arrayref.h

Reduce transitive dependencies on other GROMACS headers.
* Replace `GMX_ASSERT` with `assert`
* Replace `index` with `difference_type`

Refs #3674

Extend user docs on affine transformations for densities

Add more extensive information to the reference manual and .mdp option description
in the user-guide.

Fix one documentation typo.

Implement modular checkpointing

Using the CheckpointData format introduced in a parent commit, this
rewrites checkpointing for the modular simulator to completely use
the new format.

The CheckpointHelper is now passing a CheckpointData object to its
clients (instead of a legacy t_state object). Clients are now stored
in a map, as they are identified by their unique key to be able to
assign the correct CheckpointData sub-objects at reading and writing.

If checkpoint reading occured, the newly introduced
CheckpointHelperBuilder receives the CheckpointData object read at the
runner level from the ModularSimulator. It then initializes its clients
with their respective, read-only CheckpointData subobjects.

The ICheckpointHelperClient interface is adapted to reflect above
changes.

The ModularSimulatorAlgorithmBuilder is slightly simplified thanks to
to the introduction of a proper builder for the CheckpointHelper.

The ComputeGlobalsElement is simplified, as it is not required to know
about the needs of communication of the EnergyData object which
depends on checkpoint reading.

Finally, all elements which are checkpoint clients are updated to
implement the new design. Note that they all introduce their own
checkpoint versioning, as the data being checkpointed is opaque to the
checkpointing infrastructure.

Closes #3517
Closes #3422
In partial fulfillment of #3419

Use common device context header for OpenCL

This moves the OpenCL specific definition into under macro in the main header.
Makes device stream and context definitions more consistent.

Break off some tests from mdrun tests

Done to not hit the time limit in CI with OpenCL.

Change-Id: Ic2e2686530aef51475ab7f49c1bfd29442c3fc0a

Remove outdated workaround.

Remove a workaround left over from before issue #2689 was closed.

Refs #2689

Only extend Ewald table when necessary

The Ewald correction table for non-bonded interactions was always
extended by change 24595dbb. No this is limited to free-energy
runs only.

Enable GMX_GPU=SYCL compiles

Update CMake config to properly apply -fsycl, but only to files
including actual SYCL code, and get linking working.  Tested
with both dpcpp and icpx, and added trivial SYCL code to a
dimmy device context, just to ensure compiles and linking works
both with and without SYCL support enabled.

Also fixes a number of new warnings about unused variables now
detected with dpcpp and icpx.

Fix missing installed files for OpenCL PME

Change fa6862b510acd7b0225580b661446c278dbb0039 forgot to modify
the CMake files to install the renamed OpenCL header files.

Refs #3664

All coordinates in the density-guided-simulation group undergo an affine transformation before density-fitting forces on them are evaluated, which allows rotation, transformation and scaling of coordinates.

Resolves part of #3581.

Fix task assignment with multiruns

Change e0f481ae broke the physical node hardware detection and task
assignment by passing the simulation instead of the world communicator
to the creation of the physical node communicator. Now the world
communicator is stored and passed.

Fixes #3666

Fix minor warnings noticed by Intel compilers

New things found by dpcpp & ipcx compilers.

Pass devFlags into createSimulationWorkload replacing bools

Fix VSite out of range error message

Create and use SimulationInput module.

Allow Mdrunner to accept a handle to SimulationInput from the client.

This change adds an input method to the MdRunner builder to provide
access to resources provided through the new SimulationInput module.

Refs #3374

Use common device context header for OpenCL

This moves the OpenCL specific definition into under macro in the main header.
Makes device stream and context definitions more consistent.

Refine the CMakeLists.txt for MPI gmxapi tests.

Exclude tests when GMX_MPI is not set. Normalize test working directory.

Decouple nsttcouple and nstpcouple from nstlist

The default values of nsttcouple and nstpcouple of -1 would cause
nstlist to be used as the coupling interval. But coupling intervals
should not be linked to nstlist. The default is now set to 10, which
will not change settings for mdp files where nstlist was not specified
as the default nstlist value is also 10.

Fix GPU device info broadcast with MPI

Move src/api cmake logic into src/api cmake file

Remove leftover data after refactoring

The modular simulator still hat the old datastructure for initial
lambdas, causing a complaint in the CI.

Change-Id: Ic97ee36ebea8cd40d7c513f44f767751f5c271cc

Fix doxygen for unused parameters.

Recent addition to the code didn't use the parameters for the SYCL
stubs, leading to errors from doxygen.

Change-Id: I61666e4e76cfdcfa5c618c7bc6f58cf24ea2b4f8

Define stubs for GPU data structures in SYCL to make SYCL compilation possible

Force use of Python3 in Doxygen CMakeFiles

Change-Id: Ia7d430fef243d6b3236de903907dbf8e9ba92222

Simplify and fix how lambda values are set

Simplified setCurrentLambdasLocal method to return an array of
current lambda points. Removed the faulty use of lam0 as initial
lambdas.

Fix Visual Studio build

- Add /permissive- flag to disable MSVC extension. Fixes
  ternary operator.
- Fix usage of %l for size_t
- Disable non-wroking FFTW SIMD check
- Missing imports
- Compiler warning fix

Simpify CheckpointData

Minor fix to the printout for regtest builds

Was not printing the branch it is building the archive from.

Change-Id: I597e68a3780d3f300b5a4be447ecac7834126408

Use common device context header for OpenCL

This moves the OpenCL specific definition into under macro in the main header.
Makes device stream and context definitions more consistent.

Add angles to ListedForces selections

Use device information object instead of id when performing device checks

Initializing plain object is dangerous, since it then can be used to set
active device, with default id. This change ensures that proper device
will be used, even if the high level device management is used in the
checks.

Fix memory corruption with strings in grompp

Using a string of more than 31 characters as a default value for
a string entry in the mdp file would lead to memory corruption.

Replace GMX_ASSERT with assert in vectypes.h

It is inappropriate to have a wrapper around assert in a public API.
This change removes dependence on GMX_ASSERT in one component of the
installed API. Transient dependencies related to inclusion of
gmxassert.h in vectypes.h are also removed.

Unify more functions in CUDA and OpenCL implementations of NBNXM

Explicitly include STL headers used in test.

Include `array` and `optional` in strconvert.cpp test.

Fixes #3657

Restore GMX_FORCE_UPDATE_DEFAULT_GPU environment varible check

This line was accidently removed during unrelated refactoring
in 75c17a76b69c1ade1f29fdce9fe2f6dd78221c1d .

Bug fix in call to deviceStreamManager constructor

DeviceStreamManager construction expects
(deviceInfo,useGpuForPme,havePpDomainDecomposition,
doGpuPmePpTransfer,useGpuForUpdate,useTiming) but was being passed
(deviceInfo,useGpuForPme,useGpuForNonbonded,
havePPDomainDecomposition,useGpuForUpdate,useTiming) Now passing
correct arguments through simulationWork. Also ensures update stream
is correctly set up when gpu buffer ops are enabled.

Fixes #3639 and #3641

Fix clang-tidy warning

Fix "GPU detection deactivated" message when it in fact failed

Also remove duplicate GPU detection check, and raise log level on failure from GPU detection API.

Make legacy energy elements use CheckpointData

This enables some legacy energy elements to write to CheckpointData,
namely

* energyhistory_t
* delta_h_history_t
* ekinstate_t

Refs #3517
Refs #3422
Refs #3419

Allow density-guided simulations to translate structure

Density-guided simulations acquire a new feature that allows a
user-defined shift on the structure before forces are calculated.

First step to address #3581

Remove dependency of EnergyData on t_state

EnergyData used a t_state object to calculate the conserved energy.
This responsibility is now given to the respective temperature /
pressure control algorithms. This allows to remove the dependency
of EnergyData on t_state.

This also introduces the conserved energy as a test quantity in the
tests comparing legacy and modular simulator code paths.

Refs #3419

Move densityfitting to its own directory

Preparing for adding more applied_forces modules

Change-Id: Ieec20d1f0752a369d26352ec6b0997812decd21e

Fix output string for GPU support

This used to print only disabled or CUDA because the variable was only 0
or 1.

Change-Id: Ie406a36e61617c29629f97d811eb93244b5a2e3a

Fix clang-format failure in coordinatetransformation.h

Fixes formatting clang format error.

Make EnergyOutput::addDataAtEnergyStep independent of t_state

EnergyOutput::addDataAtEnergyStep took a pointer to a full t_state,
although it only uses a small part of the object. This makes the
dependencies explicit. This is a necessary step to make EnergyData
independent of t_state.

Refs #3419

Remove in-body comment from init_forcerec(...) function

Fixes doxygen warning

Fix clang-format

Replace filename-based initialization functions.

Decouple Mdrunner from the details of `-s` and `-cpi`
filename arguments when establishing initial simulation state.

Declare gmx::SimulationInput and the library utilities needed to
replace direct reference to TPR and CPT files in Mdrunner.
Use SimulationInput and accompanying utilities to remove read_tpx_state
and load_checkpoint from Mdrunner.

Allows TPR and checkpoint file handling to be considered separately
from Mdrunner initialization in future development.

Refs #3374