Simplify GPU usage decision function signatures

Some of GPU device usage decisions are made based on the number
of availabel GPU devices, not on their indices. Hence it is
natural to pass one integer instead of the vector.

Fix logic in init_ewald_coulomb_force_table

Previously, destroyParamLookupTable was called only if buffer was
nullptr (uninitialized). Which looks like a typo, and leads to nothing,
because all implementation of destroyParamLookupTable would refuse to
work on nullptr. Changed the check to free the buffer only if there is
anything to free.

Use new GPU infrastructure in MDLib tests

This make use of common device testing infrastructure in MDLib tests,
where both GPU and CPU implementations are tested. The GPU runners
will now be executed on all the detected devices, not only on the
default one. Also, this will allow to use the MDLib tests in OpenCL
and SYCL, where proper device context object is needed.

Closes #3317

Closes #2254

Related #2092

Always set DeviceVendor

Until now, only the OpenCL code would set the device Vendor information.
To prepare for later code that always needs this information, it is not
set also for the CUDA and SYCL code paths with (hopefully) reasonable
default values.

Change-Id: Ifb3180dff2c5b13aedd8e6808c172ea322d5cea8

Add muparser and CMake handling

Adds handling both for linking external muparser library and building
from source if it is not found.

Refs #3515

Change-Id: I09f725ea634d21e3a7d217cf99d28adb71d54473

Remove incorrect cycle suppression

Fix doxygen warnings

Failed in master again for a while.

Change-Id: I8574794c8e2f9be5681e431c109df6fe91abce45

Don't override user provided CMAKE_OSX_DEPLOYMENT_TARGET.

Remove `FORCE` from the CMake `set()` in case users want to specify
another target, such as 10.15.

Allows users to resolve potential linker warnings by setting
CMAKE_OSX_DEPLOYMENT_TARGET on the CMake command line.

Fix ForceBuffers compiler warning

When compiling in release mode (using clang-8), warning
    src/gromacs/mdtypes/forcebuffers.h:128:10: warning: private field 'useForceMtsCombined_' is not used [-Wunused-private-field]
        bool useForceMtsCombined_;
would be thrown because `useForceMtsCombined_` is only used within
`GMX_ASSERT` commands. Added a [[maybe_unused]] to keep compiler happy.

Cleaned up CUDA compilation

Some .cpp source files used CUDA run-time headers that need
special handling when e.g. clang issues warnings from antiquated
constructs in older NVIDIA runtime headers. This is now handled
centrally in a similar manner to that required for SYCL compilation.

Dependency of the higher-level taskassignment module on GPU
API-specific compilation was removed, instead deploying some new
helper functions.

Handle gmxapi tmpi parameters better.

Use gmxconfig.json to support some additional testing support.

Configure thread allocation for gmxapi CI jobs more carefully.

Fixes #3710

Let gmxapi installation record the GROMACS library MPI configuration.

Add a `MPI` property to the Gromacs::gmxapi CMake target.

Add "gmx_mpi_type" to gmxconfig.json

Refs #2961

Remove anonymous namespace in ARM SVE header

Caused complaints from clang-tidy.

Change-Id: I8c855fa26849a283a456b1315614cdc60041bbf0

Add tests for setStringEntry

Update GoogleTest to v1.8.1

Now known to work with recent versions of MSVC

Also, require proper language support when using GoogleTest on all
platforms. Populating the INTERFACE_COMPILE_DEFINITIONS with
GTEST_LANG_CXX11 will force GoogleTest to require the compiler to
provide std components like tuple even when compiling GROMACS
source files that include GoogleTest headers.

Fixes #3682

Use workload data structures for GPU halo exchange triggers

Move GPU halo exchange trigger booleans and related conditionals into
workload data structures, and remove unnecessary assertion on GPU
buffer ops being active (since it is now automatically activated when
GPU halo exchange is active).

Partly addresses #3370

arm_sve: fix decr3Hsimd()

Fix a gross typo introduced in gromacs/gromacs@aabf8460e42c1702f38163d4163b6e59f6712737

Update mdrun-performance.rst

docs: add ARM+SVE support to the release notes and SIMD support documentation

hardware: detect ARM SVE architecture at runtime

 - issue a warning if the application was built with NEON simd support
 - check the vector length at runtime is the same than at cmake time,
   and aborts otherwise

cmake: use simd support for ARM+SVE

 - detect when cmake is invoked on an ARM+SVE platform
 - ARM_SVE simd can be forced with -DGMX_SIMD=ARM_SVE
 - the SVE vector length can be forced with -DGMX_SIMD_ARM_SVE_LENGTH=<bits>
   (default is 512)

simd: add support for aarch64+sve (ARM_SVE)

support SVE vectors whose length is fixed at cmake time
e.g. no Vector Length Agnostic (VLA) support.

This is currently a fit for GCC 10 compilers
(via the -msve-vector-bits=<len> option), and will be supported
by LLVM 12 (based) compilers.

ARM_SVE support for GROMACS is contributed by the Research Organization
for Science Information and Technology (RIST).

simd: revamp the (templated) decr3Hsimd() subroutine

decr3Hsimd<stride>(m, a0, a1, a2) replaces three decrHsimd():

- decrHsimd(m, a0);
- decrHsimd(m + stride, a1);
- decrHsimd(m + 2*stride, a2);

providing a given architecture the opportunity to perform additional optimizations.

A simple wrapper is added to each architecture where
GMX_SIMD_HAVE_HSIMD_UTIL_{FLOAT,DOUBLE} is 1.

Refs !567

Remove ensureReferenceCount from OpenCL's GpuEventSynchronizer

Use updated images for Python CI jobs.

Also switches tool chains to account for rearrangement in the
CI testing matrix.

Fixes #3714

Add missing include into the tests comparison helper

CLang may complain about not knowing what std::numeric_limits are
if <limits> is not included.

Change-Id: I74118c3f0082e22f634ae11bce542a0de709260b

Break up MPI tests

Split PME from other mpi tests.
Due to time outs in CI :(

Change-Id: If9c9219ab6667ae98a9475ee03012d9aa81b28d4

Move computeSlowForces into stepWork

Also moved a flag into forcerec and fixed documentation.

Device management: Add SYCL DeviceBuffer

Update modular simulator docs

Add nblib sample script

The sample script argon-forces-integration.cpp gives an example of nblib client code.

Regression-test-style Google tests for FEP

This set of tests check FEP simulations versus previous results
within the Google tests framework.

The systems are hand-picked to cover as many code paths as possible.
The reference results were carefully checked for correctness.

Restrict gmxapi pytest tests to `-nt 2`

Fixes #3704

The current change is a quick fix to alleviate pressure on the project's
automation resources. Hard-coded resource constraints should be removed
in a follow-up change.

Also, the new facility to the mdrun ResourceManager needs to be
considered in future work.

Squash SYCL DeviceContext and DeviceStream

Move computeSlowForces into stepWork

Also moved a flag into forcerec and fixed documentation.

Specify OMP_NUM_THREADS for Pyhon CI scripts.

* Explicitly propagate OMP_NUM_THREADS through mpiexec.
* Apply self-consistent CI memory parameters.
* Only use 1 OMP thread for gmxapi Python tests. We want to use two tMPI
  ranks, and no extra threads. tMPI threads are set separately.

Refs #3704

Fix warnings issued by clang with nvcc

Host-side code sometimes uses antiquated code that clang warns
about. Previous attempts to suppress some of these were broken by the
changes to GMX_GPU (and also used the wrong cache variable). New
warnings have also emerged.

Also fixed a related list of warning suppressions to be a proper
CMake list, rather than a hacky list.

Fix Doxygen formula generation

Revert "Add new GROMACS logo and use it in the manual."

This reverts commit 4120bf7734d9a235c7db720a2c882bb6c11470b6.

Legal reasons

Fix #3655

This fixes #3655 by addressing some readability issues in
velocityscalingtemperaturecoupling.cpp, and adding some trivial
const qualifiers in the simulator tests.

Closes #3655

Fix #3694

This fixes #3694 by moving the initialization of the `isInputCompatible`
boolean to its first use in modularsimulator.cpp.

Closes #3694

Add new GROMACS logo and use it in the manual.

Also added as a highlight in the release notes.

Change-Id: Icac8e5c0134302d4c251cc9e6f5428bca766717d

Restore destructor for GpuTest and gmx_hw_info_t

Needed to able to forward-declare DeviceInformation in headers

Fix bug resetting mdatoms masses to lambda=0 state

Following the reorganization in !384, the TopologyHolder reset the masses
in mdatoms after they were set by the FreeEnergyPerturbationElement. This
lead to having the masses equal to state A independently of the actual
lambda state.

This change fixes this bug by moving the mass setting into the setup
phase ensuring that it is set by the FEP element independently of the
build order of the elements.

When DD is used, the mdatoms masses were reset to their lambda=0 state
after every DD step. This is fixed by making the DomDecHelper aware of
the FEP element.

Note that the use of MDAtoms should likely be revisited to allow for a
more elegant solution, but this would likely require changes which are
less local than the proposed solution here. Further development is
therefore deferred to #3700.

Fix doxygen warnings

Add doxygen comments into the recent code

Fail gracefully when nblib cannot be built

Remove two-stage initialization in DeviceStream

A default constructor was needed for DeviceStream as an intermediate
measure to make the refactoring easier. It now can be eliminated.

Add nblib backend: Part 2 of 2

Add post submit rules to CI

Use those for resource intensive CUDA tests

Change-Id: I9c23139656fd91a833c67dd20d76a1429e91c254

Redevelopment of GPU Force Reduction/Buffer Ops

Introduces a new purpose-build class for GPU force reduction, which
replaces the previous force buffer ops mechanism.

Refs #3370

Clarifications for ResourceAssignment interface.

Add and update some documentation. Improve error messages. Improve
file naming.

Refs #3644

Support ResourceAssignment interface for tMPI library builds.

Fixes #3644

Allow MPI-enabled clients to provide the library communicator.

Provide library helpers and template headers to allow clients to
createContext() with explitly assigned resources.

Relates to #3644

Use MpiContextManager to provide MPI communicator.

* Give MpiContextManager a MPI_Comm and make it movable so that it can
  be provided while creating the ContextImpl.
* In gmxapi::ContextImpl::launch(), use an MpiContextManager instance as
  the source for the SimulationContext communicator.

Refs #3644

Relocate MpiContextManager.

* Change the scope of the MpiContextManager instance from the Session
  to the ContextImpl.
* Tighten up some details to help maintain clarity over subsequent
  changes.

Refs #3644

Interface updates allowing client to provide MPI communicator.

gmxapi::MpiContextManager is acquired earlier in API initialization
and has a larger role in setting up the SimulationContext as a member
of gmxapi::ContextImpl. The MpiContextManager can be acquired with
appropriate default values for the various MPI-related GROMACS build
variants, or it can be initialized with user-provided resources.

gmxapi::Context creation method has been updated to accept optional
non-default resources from the client.

A template header helps MPI-enabled client code to provide resources
to createContext(). The client requires minimal awareness of whether
GROMACS was built for thread-MPI or an installed MPI library.
Thread-MPI details are isolated from any translation unit that might
include the client MPI tool chain.

Refs #3644

Remove single-dimension limitation from GPU halo exchange

Allows GPU halo exchange to be active when the number of dimensions is
greater than 1, thus simplifying the codepath logic.

Partly addresses #3370

Add nblib backend: Part 1 of 2

Fix error in ensureReferenceCount

We were overwriting input value and comparing it to itself.

Add initial nblib public API

Fixed incorrect enum

Harmless, since both have value 1, but confusing

add detection of CPX 5300 w/ 2FMAs

Signed-off-by: Hammond, Jeff R <jeff.r.hammond@intel.com>

Compare trajectories to reference data

This introduces functionality to compare trajectories (x/v/f/box)
to reference data. It also allows to define the maximum number of
frames which should be checked. The latter allows to have a single
reference data, but decide based on the simulation setup (e.g.
parallelization scheme) how many frames are expected to match
before numerical divergence gets too large. To allow this, the
reference data functionality needs to give the option to ignore
unused reference frames.

Roll back "Ensure the modular simulator runs only when it should"

The fact that GMX_USE_MODULAR_SIMULATOR does not lead to an error
when the run is not supported is a feature, not a bug. It allows
to run the entire test set using modular simulator wherever is is
implemented by using "export GMX_USE_MODULAR_SIMULATOR=ON; make check",
even if modular simulator is disabled by default. It is the only way
to make sure that modular simulator is a valid replacement for the
legacy code path.

Similarly, using "export GMX_DISABLE_MODULAR_SIMULATOR=OFF; make check"
allows to check the legacy code path, even if modular simulator is used
by default.

Fix #3668

Following the implementation in Google's cpu_features tool made by an
Intel engineer used for original implementation, we only check for the
presence of the second AVX-512 FMA unit if the CPU supports AVX-512F
(foundation), which should be present for all AVX-512 implementations.

That's distinct from the way cpu_features tool does AVX detection, but
should be no less reliable.

Replace FramesToCompare enum by MaxNumFrames

This allows to explicitly chose a maximum number of frames to be
tested, rather than only chosing to compare the first frame or
all frames. It also implements to chose the number of frames for
tests comparing to reference data rather than only when comparing
simulation results.

Ensure the modular simulator runs only when it should

Previous checks were ineffective if an unsupported inputrec
was accompanied by GMX_USE_MODULAR_SIMULATOR.

Change-Id: I74e4c177b6b4d7dc25bb3ca32a7dff5a6027276e

Fix bad logic in regressiontest branch selection

Change-Id: I1eed8a5228362d34af9426a73c2a9d06eae7a714

Allow deployment of nightly webpage to server

Still needs to have variables defined on Gitlab.

Change-Id: Id7378942555b69df19cbe377d7c90851d6cf56ba

Improve OpenCL log/error reporting

Improve reporting by making messages more specific; also added logging of binary caching also for the case where a cache files is found in addition to the case where no cache file is present

Fix false-positives in checkDeviceBuffer for OpenCL

The function takes required number of elements as its argument, but then
compares it with the buffer size measured in bytes.

Report name of missing OpenCL kernels

Refs #3686

Access write checkpoint functionality directly

Implement Berendsen thermostat for modular simulator

Refs #3423

Permit comparison of only first frames

Integration tests of mdrun sometimes want to compare only the
quantities from the first frame of a trajectory.  This is now
permitted.

Add regression tests for gpucomm paths

Adds regression test runs with GPU communication codepaths enabled for
both thread-MPI and MPI builds.

Split mdrun-test

The PME tests are the most time-consuming part, so have been split off.

Draft: Fix compilation

Also, make ctor etc always defined for DeviceInformation. Otherwise it's
just ugly.

Make Oneapi use CCache again

The custom before_script meant that builds are not using the cache.

Change-Id: Iaf0546e2dd48cf2a6438c2aa0d6461977ee6b2dd

Nelder-Mead downhill simplex optimisation

Nelder-Mead simplex optimiser, according to Saša Singer and
John Nelder (2009), Scholarpedia, 4(7):2928. doi:10.4249/scholarpedia.2928

Implementation for functions returning real values from
vectors of reals.

Checkpointdata DD followup

Wrong logic was used

Log files in gitlab gave the warning message for twin-cutoff, but we
are not setting these env variables.

simd/impl_none: add missing macros

add macros for GMX_SIMD_HAVE_HSIMD_UTIL_{FLOAT,DOUBLE}

Fix script building all CI containers and add gcovr

Additions in 48f9056c196fda338b83e74212d4f9bc5ab3474e broke the script
by changing the default values, while
e9cb08d17b06bc5649d316ee06159b633db9b3d8 inadvertently made all images
use the oneapi images as base.

Also add gcovr tool to documentation images, preparing for coverage
builds.

Change-Id: I0eb9a3bf1e8b45dd4b4a3a41fd214678c4c1c4c2

Add OpenSSH to docs build images

Change-Id: I9b1994a78ef869f3147aa45b5893645ce74f5e04

AWH avoid constructors only differing in parameter types

Also clarified a function name in the tests.
Tests had to be updated since the force constant (now removed)
should not have been used before at all.

Do not run PinnedMemoryCheckerTest when there are no CUDA-capable devices

If there are no CUDA devices in the system, cudaPointerGetAttributes(...)
CUDA API call returns an error. This causes the GPU Utils tests to fail
with fatal error.

Fixes #3679

Move the message to the deprEcation-policy file

Also update the message according to the move

Add NVIDIA GPU compatibility check, following issue #3125

The incompatibility is documented, but better to verify.

Set active device when the device stream manager is initialized

Replace the direct CUDA API call in PME by the wrapper called
when the device context and streams are created.

Allow using old environment variables, but print deprecation message

The following environment variables were unified in
2c644d3b5ebb64f6c89a5db36160c9dc30329888:

GMX_CUDA_NB_ANA_EWALD and GMX_OCL_NB_ANA_EWALD into GMX_GPU_NB_ANA_EWALD
GMX_CUDA_NB_TAB_EWALD and GMX_OCL_NB_TAB_EWALD into GMX_GPU_NB_TAB_EWALD
GMX_CUDA_NB_EWALD_TWINCUT and GMX_OCL_NB_EWALD_TWINCUT into GMX_GPU_NB_EWALD_TWINCUT

This allows user to use old environment variables, but prints deprecation message.

Refactor v-rescale thermostat to allow for other algorithms

This is pure refactoring, splitting the element class (interfaces with
the simulator and other objects) from the actual implementation of the
thermostat. This will allow to implement other thermostat algorithms
using the same infrastructure.

Refs #3423

Improve naming and docs.

Follow up from https://gitlab.com/gromacs/gromacs/-/merge_requests/541

Fixes #3673

Remove cutoff_scheme from t_forcerec and interaction_const_t

Document a Mdrunner::BuilderImplementation member.

Fixes #3665.

Move bNonbonded flag from t_forcerec to SimulationWorkload

The flag to store whether nonbonded calculations are requested to be
skipped (set by env.var.) is move from t_forcerec to
SimulationWorkload. A minor side-effect of this change is that the
nbnxn module logs kernels choices when this option is set.

Rename VRescaleThermostat to VelocityScalingTemperatureCoupling

Also moves vrescalethermostat.h/cpp to
velocityscalingtemperaturecoupling.h/cpp.

This reflects upcoming changes making the thermostat more general.
As these changes touch a lot of lines in the implementation file,
renaming the file at the same time throws git diff off. Doing the
renaming in a separate commit should therefore make for easier reviewing.

Refs #3423

Remove the CPU hardware context from the general list of test hardware contexts

Having CPU code path in the general hardware context list leads to having
many if (CPU) clauses. This complicates things in places, where there are
several CPU runners. Since in most cases (i.e. everywhere apart from Ewald
tests) the runners know the hardware they should use, the selection of CPU
or GPU is now done when the runners are created. TestHardwareContext is
to become TestDeviceContext and will only hold GPU devices.

Remove unnecessary condition in DD force buffer resizing

Removed a condition that was no longer necessary, as exactly
the same condition is checked inside the resize() method of
ForceHelperBuffers.

Activate AMD OpenCL build in release matrix

This had never been turned on.

Fixed missing file for OpenCL installation.

Also reordered the install list in alphabetical order, per style.

Refs #3272