Fix MSVC build

Fix doxygen of the SYCL atomicFetchAdd

More renaming for UpdateGroups

In preparation for introducing a class for managing the use and data for
UpdateGroups, other things need to change so we'll have clarity.

Refs #4004

Finish removing t_mdatoms from update module

Remove t_atoms from finish_update and only pass needed params.

Also cleaned up the includes and forward declares a bit.

Remove isnormal() check around the atomic increment

Mostly remove t_mdatoms from update signatures

clang-tidy-11 fixes for gmxpreprocess

Introduce TimeStep and Offset strong types

When building integration algorithms in modular simulator, the time
step (for propagations) and the scheduling offset (for algorithms called
periodically) are the most frequently used type of arguments. They are
also currently the only arguments which are passed by simple types
(int and double, respectively).

The current change introduces strong types, increasing both safety and
readability. Note that these strong types can easily be adapted to
inheriting from a general base class if one is introduced (refs #4005).

Fix nbnxm hipSYCL kernels 64-wide exec on AMD

Fix doxygen for MessageStringCollector

Refs #4004

Let LoggerTestHelper write cleaner tests

Now we can write tests that the logger produces no output, e.g. no
warnings occur when a happy path is able to run.

Refs #4004

Use index instead of pointer in t_mde_delta_h_coll

Several members of t_mde_delta_h_coll were just pointers into a
master array of t_mde_delta_h that are held by t_mde_delta_h_coll.
This change makes it so only an int instead of a pointer is stored.
After this it should be much easier to make t_mde_delta_h_coll
default constructible, which is planned for a followup.

Also removed 2 unused members.

A renaming of the members can also be left for a followup, once
the whole t_mde_delta_h_coll struct is modernized.

Remove uses of std::bind

clang-tidy-11 correctly warns against these unnecessarily complex
constructs.

Refs #3897

Use consistent naming for update groups

Prepares to introduce an UpdateGroups class that contains the groupings

Refs #4004

Rename some enum names in ModuleMultiThread

clang-tidy-11 fixes for topology, gpu_utils, and selection

Fix clang-format

Was missing from previous commit.

Fix possible UB in ArrayRef construction

The code could cause possible UB when construction ArrayRefs from
nullptrs.

Added nullptr check to only construct empty ArrayRef in that case.

Use enum class for gmx_omp_nthreads

clang-tidy-11 fixes for utils

clang-tidy-11 fixes mdrun tests

Split off from !1433

clang-tidy-11 fixes for listed_forces

Apply clang-tidy11 to gmxana files with no dependencies

Splitt off from !1433. These are only the gmxana files that do not
depend on other clang-tidy11 changes. The files gmx_analyze.cpp,
gmx_nmr.cpp, gmx_bar.cpp, gmx_wheel.cpp and gmx_energy.cpp all have
dependencies, mostly on enum modernization. They can be a subsequent
MR.

clang-tidy-11 fixes for options

Split off from !1433

clang-tidy-11 fixes for hardware

Split off from !1433

clang-tidy-11 fixes for analysisdata

Make .rtp/.tdb bond types into enum class

Make Compartment, Channel, ChannelHistory and Domaint into enum classes

Make XDR type into enum class

Add Gaurav to list of contributors

Set matching number of ranks for OpenCL GPU tests

Removed a duplicated quote

Rename files to follow style

Fix AWH input reading

Tests happened at the wrong time before all AWH and FEP parameters had
been initialized, leading to aborts due to failing checks.

Also fix initialization of dim parameters.

Fixes #4027

Remove thread-MPI limitation for GPU direct PME-PP communication

Allows use of direct-GPU communication for PP-PME communication when
running with "real" MPI, including on multiple compute nodes,
through new CUDA-aware MPI communication code paths.

Implements part of #2891
Refs: #2915 #3960

Introduce position and velocity scaling propagators

Use host buffer instead of host accessors in SYCL LeapFrog

Pass forcerec arguments instead of forcerec to gmx_nb_free_energy_kernel

Modernize wallcycle counting

Fix misc-misplaced-const clang-tidy warning

The problem was introduced in aa66efd3179a671aace62b827c54aadc3d89c1ee
(MR !1374).

As MPI_Comm is typedef'd as a pointer to a structure, declaring it const
would be of little use: the pointer itself would be const, not the data
it is pointing to.

Implement Nose-Hoover thermostat for leap-frog modular simulator

This implements the Nose-Hoover temperature coupling algorithm for the
leap-frog version of modular simulator. Velocity verlet could in theory
use this coupling algorithm as well, but the legacy version uses the
Trotter-decomposed version instead, which will be introduced to modular
simulator in a follow-up commit. To ensure equivalence of the legacy and
the modular code paths, Nose-Hoover will not be enabled for md-vv in
modular simulator until the Trotter scheme is merged.

The implementation added in this change is straightforward, as it extends
the existing general velocity-scaling temperature coupling object by
another algorithm. It is marginally more complex than the existing
algorithms (Berendsen and v-scale) due to the need of checkpointing the
extended ensemble degree of freedom for exact continuation.

Refs #3423

Add GMX_GPU_SYCL_NO_SYNCHRONIZE environment variable

Implement dynamic pair search for EM

Replace static trajectoryanalysismoduledata methods with instance methods

This paves the way for multiple concurrent frames analyzing
selections in parallel, via individual analysismoduledata objects

Remove thread-MPI limitation for GPU PP Halo exchange

Allows use of direct-GPU communication for PP halo exchange when
running with "real" MPI, including on multiple compute nodes,
through new CUDA-aware MPI communication code paths.

Implements part of #2891
Refs: #2915 #3960

Use array for term and foreign_term in gmx_enerdata_t

Add basic position restraints test

Fix check source

2e8da9f2ad7536ed0da612a977c6bfe0f89bc071 added a function argument
without updating the doxygen. This adds the missing argument description.

Pass cFREEZE and cTC to update after DD partitioning

Improve docs and naming for MdModulesNotifiers

Remove explicit dependency of EnergyData on thermostat / barostats

Add unit test for the nonbonded fep kernel.

Workaround for compilation with hipSYCL 0.9.1

Expose init_interaction_const and move to correct header/source

Relax default tolerance on pressure comparisons

Fixes #3975

Replace defines with constexpr in ishift

Constructor for gmx_ekindata_t

Moved init_ekin_data from tgroup header/source to group and made
it the constructor for gmx_ekindata_t. Also made gmx_ekindata_t a
class since the number of threads is only needed by constructor
and destructor and can thus be private. Further refactoring of
members of gmx_ekindata_t would eliminate the need for the nthreads
data member entirely. Other members we not made private to avoid a
ripple of changes adding "()" to numerous lines in several files.

Prepare SelectionCollection for parallel analysis

Add a fourth coordinate to virial tests

Allow thermostat to scale velocities before and after step

Velocity scaling thermostats are currently only able to scale
velocities before the respective propagator step. This change allows
to also scale velocities at the end of the step. This functionality
is needed by the Nose-Hoover thermostat.

This requires an additional template parameter in the `updateVelocities`
function, and an additional callback in the
`PropagatorThermostatConnection` struct to allow temperature coupling
algorithms to get a view to the end velocity scaling.

This also sorts the forward declarations in modularsimulatorinterfaces.h
alphabetically to simplify follow-up changes.

Refs #3423

Add a note on early return in device buffer operations

Functions that (re)allocate, clear and copy to or from
device buffer have an early return in case of zero operation
size. This is a safety mechnism that allows calling these
functions even if the buffers are not intialized, if the
size of the respective buffer is set to zero. A note is
added to the devicebuffer.h that explains why these early
returns are needed.

Clean some headers in NBNXM GPU

1. Remove declarations of non-existing functins.
2. Remove declarations of internal helper functions,
   move some of the helper functions up in the
   respective sources so that their declaration can
   be removed from the headers.
3. Remove unnecessary includes.

Refs #2608

Propagate from current rather than previous position

The current implementation was using the previous position as a starting
point of position propagation. This is conceptually wrong: We want to
propagate starting from the current position.

This had no influence currently, as none of the algorithms present has
multiple position propagations per step. Moving forward, this does however
pose the risk of bugs.

Add GpuEventSynchronizer::isMarked to SYCL verion

This function is needed to work around #3988 when implementing GPU
update (#3932).

template: fix build

Move ScalingMatrix to common GPU update code.

Also, add a constructor to initialize it from an old-style matrix.

Currently, this struct is used only in CUDA, but would be used in SYCL
soon.

Refs #3932.

Add early returns in clearDeviceBuffer(...) in OpenCL and CUDA

Clearing of empty buffer can cause the OpenCL/CUDA API failure.
Early return when requested size to clear is zero allows to
avoid this failure not calling the API for empty buffers.

This also makes the definition of the clearDeviceBuffer(...) in
OpenCL, CUDA similar to its definition in SYCL, where the early
return is already present.

Fixes #4002.

Pass ref_t to initialize_lambdas

Fix several errors when compiling with MSVC

Minor forcerec cleanup

* gmx_bool -> bool
* rename a variable
* rvec -> RVec
* more array and vector
* now has default destructor

Clean up leaks

Rename NBAtomData into NBAtomDataGpu

NBAtomData can only be present in GPU code, hence it should has
Gpu prefix in its name.

Replace gmx_mtop_ilistloop_all

Move domdec/partition into gmx namespace; minor cleanup

* Move functions in partition header into gmx namespace
* Localize variables
* Remove an in-out parameter that is never used

Ensure coordinates are copied for dipole moment calculation

With GPU update, we should wait for the coordinates to be copied to host
before using them for calculating the dipole moment.

This did not seem to cause any issues with CUDA but was causing a unit
test failure with SYCL (with !1329):

    SYCL_BE=PI_OPENCL GMX_USE_GPU_BUFFER_OPS=1 GMX_FORCE_UPDATE_DEFAULT_GPU=1 ./bin/mdrun-test --gtest_filter=EwaldSurfaceTerm/EwaldSurfaceTermTest.WithinTolerances/0

Refs #3930, #3932

Make FileOptionTypes enum class

Changed to enum class and made mapping to legacy types use
EnumerationArray.

Removed Unknown type as it wasn't used except for error checking. Used
Count type instead in its place.

Clarify connection of temperature / pressure coupling and propagators

Temperature and pressure coupling and propagators are linked, as most
thermostats and barostats apply some type of scaling to positions and
/ or velocities. The temperature and pressure coupling objects must
therefore be linked to the propagators to properly function.

The current implementation did not allow for much flexibility, as it
only allowed propagators to decide whether to connect to a thermostat
or barostat or not. To allow for more complex algorithms, more
flexibility is required. To that end, this change introduces a
PropagatorTag object, which tags the propagators, and allows the
temperature and pressure coupling objects to pick which propagator to
act on. Additionally, this moves the responsibility of connecting to
the coupling algorithm rather than the propagator, which makes more
sense conceptually.

Refs #3423

Add unit test for 1-4 interactions.

Remove dead code in sasa module

If needed, the code can be found again in git.

Make EnumerationArray::size() not static

It's formally correct that the method can be static, but this makes
code more complex at the point of use for the doubtful benefit of
making clear to the human reader that the value returned by size() is
a compile-time constant. The compiler can always see it.

ArrayRefs and const refs in global_stat

Use const refs where possible in global_stat. Use ArrayRef for
signalBuffer and return an int instead of passing pointer to int.
Also movemost variable definitions to closer to their first use.

Use EnumerationArray for pull isAngleType

Remove PME coordinate send code duplication

Unifies codepath for PME coordinate send for default and GPU direct
codepaths. The only effect this has on ordering of activities is for a
run config with GPU buffer ops, without GPU direct communication and
without GPU update, where the (CPU-side) PME-PP coordinate transfer
will now be slightly delayed to allow for an H2D launch of coordinate
data.

Partly addresses #3914

Move cluster methods to its own file

Breaks out some of the methods in gmx cluster into a separate file
before future refactoring.

Refs #4000

Fix doxygen for updateMDLeapfrogGeneral

Fixes an issue created in !1350.

Use more ArrayRefs in signatures of update impl class

Part of ongoing work to make refactoring mdatoms easier. This only
changes the impl class of update. A followup change can propagate
using ArrayRef to the update class itself, which will make it easier
to call update in both tests and in nblib.

Use using for ArrayRef and RVec in pull code

Unify gpu_free(...) function in OpenCL, CUDA and SYCL versions of NBNXM

Refs #2608

Fix conditional on when DtoH forces copy occur

d2d4a50b4c636c203028c5bff311924ec15e7825 introduced performance
regression with forces copied from device to host on each step.
This fixes the issue by reinstantiating proper condition on the
copy call.

Fixes #4001
Refs #2608

Move dynamic pull groups and pull nthreads

Moved dynamic pull groups into their respective coordinates.
Set the number of threads per pull group instead of globally.
Now all thread parallel regions run on 1 thread with less than 100
local atoms.

Use default constructor for the device buffers that can be uninitialized

Some buffers in NBNXM are initialized conditionally, which posseses
a problem for the OpenCL kernel jit compilation, where these buffers
are used as arguments.

Refs #2608

Fix some include guards in gmx ana

Clang tidy would complain about the defines starting with _.

Allow the use of only one backend at a time with SYCL-DPCPP

This is not a hard requirement; multiple backends can be used together
just fine.

But in DPCPP, the same physical device can appear as different virtual
devices provided by different backends (e.g., the same GPU can be accessible
via both OpenCL and L0).
Thus, using devices from two backends is more likely to be a user error than
the desired behavior. In this function, we choose the backend with the most compatible
devices. In case of a tie, we choose OpenCL (if present), or some arbitrary backend
among those with the most devices.

In hipSYCL, the problem of using the same device twice is unlikely to manifest.
It has (as of 2021-03-03) another issues: D2D copy between different backends
is not allowed. We don't use D2D in SYCL yet. Additionally, hipSYCL does not implement
the `sycl::platform::get_backend()` function.

Thus, we only do the backend filtering with DPCPP to keep the code
simple.

If needed, the `GMX_GPU_DISABLE_COMPATIBILITY_CHECK` might be used to
disable this limitation, or a backend-specific device filtering (e.g.,
`SYCL_BE` and `SYCL_DEVICE_FILTER`) can be used to only
provide the desired backend.

Turn t_forcerec.shift_vec into an std::vector of gmx::RVec

Change function signatures so that call sites have minimal changes

Add coordIndex to t_pull_coord

The pull coordinate index is an integral part of a pull coordinate
and can not be changed. Thus it can be part of t_pull_coord which
allows avoiding index passing in several functions.

Move responsibility for checking bondeds in reverse topology

The reverse topology is a data structure distributed across all
domains that should refer exactly once to all bonded interactions
present in the global topology. We check that this is true at run
time, but need a complex implementation to avoid doing extra
collective communication that supports running what is effectively an
assertion that the reverse topology construction is correct.

Past attempts to improve this (e.g. 8b6c99a1) left the code in an
intermediate state where the responsibility for this check was mostly
implemented in do_md rather than compute_globals. That gave the
impression of compute_globals() returning an integer
parameter. However as above it's really an implementation detail of a
check of the reverse topology, and so the logic and memory for that
check should be in the domain decomposition module and object.

This change move the details of that check to the rest of the code
that handles the reverse topology. It renames several variables and
adds documentation for them.

This simplifies parts of the implementation of the modular simulator,
and prepares for implementing the proposal for #3887 by making all
outputs from global reduction local to the module that consumes them.

Refs #3421
Refs #3887

Add tests for calcvir

Fix webpage build

MR !1235 (dff1d7e309eb751b6b7585853501c544919db59f) had a missing empty
line, which upset Sphinx.

Avoid unnecessary CPU force buffer clearing

Only clear CPU force buffers on steps that actually use the buffers.

Partly addresses #3970

Move nsgrid header/source from mdlib to domdec

The function get_nsgrid_boundaries is only called in domdec module
so it should live there. Removed an unused constant and moved another
to the source which is the only consumer. Also removed a todo which
no longer makes sense.