Forward declare ArrayRef more and inlcude basedefinitions where needed

Remove many includes of ArrayRef that can be forward declared. Also
remove includes of basedefinitions in many headers. In some cases
removing basedefinitinos meant also changing gmx_bool to bool.
Note that no change to source files is needed, apart from possibly
adding the basedefintions include, because gmx_bool uses true and
false under the hood.

Modernize t_nrnb

* Use array instead of pointer.
* Remove unused functions.
* Add doxygen to inc_nrnb.
* Use inline function instead of macro in all places where possible.
* Remove unused headers.

Use ArrayRef in calc_mu

More const ref in shellfc

Pass a const ref to t_mdatoms in shellfc functions. Part of work
to make refactoring t_mdatoms easier.

Detect CUDA-aware support in underlying MPI implementation

Checks CUDA-aware MPI support at cmake configuration time and at runtime. Print CUDA-aware MPI support status with gmx -version.

Use ArrayRef in do_ewald

Also removed a function with no implementation.

Use StringToEnumValueConverter and enumValueToString more

Follow up from MR 1213

Fix compiler and linter warnings

- Unused variables in pme_pp.cpp
- Insufficient NOLINTing in update.cpp

Remove incorrect assertion for GPU timing in SYCL

- The expression was backwards: it was failing when timing was disabled
  instead of failing when it is enabled.
- The expression was run on a freshly-initialized data structure, and
  the value of bDoTime was always overridden later, so it was not
  actually checking anything.

Since we anyway never set bDoTime to true in SYCL build, we might as
well remove this assertion here altogether.

Introduced in !1296 (c4a672b93b655ff674b671fd10ebe728b2d19ec8).

Clean up leaks in t_inputrec

Refs #3984

Remove a misplaced update cycle closing

This was removed in b80b7a327b1 but got added back later presumably
during a merge.

Refs #3764

Rename sendFToPpCudaDirect

sendFSynchronizerToPpCudaDirect expresses what the method actually does.

Move the atomToInteractionLocality(...) into locality.h

The atomToInteractionLocality(...) does not depend on NBNXM
and can naturally reside alongside the definitions of localitiy
enumerations. This allows to combine haveGpuShortRangeWork(...)
functions in NBNXM, avoding confuciton of having two very similar
functions with different signatures.

Store buffer without offset in GpuForceReduction::Impl::baseForce_

- Store the pointer to the beginning of the array and apply offset to
it when invoking the kernel. Offsets to other arrays are applied at
the invocation time, so it makes sense to do the same with baseForce_.
- This also avoid storing pointers to the middle of the device buffer,
which is not a good fit for OpenCL and SYCL.

This change is preparation for adding a SYCL implementation of GPU
update (Issue #3932).

Unify init_gpu function in NBNXM

Refs. #2608

Use DeviceBuffer<RVec> in GPU force reduction and PME code

... instead of raw device pointers.

Preparation for #3932. PME change is incidental, the main focus is
GpuForceReduction.

Enable compiling LeapFrog with hipSYCL

No testing yet. Trivial change after !1268.

Closes #3941.

Bulk change to const ref for mtop

Change function signatures in mtop_lookup.h and mtop_util.h to be const
ref only for mtop. Also change signatures in other files as I went
along.

This change is only refactoring.

Make wallcycle comments proper doxygen

Should reduce noise in other refactoring commits.

Remove const cast in update code

Use more arrayref in listed forces sigatures

Pass members of t_mdatoms directly in many places in listed_forces.
Part of work on making refactor of t_mdatoms easier.

Remove mdatoms from forceprovider call signature

This makes it possible to test the forceprovider without having to build
a partial mdatoms datastructure first. Needed for future refactoring of
mdatoms.

Use ArrayRef in ewald_LRcorrection

This will make refactoring t_mdatoms easier. Also changed
signatures of calculateLongRangeNonbondeds to use more
ArrayRef.

Make non bonded energy terms enum class

Also renamed some of the enum values.

Fix a warning from CUDA 10.1

Discovered during nightly build:

warning: static_assert with no message is a C++17 extension [-Wc++17-extensions]

Use ArrayRef in gmx_pme_send_parameters

This will make refactoring t_mdatoms easier.

Use const refs in atoms2md signature

Const refs are now used for mtop and inputrec in atoms2md. Doxygen
is also added and inputrec renamed from ir.

Add wallcycle counting tests

Basic tests for running main and sub counters, and to check overhead.

Use DeviceBuffer in GPU update and NBNXM code

... instead of raw device pointers and DeviceBuffer<float3>.

We try to use DeviceBuffer<Float3>, but in some places we have to use
DeviceVector<gmx::RVec>, until we can define FloatN types without
including any backend-specific headers. Currently, Float3 is defined as
gmx::RVec, so this should not cause any issues.

Also added some helper functions to convert RVec ̌<-> Float3 <-> float3.

Preparation for #3932 and #3941.

Use ArrayRef<const real> in gmx_pme_do

Also changed some static functions to use ArrayRef. Some local
variables need to be vectors because they use operator[]. This
is part of preliminary work to make refactoring t_mdatoms
easier.

Fix errors overlooked in gmx msd changes

Made some NOLINT sections more broad.
Fixed documentation.

Use RVec and std::array in gmx_domdec_comm_t

Where possible, rvecs have been changed to RVecs and pointers
changed to std::arrays.

Migrate gmx msd to the trajectoryanalysis framework

Features to still be added
-tensor, for the MSD tensor
-pdb, for per molecule B-factors
-rmcomm, for system COM removal
-mw, for tuning mass-weighting options
-maxtau, for limiting resource usage and unneccessary computation (refs #3870)
-improvements to documentation and maybe some flag behavior changes (refs #3869)

Refs #2368

Unify gpu_init_atomdata(...) function

Refs #2608

Unify gpu_launch_cpyback(...) function in NBNXM

Refs #2608

Remove conditional assignemnt of cell sizes from domdec partition

The variable cellsizesWithDlb is always initiallized since it is a
std::vector, so there is no reason to set it to nullptr in
domdec/partition.

Unify gpu_init_atomdata(...) function

Refs #2608

Move pmalloc(..)/pfree(...) to separate source files in CUDA/OpenCL/SYCL

Having pmalloc(..) and pfree(..) functions in unrelated files in CUDA,
OpenCL and SYCL makes it hard to use these functions in platform-agnostic
code. This creates common header and moves these functions to separate
source files.

Add subcycle counting to MPI build

This code path has not been tested in CI and should be added.

Move M_PI definition to math/units.h

This makes more sense to have the definition there with the other
constants.

Resolves build issues with MSVC not finding M_PI definition.

Needed some minor header fixes.

Add another cool quote.

Recently seen on Twitter ...

Do not overallocate shiftVec and fshifts buffers in OpenCL

When changing buffers from flat float format to Float3,
the sizes of the shiftVec and fshift buffers were not updated
in OpenCL NBNXM data management, which lead to the buffers being
overallocated. This fixes the issue.

Introduced in c66827166fc9099ecd1a4a2f7080558df70bf529

Add a cool quote from Elvis Presley's song

Fix clang-format in topio.cpp

Introduced in 0dab36f99294056b33f4ee58383587a82447b9e6

Fix leak in cpp_opts

Refs #3984

Use existing PME f ready event in PmeForceSenderGpu

Instead of recording internally into the PME stream and sending that
event to the PP rank to sycn on from the separate PME rank, use the
already existing event recorded in PME.
This also eliminates the unnecessary use of multiple events, one for
each PP rank.

Refs #2891 #2915

Rename launchReceiveCoordinatesFromPpCudaDirect

The receiveCoordinatesSynchronizerFromPpCudaDirect() method name better
reflects what the code it actually does.

Refs #2891

Remove cyclic dependency check from check-source

This hasn't been properly checked for a while now and we are planning to
move this to a CMake check anyway.

Add DeviceAccessor<T,read> ctor from const DeviceBuffer<T>

A bit hacky, but better preserves the intent behind declaring
DeviceBuffer const.

Part of preparatory work for #3932.

Modernize PME GPU timing enums

Part of general modernization of enums to enum classes.
Used enumerationarray in places where it made sense.

Move responsibility for GPU force clearing to state propagator

Force was previously cleared within GPU force halo exchange which was
quite opaque. Now moved into do_force() and done by state propagator,
to make schedule clearer.

Fixes #3971 and partly addresses #3970

Unify insertNonLocalDependency(...) function in NBNXM

Refs #2608

Simplify gmx_pme_send_force_vir_ener()

sendFToPP() provided no benfit, so code is merged back into the caller.
Also removed unused send bufer pointers.

Fix unit test error due to GPU peer access already enabled

Fixes #3980

Fix clang-tidy failures in AWH tests

Commit d4610e91e7815756f728e68785b58b884aead153 introduced a
clang-tidy warning in AWH tests with integer used in place of
bool argument (modernize-use-bool-literals,-warnings-as-errors).
This removes these warnings.

Properly check for frozen atoms when disabling GPU update

Follow-up of !1241 (9550c3e8564068c86a0f34baee0f578e8ce6d5a9)

Initially, the check was overly relaxed, and was triggered even when
there were no frozen atoms.

Thanks to @alangray3 for noticing!

Make AWH parameters proper C++

All structs have been converted to classes with RAII constructors.
Parameter objects can only be constructed from input data or
serializers.

Tests are adapted to use the new constructors, this means some code got
a bit ugly there.

This change is only refactoring, plus adding tests for the
serialization.

Rename some variables in GPU task assignment and fix their usage

Some variables are oddly named which causes a confusion. This changes
the naming so that it reflects the meaning of the variables. Also,
fixes a miss0use of one of such variables cause by the bad naming.

Fixes #3980
Fixes #3981

Rework atom locality validity checks

The function that checks the validity of atom locality partly
duplicates its callers logic. The chacks are done naturally in
the callers and the function is used to construct and print
an error message.

Convert PmeGpu->kernelParams->atoms.d_forces to RVec

In most other places, forces are in RVec format, while it was float
here. While it is used as float in gather kernels, it is more consistent
to keep the buffer type as RVec.

This change is preparation for adding a SYCL implementation of GPU
update (Issue #3932).

Remove param fillLocal, which was always false, from nbnxm call stack

Several functions in nbnxm took a bool to determine whether to fill
local atoms with zeros, but the parameter was always set to false.
This is now removed from the function signatures, and some code is
slightly simplified.

Change vector references to Arrayref in AWH

Preparation for further refactoring.

Revert "Wrap more device pointers in DeviceBuffer" (!1244)

This reverts commit 850429f3ebe34d27dabed6d8c31c08968befd1f5,
which broke some MPI functionality, as revealed in post-merge tests.

Don't test for pressure in replica exchange regression

Pressure is not reproducible enough to have reliable regression tests.
The failures described in #3976 happen on step 0, so are independent
of replica exchange.

This change replaces testing for the pressure by testing for the
volume, where possible.

Fixes #3976

Disable GPU update in the presence of frozen atoms

There is a known bug (Issue #3920) affecting GPU update when frozen
atoms are present. While the bug is being resolved, we mark such
configuration as not allowed.

Refs #3920

Wrap more device pointers in DeviceBuffer

Store and pass around more device pointers as DeviceBuffer<T>
instead of as a raw or even void pointer.

Related changes:

- PmeGpu->kernelParams->atoms.d_forces is now RVec, not float. Forces in
  most other places are RVec, so it seems more logical.
- GpuForceReduction::Impl::baseForce_ now stores pointer to the
  beginning of the array, without shift.

Unify gpu_copy_xq_to_gpu(...) function

Refs. #2608

Move radian-angle conversions to math/utility

The constant M_PI is always defined there, and conversion is more
properly a utility than a unit.

Use constexpr for physical constants and move them into gmx namespace

The physical constants that are part of the public API are converted from
defines to constexprs and are moved into the gmx namespace. This means
that many files are touched with tirvial changes. The benefit is that
now the risk of symbol collision is reduced in cases where a library
might depend on these constants.

Additionally, in the same vein of library cleanup, the math/utility
header is removed from units header and included only in the sources
that actually need it.

Fix missing stdint.h

MSVC complained about missing definitions for int64_t because stdint.h was
not included.

Revert "Use std::aligned_alloc"

This C++17 library capability is not yet available on Windows or Mac.

This reverts most of commit 768894fb93bb03a6972b10a8c930b1d1f64221c3.
Incidental aspects of that commit have not been reverted,
specifically, where unused header inclusions and unused functions were
removed.

Fixes #3968

Use map to speed up PreprocessingAtomTypes::atomTypeFromName

Previously, we were doing O(numExistingTypes) string comparisons in
PreprocessingAtomTypes::atomTypeFromName.

This significantly slowed down print_bonded function from toputil.cpp,
and, consequently, the pdb2top.

Here, we add an unordered map to store the mapping from type name to
type number, making the whole search O(log(numExistingTypes)), and
avoiding constantly constructing new std::string's from char*'s.

On my machine, this change reduced run time of Pdb2gmx3Test test from ~8
seconds to ~2 seconds.

Closes #3974

Remove includes from math/utilities that are not needed there

Neither of the include statements in math/utilities were actually needed there.

Fix "wait before marking" synchronization bug

We did not initiate a D2H copy of coordinates when doing a neighbor
search but were anyway waiting on the associated event.

Unlikely that it had any negative consequences, but that's still a logic
bug.

Fix clang-tidy complaint failing our CI lint test

The complaint was about non-const reference, but I also changed an
uninitialized variable nearby.

Fix typo introduced during nbfp_comb refactoring

d440c46ef06c3a4c1695e3ec37e7e108ab7a2817 introduced a bug in OpenCL
NBXNM kernel.

Refs 3973

Clarify the SYCL subgroup size on different targets

Also added some doxygen.

Refs #3934

Remove physical constant enums

Those have not been used anywhere.

Removed unused conversion functions.

Noted change in release notes API section.

Fix clang-format and naming of static variable

Introduce StringToEnumValue

This helper functor seems useful in a few places. Adds tests and
improves documentation.

Fixes #3963

Modernize AWH enumerations

Changed enums to enum classes.
Use EnumerationArray for strings.

 Simplify LJ parameter lookup

  - Unify the CUDA per-pair scaled C6/C12 LJ parameter
    loading codepaths so both texture and LDG paths do
    8-byte float2 loads.
  - Unify the CUDA per-atom LJ parameter loading codepaths
    so both texture and LDG paths do 8-byte float2 loads.
  - Simplify the LJ self interaction energy term calculation
    by only using the non-texture loads path to simplify code.
    As this is outside the main loop, its impact is negligible.
  - Use float2 loads for the above in OpenCL as well.

Check version names to be correct for release

Adds a check during release verification that the version names coming
from CMake and the actual name in the binary match.

Prevents issues with calculation of verified checksum.

Refs #3862

Create a documentation section for GitLab Label guidelines.

Also rename `gitlab.rst` to `gitlab-ci.rst` since we are starting
to document non-CI GitLab-related information in various places,
making `gitlab.rst` a misleading name.

Fixes #3949

Remove PDO reading from gmx wham

These files were written by gmx 3.x, so likely nobody has any left
that they care about. Subsequent versons of GROMACS can still read
them if anybody does still have them. Meanwhile, we can simplify gmx
wham by removing this support, which was deprecated in GROMACS 2021.

Modernize atom enums

Use enum classes and enumeration array for particle and PDB record
types.

Fix nightly clang-tidy build

Function signatures had not been correctly updated.

Use optional instead of magic numbers in preprocessing

Replaced the NOTUSED magic numbers in the atom type preprocessing
functions with optionals to indicate that an entry was found or not.

Needed for modernizing the particle type and pdb record type enums
further along.

Use std::aligned_alloc

There is no longer any need to write our own code to allocate aligned
memory, as the C++ standard library provides a function to do that.

Relaxed some comments on our allocators as it is now technically
possible to free such memory with std::free.

Removed related configuration infrastructure that is no longer
required.

Also removed the unused gmx_pause, which shared some of that
infrastructure, and so was able to reduce the include requirements of
gmxomp.h header file.

Set up build with hipSYCL

The kernel code is currently non-functional on NVIDIA/AMD hardware, but
the build itself is useful to ensure code portability.

- Disabled LeapFrog for hipSYCL. With `float3` being used in the host
  code, it is easiest to just disable the integrator until #3312 is
  resolved. This will have to be resolved in order to run full MD loop
  on GPU with hipSYCL. See #3941.

- Some warnings from the compiler and include headers silenced.

- Workarounds for features not supported by hipSYCL are introduced.
- - Shuffles. Should work, but not tested. Hopefully, they will be
    introduced in the mainline hipSYCL soon.
- - Barrier synchronization. Intel-specific extension to SYCL which can
    be imitated fairly well with native OpenCL/CUDA calls, but is
    stubbed very stupidly now. Proper solution will be done after #2527
    and #3924 are resolved.

- CI jobs are added. The set of target device architectures is chosen
  semi-arbitrarily, since the code is not being run yet anyway. Main
  concern was to have both HIP and CUDA there.

Refs #3923.

Use const ref for mtop and inputrec in EnergyOutput initialization

Some renaming for ir to inputrec is also done.

Use more const ref in domdec API

Several places that were using const pointers are changed to use
const refs. A few gmx_bool are replaced with bool as well.

Add coverage build to post merge

Every merged commit will be checked for changes to code coverage with
this addition.

Small change to flags added when building for coverage.

Build can be extended for other metrics later as well.

Only use const ref for mtop and inputrec in domdec

All const pointers of mtop and inputrec in domdec module are
converted to const refs. Additionally, since inputrec lines need
to change anyway, renaming from ir to inputrec is performed.

Add device-to-device copy function wrapper with tests in CUDA

The D2D copy is currently only used in CUDA, so only stubs are added for OpenCL and SYCL.

Closes #3321

Refs #3318

Deprecate gmx::Any

Refs #3951

Introduce GTest regression tests for replica exchange

This introduces regression tests within the GTest framework for
replica exchange simulations. These tests are restricted to 4
MPI ranks, used as either 2 replicas with 2 ranks each (using
the DD code path), or 4 replicas with 1 rank each (using code
paths used by multiple replicas). As the reference data would
be different for each combination of number of ranks / number
of simulations, this is restricted to a few setups to keep the
reference data manageable.

The tests are run with integrator `md` using v-rescale and
Nose-Hoover thermostats and c-rescale and parrinello-rahman
barostats, covering the thermodynamically correct temperature
and pressure control algorithms. The tests are also run with
integrator `md-vv`, Nose-Hoover thermostat and no barostat
to cover the Trotter decomposition code path (MTTK barostat
would require a different system because it doesn't work
with constraints, and it's not obvious that it would actually
increase code coverage significantly).

Refs #3918

Increase multsim test flexibility, test multisim + DD

This increases the flexibility of the multisim testing infrastructure
by allowing to parametrize it for number of ranks per simulation,
integrator algorithm, and temperature and pressure coupling.

The multisim tests are also extracted into a separate test binary,
allowing to use a different MPI setup than the remaining MPI tests.

Finally, the flexibility is used to introduce multisim tests which
use domain decomposition in the respective single simulations.

Refs #3918

Fix testing of positions against reference data

When applying PBC to positions before comparing them to reference
data, a returned std::vector was assigned to an ArrayRef. This lead
to undefined values being compared. Position comparison against reference
data is currently unused, so this did not lead to any failing tests.

Add tests on asynchronous host-to-device copy and back

The copy routines take different paths depending on transfer kind,
hence both sync and async copy should be tested. This adds tests
for async calls.