More const in edsam functions

In addition to increasing const correctness in edsam functions,
some additional minor cleanup is also done.

Use const ref to mtop in init_forcerec

Also lower level function, which are currently static, are
refactored to take a const ref to mtop. This will make exposing
those lower level functions safer.

Support checking event status in GpuEventSynchronizer

This commit adds an isReady() method that allows checking whether
the event has been triggered (or in SYCL associated barrier task has
completed).
The primary aim is porting the nbnxm module to the unified GPU layer.

Implements part of #2527

Fix clang-tidy-11 errors in NBNXM module, part 5

Refs #3897

Add support for Clang-CUDA 11.x and a post-merge CI build

Tested mostly with Clang-11 and CUDA-11.2

While Clang does not officially support CUDA after 10.1, it appears to
work fine with newer versions.

Caveat: Clang fails to properly detect CUDA versions past 10.2

This can be worked around by creating `/usr/local/cuda/version.txt`
file with the single line `CUDA Version X.Y.Z`.

Despite the workaround above, Clang:
- does not recognize sm_86.
- recognizes sm_80, but believes that the installed CUDA version
  is too old to support it.

Use const ref to inputrec in do_force

Inputrec can be const at the level of do_force and below. This
will make subsequent refactorings in, e.g. setup code called
within do_force, easier.

Add container with LLVM 11, CUDA 11.2.1, hipSYCL

- Introduce the option to add hipSYCL to a CI container.
- - Version is specified by commit SHA, because the latest stable
    release (0.9.0) is too old.
- - hipSYCL requires llvm-dev packages for compilation. This bloats the
    size of the image, but is much easier to manage than installing CUDA
    and ROCm into a temporary container.
- Add workarounds for known Clang limitations when dealing with the latest
  versions of CUDA (11.0-11.2.1) and ROCm (3.9-4.0).
- - Is also allows using cuda-clang build with CUDA 11.
- Add a new image to the admin/containers/buildall.sh:
- - Ubuntu 20.04, Clang 11, CUDA 11.2.1, hipSYCL develop.

Introduce virtual sites test

The virtual site tests contain two parts:

1. A reference implementation. The virtual sites code in mdrun is
   difficult to unit-test, since the function calls require data
   structures which are not available in our current testing
   framework. To circumvent that problem, a reference implementation
   is introduced in the tests. The reference implementation can be
   unit-tested, and can be compared to end-to-end mdrun output,
   which leads to a situation comparable to having unit and end-to-end
   tests for the virtual sites implementation. Additionally, the
   reference implementation is simplified and kept close to the
   analytical formulas, which makes verification by eye easier. The
   current unit tests compare the position calculation to the velocity
   calculation, ensuring that the latter is indeed the derivative of
   the first. Additional unit tests could be addded.

2. End-to-end tests. This ensures that all virtual site types can be
   run, and that the trajectory of the virtual site matches the
   trajectory of the real sites, using the reference implementation.
   These tests check that the mdrun implementation agrees with the
   reference implementation, and that real and virtual site reporting
   does not get out of sync.

Note that the reference implementation also includes virtual velocities,
which are, however, not used to test simulation output yet. This will
be introduced once the new velocity definitions are implemented in
mdrun.

Refs #3866

Rework SYCL CMake machinery to be compatible with hipSYCL

Unlike DPCPP, hipSYCL (and ComputeCPP) offer its own CMake package.
This package has a nice `add_sycl_to_target` function to indicate which
source files must be compiled with SYCL and which target must be linked
with appropriate libraries.

Such function is rather trivial for DPCPP, so, in the interest of
homogeneity, we add it here.

Make the restraint history const during force calculation

The history is updated later, and is read-only within the force
routines. Adds a few const qualifiers to clarify this.

Refs #3430

Fix clang-tidy-11 for topology module

Part of updates for clang-tidy changes to require variable
initialization.

Expose mk_nbfp and make_ljpme_c6grid.

Expose mk_nbfp and make_ljpme_c6grid from 'mdlib/forcerec.cpp'
in 'mdlib/forcerec.h'.

Thereby rename:
mk_nbfp           -> makeNonBondedParameterLists
make_ljpme_c6grid -> makeLJPmeC6GridCorrectionParameters

Fix release docs build

The change to python handling for the documentation build was not
propagated to the release builds.

Fix leaked memory created in make_ljpme_c6grid.

Add gmx::isPowerOfTwo function

A follow-up from a discussion in !1080.

Merge branch release-2021 into master

No content, because that was accidentally squashed into commit
a660b04e8d8756ed9c4d.

Remove unused function

This was leftover from the tree-reduce algorithm removal.

Improve CUDA codegen flags

- onnly generate PTX for an early and the latest arch (3.5 and 8.0)
- add binary 8.0 and 8.6 targets

Move virtual site calculation

The previous implementation would lead to slight inaccuracies when
virtual positions were calculated before shifting positions in
pressure coupling algorithms. This change moves the calculation to the
top of the loop, right before DD and force calculation.

This also removes an unnecessary call to the virtual site construction
in rerun. That call was placed after force calculation and trajectory
writing, so had no influence since coordinates for the next step are
read from file. Since virtual sites are constructed when reading
coordinates from file, the results should have been correct anyway, the
call just had no influence.

This also moves the call to the virtual site construction in MiMiC.
Similar to the rerun case, the current call happened after virtual
sites are used. This call has been moved to right after the coordinates
are received. This is likely to have lead to wrong results when using
MiMiC with virtual sites.

Refs #3866

Use unique_ptr for tables

Instead of returning a raw pointer, make_tables now returns a unique_ptr.

Fix clang-tidy-11 errors in NBNXM module, part 3

Refs #3897

Disable cos acceleration for non leap-frog code paths

The cos acceleration is only applied in leap-frog. grompp and mdrun
would, however, happily accept non-zero cos-accel input, and report
viscosity-related quantities without ever applying the acceleration
for all other integrators.

This change adds a check at grompp time (to avoid new tprs with
non-implemented parameter combinations being created), and at
runner time (to catch older tprs). Should probably be backported
to the supported releases.

Refs #3903

Safer handling of empty cells in Grid::sortColumnsCpuGeometry

When the number of atoms is low, NBNXM grid can contain empty cells.
Previously, this caused the value of numAtomsCell in
Grid::sortColumnsCpuGeometry to become negative, and we were calling
Grid::fillCell with atomEnd < atomStart.

It did not cause any bugs as far as I observed, but is slightly
dangerous and couterintuitive behavior.

For example, such situation happens in
./bin/mdrunfep-test --gtest_filter=FreeEnergyCalculationsAreEquivalentToReference/FreeEnergyReferenceTest.WithinTolerances/coulandvdwsequential_coul_s

Fix MPI build

In the change that made clang-tidy-11 happy for domdec
(0af8a86a3c9556b2dc8fbd4c9f2a430c5cd58982) the MPI_Comm
were set to nullptr, although they are not pointers.

Use GmxManageMPI variables for gmxapi.

For minimal disruption to the release-2021 infrastructure,
let the `gmxapi` CMake target (libgmxapi) use
`${MPI_COMPILE_FLAGS}` and `${MPI_C_LIBRARIES}`
instead of the `MPI::MPI_*` target(s).

Note: This will conflict with the resolution to #3672.
Conflicts arising in a merge from `release-2021` to `master`
should defer to `master`.

Fixes #3896

Allow specific diagonostic ignore for GCC only

GCC diagonstic pragmas will by default also be read by clang, but clang
and GCC don't always use the same warnings. Example: clang doesn't
understand "-Wunused-but-set-parameter" which GCC uses.

Needed for implementation of #3866.

Prepare changes to docker images for python packages

Python package handling for things currently added manually to the
system python are moved to the virtual environments instead. This
affects the sphinx and gcovr packages.

Fix gmx_rmpbc_init with InteractionDefinitions

Molecules were not made whole when gmx_rmpbc_init with
InteractionDefinitions. This caused all trajectoryanalysis tools
not to make molecules whole.

Fixes #3900

Fix llvm build in docker container

We still need to be able to rebuild containers if needed.

Fix clang-tidy-11 errors in NBNXM module, part 4

Refs #3897

Fix clang-tidy-11 errors in NBNXM module, part 1

In some cases, extracted problematic pieces into static functions to
simplify the logic.

Re-fix md-vv Trotter kinetic energy and temperature

!270 reintroduced bug #3832.

SYCL compilation and code compatibility changes

- Split SYCL device kernels into separate compilation modules

By default (no split), all the kernels are put into a single compilation unit.
With the upcoming 168 flavors of NBNXM kernel, the JIT compilation
adds 6-10 minutes to each launch of _any_ program using _any_ SYCL kernel, because
all existing kernels (even unused ones) are compiled.

With this change, only actually invoked kernels are JIT-compiled (although not
cached), making the overhead much more manageable.

This cost can be moved to the compile-time by using flags like
`-fsycl-targets=spir64_x86_64-unknown-unknown-sycldevice`.
But it will require having the OpenCL runtime installed on the compilation host.

- Expose Intel SYCL extensions in a manner compatible with SYCL2020.

Intel DPCPP compiler has some of the 2020 features in its sycl::ONEAPI
namespace, and some of them have different names. Meanwhile, hipSYCL has
same functions in cl::sycl proper. Here, we create our own sycl_2020
namespace, and put all these functions there.

- Silence warning from icpx

It seems to be a false positive, not emitted by the manually compiled
llvm from Intel's repo.

- Don't check USM in CMake stage

We don't currently use USM, and, for some reason, this code fails to
compile with hipSYCL. Since we only want to check compilation at the
CMake stage, there is little sense in putting complicated code there.

Fix SYCL clearDeviceBufferAsync<float3>

Per SYCL 1.2.1 and 2020 (provisional), cl::sycl::handler::fill only
works for scalars and SYCL vectors, not custom types, like gmx::RVec. It
actually worked fine on OpenCL CPU and host, but not on OpenCL GPU. So,
a simple wrapper that reinterprets the buffer as array of float's is
added.

Name streams after locality

This renames the deviceStream into localStream to be more verbose
in naming.

Fix clang-tidy-11 errors in NBNXM module, part 2

In some cases, extracted problematic pieces into static functions to
simplify the logic. Maybe a bit too much here, but, I believe, it improves readability.

Also fixed some grammar.

Refs #3897

Make temperature and pressure coupling enums enum classes

This makes the plain enums denoting the temperature and pressure
coupling enums enum classes. Most of this change is simple renaming,
changing etcXXX into TemperatureCoupling::XXX, and epcXXX into
PressureCoupling::XXX.

As these are the first of many enums in md_enums.h being refactored
into enum classes, this also introduces some reusable functionality,
including a templated function mapping enums to a string representing
the functionality, and helper functions used when reading inputrec
from file or comparing inputrec instances.

This keeps explicit static_casts from / to int in two places: When
serializing the inputrec, and when transferring the values over
multiple simulations.

Remove tree-reduce algorithm

This was formerly used only on the now-removed MIC platform. It could
well be useful these days with high core counts on conventional CPU
platforms, but it is likely that something else will prove limiting to
MD step thread scaling before that point. If we ever want it back,
then git will remember it, and we'd probably re-implement it on
different infrastructure anyway.

No need for release notes, as it was not something intended for users
to use.

Renamed the "standard" reduction function now that there is no need to
distinguish it from the tree reduction.

Part of #3982
Fixes #3891

dispatchTemplatedFunction: dispatch by bool

Add support of boolean template parameters of the subject function in
dispatchTemplatedFunction.

Fix clang-format

2d567afadf39d215950455d46056745474b850c0 was finalized by applying
suggestion in the GitLab GUI, which did not adhere to clang-format
policy.

Fix range check bug in gmx covar

Range checking was done the wrong way around.

Fixes #3902

Tag images on the branch as release-2021

This makes sure we can change images for master without affecting the
stable branch.

Refs #3716

Disable FPE for SYCL builds

Intel Graphics Compiler triggers FPEs inside its JIT. We can more
selectively call gmx_fedisableexcept only iff we are running on
Intel's GPU, but, to me, a more predictable approach seems friendlier.

Also, refactored the two complex PP conditions into a separate function.
It's only called once at program launch, so function call overhead
should not be an issue.

Fix clang-tidy-11 for trajectoryanalysis

Make sure the module conforms to clang-tidy-11.

Refs #3897

Removed "math.h" included from clang-tidy

Version 11 seems to include those in the code without need.

Parametrize constraints test over the test systems

Use a pre-define set of constant test systems to prevent repetition of logic
in different tests when latter are instintiated.

Fix clang-tidy 11 warning in nbnxm ocl kernels

Replace custom implementations of GCD with std::gcd

There is a minor implementation difference:
When any of the arguments is 0, old `lgc` functions return 1,
while std::gcd returns max of both arguments.

However, in the two cases changed here, the function is never
called with zeroes.

Add style code for function static variables

These should be prefixed with `s_` just like class variables, because
the reason is the same: the reader knows immediately the scope and
lifetime.

Ensure GoogleTest builds properly

Some test targets would not build without this.

Closes #3890

Clean up domdec again after clang-tidy-11 fixes

Previous fixes have been incomplete and introduced a bug.

Clang-tidy-11 fixes for utility

Fixes have been missing from previous fixes.

Refs #3897

Updated logos

Fix clang-tidy-11 for domdec and utility

Part of updates needed to conform to clang-tidy-11. Split into several
commits as it is impossible to have all changes together.

Refs #3897

Use raw strings instead of format in docker build script

Removes all instances of .format() from strings in docker build
script in favor of the more modern raw strings.

Remove VMX SIMD

This catered for POWER6 architectures, which are not used in HPC.

Part of #3891

Define M_PI when it is not defined

This is a standard work-around (e.g. used in GROMACS) for C++ library
implementations that don't provide POSIX capabilities by default
(e.g. Cygwin).

Closes #3890

Remove support for ARMv7 and NEON

Note that ARMv8 and NEON ASIMD are unaffected.

The implementation of the SIMD library for NEON ASIMD formerly
included content from that for NEON, and sometimes then overrode it
based on preprocessor defines. This has been consolidated manually so
that there is neither duplication nor additional preprocessing needed.

Part of #3891

Remove no longer needed macro define

The __STDC_LIMIT_MACROS and __STDC_FORMAT_MACROS definitions
should no longer be necessary.

Fix refactoring issue

The former code had short-circuit logic that is now restored. That
could only be a problem if multiple patches for the same atom had the
same name, which sounds unlikely. So probably the problem was benign.

Added doxygen and suggested future clean-up.

Refs #2833

Make LJ combination rule enum into an enum class

To introduce type-safety, the combination rule for LJ is madde into
enum class. This also fixes:
1. Out-of-order string assignment to enum values
2. Unsafe utilization of the enum for LJ PME combination rule
   (the values of this enum coincided so no bug by luck)

Ensure no UB in writing forces

UBSan observed that on non-master ranks we added an offset to a null
pointer in of->f_global. That pointer was never used, so there was no
bug, but we can improve the code by expressing that more clearly.

Ref #3897

Fix handling of tip4p in pdb2gmx

The former code wrote an output configuration file with an extra
spurious 'M' particle, as well as the 'MW'.

Added test coverage, which needs the full output configuration to be
checked. Made that configurable so that we have the option to check
the full configuration only when we want to.

Refs #2833
Fixes #3894

Initialize rollingPruningNumParts in init_plist

Previously, rollingPruningNumParts and rollingPruningPart were not
initialized, which, in the case of an empty domain, caused access
to uninitialized memory. No particular harm was being done, but it
could trigger an assertion in gpu_launch_kernel_pruneonly during
some of the regression tests.

The whole code in the preamble of gpu_launch_kernel_pruneonly is
probably due for refactoring, but since we initialize all other
plist's fields in init_plist, we better initialize these two as well.

Update llvm docker build

The LLVM project changed their repository organisation, so we have to
adjust our docker build script to take that into account.

Container for llvm 11 tested locally.

Refs #3897

Fix test of not_null

Inadvertently removed too much code

Refs #3893

Fix issues found by static analyzer

Update to version 11 found a few issues that need fixes.

Refs #3897

Remove support for Intel classic compiler

This compiler has sometimes generated the fastest code, but also most
often generated the wrong code of any supported compiler. Since Intel
now has another clang-based compiler that they are targetting for GPU
support in oneAPI, we've chosen to support it. Our resources are
limited so something else has to go.

Minor improvements to the install guide while I was there.

Added a fatal error to CMake as otherwise we will get bug reports that
icc doesn't work.

Added release notes

Fixes #3893

Remove deprecated env. vars GMX_OCL_NB_ANA_EWALD etc

The following environment variables were deprecated in 2021, and are
being removed:

GMX_CUDA_NB_ANA_EWALD
GMX_OCL_NB_ANA_EWALD
GMX_CUDA_NB_TAB_EWALD
GMX_OCL_NB_TAB_EWALD
GMX_CUDA_NB_EWALD_TWINCUT
GMX_OCL_NB_EWALD_TWINCUT

Closes #3803

Improve DLB recommendation

Do not recommend turning on DLB when it was turned off due to a
condition known to make it unsuitable to use in the run.

Fixes #3879

Use make_unique instead of reset when private implementations are constructed

Using std::unique_ptr instead of our own implementation in PImpl classes made
compiler more aware of the code and clang-tidy started to complain about
using reset function(...) for PImpl construction.

Remove support for Fujitsu Sparc64 HPC-ACE

The K computer is turned off, so this architecture is effectively
dead. Note that the NBNXM scheme never supported its SIMD, so even the
SIMD support in other modules was only of modest value.

Part of #3891

Fix compiler-version checks for C++17 requirements

175d3bb67f4 didn't update these parts

Refs #3297

Remove x86 MIC support

This platform is basically dead, so code and SIMD layer that supports
it should be removed.

There is no need to preserve a stub in the SIMD support enumeration,
because we never need to be consistent with old code. That's different
for other enums that affect e.g. reading old tpr files.

Note that this does not affect KNL support or
SIMD.

Part of #3891

Add necessary include

int64_t needs the right header to be defined. Was broken
on Cygwin

Fixes #3890

Replace gmx::Mutex with std::mutex

We use no mutexes during the MD loop, so performance is not a serious
consideration and we should simplify by using std components.
Eliminated components of thread-MPI that are now unused.

In particular, this reduces the cross-dependencies between the
libgromacs and threadMPI libraries.

Minor style improvements around set_over_alloc_dd.

Part of #3892

Fix clang-tidy

Code used old unique_ptr handling that needed fixing.

Require MPI 2.0

Remove MPI_IN_PLACE_EXISTS, since that can now be assumed. We weren't
testing the fallback path in CI, either.

Simplified MPI install guide. We don't need to maintain
recommendations about MPI library versions.

Fixes #3591

Rmove dependency on Constraints object from compute_globals(...)

Compute globals only uses RMSD data from constraints. This replaces
the Constraints object by the optional argument with RMSD data in
compute_globals(...) function signature.

Refs. #3754

Allow MdModules to access the topology during simulation setup.

Update release note on QM/MM deprication

The previous release note made it sound like the ongoing
CP2K interface development is providing code that is
"untested and likely dysfunctional"

This is not the case, it is the best functioning interface
at the moment and while not part of the official GROMACS code
base, has seen more through testing than any other QM/MM
interface.

Improve CUDA codegen flags

- onnly generate PTX for an early and the latest arch (3.5 and 8.0)
- add binary 8.0 and 8.6 targets

Use cxx mpi

Remove PrivateImplPointer in favour of std::unique_ptr

The single remaining advantage (help with const correctness in an
unlikely corner case) is outweighed by the disadvantages of
using a custom solution where a generic one would do.

Fixes #3684

Added functionality that allows MdModules to disable PME-only ranks during simulation setup

Merge branch release-2021

Resolved conflicts:

        admin/gitlab-ci/gromacs.gitlab-ci.yml
        admin/gitlab-ci/python-gmxapi01.gitlab-ci.yml
        api/nblib/gmxsetup.cpp
        api/nblib/listed_forces/gmxcalculator.cpp
        api/nblib/listed_forces/tests/calculator.cpp
        api/nblib/molecules.cpp
        api/nblib/molecules.h
        api/nblib/ppmap.h
        api/nblib/tests/integrator.cpp
        api/nblib/topologyhelpers.cpp
        docs/install-guide/index.rst
        python_packaging/src/setup.py
        src/gromacs/gmxpreprocess/pdb2gmx.cpp
        src/gromacs/gmxpreprocess/readir.cpp
        src/gromacs/gmxpreprocess/topdirs.cpp
        src/gromacs/math/densityfit.cpp
        src/gromacs/mdrun/md.cpp
        src/gromacs/mdrunutility/handlerestart.cpp
        src/gromacs/modularsimulator/simulatoralgorithm.cpp
        src/gromacs/nbnxm/cuda/nbnxm_cuda_data_mgmt.cu
        src/gromacs/nbnxm/nbnxm_gpu_data_mgmt.cpp
        src/gromacs/nbnxm/nbnxm_gpu_data_mgmt.h
        src/gromacs/nbnxm/opencl/nbnxm_ocl_data_mgmt.cpp
        src/gromacs/pulling/pull.cpp

Mostly from refactoring in master that clashed with fixes in
release-2021. Preserved the functionality from the latter in the form
of the former.

Some changes are simply due to the change to clang-format
configuration.

One CI configuration change for mdrun-only build is adapted, since
mdrun-only build has been removed.

Prepare for first 2021 patch release

Reset DOI strings

Move initiation of local CPU force H2D transfer to producer

For GPU DD cases that include CPU force calculations, a host to device
transfer of local force data is required before the GPU halo
exchange. The initiation of the transfer was previously immediately
before the consumer (GPU halo exchange). This change moves the
initiation to immediately after the last possible producer (the
special force calculation, noting that the CPU force contributions can
also come from preceeding bonded or PME calculations).

Addresses #3082

GROMACS 2021 release

Updated regressiontest hash.
Set doi strings.
Set correct release date.

Fix NB-LIB copyright

Was missing some updates and had a wrongly formatted header.

Fix formatting in random/seed.cpp

This was left over after merging release-2020 into 2021.

Fix failing listed-forces test

Reintroduce CI job descriptions

GitLab does not allow adding custom fields to YAML files, so comments
were used. I tried to make the descriptions grep'able (not for the
wqhole matrix, but at least for individual settings), human-readable,
and possibly machine-parseable at the same time.

Remove constant acceleration groups

Per Redmine discussion, this has been broken for about 10
years. Simplifying the update and global energy code is nice, and some
integrators will now be a trifle faster.

The value of SimulationAtomGroupType::Count can't change because reading old .tpr files relies
on it, but the enumeration value has a new name so that any relevant
code rebasing over this change can't silently still compile. This does
mean that loops over egcNR are now slightly less efficient than they
could be, and some of those are in the per-step update code. But that
is likely not worth changing in the current form of the code.

Originally authored by Mark Abraham at
https://gerrit.gromacs.org/c/gromacs/+/8944.

Fixes #1354

SYCL: fix typo in a test and clean-up non-standard-compliant code

Discovered when trying to compile with hipSYCL. Although not an issue
for Intel compiler, better keep things clean.

The change of `write` to `read` in the test code is intended. Not sure
how it worked before, but it should be `read` there.

Also fixed namespace qualifiers, implicit ctors.

Test python 3.9.1

Extends the image-building infrastructure to also include
python 3.9.1 into images.

Fixes #3479

Clarify lambda vector usage with figure in manual

Add a figure that clarifies the effect of different lambda values.

Add new sample script for listed forces

Adds a sample script that demonstrated the use of
listed forces calculator.

Change default Ewald kernel to tabulated on NVIDIA CC 7.0

Partially addressed #3845

Fix default for xpm2gmx tick-mark spacings

Inadvertently broken ages ago in 027ae34187f8

Fixes #3881