Merge branch release-2020 into merge-2020-into-2021

Resolved Conflicts:
cmake/gmxVersionInfo.cmake
docs/CMakeLists.txt
docs/conf.cmakein.py
src/gromacs/gmxpreprocess/readir.cpp
src/gromacs/mdlib/expanded.cpp
src/gromacs/mdlib/tests/CMakeLists.txt

Write copyright output files as utf8

The script could fail otherwise when encodings didn't match.

Prepare for GROMACS 2020.6

Reset DOI strings.
Prepare release note stubs.
Set patch number in build infrastructure.

GROMACS version 2020.5

Set DOI strings.

Update src/regressiontests URLs to https

With the recent server migration we support https downloads and we
should offer those over http.
Also updated the regressiontests URL to point to the ftp server.

Fix broken random seed generation.

On Ryzen 3k CPUs with the RDRAND microcode bug, the
std::mt19937_64 alternate path yields the same seed
on multiple calls that fall within the same second. Changed
the "seed" of the random seed to rescramble each time the
makeRandomSeed() function is called.

Fixes #3859

Fix broken random seed generation.

On Ryzen 3k CPUs with the RDRAND microcode bug, the
std::mt19937_64 alternate path yields the same seed
on multiple calls that fall within the same second. Changed
the "seed" of the random seed to rescramble each time the
makeRandomSeed() function is called.

Fixes #3859

Fix copyright year

Merging !423 on January 1st 2021 causes the pipeline to fail
due to a missed copyright year update.

The copyright year is updated with this patch.

Expanded ensemble changes.

Fix the numerical stability issues encountered with simulated tempering (also, would have occurred with any alchemical problem with large energy differences between states). In most cases, we simply flip the form around and compute an alternate form that always gives a 0 instead of infinity when the energy difference between states is too far in any direction. Also added a citation. Fixes https://gitlab.com/gromacs/gromacs/-/issues/3304

Note that there is no way to get good estimates for free energy differences between states with the very large differences between examples. One of the numerical stability fixes is not expected to be great, but it's not really relevant since nothing would work in this case; using Wang-Landau (i.e. visitation based approaches) rather than metropolis style methods (energy difference analysis methods) is the only thing that works.

Bump version post-release to rc2

GROMACS 2021-rc1 release candidate

First release candidate.

Deprecate .pdo file reading

Analysing such files is likely not relevant a decade later, and such
needs can be met by using an older version of GROMACS that did still
support reading these formats.

Fixes #3818

Stage bonded kernel atomics through shared memory

Fixes performance bug introduced in 01b2f20bd5 by staging energy step
atomics through shared memory rather than have all threads write
atomically directly to global memory.

Fixes #3443

Update CI image to OneAPI 2021.1.1, add ICC tests.

Also, backport a change from MR !796 that silences the false-positive ICC
compiler warning.

Update deprecation statuses

Various functionality has been agreed as deprecated at #3818 and
elsewhere. Those are now noted in the release notes, documentation,
and CMake status messages. The changes are all minor so there is
little need to make mdrun report when such configurations are used.

The deprecation content for release  2020 (and 2021) series is updated
to include  the relevant  content from  release 2019  series. Comments
have been added to help us to this better in future.

Fixes #3818

Fix pull group index handling

The pull code never validated its own index groups, leading to the
possibility of an invalid group either hanging the process or triggering
an assertion, depending on the build type.

Fixed by introducing the check for other index groups also to pull
groups.

Fixes #3810

Fix incorrect AWH free-energy output with multiple walkers

The free-energy was averaged exponentially over walkers using the wrong
sign for the exponent. The meant that the free-energy output was off
for large update sizes. This error was quadratic in the update interval
and the number of walkers. This likely has no measurable effects with
the default AWH free-energy update interval. But the effect is noticeable
with the not uncommon update interval of 1000 steps.

Fixes: #3828

Correct signs of lj and coulomb forces

Restrict force frame comparison for FEP tests

Closes #3741.

Fix trx frame reading from modular simulator checkpoint files

trx frames from checkpoints written by modular simulator could be
slightly off depending on the algorithms used (always up-to-date with
domain decomposition only). The global state is still written to
modular checkpoints (as there is a significant amount of setup work at
runner time that needs to be refactored before modular simulator can
get spawned completely without a global state). It is, however, not
guaranteed to be absolutely up to date, as it's not used in the
simulation continuation.

The trx frame reading is now handled by modular simulator if the
checkpoint was written by modular simulator. A test was added to
ensure that the final frame of the simulation is equivalent to the
checkpointed configuration.

Note that this was not affecting simulation restart (exact
continuation is tested also for modular simulator). It would, however,
affect other tools accessing the configuration from the checkpoint
file. The error was only present in master and 2021 beta, so it was
never in a released version.

trx frame reading by modular simulator required some refactoring of
the StatePropagatorData and FreeEnergyPerturbationData
checkpointing. The main read and write function was moved to the data
object itself rather than being owned by its element. This is likely a
better design decision anyway: The element orchestrates the
checkpointing during the simulations, but the data object is handling
the actual data reading / writing. This allows to create a dummy data
object, restore it from checkpoint, and read out the quantities
relevant for the trx frame.

Closes #3838

A check for perturbed listed pairs beyond rlist

Excluded atoms pairs should be within the pairlist cut-off, as
otherwise long-range corrections are not applied. This is problematic
for free-energy calculations where intra-molecular interactions are
not coupled and replaced by pair interactions. Now a fatal error
is generated when perturbed pair interactions are beyond rlist.

Also added PME grid correction for LJ excluded pairs beyond rvdw,
which was missing from #3403.

Added missing release note for the fix of #3403.

Fixes #3403
Fixes #3809

Fix indexing bug in electric field module

Improper refactoring in c8eca5d1f27cc34903718ade7d44527c22ec3d93 lead to
the module using the wrong maximum atom index for applying the electric
field forces to atoms.

Fixes #3800

Fix defining of EXCLUSION_FORCES in CUDA/OpenCL kernels

For the case of cut-off electrostatics + Ewald LJ + no energy calculation,
the EXCLUSION_FORCES macro should be active.
However, LJ_EWALD macro is (conditionally) set only later, and so is
always undefined when it is being checked for EXCLUSION_FORCES.

Fix compilation and tests with icc 19.1.2

Closes #3822

Fix and activate tests for kv-tree checkpoint functions

The tests in src/gromacs/fileio/tests/checkpoint.cpp were introduced
in 64bee06aa, but the file was never added to the CMakeLists.txt,
meaning they were never executed (or even compiled).

Added the file to the CMake target and fixed a few compilation
errors and warning to activate the tests.

Fix dump of checkpoint files

With the addition of the MdModules and the modular checkpointing,
`gmx dump -cp` would end with an error when either of the two was
written to checkpoint. Reason was that the function dumping
checkpoint files was not aware of the additional blocks present.
As the new functionality checkpoints at the end of the files, the
remainder of the information was printed anyway, but the call ended
with an error.

This adds the two new checkpointing blocks to the function used
by gmx dump, and prints the kv-tree they are based on. To achieve
this, the kv-tree printing functionality had to be expanded to
allow for arrays of objects.

Finally, this change also fixes a wrong comment in the modular
simulator checkpoint helper - checkpointing happens on top of the
integration step, so _before_ the last step.

Fix Nose-Hoover conserved energy

Closes #3831

Clarify checkpoint mismatch error, and enable in release

As of GROMACS 2021, checkpoint files written with the modular and the
legacy codepath need to be continued with the same code path. The
respective check was not executed in release mode, which would lead
to less descriptive errors.

Also reworded the error to guide users how they can solve the problem.

Relax simulator comparison tests

The simulator comparison tests have proven to be too strict when running
them on more diverse hardware / compiler / parallelization combinations.

This doubles the tolerances for the energies of tests containing
constraints. Note that at 160 double precision ULPs, these are still
very tight for end-to-end tests, so the danger of relaxing them a bit
is low.

Closes #3836

Print energy conservation in modular simulator

Third GROMACS 2021 beta release

All features should now be stable before the release.

Fixes post submit broken by 05f02ab82

Separate simulator comparison tests

The simulator comparison tests ensure that legacy and modular
simulator code paths don't diverge while both exist. They are
currently part of the mdrun tests. Separating them has two
advantages:

* As the feature set of modular simulator grew, the run time
  of these tests became the largest contributor to the run time of
  mdrun-test. Keeping it separate makes it easy to keep the
  run time in check and to disable the tests if necessary.
* It is useful to run the simulator comparison tests on
  multiple ranks (at least locally). Not all other tests
  in mdrun-test support more than one rank. Having a separate
  binary simplifies running it with different parallelization schemes.

Fix error when using simulator test with pre-defined environment variable

The simulator test compares the results of functionality implemented in
both the legacy and the modular simulator by running two simulations using
the environment variables GMX_DISABLE_MODULAR_SIMULATOR and
GMX_USE_MODULAR_SIMULATOR to cover both code paths. If one of these
variables was already present in the test sytem, the tests would fail with
an error.

This change backs up the current state of both variables, disables them,
runs the tests, and resets them to their previous state (if any).

Fix kinetic energy and temperatures reporting

Fixes the reporting of kinetic energy and temperatures, which is
(very slightly) off in md-vv with Trotter NPT (Nose-Hoover & MTTK)
in the legacy code path.

Closes #3832

Modular simulator: Disable invalid code paths

This explicitly disables two invalid code paths for modular simulator:
* The new MTS is not implemented for modular simulator. It is only
  implemented for integrator = md, which by default uses the legacy
  code path. This default can however be overwritten by setting
  the environment variable GMX_USE_MODULAR_SIMULATOR=ON, which would
  result in errors due to the MTS data structures not being properly
  initialized.
* The non-MTTK Parrinello-Rahman barostat is available in modular
  simulator, but not in the legacy simulator. The case that this
  barostat is chosen in combination with other options not compatible
  with modular simulator needs to be caught explicitly.

Add tests for newer GCC versions

Added gcc-9 + OpenCL (in release builds) and gcc-10 + OpenCL
during merge pipelines to replace previous gcc-7 + OpenCL builds.
Shuffled around previous gcc-8 + CUDA builds to now have
gcc-7 + CUDA 10.2 and gcc-8 + CUDA 11.0 instead.

Test OpenCL with internal clFFT during release builds.

Explicitly use xunit2 schema for pytest output.

Resolves #3717

Improve accessibility of pytest documentation.

* Update gmxapi install.rst.
* Consolidate (and prune) some README.md content in
  python_packaging subdirectory.

Also ref #3706

Fixes #3702

Fix build on CentOS 7

The compiler toolset coming with devtoolset-7 on CentOS still suffers
from https://gcc.gnu.org/bugzilla/show_bug.cgi?id=58265. The workaround
for this has been removed before because other gcc-7 compilers are not
affected by this, but it is obviously still needed for CentOS.

Fixes #3826

Import setuptools early to suppress distutils warning.

Also apply PEP-8 formatting corrections.

Fixes #3715

Fix pull fatal error message

Fix pull group indices in fatal error message for geometries with
more than two groups.

Refs #3613

Fix cyclecounters on x32

A missing check meant that the code wouldn't compile due to an asm block
that is not compatible with 32 bit datatype ABI and x86_64 registers.

Fix provided by Nicholas Breen.

Fixes #3816

Fix error with links in docs

Linkchecker complained about issues that I didn't fix correctly during
the latest merge.

Fix frexp() for ARM SVE SIMD

Stop GoogleTest requiring ancient CMake minimum versions

In practice the version is always new enough, and avoiding the
redundant minimum specifications means GROMACS developers will not be
spammed with useless warnings.

Fix frexp() for ARM neon SIMD.

Implements the same fix for arguments +-0 as previously done
for x86 and power implementations. After this, the only
remaining architecture is ARM SVE.

Refs #3773.

Merge branch 'origin/release-2020' into merge-2020-into-2021

Resolved Conflicts:
admin/containers/scripted_gmx_docker_builds.py
docs/conf.cmakein.py
docs/dev-manual/change-management.rst
docs/dev-manual/contribute.rst
docs/dev-manual/releng/index.rst
docs/dev-manual/tools.rst
docs/install-guide/index.rst
docs/reference-manual/preface.rst
docs/release-notes/index.rst
scripts/GMXRC.bash.cmakein
src/gromacs/gmxana/gmx_covar.cpp
src/gromacs/gmxana/gmx_do_dssp.cpp
src/gromacs/gmxana/gmx_h2order.cpp
src/gromacs/gmxana/nsfactor.cpp
src/gromacs/hardware/detecthardware.cpp
src/gromacs/mdlib/coupling.cpp
src/gromacs/mdrun/md.cpp
src/gromacs/mdtypes/state.h
src/gromacs/trajectoryanalysis/modules/pairdist.cpp
src/gromacs/utility/basedefinitions.h

Fix gmx h2order -d option

The code to implement this was never added.

Fixes #3820

Make sure frexp() returns correct for argument 0.0

Previous functions in gromacs have never called frexp
with argument 0.0, but cbrt() needs this. This will not
have caused any bugs, but since it results in FP
exceptions in debug builds we want to have it fixed
so our unit tests work.

This change adds the correct behavior for all x86
SIMD instruction sets, and it has also been tested
on all of them in both single and double, with the
exception for MIC (which should be correct, but we
cannot test it).

The ARM SIMD flavors have not yet been fixed yet
since the ARM build fails due to an apparent nblib
error. Once that is fixed, I will add it in a separate
change and close the issue.

Refs #3773.

Improve handling of CUDA API errors

Consolidate the construction of the printed error message in one
place and make sure that the CUDA API information on error is
printed when the error is detected.

Fixes for Intel and container build fixes

Generalizes the TSAN build stage to a compiler build stage, and uses
it for containing the installation process for the free Intel tools

Fixed or worked around several bugs

Updated install guide section on tested platforms to describe
what we actually do

Refs #3459, #3620

Change-Id: I28e4b816923395edead9d425cec5d85581e22b5e

Properly check if there are perturbed constraints or masses

Instead of just checking, when running updates on GPU, if
there are lambda states that involve constraints or masses
(e.g. if using fep-lambdas) check if any constraints or masses
are actually perturbed.

Make corresponding device active before each TestDevice is created

When populating the list of GPU devices for tests, the DeviceContext and
DeviceStream objects are created for each TestDevice. In CUDA, the
active device has to be explicitly set by the API since the DeviceStream
is created for the active device. Otherwise, all the streams are created
for the first device. When these streams are later used for the devices
other than first, CUDA API returns an invalid argument error. The bug only
affects unit tests in CUDA builds for systems with more than one GPU.
Does not affect OpenCL/SYCL builds, because they use DeviceContext to
attach the device to the stream (queue).

Fixes #3781, #3782 and #3805.

Look for the various possible names of the gromacs package.

Refs #3777

Remove coolquote that sounds offensive without context

Remove some extraneous compiler flags from nblib

Closes #3798

Detect ARM SVE Vector length if possible

arm_sve: unless the SVE vector length is explicitly set via the
GMX_SIMD_ARM_SVE_LENGTH macro, detect the default vector length
and aborts if it cannot be found.

Thanks Olly Perks for the pointer.

Fix thread mpi linking for mdrun only build

The linking would fail because the library include directory was not
added properly.

Fixes #3807

Restore correct dynamics linking behaviour

Recent changes to the way shared libraries are managed introduced a bug
in setting up static linking by default when building mdrun only.

Fixes #3806

Fix gmx do_dssp CHARMM support

The tool would not work correctly due to issues with detecting some
oxygen molecules.

Fixes #3568

Fix gcc 9 "warning: ‘unused’ attribute ignored"

gcc 9 seems to not like the unused because it would never warn anyway
about members, but clang does require it.

Fix segmentation fault in gmx pairdist

When using the pairdist tool with a coordinate in space as selection,
the tool would overwrite the selection group of the selection by default
to implement reference grouping. This would change the selection type of
the coordinate from INDEX_UNKNOWN to INDEX_ALL by default (or to any
other user supplied reference grouping). The change of the selection
type would then later cause a segmentation fault, as the underlying
machinery would try to access the non-existing atoms belonging to the
selection.

This changes the mechanism to no longer overwrite the selection group
type if the current one is INDEX_UNKNOWN.

Introduces test case with command line selection that would crash
without the fix.

Fixes #3762

Second GROMACS 2021 beta release

Feature freeze for 2021 branch.

Update gmx msd documentation

Removed comment on weighted fitting for determining the diffusion
coefficients. This weighting had been removed at some point, but
the documentation had not been updated.

Fix "GMX_CUDA|OCL_NB_EWALD_TWINCUT is disabling twin cut-off"

Disable failing NB-LIB listed forces tests

Tests are not stable enough to be run in all configurations and need
some more digging into for a proper solution.

Refs #3795

NBLIB: Fix build warning from uninitialized array

GPU codepath cycle counting fixes

* eliminated double-counting in bonded module initialization
* moved the bonded kernel launch counting into the gpuBoned module
* avoid counting ~0 CPU update work on the GPU path by conditionally
starting the ewcUPDATE counter
* also added some minimal improvements to the wallcycle debugging
tooling which should facilitate finding invalid nesting and missing
stop calls.

Refs #3764

Add move operations to GpuHaloExchange

This avoids needing to put the objects in a unique_ptr to put them in
a container. Also made a collection of them use std::array for
clarity.

Fix dHdl and foreign energy clearing at checkpointing

The code copying dH/dl and foreign lambda energies to the checkpoint
data structures copied the wrong way around leading to zero values
being written to energy file for steps in between the last energy
frame and the checkpoint.

Fixes #3763

Fix MTTK constant energy bugs

Fixes #3796

This also fixes an unclear comment relating to the barostat
Nose-Hoover chain variables in t_state.

Add SYCL implementation of LeapFrogGpu

An implementation of LeapFrogGpu integrator using SYCL. Also, some additions to SYCL's DeviceBuffer.

Code pretty much follows CUDA version.

For float3, I had to use gmx::RVec instead of SYCL's built-in cl::sycl::float3, since latter is 16 bytes.

Add backend for nblib listed forces API

This adds the back-end for the nblib API defined in
listed_forces/bondtypes.h and listed_forces/definitions.h.
Additionally, header and source are added for the private
implementations of these files. These are implementation details,
and are not visible to or interactable with by the user, so they
are not part of the public API. This backend is a ground up refactoring
 of gromacs, copying the force and energy kernels but rewriting the disipatch.
There are tests that compare forces and energies to gromacs.

Each function in this commit has at least one test for correctness,
though in most cases there are many more since the functionality is
cumulative. All of this functionality has undergone extensive design
review and code review already, so it should not be necessary to go
through the whole change with a fine-tooth comb. Suggestions on how
implementations could be improved are welcome. However, they will
likely need to be addressed as follow-up issues unless they are
trivial to fix.

Use images from GitLab docker repository

Docker is reducing the maximum number of pulls from their storage, and
we are already now hitting the limit with heavy CI activity.

Now uses images from GitLab Docker Repository instead.

Fixes #3788

Fix intemittent MdrunIOTests segfault

In Modular Simulator, we wish to have two copies of
ComputeGlobalsElement<ComputeGlobalsAlgorithm::VelocityVerlet>. To avoid
making two separate objects, a `static thread_local` singleton was
introduced. However, it caused issues when the ModularSimulator was
built repeatedly in the same process, due to stale pointer persisting in
a static variable.

This commit adds a key-value storage to
ModularSimulatorAlgorithmBuilderHelper, and makes ComputeGlobalsElement
use it instead of static variables. This ensures proper lifetime of
cached pointers and can be used by other Elements for similar goals.

Closes #3791

Remove source file that is no longer in use

All CUDA data transfer calls now use the same wrappers, the
NBNXM-specific wrapers can be removed.

Fix cycle counting in StatePropagatorDataGpu

Double-counting resulted in broken/truncated performance acounting
table.

Fixes #3764

Move implementation to cpp file

Fixes issue with missing GMX_ASSERT as well.

Use dynamically allocated unique pointers for GPU halo tests

The tests were intermittently failing in the enqueuing of a remote
GPU's event to a local GPU's stream because the remote object
(allocated on the stack in the innermost loop) was already destroyed (due
to the asynchronicity of the operation). This change allows the objects
to persist, and is the same way we already do it in the main code.

Fixes intermittent failures appearing in !773 and eleswhere.

Suggest environment variable to limit visible SYCL devices

As with OpenCL, there is no portable way to do it, so we suggest the
currently working Intel option.

Fix doxygen comments formattig in update.h

Allow pdb2gmx to handle cyclic molecules

This has been a long outstanding issue with the code not being able to
do this.

Cyclic molecules are detected by checking if chain ends are within bonding
distance from each other. This does not detect cyclic molecules over PBC
boundaries.

Initial patch proposed by Boris Timofeev.

Resolves #3571

Change-Id: Ic25e46a12fef5fb46748dc0497f469b5834d4886

Allow CUDA build tests to succeed without GPU

Added early return to haloexchange GPU pathway test to not try to run
the tests without a GPU (i.e. device list is empty).

Refs #3789

Stop showing wrong README on GitHub front page

Limit parallelism in Github CI

Remove the -j option from CTest, avoiding issues with trying to run the
test binaries in parallel.

Set environment variable so that the build knows it is under CI, and
limits the number of thread-MPI and if needed OpenMP threads.

Activate regressiontest testing.

Disable MTS with SD integrator

The SD integrator requires different damping coefficients for
the different MTS forces and we currently don't have the different
MTS forces available separately in the integrator.

Fixes #3775

Set pbcatom_input in order to pass later checks

pbcatom_input was not set. This meant that pbcatom checks in
set_pull_init() failed for large pull groups.

Fixes: #3786

Copy position restraint parameters with MTS

Fixes #3784

Improve issues with CUDA interacting with std flags

GCC 7 needs a work-around just like older CUDA does.

Removed unnecessary use of C++17 features in compat/pointers.h as we
do in other parts of the code while CUDA compilation must be within
C++14.

Refs #3608
Fixes #3783, #3780

Allow GPU update without GPU DD

Fix use of config.h in halo exchange tests

Remove logging from hardware detection

This should be deferred to separate responsibilities, in particular
so that hardware detection can run before logging functionality
is available. Subsequent logging of the results restores the value
to the user from understanding what mdrun could see about their
hardware.

Refs #3650, #3768

NBLIB listed forces API update

- added a listed forces calculator for the user-facing API
- expanded documentation
- reduced boilerplate
- addressed review comments

Add more halo exchange unit test variations

Addition of several 1D and 2D variations with different pulse configs.
Follow up will extend to 3D.

Add missing wallcycle_stop

On the GPU update path the Update CPU counter was started and not
correctly stopped.

Refs #3764

Extend halo exchange unit test to GPU codepath

Test will additionally re-perform halo exchange on GPU codepath (for
CUDA thread-MPI builds).

timing: try to directly retrieve gmx_cycles_calibrate() from the hardware

The timer period can be directly retrieved from the hardware on ARMv8
and recent x86_64 platforms.
Try this first, and fall back on the current guessestimate on older x86_64 platforms

Remove TODO regarding AWH cover threshold along lambda axis.

The 1.0 factor should be OK for a FEP lambda axis. It should be OK
in theory and tests show it works.

Change-Id: Iafe39ab0663ec227e96e40f1b2073818610e93ae
Closes: #3634

Make the message why GPU bondeds are not available more clear

Closes #3728