Simplify and fix how lambda values are set

Simplified setCurrentLambdasLocal method to return an array of
current lambda points. Removed the faulty use of lam0 as initial
lambdas.

Fix Visual Studio build

- Add /permissive- flag to disable MSVC extension. Fixes
  ternary operator.
- Fix usage of %l for size_t
- Disable non-wroking FFTW SIMD check
- Missing imports
- Compiler warning fix

Simpify CheckpointData

Minor fix to the printout for regtest builds

Was not printing the branch it is building the archive from.

Change-Id: I597e68a3780d3f300b5a4be447ecac7834126408

Use common device context header for OpenCL

This moves the OpenCL specific definition into under macro in the main header.
Makes device stream and context definitions more consistent.

Add angles to ListedForces selections

Use device information object instead of id when performing device checks

Initializing plain object is dangerous, since it then can be used to set
active device, with default id. This change ensures that proper device
will be used, even if the high level device management is used in the
checks.

Fix memory corruption with strings in grompp

Using a string of more than 31 characters as a default value for
a string entry in the mdp file would lead to memory corruption.

Replace GMX_ASSERT with assert in vectypes.h

It is inappropriate to have a wrapper around assert in a public API.
This change removes dependence on GMX_ASSERT in one component of the
installed API. Transient dependencies related to inclusion of
gmxassert.h in vectypes.h are also removed.

Unify more functions in CUDA and OpenCL implementations of NBNXM

Explicitly include STL headers used in test.

Include `array` and `optional` in strconvert.cpp test.

Fixes #3657

Restore GMX_FORCE_UPDATE_DEFAULT_GPU environment varible check

This line was accidently removed during unrelated refactoring
in 75c17a76b69c1ade1f29fdce9fe2f6dd78221c1d .

Bug fix in call to deviceStreamManager constructor

DeviceStreamManager construction expects
(deviceInfo,useGpuForPme,havePpDomainDecomposition,
doGpuPmePpTransfer,useGpuForUpdate,useTiming) but was being passed
(deviceInfo,useGpuForPme,useGpuForNonbonded,
havePPDomainDecomposition,useGpuForUpdate,useTiming) Now passing
correct arguments through simulationWork. Also ensures update stream
is correctly set up when gpu buffer ops are enabled.

Fixes #3639 and #3641

Fix clang-tidy warning

Fix "GPU detection deactivated" message when it in fact failed

Also remove duplicate GPU detection check, and raise log level on failure from GPU detection API.

Make legacy energy elements use CheckpointData

This enables some legacy energy elements to write to CheckpointData,
namely

* energyhistory_t
* delta_h_history_t
* ekinstate_t

Refs #3517
Refs #3422
Refs #3419

Allow density-guided simulations to translate structure

Density-guided simulations acquire a new feature that allows a
user-defined shift on the structure before forces are calculated.

First step to address #3581

Remove dependency of EnergyData on t_state

EnergyData used a t_state object to calculate the conserved energy.
This responsibility is now given to the respective temperature /
pressure control algorithms. This allows to remove the dependency
of EnergyData on t_state.

This also introduces the conserved energy as a test quantity in the
tests comparing legacy and modular simulator code paths.

Refs #3419

Move densityfitting to its own directory

Preparing for adding more applied_forces modules

Change-Id: Ieec20d1f0752a369d26352ec6b0997812decd21e

Fix output string for GPU support

This used to print only disabled or CUDA because the variable was only 0
or 1.

Change-Id: Ie406a36e61617c29629f97d811eb93244b5a2e3a

Fix clang-format failure in coordinatetransformation.h

Fixes formatting clang format error.

Make EnergyOutput::addDataAtEnergyStep independent of t_state

EnergyOutput::addDataAtEnergyStep took a pointer to a full t_state,
although it only uses a small part of the object. This makes the
dependencies explicit. This is a necessary step to make EnergyData
independent of t_state.

Refs #3419

Remove in-body comment from init_forcerec(...) function

Fixes doxygen warning

Fix clang-format

Replace filename-based initialization functions.

Decouple Mdrunner from the details of `-s` and `-cpi`
filename arguments when establishing initial simulation state.

Declare gmx::SimulationInput and the library utilities needed to
replace direct reference to TPR and CPT files in Mdrunner.
Use SimulationInput and accompanying utilities to remove read_tpx_state
and load_checkpoint from Mdrunner.

Allows TPR and checkpoint file handling to be considered separately
from Mdrunner initialization in future development.

Refs #3374

Implement affine coordinate transformation

Introduce a new class and tests for affine coordinate transformations.
Allows to perform a matrix multiplication and shift to coordinates of the form A*x+t with a 3x3 real valued matrix A and a translation vector t.

Access the device status directly, remove the getter

DeviceInformation is a basic contained and does not need the getters.

Prepare legacy checkpoint for modular simulator checkpointing

* Extend legacy checkpointing functionality to accept a CheckpointDataHolder
  for reading and writing
* Bump checkpoint version to reflect above change
* Turn off some checkpoint sanity checks when using modular simulator
* Pass CheckpointDataHolder object into checkpoint reading in runner, and
  move this object in SimulatorBuilder and then ModularSimulator for element
  setup

Refs #3517
Refs #3422
Refs #3419

Modular simulator: Simplify velocity update dispatch

This simplifies the velocity update dispatch of the modular simulator
propagator. This is pure rebasing reducing the number of branches
required to dispatch the right templated version of the velocity
update.

String to array conversion functions

Introduce and test a function that allows to convert a string into
a fixed-size array of arbitrary ElementType.

Introduce CheckpointData

CheckpointData exposes methods to read and write scalar values,
ArrayRefs, and tensors. It also allows to create a "sub-object" of
type CheckpointData which allows to have more complex members
implement their own checkpointing routines. All methods are templated
on the chosen operation, CheckpointDataOperation::Read or
CheckpointDataOperation::Write, allowing clients to use the same code
to read and write to checkpoint. Type traits and constness are used to
catch as many errors as possible at compile time. CheckpointData uses
a KV-tree to store the data internally. This is however never exposed
to the client. Having this abstraction layer gives freedom to change
the internal implementation in the future.

All CheckpointData objects are owned by a ReadCheckpointDataHolder or
WriteCheckpointDataHolder. These holder classes own the internal
KV-tree, and offer deserialize(ISerializer*) and
serialize(ISerializer*) functions, respectively, which allow to read
from / write to file. This separation clearly defines ownership and
separates the interface aimed at file IO from the interface aimed at
objects reading/writing checkpoints.

Refs #3517
Refs #3422
Refs #3419

Remove unnecessary friend declaration

Print lambda state to log file if using AWH for FEP.

Change-Id: I08c7e6d51a299eb53556d5bde63c29f7c7640f6e

Fix bug it GPU halo exchange initialization for continuation runs

Fixes a bug introduced in fdf8c9064e2289bb01b1536a06f83755450caee8
where, due to the presence of !(bFirstStep && ir->bContinuation) in
the if statement predicate of the block in which the init call was
located. In the case of continuation runs the halo exchange would not
be initialized until the second search step, causing the code to
crash. This change moves the init call to a separate block with the
correct logic in the if statement.

Make dd_collect_vec independent of t_state

This removes the explicit dependency of dd_collect_vec on the
t_state object.

This is a prerequisite for !440.

Refs #3422 #3419

Move listed and wall forces out of do_force_lowlevel()

Renamed do_force_lowlevel() to calculateLongRangeElectrostatics().

Also replace C pointer for coordinates by ArrayRefWithPadding
in calculate() of ListedForces and do_walls().

Enable splitting of listed interaction calculation

This replaces the ListedForces unique_ptr in t_forcerec by a vector
of unique_ptr and adds a selection mechanism for bonded interactions.

Also moved the t_fcdata storage out of ListedForces into t_forcerec
because we need only one instance.

Fix improved SIMD angles()

avoid division by zero when the angle is (too close to) zero.

Fix a regression introduced in fb7a6480db5914a50a97618b3e6316663041aafb

Merge branch 'release-2020' into master

Resolved Conflicts:
CMakeLists.txt
admin/ci-scripts/build-and-test-py-gmxapi-0.1.sh
admin/ci-scripts/build-and-test-sample_restraint-2020.sh
admin/clang-tidy.sh
admin/gitlab-ci/global.gitlab-ci.yml
admin/gitlab-ci/gromacs.gitlab-ci.yml
admin/gitlab-ci/python-gmxapi.gitlab-ci.yml
cmake/gmxManageGPU.cmake
cmake/gmxManageNvccConfig.cmake
cmake/gmxVersionInfo.cmake
share/CMakeLists.txt
src/config.h.cmakein
src/gromacs/CMakeLists.txt
src/gromacs/analysisdata/CMakeLists.txt
src/gromacs/ewald/pme.cpp
src/gromacs/fileio/tpxio.cpp
src/gromacs/fileio/writeps.cpp
src/gromacs/gmxana/gmx_hbond.cpp
src/gromacs/gmxana/gmx_lie.cpp
src/gromacs/gmxana/gmx_xpm2ps.cpp
src/gromacs/gmxpreprocess/genrestr.cpp
src/gromacs/gmxpreprocess/tests/CMakeLists.txt
src/gromacs/gpu_utils/gpu_utils.cu
src/gromacs/gpu_utils/tests/pinnedmemorychecker.cpp
src/gromacs/math/CMakeLists.txt
src/gromacs/options/CMakeLists.txt
src/gromacs/pbcutil/CMakeLists.txt
src/gromacs/topology/mtop_util.cpp
src/gromacs/trajectoryanalysis/CMakeLists.txt
src/gromacs/utility/CMakeLists.txt

Change-Id: I9c364fc3a8e1d9ba9821e06155136ffc6f46b8cd

Add SIMD version of harmonic bonds

Change-Id: I63ea7d9b76127112c221a9b6910604a09bbb0bb7

Avoid seg fault when PME-PP GPU comm flag is used in isolation

Improves stability by ensuring that GPU buffer ops flag is
automatically set if GPU PME-PP flag is set (in the same way as was
already done for GPU DD flag). Otherwise get a seg fault if PME-PP GPU
env trigger is used without either GPU DD or GPU Buffer ops env
triggers).

Clarify t_inputrec allocation logic in runner.cpp.

Closes #3637

Use a heap object for inputrec in gmx::Mdrunner::mdrunner().

Convert the inputrec pointer to a unique_ptr to combine the clean-up
behavior from both local variables. Remove the explicit inputrecInstance
local variable, converting to a heap object created through make_unique.
This allows the t_inputrec to be moved via its handle for more flexible
management, and allows the allocation to be moved closer to the
initialization.

Add ForceBuffers class

This change replaces the type of the force buffer in mdrun from
PaddedHostVector<RVec> to a new class ForceBuffers. This new class
currently only holds one force buffer, but this is in preparation for
multiple time stepping where a second force buffer is needed.

Permit build with CUDA 11.0

The unannounced removal of SM 30 means cmake fails on all
GROMACS releases prior to this.

Fixes isHostMemoryPinned for changes in CUDA 11.0 and improves
test coverage.

Adapts tested and reviewed changes from !407 and !434

Refs #3631
Fixes #3632

fix check_assign_interactions_atom()

fix a bug introduced in gromacs/gromacs@c507ae4d3f4b0d516e53896dac35a52911a8a44b

Thanks Berk Hess for the guidance to the right fix

Refs. gromacs/gromacs#3635

Avoid log(0) if probability is too low

Change-Id: I96f5aa61f21303c4c382b8a0664cffd20e85bbd6

Move GPU devices management into hardware subfolder

This consolidate the GPU management in CUDA and OpenCL into one
place.

Accept Python versions higher than 3.8.

This change allows GROMACS 2021 to detect Python versions that users
will encounter during its lifetime.

Refs #3479

Remove conditional for CMake < 3.12.

Simplify CMakeLists.txt now that CMake 3.13 is required.

Make it possible to use FEP lambda states as a reaction coordinate in AWH. Atom masses and constraints cannot be perturbed (yet). It is possible to use a multidimensional bias where the lambda state is one dimension. An AWH FEP lambda state dimension is always using a discrete Gibbs sampler (umbrella), even if another dimension is using a convolved bias potential.

Enable CI testing of OpenAPI / OpenCL

For now this will run on the Intel CPU device
in our testing infrastructure.

Fix bug in Lincs GPU setup

Memory re-allocation was previously only triggered if the number of
constraints threads increases. But the sizes also depend on the value
of "maxCoupledConstraints", and its possible that this can increase
without the number of constraints threads increasing. This change
fixes by also triggering the reallocation when the value of
maxCoupledConstraints is increased.

Allow more granularity for public interfaces in build tree.

Move the gmxapi installed headers from api/include/gmxapi to
api/gmxapi/include/gmxapi, making room for api/nblib/include installed
headers or others. This allows CMake targets in the build tree to
restrict access to public headers as well as private headers such that
the `gmxapi` target allows `#include "gmxapi/someheader.h"` but does not
inadvertently allow `#include "nblib/anotherheader.h"` without an
explicit `target_link_libraries`.

Fix some disordered header inclusions.

Refs #3288

Use proper doxygen tags in modular simulator

Files in src/gromacs/modularsimulator/ were partially using @tag instead
of \tag for Doxygen tags. GROMACS style prefers \tag, so this change
updates these tags.

Closes #3565

Allow simpler use of scripted container builds

There's no need to have a list of supported versions of things in the
script that supports building CI images. We should have a list, e.g.
in the install guide, but not here.

One of the primary use cases for the script is building new
images. Those are most often needed for new versions of things, and
expanding the supported versions list is needless work.

Removed use of const and relaxed types for versions that e.g. need
not be integers.

Made suggestions in the doc strings of valid choices.

Note, had to force-push this branch to get out of non-linear merge
history hell.

Fixes #3622

Restore use of CUDA 11.0 in CI

This reverts commit 0cc3567fe2d0ddb599cda21de6322981f6b0ceec.

Refs #3609

Fix clang-format

Change-Id: I469d539a741a5eed12214267530fedb3f5ccf367

Build fewer unnecessary SIMD kernels in CI

The docs, webpage and simple builds all use GMX_SIMD=none, but still
compile many kernel flavors. This spends build and cache time that
we don't need. It does mean the simple-build's tests run a bit longer,
however.

Refs #3272

Support oneAPI in gitlab CI

Generalizes the TSAN build stage to a compiler build stage, and uses
it for containing the installation process for the free Intel tools

Fixed or worked around several bugs

Updated install guide section on tested platforms to describe
what we actually do

Refs #3459, #3620

Reduce artifact size

Remove object files from build archives to reduce size.

Fixes #3630

Change-Id: Id841b91b8ab31d79579685c4aebaa67dec464962

Stopped using images in biophysics Docker repository

Also avoided compiling SIMD kernels for the build that
merely produces content for the tarballs.

Fixes #3619

Avoid builds with RelWithDebInfo

These produce object and binary files that are larger than we need. If
we need that information to diagnose an issue, we can turn it on, or
build locally using the same Docker image.

Refs #3630

Fix isHostMemoryPinned for changes in CUDA 11.0

Improved test coverage and output

Restored some test code to compile and execute.

Fixes #3631

Modular simulator: Don't wrap std::function in unique_ptr

Add SIMD bonded tests and improve SIMD angles()

The listed_forces module bonded tests are now also executed for the
force-only and SIMD flavor of the bonded kernels, when available.

Improved precision of SIMD angles kernel for small angles by avoiding
two invsqrt operations for computing the sin.

Fix DeviceStreamManager tests

Wrong CMake macros was used which lead to DeviceStreamManager not
running for GPU builds.

Introduce flexible ModularSimulatorAlgorithmBuilder: Helper structs to connect propagators to thermo/barostats

Add new FEP perturbation check functions

Added functions to check whether the system has perturbed masses
and perturbed constraints. Simplified the perturbed atoms check.

CMake SYCL & Intel OpenMP handling

This enables CMake handling of SYCL support in Intel
compilers, we warn the user to use the HPC toolkit
compilers that support OpenMP instead of the default
dpcpp. We attempt to disable SYCL by default when
using dpcpp (to avoid warnings). Source files that
need SYCL support should add SYCL_CXX_FLAGS.

For now it will not work to actually compile with
GMX_GPU=SYCL, since that enables code paths that
depend on the SYCL buffer implementations in the
pipeline.

Remove superfluous math utility functions

Remove max_cutoff and gmx_greatest_common_divisor from utilities.h.

max_cutoff was never used

C++17 introduces std::gcd, replacing gmx_greatest_common_divisor

Revert to CUDA 10 image for CI

Some pinning behaviors don't work with CUDA 11.0

Refs #3609

implement AVX-512 second FMA detection

This uses the CPUID processor name.

We use the condensed method developed for Google cpu_features:
https://github.com/jeffhammond/cpu_features/blob/avx512_fma_count/src/cpuinfo_x86.c#L119
(this link will expire when it is merged into the upstream project)

A more pedantic approach is shown here:
https://github.com/jeffhammond/vpu-count/blob/master/vpu-count.c

This code must be updated when new Intel processors are released.
The author of this commit will bear that maintenance burden as long as possible.

Signed-off-by: Hammond, Jeff R <jeff.r.hammond@intel.com>

Fix virtual site vsiten indexing bug

Fix bug introduced in b16cc028.

Change-Id: I9e4421851bbb3c4bd80e2810ecbfd4a987dde020

Move density fitting checkpointing into state

The density fitting state and the data to checkpoint are one and the
same and should be treated in the same place. Moving the checkpointing
infrastructure for density fitting code into the state and closer to the
data that is to be checkpointed makes it easier to ensure that all
necessary data is writtten to a checkpoint file.

Introduced variable names to make sure that reading and writing from the
key-value-tree is symmetric and does not include typos.

Added read/write functions in checkpoint.h to simplify checkpoint
writing for this and other modules.

Change-Id: Ie7fa5e22333251db9050bb4491e61681651aa5c2

Fix typo in docs

Fixed the mis-fix

Wrong variable being used was the issue instead of increase by one.

Introduce GlobalCommunicationHelper

In view of #3437 (!410), this introduces a helper container to store
data related to global communication. With the upcoming builder
approach, there won't be a central location where all elements are
created, so this helper container helps grouping related data allowing
for shorter call signatures. This helper object will become obsolete
when moving to a client-based global communication (#3421,
draft implementation ready).

Fix release build warning

A build with clang as the nvcc host compiler gives warnings
on the CUDA headers, which are now suppressed. There's no good
way to only give the warnings on CUDA's headers.

Revert "Modernize STL usage" for fixedCapacityVector

This reverts 2f876de263efdf08daf160e7791434cd760ccd9b for
fixedCapacityVector.h only. The syntax that was added is not yet
supported by the CUDA compiler (including the latest 11.0 version),
and as such this revertion is required to allow use of
fixedCapacityVector from within CUDA files (required for an upcoming
change). This should be added back when CUDA support for the syntax
arrives.

Add accumulation checks to ForeignLambdaTerms

Added checks that accumulation of potential terms have been finalized.
This is generally good for avoiding bugs, but is needed in particular
for passing foreign lambda energy difference to AWH.

Improve modular simulator builders

Separate ISimulator interface and data

In fulfillment of #3566 this separates ISimulator into a pure
virtual interface (still named ISimulator) and a data object
LegacySimulatorData.

The LegacySimulator now inherits from both classes, no other
changes are needed.

ModularSimulator takes the new LegacySimulatorData as an explicit
member object. ModularSimulatorAlgorithmBuilder uses a pointer to
this new member object rather than holding a copy of the
LegacySimulatorData members.

Closes #3566

Keep all the infra and the user happy

Refs !330

Update minimum tested CUDA to 11.0

Generate code for valid compute capabilities.

Suppressed a warning about codegen for deprecated architectures.

Fixes #3609

Simplified uniform GPU selection in CMake

GPU selection is now done by setting GMX_GPU to either CUDA
or OpenCL, with no other variables required. As part of the
overall CMake simplification, the CMake automatic detection
of hardware and "auto" settings for GPU acceleration have
been removed. This will require the user to explicitly enable
GPU support (which is a drawback), but it leads to much
simplier and shorter CMake code, similar support for CUDA and
OpenCL, and it will make it easier to handle multiple different
APIs targeting e.g. NVIDIA GPU hardware in the near future.

Fix compilation issue: pass variable of expected type to resize

Compilation was failing under certian situations since a7e51062b4
because of the line
flags->resize(sizeNeededForBufferFlags(numAtoms),0);
since the second arg is expected to be of type gmx_bitmask_t to
match the type in the flags vector. This patch fixes by explicitly
passing a zeroed variable of the correct type.

Prevent failed commandline_operation from publishing output files.

Also, add more sophisticated tests for commandline_operation: Test input
and output file arguments. The first of the tests is adapted from the
acceptance tests for 2020 functional requirement 3.

Fixes #3616

Minor additions to gmxapi install.rst

Document more contingencies in gmxapi install docs.
* pre-release packages at PyPI
* advice to work around a bug from old third-party package dependencies

Use importlib_resources in Python 3.6 images.

Python 3.7 adds importlib.resources to the standard library, which
provides an efficient built in alternative to pkg_resources.
Backported functionality is available in the importlib_resources
package. We should add it to our Docker images to allow testing new
features while we still officially support Python 3.6.

See also issue #2961

Normalize docker image names.

Change the name of the DockerHub image repository name to include the
name of the supported branch. Leave the tag unspecified when naming the
built images and when referencing images for CI jobs to get the standard
imagePullPolicy for the `latest` tag.

See also:
https://kubernetes.io/docs/concepts/configuration/overview/#container-images

Fixes #3618

Fix some minor typesetting issues.

Formatting errors in gmxapi install.rst

Improve install docs links.

Convert some mark-up that did not generate links into explicit links to
Python package URLs. Add some additional internal links.

Move code to prepare for multisim class

Some write_checkpoint code organizes cooperation of behavior from
multiple modules so it is too high-level to be in a low-level module
like fileio. mdoutf.cpp is the caller of write_checkpoint so is a
decent spot to put that code. Other parts of write_checkpoint are
quite low level and share implementation details with the
checkpoint-reading code, so should stay in checkpoint.cpp.

Moved misplaced multisim code from md.cpp and md_support.cpp to
the multisim.cpp file, resolving some TODOs.

Fixed some wrong declarations for vsite code.

Release configs were using a wrong build type

(cherry picked from commit a2820e3e34abb71564edfd9dff63f7d29a562971)

Release configs were using a wrong build type

Move foreign potential energy accumulation

The potential energy contributions to the foreign lambda
Hamiltonian differences were summed in sum_dhdl() which meant
that the foreign energy differences were not complete when
do_force() returns. Now there are summed in
accumulatePotentialEnergies() which is called instead of sum_epot().

Also consistently changed the lambda vector to ArrayRef in the force
routines and made it const.

Move sources for libgmxapi.

Sources in src/api/cpp exclusively supported the public libgmxapi
interface whose headers now live in api/include/gmxapi. The sources are
not coupled to anything in src/gromacs or src, and have been moved to
api/cpp/gmxapi to better enforce this decoupling.

Currently, the unit tests for this code still rely on infrastructure in
src/ and cannot yet be moved.

Refs #3152

Remove disabled test for superseded feature.

Ignore a generated file.

When a Python package is configured in "develop" mode, the source
directory is treated as the installed directory, so generated package
files end up in the source tree. This change tells `git` to ignore a
generated package file that will be present in a developer's source tree
after `python setupy.py develop`.