Release configs were using a wrong build type

Move foreign potential energy accumulation

The potential energy contributions to the foreign lambda
Hamiltonian differences were summed in sum_dhdl() which meant
that the foreign energy differences were not complete when
do_force() returns. Now there are summed in
accumulatePotentialEnergies() which is called instead of sum_epot().

Also consistently changed the lambda vector to ArrayRef in the force
routines and made it const.

Move sources for libgmxapi.

Sources in src/api/cpp exclusively supported the public libgmxapi
interface whose headers now live in api/include/gmxapi. The sources are
not coupled to anything in src/gromacs or src, and have been moved to
api/cpp/gmxapi to better enforce this decoupling.

Currently, the unit tests for this code still rely on infrastructure in
src/ and cannot yet be moved.

Refs #3152

Remove disabled test for superseded feature.

Ignore a generated file.

When a Python package is configured in "develop" mode, the source
directory is treated as the installed directory, so generated package
files end up in the source tree. This change tells `git` to ignore a
generated package file that will be present in a developer's source tree
after `python setupy.py develop`.

Use GMXAPI CMake option guard for gmxapi target declaration.

A recent change moved the declaration of the `gmxapi` CMake library
target outside of a conditional. This change isolates the initial
configuration of the CMake target and restores the option guard.

Fixes #3604.

Fix undefined behavior flagged by UBSAN

Running under the UBSAN sanitizer pointed out a bunch of undefined
behavior - most of them were harmless issues in rarely taken branches,
but should still be avoided.

Revert c++-17 features that are not supported by CUDA build

C++-17 is fully supported only starting from CUDA 11, which is not
required currently. This rolls back some of the changes made in
2f876de263efdf08daf160e7791434cd760ccd9b and
106b2d8ded04dbc51031022e9b11d147dccb76a3 that broke the CUDA build.
The change should be reverted once c++17 is fully supported.

Fixes #3608
Refs #3609

Revert c++-17 features that are not supported by CUDA build

C++-17 is fully supported only starting from CUDA 11, which is not
required currently. This rolls back some of the changes made in
2f876de263efdf08daf160e7791434cd760ccd9b and
106b2d8ded04dbc51031022e9b11d147dccb76a3 that broke the CUDA build.
The change should be reverted once c++17 is fully supported.

Fixes #3608
Refs #3609

Fix warnings in release builds

These suppressions need to be issued whether or not we are adding
developer warnings.

Change-Id: I34f4353a9172674b792488e86bf001dd2e8b917c

Fix clang-tidy warning

clang-tidy complains about comparison of int and gmx::index,
since they are of different type.

Fix RDTSCP handling

Commit 13def2872ae5311d tried to make all builds default to using
RDTSCP, which would have broken non-x86 builds. But it also
deactivated the implementation of RDTSCP support because HAVE_RDTSCP
was left undefined. So all it did was make timing on x86 less
efficient (plus e.g. DLB effects from that).

Used GMX_RDTSCP everywhere. Only the GROMACS project depends on
thread-MPI, so it's reasonable to let a GMX symbol leak in there (and
it's easily fixed if ever needed).

Assertion string and typo fix

Two sets of coefficients for Coulomb FEP PME on GPU

The first patch in a series to enable running Coulomb FEP PME on GPU.
Use two sets of coefficients to store atom charges.

Refs #2054, #3117

Change-Id: Iab6eb7ac766800f7c045dc5a00069e77509d391f

Follow up to "Separate StatePropagatorData element" (!363)

StatePropagatorData, EnergyData, and FreeEnergyPerturbationData
have all been separated into a pure data class and an Element
member object. The three were intended to be following the same
design principles, but were merged in three separate MR. The
design was improved in reviews of the EnergyData and
FreeEnergyPerturbationData MRs, leaving StatePropagatorData
with some of the design flaws ironed out in the other two.
This commit adapts StatepropagatorData and its member Element
to the improved design. Specifically:

* Build the Element in the constructor of StatepropagatorData.
  To this end, the change in signature of the constructor is
  partially rolled back to have all required data available.
* The element is accessed using a simple getter method, doing
  away with building at first invocation or throwing exceptions
  when accessed more than once.

Introduce modular simulator exceptions

This introduces a new base exception for modular simulator, and a
few exceptions inheriting from this base exception. Having a
modular simulator base class allows to easily add exceptions without
touching (4!) files outside the module. The introduced derived
exceptions are all used in the fulfillment of #3437. Introducing them
in a separate commit allows to keep the final commit smaller.

Begin moving installed interface to `api/`

Create `api/` directory outside of `src/` to decouple the public
interface from the internal and build tree infrastructure.

Move the `gmxapi` installed headers to `api/include/gmxapi`.
The public header maintenance (once managed with custom CMake functions)
is now reduced to filesystem layout and `install` commands in
`api/CMakeLists.txt`

Deferred to future changes:
* Split public and developer doxygen builds.
* Move remaining libgmxapi public interface details to `api/gmxapi`
* Re-expose essential public facilities from libgromacs to allow
  (re-)deprecation of ENABLE_LEGACY_API.

Refs #3288

Separate Element from FreeEnergyPerturbationData

Mirroring the StatePropagatorData and EnergyData, the free energy
element is split up into a data part that is accessed by other
elements, and a member class which implements the ISimulatorElement
to allow for updating and checkpointing of lambda values.

Refs #3437

Divide default communicator from DD communicators

The communicators mpi_comm_mysim and mpi_comm_mygroup inside
t_commrec got initialized in init_commrec (to MPI_COMM_WORLD
if no multisim, to a subset otherwise). These communicators
were then used in subsequent setup work, before they got
reassigned during the construction of the DDBuilder object
and the construction of the actual domain decomposition object.
Effectively, this means that the same communicators (and, hence,
identical function calls) do very different things depending on
whether they get used before or after the setup of domain
decomposition. It also means that before DD set up, mpi_comm_mysim
and mpi_comm_mygroup are *identical*.

This change introduces an additional communicator within
t_commrec, mpiDefaulCommunicator, which helps to make these
implicit assumptions explicit. Consequently, this also redefines
PAR(cr), MASTER(cr), and SIMMASTER(cr).

This change will allow to move the sim and group communicators,
which are now only created at DD time, into the DD object,
logically separating the DD object from t_commrec.

Refs #2395

Fix the suspicious string literal error in GPU status description

Fixes clang-tidy error, introduced by broken string in
d2ba568ac6d5d3b6a1ef996618a1367307872d03

Separate energy data and element

The EnergyElement was both holding data which is accessed by
a majority of the elements, and was an element itself. The element
part is needed to update the energy records and save data for
trajectory writing.
The double nature of the EnergyElement created some difficulty in
initializing the elements, however - the EnergyElement
has a well defined place within the simulator loop, but has to be
created ahead of time so that other elements can get a pointer to it
to query for or save energy data during the simulation run.

This change separates the ISimulatorElement implementation which
allows EnergyElement to take part in the simulation loop
into a member object. The data part of the EnergyElement is renamed
to EnergyData, the element is EnergyData::Element. The EnergyData
can now be created ahead of element construction time, while an
object of the member class can be created later. This will make the
implementation of a builder approach significantly easier.
The life time of the element is managed by the EnergyData object to
avoid problematic life time dependencies between the two.

Refs #3437

cmake: export cxx standard

Fix libgromacs CMake target install syntax.

Make `install(TARGETS libgromacs...` conform to the documented usage at
https://cmake.org/cmake/help/v3.13/command/install.html#programs

Refs #3592

Divide default communicator from DD communicators

The communicators mpi_comm_mysim and mpi_comm_mygroup inside
t_commrec got initialized in init_commrec (to MPI_COMM_WORLD
if no multisim, to a subset otherwise). These communicators
were then used in subsequent setup work, before they got
reassigned during the construction of the DDBuilder object
and the construction of the actual domain decomposition object.
Effectively, this means that the same communicators (and, hence,
identical function calls) do very different things depending on
whether they get used before or after the setup of domain
decomposition. It also means that before DD set up, mpi_comm_mysim
and mpi_comm_mygroup are *identical*.

This change introduces an additional communicator within
t_commrec, mpiDefaulCommunicator, which helps to make these
implicit assumptions explicit. Consequently, this also redefines
PAR(cr), MASTER(cr), and SIMMASTER(cr).

This change will allow to move the sim and group communicators,
which are now only created at DD time, into the DD object,
logically separating the DD object from t_commrec.

Refs #2395

Fix issues found with clang-tidy

Use signed arithmetic in enumeration helper

With a signed enum and the unsigned step, implicit conversion to unsigned
could change the value in the subtraction operator. Note that errors could
also occur with negative results in pure unsigned operations.

A negative result isn't expected for increasing enumerators, but the boost
iterator implementation does an == comparison that invokes the diff operator
and compares it to 0, and this error actually occurs there in unit tests,
and is caught by UBSAN.

Added some SFINAE to disable accidental instantiation of non-enum
types - before C++ 20 std::underlying_type on a non-enum is undefined.

Enforce unsigned type in flags.

Flag enums could be signed types - since the only operations performed
by the flags were bit ops, this was harmless, but the implicit signed/
unsigned conversions are caught in analysis tools like UBSAN that can
also catch real issues.

Added a compile-time enforcement of underlying unsigned type to the
flags class, and specified uint64_t for underlying type of the class
and the various flags that are passed to it.

Added some SFINAE to disable accidental instantiation of non-enum
types - before C++ 20 std::underlying_type on a non-enum is undefined.

Separate StatePropagatorData element

The StatePropagatorData was both holding data which is accessed by
a majority of the elements, and was an element itself. The element
part is needed to save state information for printout and checkpointing.
The double nature of StatePropagatorData created some difficulty in
initializing the elements, however - the StatePropagatorData
has a well defined place within the simulator loop, but has to be
created ahead of time so that other elements can get a pointer to it
to query for state data during the simulation run.

This change separates the ISimulatorElement implementation which
allows StatePropagatorData to take part in the simulation loop
into a member object. The StatePropagatorData can now be created
ahead of element construction time, while an object of the member
class can be created any time later. This will make the implementation
of a builder approach significantly easier.

Refs #3437

Move finalising routine into mtop

Change-Id: I383ceb3b48e5eddafc3f8ea96fc3b326d34602ef

Move densityfitting to its own directory

Preparing for adding more applied_forces modules

Change-Id: Ieec20d1f0752a369d26352ec6b0997812decd21e

Fix unsigned integer overflow bug in spline tables

Subtraction of two uints could lead to a huge positive rather than
a correct negative number. Found by UBSAN integer check (though
not technically undefined behavior)

Add stricter ASAN checks

ASAN supports some checks that are turned off by default. Enabling
these adds ~30-40% overhead.

Annotate modular simulator headers with exposure level

This change adds comments to the doxygen commen on top of each header file
to describe which files are exposed outside the modular simulator module.

Make cl_nbparam into a struct

This is needed to unify with CUDA path

Move foreign potential energy accumulation

The potential energy contributions to the foreign lambda
Hamiltonian differences were summed in sum_dhdl() which meant
that the foreign energy differences were not complete when
do_force() returns. Now there are summed in
accumulatePotentialEnergies() which is called instead of sum_epot().

Also consistently changed the lambda vector to ArrayRef in the force
routines and made it const.

Modernize STL usage

Avoid overflow in RNG

Instead of checking for overflow, get necessary information about
number of bits from type attributes.

This technically wasn't undefined behavior but with strict UBSAN
settings got tagged in tests.

Fix cycle counters for "comm.coord" and "Wait + Comm. F" to support GPU halo exchange path
Replace buffer ops counters with GPU launch counters for GPU backend.

Use vector in atoms2md instead of pointer

At all call sites for atoms2md the underlying vector was cast to an int pointer.
This change makes it easier to inspect the values passed to atoms2md in a
debugger while incurring no performance penalty.

Separate ModularSimulator and ModularSimulatorAlgorithm

This introduces the ModularSimulatorAlgorithm, which takes over some
responsibilities from ModularSimulator. The ModularSimulatorAlgorithm
owns the elements, and allows ModularSimulator to run a simulation
following the prescribed algorithm. This change is only refactoring -
no functionality is added or removed, but separating the algorithm and
its builder from the simulator allows to develop the two independently.

The ModularSimulatorAlgorithm is built by ModularSimulatorAlgorithmBuilder.
In a first approach, ModularSimulatorAlgorithmBuilder creates an appropriate
algorithm based on the input passed from the runner level (md or md-vv, thermo-
and / or barostat, constraining, FEP, etc).

Eventually, the builder will not need to know about all possible algorithms,
but offer an interface for its user to creat algorithms. Currently, the only
planned user of the ModularSimulatorAlgorithm is the ModularSimulator itself.
In view of this, two "hacks" were used to reduce unnecessary line changes
to simplify review: The builder mirrors all protected members of ISimulator,
and some of its member function implementations were left in modularsimulator.cpp.
Note that both of these "hacks" will disappear in subsequent changes.

Refs #3437

Coordinate transformation on single RVecs

So far, coordinate transforamtions of TranslateAndScale and Scale
classes could only performed on ArrayRefs. This meant that
transformations of single RVecs had to be done by first constructing an
ArrayRef on a single RVec x with the unintuitive and cumbersome
transform({&x,&x+1}).

Now this call is reduced to transform(&x) and respective calls.

Change-Id: I0d1f9d2f5ba90a46b1afc9b617af606995e0df59

Simplify Iterators

Revert "Make everything run on Gitlab infrastructure."

This reverts commit af3b2782f26d6bde2975a581de7b3fc8bf69b954.

Updated the change management documentation

Describe how to upload and review code on gitlab.
Introduce merge-requests and approvals.

Clean up simulatorbuilder.h

Sort forward declarations to improve readability.
Reduce unnecessary `#include`s.

Disable failing builds for master branch

Change builds that use failing docker containers

Changes builds away from the
gromacs/cmake-3.15.7-gcc-8-cuda-10.1-nvidiaopencl-clfft-openmpi:master
and gromacs/cmake-3.15.7-llvm-8-cuda-10.1-openmpi:master images
that have failed over the recent days.

For now set to use
gromacs/cmake-3.13.0-gcc-7-amdopencl-clfft-openmpi:master
and gromacs/cmake-3.15.7-llvm-9-openmpi:master images.

Change-Id: I92ad04c65021005345668262be1eccecb149a694

Make everything run on Gitlab infrastructure.

Change-Id: I0cfbc2e287641d9f9e9e1cf3a54c9237a6d6c8e2

Add missing ABI header.

simulatorbuilder.cpp did not include "gmxpre.h"

Increase BD ulp tolerance to avoid spurious test failures

Change ArrayRef to use a proper iterator

Fixes #2859

Minor cleanup in gmx bar

Just to make static analyser happy in dependent change.

Change-Id: I3e590b8ee7e6fa81ed334556dec86c2f7e7f4425

Implement SimulatorBuilder.add() for BoxDeformationHandle.

Refs #3567

Use TopologyData.

Refs #3567

Use IonSwapping parameter.

Refs #3567

Use CenterOfMassPulling

Refs #3567

Use ReplicaExchange member instead of build() argument.

Refs #3567

Use SimulatorModules parameter.

Refs #3567

Use InteractiveMD SimulatorBuilder parameter.

Refs #3567

Use LegacyInput.

Refs #3567

Use ConstraintsParam.

Refs #3567

Move Profiling parameter out of simulatorbuilder.build()

Refs #3567

Use SimulatorEnv

Refs #3567

Implement remaining SimulatorBuilder.add() methods.

Refs #3567

Interface for remaining SimulatorBuilder.add() methods.

Refs #3567

Completely encapsulate membed logic in MembedHolder

Refs #3567

Make holder for simulation configuration

Make a class that holds values of:

useModularSimulator
mdrunOptions
startingBehavior
doRerun
runScheduleWork

inside the SimulatorBuilder.

Refs #3567

Use SimulatorStateData.

Implement `SimulatorBuilder.add(SimulatorStateData&&)`

Refs #3567

Add MembedHolder for SimulatorBuilder.

Implement SimulatorBuilder.add(MembedHolder&&)

Refs #3567

SimulatorBuilder.add() for StopHandlerBuilder.

Refs #3567

Implement SimulatorBuilder.build()

Explicitly define the build() and its signature
so that we can start to refine the interface.

Refs #3567

MKL NULL->nullptr and remove dead code

Move dispersion correction call to do_force()

The call to dispersion correction was in compute_globals(), which
should only compute globals, not compute energies. Moving the call
to do_force() simplifies the logic, as correcting the virial before
computing the pressure removes the need to correct the pressure.

Restored the comment

We can keep the comment in its most useful form while avoiding the warning.

Make cl_nbparam into a struct

This is needed to unify with CUDA path

Fix warning about needing config.h

A comment would lead to the warning in the check source build.

Change-Id: Iacfc2f97827b31feb674b3c53bd2c4eff065a859

Add class ListedForces

Gather all data that is only used for the listed force calculation
in a new class called ListedForces. This is a first step in
refactoring, more parameters to the listed forces calculation can
be moved into class.
Also converted bonded_threading_t, t_fcdata and bondedtable_t to C++.
Made listed_threading.h internal to the listed_forces module.

This change is only refactoring.

Change grompp disres cost to linear

The cost of adding distance restraints (actually their parameters)
was quadratic in the number of restraints and has now been changed
to linear.

Fixes #3457

Fix OpenCL install

9b3fb3b5ffdb77f223e9ed949508905284bfe3f3 moved the include of
gmxManageOpenCL.cmake after setting of GMX_INSTALL_GMXDATADIR.
But GMX_INSTALL_GMXDATADIR is used in there to set GMX_INSTALL_OCLDIR.

Fix minor nit-picks

1. Make the array with device status names static.
2. Expilcitely list integers in enumeration.

Fix clFFT build without GMX_LOAD_PLUGINS

It only happened to work before 649af69b44d503 because
GMX_LOAD_PLUGINS was on by default and it added the
required dl library.
Also fixes that we reuse the same code for checking for
dlopen.

Don't print pygments error

Find modules shouldn't print tool errors to the cmake output.
These errors can be confusing because it is unclear whether
the error text applies to cmake or something else. Those
errors should go to log files. In this case logging doesn't
seem necessary. We didn't report the error until
b277931fcf4bc. And that commit claims to just fix a bug and
not increase verbosity. Therefore it was likely an
accidental change.

Refactor simulator comparison tests

The rerun test and the simulator comparison test share some
infrastructure. The scope of shared functionality was chosen
a bit too broadly, making reuse for other similar tests difficult.
This change makes the shared functionality more granular, allowing
to reuse this functionality more broadly and increasing the
readability, at the expense of some minor code duplication.

WIP: Finish removing compile_cpp_as_cuda

The definition can now be removed, and a comment updated.

Test code can use the same approach where needed.

Remove some headers from install targets

There are valid use cases for including gromacs exceptions in the
installed headers, such as packages wanting to utilize gromacs
testing features. However, class_helpers.h does not provide
enough benefit over just satisfying the rule of 5 to warrant
exposure in installed headers. This change removes the need for
class_helpers.h as well as the, apparently unused,
current_function.h from the installed headers.

Add virtual site with one constructing atom

Also fixed the order of the function type update table in tpxio.cpp.

[WIP] Run regression tests under ASAN

Suppression gets regression tests passing for complex, free energy,
rotation.

TODO - essential dynamics does not work for non-leak reasons, issues
in perl script

Remove DeviceStream include from GPU traits

GPU traits no longer use DeviceStream directly, so it should not be
included there.

Reformat pairs.cpp

Resolve clang-format error.

Use Gromacs::gmx target to hint gmxapi tests.

Import Gromacs::gmx CMake target from GROMACS package to get binary
install directory and executable name for a new gmxapi resource file.

Encapsulate gmxcli test fixture into module variable. Perform gmx
command discovery only at module import.

Refs #2961

Move soft-core parameters to interaction_const_t

The soft-core free-energy parameters for use in the kernels have been
put in a separate struct called SoftCoreParameters
and have been moved from t_forcerec to interaction_const_t.

Remove workaround for gcc bug 58265.

Fixes #3041

Modular simulator: Separate trajectory element and signaller

The trajectory element implemented both the ISimulatorElement and
the ISignaller interface. It was both signalling its clients that a
trajectory writing step was about to occur during task list creation,
and actually performing trajectory writing during the simulation.

In general, the tasks of signallers and elements, their call site in
the code, and their build and ownership procedures are all significantly
different. The dual nature of the trajectory element makes this
differentiation less clear, and requires some workarounds. Additionally,
separating the trajectory element in separate element and a signaller
requires no changes on client side, since all clients of the trajectory
element with integrated signaller already implemented two interfaces,
ITrajectorySignallerClient and ITrajectoryWriterClient.

The current change hence splits the current trajectory element into
a pure element and a pure signaller. This will make subsequent changes,
especially the introduction of a builder approach much easier. It also
removes support for combined elements and signallers: It renames the setup
method of the ISignaller interface from `signallerSetup` to `setup`, as
this differentiation was only used for classes implementing both element
and signaller interfaces. It also simplifies the handling of signallers
in ModularSimulator, as having a separate ownership and call list is not
needed anymore.

Refs #3437

Fix missing #include <string>

Only showed up in MSVC 2019 builds.

Fixes #3559

Change-Id: Ie5162ff6d922d7dbd8e7fd867327f68de1c8b682

cmake: export gmx target

Convert t_forcetable to C++

Also forward declared t_nblist in nbnxm.h to reduce dependencies.

Simplified uniform GPU selection in CMake

GPU selection is now done by setting GMX_GPU to either CUDA
or OpenCL, with no other variables required. As part of the
overall CMake simplification, the CMake automatic detection
of hardware and "auto" settings for GPU acceleration have
been removed. This will require the user to explicitly enable
GPU support (which is a drawback), but it leads to much
simplier and shorter CMake code, similar support for CUDA and
OpenCL, and it will make it easier to handle multiple different
APIs targeting e.g. NVIDIA GPU hardware in the near future.

Fix style errors in modular simulator propagator

Some member variables of the Propagator class were missing the trailing
underscore. This also changes the initialization of a vector and a
matrix to list initialization, which used to throw off uncrustify.

Improve pytest output handling.

Reduce default pytest output verbosity.

Explicitly create only one output file when running under MPI.

Fixes #3553

Replace trivalue options with plain booleans

Our CMake auto-detection has been a long discussion since
it both complicates the CMake code and leads to complex
interactions when multiple auto-settings interact with
each other, and when/how things can change.

This is a first step towards removing such auto settings,
by altering "nice to have, but not required" to "off" by
default (GMX_BUILD_HELP, GMX_HWLOC).

The option GMX_LOAD_PLUGINS was on by default, and
the build generates errors if it's turned off, so for now
I set it to "on", and will adress the compile error when
it's disabled in a separate change.

With these changes, the trivalue options are no more.

Replace compile_cpp_as_cuda(...) with CUDA runtime header inclusion

To make CUDA-specific tipes visible, one should either use CUDA compiler
for the files where they are exposed, or include the CUDA runtime header
for the normal compiler. This changes first approach to the second.