Merge remote-tracking branch 'origin/main' into densgrid

Add headers

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Fix formatting

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Fix for formatting

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Use std::filesystem in more places

Replace more custom gmx file handling with std::filesystem based
approaches. Remove GMX_MAX_PATH_LENGTH variable as it is no longer
needed.

Optimize bonded force accumulation in SYCL kernels

On Intel KBL performance of the force kernel improves by 3x.

Performance improvements with hipSYCL are modest, likely due to
other performance limiters in the kernel.

Refs #3928

SYCL: Remove support for buffers

- They are not compatible with GPU-aware MPI
- All the optimization efforts so far led us away from (implicit) DAG-based
  scheduling.
- They require non-zero maintenance and CI resources.

Closes #4603, #3895.

Closes #3895 and #4603

SYCL: Remove deprecated is_host

It is deprecated in SYCL2020, and IntelLLVM now complains about it.

We had this check to avoid querying device properties for the `host`
device, which was throwing exceptions.
Since 9eab63bacd (!3126), we can handle exceptions just fine.

Moreover, since ecb223ff5 (!2653), we're only listing GPU devices,
so the host device would never be passed to this function anyway.

Avoid delayed hardware de-initialization in tests

In our tests, `gmx_hw_info_t` was only destroyed at the very end of the
program as part of destroying the static `TestHardwareEnvironment`. Since
the order of destruction of static orders is unspecified, it was
sometimes destroyed after hipSYCL shut down the rest of the CUDA/HIP runtime.

With CUDA, it led to harmless `cudaErrorCudartUnloading` errors printed to
stderr. With HIP, however, it was sometimes causing segfaults in
libamdhip64.so. Only in tests and only at the very end, but still not nice.

We now explicitly destroy `gmx_hw_info_t` after running all the tests.

Remove inappropriate `#include`

c40e470d neglected to remove an `#include` that
referenced `<mpi.h>`, which might not be available
in some build environments.

Refs #4608

Rename reference of master rank to main

Used coordinator in some places as well where it made sense to me.

Refs #4459

Remove the deprecated ddSendrecv template

And some adjacent modernization, mostly replacing `rvec*` with
`gmx::ArrayRef<gmx::RVec>`.

Remove a duplicated export.

`export_mpi_bindings()` was supposed to be moved to a narrower scope so
that it only gets called when MPI bindings support is available, as
detected by CMake.

Refs #4608

Add new cool quote

Not the be taken out of context.

Add missing __forceinline__ attribute in the bonded module

clang-CUDA was not inlining and had ~4x worse performance than nvcc.

Fix nbnxm 2xMM energy group accumulation

Broken by recent commit 0ad4a2ede3f.

SYCL: Catch exception in isDeviceCompatible

Remove getIOpenEntry

The pair list often does operations on the last entry in the list,
which is the current work-in-progress. This can be expressed more
directly in the code.

This will help simplify the code so that we can template it on the
number of j-cluster indices that are packed together.

Refs #3847

Flexible communicator management for tMPI or MPI.

Manage the hierarchy of communicators (or non-MPI resources) whether
or not mpi4py is available for ensembles of any size, both for
thread-MPI GROMACS and GROMACS with library MPI support.

Fixes #4423

Closes #4423

- added comments and small adjustments

Replace t_blocka in index group handling by std containers

This change is only refactoring, except for minor changes in
printing of index groups in gmx dump and debug output.

Fix non-bonded group pair energy reporting

Recent commit 0ad4a2ede3f caused all energies contributions
to be added to group pair 0,0.

Optimize bonded force accumulation in CUDA kernels

Consecutive threads accumulate different force components reducing the
potential for atomic clashes (by a theoretical max of 3x).

The measured performance improvement is 1.35-1.5x in the force, and
1.5-1.6x in the force+energy kernel (on cc 7.x and 8.5).

Original idea: A. Gorenko StreamHPC.

Remove xlc compiler specific code

Also removes code that was needed for ancient versions of gcc in Power9
Simd instructions.

Replace custom gmx PATH with std::filesystem

Remove all custom path handling for files and directories and replace
with std::filesystem based approach.

Reworked some useful methods to use std::filesystem under the hood but
keep the same call signatures.

Remove unused uncurated files from python_packaging.

* We no longer have a separate Dockerfile for isolated gmxapi docs builds.
* The Travis-CI config has not been tested in a while. We cannot stand behind it as a sample config for new forked projects.

Core bindings for MPI Comm sharing.

New creation function bindings for pycontext receive
and use an mpi4py communicator to initialize the
gmxapi::Context, where applicable.

Provides the C++ support needed for #4423,
and for the core functionality under #4422.

Ref #4422.

Rename j4 to jPacked

Refs #3847

Use classes for j-list handling

This prepares for future changes to the value of
c_nbnxnGpuNumClusterPerSupercluster and thus c_nbnxnGpuJGroupSize to
be more flexible in optimizing for a wider range of GPUs. This will be
easier to manage if the compile-time values come from templates rather
than being hard coded.

This commit begins to replace the concept of j4 clusters with packed j
clusters, since the number of elements packed per int may change in
future. The bulk of the renaming is deferred for a future change.

Refs #3847

Basic MPI client support.

* Help MPI-enabled client software build with compatible GROMACS.
* Establish some basic MPI Comm bindings for gmxapi.
* Test the ability to receive and use a communicator from mpi4py.

Ref #3718, #3777, #4422, #4447

Follow-up to GPU cycle counter change

- Rename cycle counter LaunchGpu to LaunchPpGpuOps as it contains only PP cycles
- Move LaunchGpuPmeFft to sub-counter table from PME breakdown table

Refs: #4490

Enable Shake in constr test

Shake is now enabled in addition to LICNS in the constr test.
To make Shake pass the velocity check, the shake tolerance had
to be tightened.

Fixes #4586

Change-Id: Id9573993981b024853767adcd62cad3639ccfbe5

Closes #4586

Fix default checkout in post-merge trigger script

Changed HEAD to FETCH_HEAD, to make sure script runs also when not
providing any futher input.

Silence clang warning

In builds without wallcycle sub-counters, clang complains about one of
the helper functions being unused.

Introduced in 298eac7e3fa (MR !1767).

Failed pipeline: https://gitlab.com/gromacs/gromacs/-/pipelines/641767524

Fixed pipeline: https://gitlab.com/gromacs/gromacs/-/pipelines/642244320

The `arrayref` header was not needed, so I replaced it with
`basedefinitions`, which is needed now.

SYCL: Simplify indexing

Allow use of ccache with Intel oneAPI compilers

This works, its just that no one had added intelLLVM to the ccache
whitelist.

SYCL: Remove tidxz

Rename computation to activities in wallcycle

We measure computation, communication, as well as latency overheads (e.g.
GPU API overheads), so "computation" as a name is not a good fit.

Add missing header

It is needed for the VS2022 build.

(Whether the VS2022 build itself is needed is another question)

Add time as a transformation pull coord variable

This enables arbitrary time dependence for pull coordinates.
Time is not allowed as a variable when AWH is active, as AWH
assumes the system is in equilibrium. This is checked.

Tests are added.

Implements #4470

Closes #4470

Fix double-counting of PME cycle counters

- GPU operations launched in PME rank were considered as part of PP cycles as both PME and PP shared the same cycle counter
- Use different counter for PME GPU ops and make it part of the PME counters

Refs: #4490

Improve constraint test checks

Generated the reference data in double precision with LINCS
with niter=2, order=8.
Change the coordinate and velocity tolerances to absolute.
Changed the virial tolerance to relative to the average
diagonal element.

Refs #4586

Minor bump to CMake in Github CI

Changed 3.18.3 to minimum required 3.18.4

Bump minimum cmake version to 3.18

Cmake 3.18.4 was released on 6 October 2020. The default version of cmake
in Ubuntu 22.04 is 3.22.1, so there should not be a problem there.

This is necessary because cmake 3.17 introduces find_package(CUDAToolkit),
which is a major step forward in usability over find_package(CUDA) or
enable_language(CUDA). Further, the first time that support for automatically
adding compiler flags for cuda version was introduced in cmake 3.18.

This will also make packaging cuda code much easier, as
without this change, it would be necessary to handle the different
variables that are set by the old find_package(CUDA) and the newer
find_package(CUDAToolkit). This work would also be somewhat pointless
busywork since surely we would anyway bump to at least cmake 3.18 after
the release.

The actual changes to handling of cuda cmake code are left to a followup.

Relates to #3288, #4428 (closed)

Reduce the number of atomics in UB force accumulation

Improves bonded performance by up to a few percent.

Refs #3928

Expand feature checking API for Python.

Includes updates to Exception and feature documentation.

Silence clang tidy warning in wallcycle code

Seems like it couldn't understand what the value of the max debug
counters is if we make it dependent on debugging being active or not.

Python code checkers.

Add some packages that we may use for automated Python code checking.

Ref #4595

Isolate the CMake installation stages.

The CMake installations are highly reusable and parallelizable.
We move them to their own stages primarily to improve build layer cache.
This way, we don't have to worry as much about what gets built before
what.

New base exception for _gmxapi extension module.

* Separate exports for wrapped exceptions and exceptions
  originating in the extension module.
* Provide a C++ and Python base exception to be used
  throughout the gmxapi._gmxapi extension module.
* Isolate the handling for libgmxapi exceptions from
  different API versions.

Follow-up:
Code in the C++ extension module (::gmxpy namespace)
should throw locally defined exceptions instead of
gmxapi::Exception subclasses.

Replace preprocessor with constexpr in wallcycle

Moves the debug functions to checked through if constexpr instead of
hiding them behind preprocessor macros.

SYCL: Add GPU Bondeds kernel

Based on the CUDA implementation.

Tested on MI100 (gfx908) with hipSYCL and on V100 (sm_70) with hipSYCL and IntelLLVM.

Refs #3928

- separated classes to their own files
- successfully builds

- separation of classes to different files

Change name back

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Merge branch 'main' into densgrid

More changes

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Reformat and fix

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

- removed std::pair / switched to indexes + &frame

- removed tuples

small changes to class impl.

Decouple runtime resource management from legacy context.py.

* Remove some leftover debugging cruft.
* Additional clean-up and notes.

Update libgmxapi so version.

Packagers and other things may break if we don't update the libgmxapi version between GROMACS distributions.

Move nrjac.cpp

This file did not depend on anything in linearalgebra module, so
should not be with it.

Resolves circular depenency of math and linearalgebra.

Refs #3288

Add missing header

Failed MSVC build: https://github.com/gromacs/gromacs/runs/8291215381

Fixed build: https://github.com/al42and/gromacs/runs/8293256050

Remove ISerializer overloads for rvec

Finishes breaking circular dependency of math and utility.

The serialization interface should live at a low level, but if it has
methods for rvec and ivec then it has to depend on math module. Then
there is no clear module at a level higher than math but lower than
everything else in which ISerializer should live.

Since it is not necessary to have convenience methods for these types,
they are removed. They were being used in the fileio module, which now
implements that functionality using free functions.

Refs #3288

Slightly modernize SYCL utils

- a workaround for a bug resolved almost a year ago,
- a device info handler deprecated in SYCL 2020, for which a modern alternative, `has`, has been available since late 2020,
- asserts in device code not hidden behind a macro.

Add release notes and installation details for GPU PME decomposition

Refs: #3884

One more emplace_back

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Reformat code with right format

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Update copyright

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

Merge branch 'main' into densgrid

SYCL: Improve atomicFetchAdd helper

- Support arbitrary address space (e.g., local)
- Support Float3 data type

Refs #3928

Remove GMX_GPU_SYCL_USE_SUBDEVICES

New behavior:

- hipSYCL: we never split devices.
- oneAPI: we always try to split devices into tiles or use them as-is
  if they cannot be divided.

Closes #4567

Closes #4567

Remove remainings of source checksumming

Follow-up to 4d0b3d3b (!1920). Checksumming script was removed, now we
remove all references to it.

Note: if we want to bring checksumming back, CMake itself can calculate
hashes since 3.8, no need to depend on Python availability:
https://cmake.org/cmake/help/latest/command/file.html#hash

Refs #4133

Fix tidy

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>

potentialy:
- private class pushed out
- function defenitions pushed out of the classes
- changed "int a {0}" to "int a = 0"
- removed unnessessary "gmx::"
- cleaned constr./destr./virtual

Resolve circular dependency of mdtypes and utility

This include was not used for anything

Refs #3288

- added forgotten .h

- initial commit to the gromacs package

Fix path to release python script

This wasn't done when the script itself was moved.

Move MDModules notifiers to high-level module

This partly resolves the circular dependency of math on utility.

The MDModules notifier functionality should live at a higher level. In
particular, the notification types should be in a utility module low
enough that e.g. grompp, mdrun, and the modules receiving the
notifications can all comfortably depend on them, and high enough that
they can depend on types in other utility modules. For example, RVec
and ArrayRef should be able to be used in notifications, but that
means the notification type must live above both math and utility
modules.

Refs #3288

Break circular dependency of simd and hardware

There's no need for the SIMD support-level code to live in the SIMD module, and
moving it to hardware means it lives alongside all its callers.

Minimized content of simd_support.h

Made simd module into an INTERFACE library, now that it can be.

Refs #3288

Set cuda language property in utility

This change sets the cuda language property for the one file that
needs that in utility module. It leave the dependence between
libgromacs and utility intact, but may make it easier to sever this
dependence in the future.

Relates to #3288

Make the pipeline trigger script more flexible

Allow selecting of regression tests to run against, and also pipeline
type.

Fix clang warnings in the release pipeline

Failed pipeline: https://gitlab.com/gromacs/gromacs/-/pipelines/632945242

Fixed pipeline: https://gitlab.com/gromacs/gromacs/-/pipelines/633561594

Fix a few dead links in docs

GoogleCode is shut down. GoogleMock is merged into GoogleTest.

Update minimum required GROMACS version for gmxapi Python package

Closes #4576

Closes #4576

Fix clang-tidy

Introduced in 826bfa821a2aa64d8ef4e9418fd2eb65b6e1079a

Failed post-merge jobs: https://gitlab.com/gromacs/gromacs/-/jobs/2986724173, https://gitlab.com/gromacs/gromacs/-/jobs/2986724174

New post-merge pipeline: https://gitlab.com/gromacs/gromacs/-/pipelines/632612669

Change upload paths for auto release script

Adjust script again for changes server side when it comes to the default
paths accessible for the upload accounts.

Move NBNxM diagonal masking to a class

GPU Bondeds: Extract backend-agnostic part

File renamed, a few CUDA-specific bits removed.

Refs #3928

Merge hwe-release-2022 into main

Conflicts:

- CMakeLists.txt
- admin/gitlab-ci/api-client.matrix/gromacs-master.gitlab-ci.yml
- admin/gitlab-ci/archive.gitlab-ci.yml
- admin/gitlab-ci/documentation.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs-gcc-9-cp2k-8.2-nightly.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs.clang-14-cuda-11.4.3.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs.clang-9-cuda-11.0-release.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs.clang-9.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs.gcc-11-coverage.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs.gcc-9-cuda-11.0.3-mpi.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs.gcc-9-cuda-11.0.3.gitlab-ci.yml
- admin/gitlab-ci/gromacs.matrix/gromacs.hipsycl-dev.gitlab-ci.yml
- admin/gitlab-ci/lint.gitlab-ci.yml
- admin/gitlab-ci/python-gmxapi.matrix/python-gmxapi-current-gromacs-mpi.gitlab-ci.yml
- api/gmxapi/cpp/tests/CMakeLists.txt
- api/gmxapi/cpp/workflow/tests/CMakeLists.txt
- cmake/gmxManageNvccConfig.cmake
- python_packaging/gmxapi/src/gmxapi/version.py
- src/gromacs/ewald/pme_coordinate_receiver_gpu_impl_gpu.cpp
- src/gromacs/ewald/pme_pp_comm_gpu_impl.cpp
- src/gromacs/gmxana/gmx_hbond.cpp
- src/gromacs/gmxpreprocess/readir.cpp

Manual updates:

- A bunch of GitLab YAML files to remove ':release-2020' suffix from images.
- src/gromacs/hardware/device_management_sycl_intel_device_ids.cpp
- src/gromacs/ewald/pme_force_sender_gpu_impl.h
- src/gromacs/ewald/pme_force_sender_gpu_impl_gpu.cu

Improve GPU pair search SIMD code

The GPU cluster pair distance SIMD kernel has been rewritten to
be templated and support normal SIMD width in addition to SIMD4.
This improves the performance on 8-wide SIMD platforms.
To enable this, the search coordinate packing order has been changed,
which also simpifies the packing code.

Remove parenthesis for pragma unroll

Clang-14 complained about this.

Make linearalgebra OBJECT and move files to include dir

Relates to #3288

CUDA Bondeds: simplify kernels, reduce shmem usage

We were not using `vtot` and `vtotVdw` simultaneously in the same warp, so we can reduce shmem and global atomic usage slightly.

We are only reducing within a warp, so we can reduce shmem usage even more by using shuffles instead.

Using V100, GCC 11.2, CUDA 11.5, benchMEM system: dynamic shmem went down from 636 to 540 bytes for all kernel flavors. But no differences in register usage or performance even for the energy kernel.

I'm a bit conflicted on this one because, on the one hand, why use more GPU resources than needed, but, on the other, perhaps we're better off not touching what's already good enough.

Increase the default values of nsttcouple and nstpcouple

The default values of nsttcouple and nstpcouple have been increased
from 10 to 100 to improve performance of GPU and parallel runs.
The mechanism to lower the values to ensure accurate integration
is now documented. Now also v-rescale uses at least 5 integration
steps per tau, as all other first order coupling algorithms.

Also set nstcalcenergy to 100 instead of 10 when the user supplied
value is -1 (note that the default mdp value is 100).

Fixes #4565

Closes #4565

Simplify DeviceStreamManager setup and usage

havePpDomainDecomposition is now a field in SimulationWorkload, so the
constructor can get the value from there. It also now stores the value
so that bondedStream() can return the correct stream without needing
the caller to know how to coordinate in the correct way.

Replace C style headers with its C++ versions

Signed-off-by: Alexey Shvetsov <alexxyum@gmail.com>