src/gromacs/nbnxm/nbnxm_gpu.h

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2012,2013,2014,2015,2017,2018,2019, by the GROMACS development team, led by
   5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6  * and including many others, as listed in the AUTHORS file in the
   7  * top-level source directory and at http://www.gromacs.org.
   8  *
   9  * GROMACS is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public License
  11  * as published by the Free Software Foundation; either version 2.1
  12  * of the License, or (at your option) any later version.
  13  *
  14  * GROMACS is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with GROMACS; if not, see
  21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23  *
  24  * If you want to redistribute modifications to GROMACS, please
  25  * consider that scientific software is very special. Version
  26  * control is crucial - bugs must be traceable. We will be happy to
  27  * consider code for inclusion in the official distribution, but
  28  * derived work must not be called official GROMACS. Details are found
  29  * in the README & COPYING files - if they are missing, get the
  30  * official version at http://www.gromacs.org.
  31  *
  32  * To help us fund GROMACS development, we humbly ask that you cite
  33  * the research papers on the package. Check out http://www.gromacs.org.
  34  */
  35 /*! \libinternal \file
  36  *  \brief Declare interface for GPU execution for NBNXN module
  37  *
  38  *  \author Szilard Pall <pall.szilard@gmail.com>
  39  *  \author Mark Abraham <mark.j.abraham@gmail.com>
  40  *  \ingroup module_nbnxm
  41  */
  42
  43 #ifndef GMX_NBNXM_NBNXM_GPU_H
  44 #define GMX_NBNXM_NBNXM_GPU_H
  45
  46 #include "gromacs/gpu_utils/gpu_macros.h"
  47 #include "gromacs/math/vectypes.h"
  48 #include "gromacs/utility/basedefinitions.h"
  49 #include "gromacs/utility/real.h"
  50
  51 #include "gpu_types.h"
  52 #include "locality.h"
  53
  54 struct nbnxn_atomdata_t;
  55 enum class GpuTaskCompletion;
  56
  57 namespace Nbnxm
  58 {
  59
  60 /*! \brief
  61  * Launch asynchronously the xq buffer host to device copy.
  62  *
  63  * The nonlocal copy is skipped if there is no dependent work to do,
  64  * neither non-local nonbonded interactions nor bonded GPU work.
  65  *
  66  * \param [in]    nb        GPU nonbonded data.
  67  * \param [in]    nbdata    Host-side atom data structure.
  68  * \param [in]    aloc      Atom locality flag.
  69  * \param [in]    haveOtherWork  True if there are other tasks that require the nbnxn coordinate input.
  70  */
  71 GPU_FUNC_QUALIFIER
  72 void gpu_copy_xq_to_gpu(gmx_nbnxn_gpu_t gmx_unused               *nb,
  73                         const struct nbnxn_atomdata_t gmx_unused *nbdata,
  74                         AtomLocality gmx_unused                   aloc,
  75                         bool gmx_unused                           haveOtherWork) GPU_FUNC_TERM
  76
  77 /*! \brief
  78  * Launch asynchronously the nonbonded force calculations.
  79  *
  80  *  Also launches the initial pruning of a fresh list after search.
  81  *
  82  *  The local and non-local interaction calculations are launched in two
  83  *  separate streams. If there is no work (i.e. empty pair list), the
  84  *  force kernel launch is omitted.
  85  *
  86  */
  87 GPU_FUNC_QUALIFIER
  88 void gpu_launch_kernel(gmx_nbnxn_gpu_t gmx_unused     *nb,
  89                        int gmx_unused                  flags,
  90                        InteractionLocality gmx_unused  iloc) GPU_FUNC_TERM
  91
  92 /*! \brief
  93  * Launch asynchronously the nonbonded prune-only kernel.
  94  *
  95  *  The local and non-local list pruning are launched in their separate streams.
  96  *
  97  *  Notes for future scheduling tuning:
  98  *  Currently we schedule the dynamic pruning between two MD steps *after* both local and
  99  *  nonlocal force D2H transfers completed. We could launch already after the cpyback
 100  *  is launched, but we want to avoid prune kernels (especially in the non-local
 101  *  high prio-stream) competing with nonbonded work.
 102  *
 103  *  However, this is not ideal as this schedule does not expose the available
 104  *  concurrency. The dynamic pruning kernel:
 105  *    - should be allowed to overlap with any task other than force compute, including
 106  *      transfers (F D2H and the next step's x H2D as well as force clearing).
 107  *    - we'd prefer to avoid competition with non-bonded force kernels belonging
 108  *      to the same rank and ideally other ranks too.
 109  *
 110  *  In the most general case, the former would require scheduling pruning in a separate
 111  *  stream and adding additional event sync points to ensure that force kernels read
 112  *  consistent pair list data. This would lead to some overhead (due to extra
 113  *  cudaStreamWaitEvent calls, 3-5 us/call) which we might be able to live with.
 114  *  The gains from additional overlap might not be significant as long as
 115  *  update+constraints anyway takes longer than pruning, but there will still
 116  *  be use-cases where more overlap may help (e.g. multiple ranks per GPU,
 117  *  no/hbonds only constraints).
 118  *  The above second point is harder to address given that multiple ranks will often
 119  *  share a GPU. Ranks that complete their nonbondeds sooner can schedule pruning earlier
 120  *  and without a third priority level it is difficult to avoid some interference of
 121  *  prune kernels with force tasks (in particular preemption of low-prio local force task).
 122  *
 123  * \param [inout] nb        GPU nonbonded data.
 124  * \param [in]    iloc      Interaction locality flag.
 125  * \param [in]    numParts  Number of parts the pair list is split into in the rolling kernel.
 126  */
 127 GPU_FUNC_QUALIFIER
 128 void gpu_launch_kernel_pruneonly(gmx_nbnxn_gpu_t gmx_unused     *nb,
 129                                  InteractionLocality gmx_unused  iloc,
 130                                  int gmx_unused                  numParts) GPU_FUNC_TERM
 131
 132 /*! \brief
 133  * Launch asynchronously the download of nonbonded forces from the GPU
 134  * (and energies/shift forces if required).
 135  * When haveOtherWork=true, the copy-back is done even when there was
 136  * no non-bonded work.
 137  */
 138 GPU_FUNC_QUALIFIER
 139 void gpu_launch_cpyback(gmx_nbnxn_gpu_t  gmx_unused *nb,
 140                         nbnxn_atomdata_t gmx_unused *nbatom,
 141                         int              gmx_unused  flags,
 142                         AtomLocality     gmx_unused  aloc,
 143                         bool             gmx_unused  haveOtherWork) GPU_FUNC_TERM
 144
 145 /*! \brief Attempts to complete nonbonded GPU task.
 146  *
 147  *  This function attempts to complete the nonbonded task (both GPU and CPU auxiliary work).
 148  *  Success, i.e. that the tasks completed and results are ready to be consumed, is signaled
 149  *  by the return value (always true if blocking wait mode requested).
 150  *
 151  *  The \p completionKind parameter controls whether the behavior is non-blocking
 152  *  (achieved by passing GpuTaskCompletion::Check) or blocking wait until the results
 153  *  are ready (when GpuTaskCompletion::Wait is passed).
 154  *  As the "Check" mode the function will return immediately if the GPU stream
 155  *  still contain tasks that have not completed, it allows more flexible overlapping
 156  *  of work on the CPU with GPU execution.
 157  *
 158  *  Note that it is only safe to use the results, and to continue to the next MD
 159  *  step when this function has returned true which indicates successful completion of
 160  *  - All nonbonded GPU tasks: both compute and device transfer(s)
 161  *  - auxiliary tasks: updating the internal module state (timing accumulation, list pruning states) and
 162  *  - internal staging reduction of (\p fshift, \p e_el, \p e_lj).
 163  *
 164  *  TODO: improve the handling of outputs e.g. by ensuring that this function explcitly returns the
 165  *  force buffer (instead of that being passed only to nbnxn_gpu_launch_cpyback()) and by returning
 166  *  the energy and Fshift contributions for some external/centralized reduction.
 167  *
 168  * \param[in]  nb     The nonbonded data GPU structure
 169  * \param[in]  flags  Force flags
 170  * \param[in]  aloc   Atom locality identifier
 171  * \param[in]  haveOtherWork  Tells whether there is other work than non-bonded work in the nbnxn stream(s)
 172  * \param[out] e_lj   Pointer to the LJ energy output to accumulate into
 173  * \param[out] e_el   Pointer to the electrostatics energy output to accumulate into
 174  * \param[out] fshift Pointer to the shift force buffer to accumulate into
 175  * \param[in]  completionKind Indicates whether nnbonded task completion should only be checked rather than waited for
 176  * \returns              True if the nonbonded tasks associated with \p aloc locality have completed
 177  */
 178 GPU_FUNC_QUALIFIER
 179 bool gpu_try_finish_task(gmx_nbnxn_gpu_t gmx_unused  *nb,
 180                          int             gmx_unused   flags,
 181                          AtomLocality    gmx_unused   aloc,
 182                          bool            gmx_unused   haveOtherWork,
 183                          real            gmx_unused  *e_lj,
 184                          real            gmx_unused  *e_el,
 185                          rvec            gmx_unused  *fshift,
 186                          GpuTaskCompletion gmx_unused completionKind) GPU_FUNC_TERM_WITH_RETURN(false)
 187
 188 /*! \brief  Completes the nonbonded GPU task blocking until GPU tasks and data
 189  * transfers to finish.
 190  *
 191  * Also does timing accounting and reduction of the internal staging buffers.
 192  * As this is called at the end of the step, it also resets the pair list and
 193  * pruning flags.
 194  *
 195  * \param[in] nb The nonbonded data GPU structure
 196  * \param[in] flags Force flags
 197  * \param[in] aloc Atom locality identifier
 198  * \param[in]  haveOtherWork  Tells whether there is other work than non-bonded work in the nbnxn stream(s)
 199  * \param[out] e_lj Pointer to the LJ energy output to accumulate into
 200  * \param[out] e_el Pointer to the electrostatics energy output to accumulate into
 201  * \param[out] fshift Pointer to the shift force buffer to accumulate into
 202  */
 203 GPU_FUNC_QUALIFIER
 204 void gpu_wait_finish_task(gmx_nbnxn_gpu_t gmx_unused *nb,
 205                           int             gmx_unused  flags,
 206                           AtomLocality    gmx_unused  aloc,
 207                           bool            gmx_unused  haveOtherWork,
 208                           real            gmx_unused *e_lj,
 209                           real            gmx_unused *e_el,
 210                           rvec            gmx_unused *fshift) GPU_FUNC_TERM
 211
 212 /*! \brief Selects the Ewald kernel type, analytical or tabulated, single or twin cut-off. */
 213 GPU_FUNC_QUALIFIER
 214 int gpu_pick_ewald_kernel_type(bool gmx_unused bTwinCut) GPU_FUNC_TERM_WITH_RETURN(-1)
 215
 216 } // namespace Nbnxm
 217
 218 #endif