src/gromacs/listed_forces/listed_forces_gpu_impl.h

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2018,2019,2020,2021, by the GROMACS development team, led by
   5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6  * and including many others, as listed in the AUTHORS file in the
   7  * top-level source directory and at http://www.gromacs.org.
   8  *
   9  * GROMACS is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public License
  11  * as published by the Free Software Foundation; either version 2.1
  12  * of the License, or (at your option) any later version.
  13  *
  14  * GROMACS is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with GROMACS; if not, see
  21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23  *
  24  * If you want to redistribute modifications to GROMACS, please
  25  * consider that scientific software is very special. Version
  26  * control is crucial - bugs must be traceable. We will be happy to
  27  * consider code for inclusion in the official distribution, but
  28  * derived work must not be called official GROMACS. Details are found
  29  * in the README & COPYING files - if they are missing, get the
  30  * official version at http://www.gromacs.org.
  31  *
  32  * To help us fund GROMACS development, we humbly ask that you cite
  33  * the research papers on the package. Check out http://www.gromacs.org.
  34  */
  35 /*! \internal \file
  36  * \brief Declares GPU implementation class for CUDA bonded
  37  * interactions.
  38  *
  39  * This header file is needed to include from both the device-side
  40  * kernels file, and the host-side management code.
  41  *
  42  * \author Berk Hess <hess@kth.se>
  43  * \author Szilárd Páll <pall.szilard@gmail.com>
  44  * \author Mark Abraham <mark.j.abraham@gmail.com>
  45  *
  46  * \ingroup module_listed_forces
  47  */
  48 #ifndef GMX_LISTED_FORCES_LISTED_FORCES_GPU_IMPL_H
  49 #define GMX_LISTED_FORCES_LISTED_FORCES_GPU_IMPL_H
  50
  51 #include "gromacs/gpu_utils/device_context.h"
  52 #include "gromacs/gpu_utils/gputraits.cuh"
  53 #include "gromacs/gpu_utils/hostallocator.h"
  54 #include "gromacs/listed_forces/listed_forces_gpu.h"
  55 #include "gromacs/pbcutil/pbc_aiuc.h"
  56
  57 struct gmx_ffparams_t;
  58 struct t_forcerec;
  59
  60 namespace gmx
  61 {
  62
  63 /*! \internal \brief Version of InteractionList that supports pinning */
  64 struct HostInteractionList
  65 {
  66     /*! \brief Returns the total number of elements in iatoms */
  67     int size() const { return iatoms.size(); }
  68
  69     //! List of interactions, see \c HostInteractionLists
  70     HostVector<int> iatoms = { {}, gmx::HostAllocationPolicy(gmx::PinningPolicy::PinnedIfSupported) };
  71 };
  72
  73 /* \brief Bonded parameters and GPU pointers
  74  *
  75  * This is used to accumulate all the parameters and pointers so they can be passed
  76  * to the GPU as a single structure.
  77  *
  78  */
  79 struct BondedCudaKernelParameters
  80 {
  81     //! Periodic boundary data
  82     PbcAiuc pbcAiuc;
  83     //! Scale factor
  84     float electrostaticsScaleFactor;
  85     //! The bonded types on GPU
  86     int fTypesOnGpu[numFTypesOnGpu];
  87     //! The number of interaction atom (iatom) elements for every function type
  88     int numFTypeIAtoms[numFTypesOnGpu];
  89     //! The number of bonds for every function type
  90     int numFTypeBonds[numFTypesOnGpu];
  91     //! The start index in the range of each interaction type
  92     int fTypeRangeStart[numFTypesOnGpu];
  93     //! The end index in the range of each interaction type
  94     int fTypeRangeEnd[numFTypesOnGpu];
  95
  96     //! Force parameters (on GPU)
  97     t_iparams* d_forceParams;
  98     //! Total Energy (on GPU)
  99     float* d_vTot;
 100     //! Interaction list atoms (on GPU)
 101     t_iatom* d_iatoms[numFTypesOnGpu];
 102
 103     BondedCudaKernelParameters()
 104     {
 105         matrix boxDummy = { { 0, 0, 0 }, { 0, 0, 0 }, { 0, 0, 0 } };
 106
 107         setPbcAiuc(0, boxDummy, &pbcAiuc);
 108
 109         electrostaticsScaleFactor = 1.0;
 110         d_forceParams             = nullptr;
 111         d_vTot                    = nullptr;
 112     }
 113 };
 114
 115 /*! \internal \brief Implements GPU bondeds */
 116 class ListedForcesGpu::Impl
 117 {
 118 public:
 119     //! Constructor
 120     Impl(const gmx_ffparams_t& ffparams,
 121          float                 electrostaticsScaleFactor,
 122          const DeviceContext&  deviceContext,
 123          const DeviceStream&   deviceStream,
 124          gmx_wallcycle*        wcycle);
 125     /*! \brief Destructor, non-default needed for freeing
 126      * device-side buffers */
 127     ~Impl();
 128     /*! \brief Update lists of interactions from idef suitable for the GPU,
 129      * using the data structures prepared for PP work.
 130      *
 131      * Intended to be called after each neighbour search
 132      * stage. Copies the bonded interactions assigned to the GPU
 133      * to device data structures, and updates device buffers that
 134      * may have been updated after search. */
 135     void updateInteractionListsAndDeviceBuffers(ArrayRef<const int>           nbnxnAtomOrder,
 136                                                 const InteractionDefinitions& idef,
 137                                                 void*                         xqDevice,
 138                                                 DeviceBuffer<RVec>            forceDevice,
 139                                                 DeviceBuffer<RVec>            fshiftDevice);
 140     /*! \brief
 141      * Update PBC data.
 142      *
 143      * Converts PBC data from t_pbc into the PbcAiuc format and stores the latter.
 144      *
 145      * \param[in] pbcType The type of the periodic boundary.
 146      * \param[in] box     The periodic boundary box matrix.
 147      * \param[in] canMoleculeSpanPbc  Whether one molecule can have atoms in different PBC cells.
 148      */
 149     void setPbc(PbcType pbcType, const matrix box, bool canMoleculeSpanPbc);
 150
 151     /*! \brief Launches bonded kernel on a GPU */
 152     template<bool calcVir, bool calcEner>
 153     void launchKernel();
 154     /*! \brief Returns whether there are bonded interactions
 155      * assigned to the GPU */
 156     bool haveInteractions() const;
 157     /*! \brief Launches the transfer of computed bonded energies. */
 158     void launchEnergyTransfer();
 159     /*! \brief Waits on the energy transfer, and accumulates bonded energies to \c enerd. */
 160     void waitAccumulateEnergyTerms(gmx_enerdata_t* enerd);
 161     /*! \brief Clears the device side energy buffer */
 162     void clearEnergies();
 163
 164 private:
 165     /*! \brief The interaction lists
 166      *
 167      * \todo This is potentially several pinned allocations, which
 168      * could contribute to exhausting such pages. */
 169     std::array<HostInteractionList, F_NRE> iLists_;
 170
 171     //! Tells whether there are any interaction in iLists.
 172     bool haveInteractions_;
 173     //! Interaction lists on the device.
 174     t_ilist d_iLists_[F_NRE] = {};
 175     //! Bonded parameters for device-side use.
 176     t_iparams* d_forceParams_ = nullptr;
 177     //! Position-charge vector on the device.
 178     const float4* d_xq_ = nullptr;
 179     //! Force vector on the device.
 180     float3* d_f_ = nullptr;
 181     //! Shift force vector on the device.
 182     float3* d_fShift_ = nullptr;
 183     //! \brief Host-side virial buffer
 184     HostVector<float> vTot_ = { {}, gmx::HostAllocationPolicy(gmx::PinningPolicy::PinnedIfSupported) };
 185     //! \brief Device-side total virial
 186     float* d_vTot_ = nullptr;
 187
 188     //! GPU context object
 189     const DeviceContext& deviceContext_;
 190     //! \brief Bonded GPU stream, not owned by this module
 191     const DeviceStream& deviceStream_;
 192
 193     //! Parameters and pointers, passed to the CUDA kernel
 194     BondedCudaKernelParameters kernelParams_;
 195
 196     //! GPU kernel launch configuration
 197     KernelLaunchConfig kernelLaunchConfig_;
 198
 199     //! \brief Pointer to wallcycle structure.
 200     gmx_wallcycle* wcycle_;
 201 };
 202
 203 } // namespace gmx
 204
 205 #endif // GMX_LISTED_FORCES_LISTED_FORCES_GPU_IMPL_H