src/gromacs/taskassignment/decidegpuusage.h

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2017,2018,2019,2020,2021, by the GROMACS development team, led by
   5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6  * and including many others, as listed in the AUTHORS file in the
   7  * top-level source directory and at http://www.gromacs.org.
   8  *
   9  * GROMACS is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public License
  11  * as published by the Free Software Foundation; either version 2.1
  12  * of the License, or (at your option) any later version.
  13  *
  14  * GROMACS is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with GROMACS; if not, see
  21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23  *
  24  * If you want to redistribute modifications to GROMACS, please
  25  * consider that scientific software is very special. Version
  26  * control is crucial - bugs must be traceable. We will be happy to
  27  * consider code for inclusion in the official distribution, but
  28  * derived work must not be called official GROMACS. Details are found
  29  * in the README & COPYING files - if they are missing, get the
  30  * official version at http://www.gromacs.org.
  31  *
  32  * To help us fund GROMACS development, we humbly ask that you cite
  33  * the research papers on the package. Check out http://www.gromacs.org.
  34  */
  35 /*! \libinternal \file
  36  * \brief Declares functionality for deciding whether tasks will run on GPUs.
  37  *
  38  * \author Mark Abraham <mark.j.abraham@gmail.com>
  39  * \ingroup module_taskassignment
  40  * \inlibraryapi
  41  */
  42
  43 #ifndef GMX_TASKASSIGNMENT_DECIDEGPUUSAGE_H
  44 #define GMX_TASKASSIGNMENT_DECIDEGPUUSAGE_H
  45
  46 #include <vector>
  47
  48 struct gmx_hw_info_t;
  49 struct gmx_mtop_t;
  50 struct t_inputrec;
  51 enum class PmeRunMode;
  52
  53 namespace gmx
  54 {
  55
  56 class MDLogger;
  57
  58 //! Record where a compute task is targetted.
  59 enum class TaskTarget : int
  60 {
  61     Auto,
  62     Cpu,
  63     Gpu
  64 };
  65
  66 //! Help pass GPU-emulation parameters with type safety.
  67 enum class EmulateGpuNonbonded : bool
  68 {
  69     //! Do not emulate GPUs.
  70     No,
  71     //! Do emulate GPUs.
  72     Yes
  73 };
  74
  75 /*! \libinternal
  76  *  \brief Structure that holds boolean flags corresponding to the development
  77  *        features present enabled through environment variables.
  78  *
  79  */
  80 struct DevelopmentFeatureFlags
  81 {
  82     //! True if the Buffer ops development feature is enabled
  83     // TODO: when the trigger of the buffer ops offload is fully automated this should go away
  84     bool enableGpuBufferOps = false;
  85     //! If true, forces 'mdrun -update auto' default to 'gpu'
  86     bool forceGpuUpdateDefault = false;
  87     //! True if the GPU halo exchange development feature is enabled
  88     bool enableGpuHaloExchange = false;
  89     //! True if the PME PP direct communication GPU development feature is enabled
  90     bool enableGpuPmePPComm = false;
  91 };
  92
  93
  94 class MDAtoms;
  95
  96 /*! \brief Decide whether this thread-MPI simulation will run
  97  * nonbonded tasks on GPUs.
  98  *
  99  * The number of GPU tasks and devices influences both the choice of
 100  * the number of ranks, and checks upon any such choice made by the
 101  * user. So we need to consider this before any automated choice of
 102  * the number of thread-MPI ranks.
 103  *
 104  * \param[in] nonbondedTarget              The user's choice for mdrun -nb for where to assign
 105  *                                         short-ranged nonbonded interaction tasks.
 106  * \param[in] numDevicesToUse              Number of compatible GPUs that the user permitted
 107  *                                         us to use.
 108  * \param[in] userGpuTaskAssignment        The user-specified assignment of GPU tasks to device IDs.
 109  * \param[in] emulateGpuNonbonded          Whether we will emulate GPU calculation of nonbonded
 110  *                                         interactions.
 111  * \param[in] buildSupportsNonbondedOnGpu  Whether GROMACS was built with GPU support.
 112  * \param[in] nonbondedOnGpuIsUseful       Whether computing nonbonded interactions on a GPU is
 113  *                                         useful for this calculation.
 114  * \param[in] numRanksPerSimulation        The number of ranks in each simulation.
 115  *
 116  * \returns    Whether the simulation will run nonbonded tasks on GPUs.
 117  *
 118  * \throws     std::bad_alloc          If out of memory
 119  *             InconsistentInputError  If the user requirements are inconsistent. */
 120 bool decideWhetherToUseGpusForNonbondedWithThreadMpi(TaskTarget              nonbondedTarget,
 121                                                      int                     numDevicesToUse,
 122                                                      const std::vector<int>& userGpuTaskAssignment,
 123                                                      EmulateGpuNonbonded     emulateGpuNonbonded,
 124                                                      bool buildSupportsNonbondedOnGpu,
 125                                                      bool nonbondedOnGpuIsUseful,
 126                                                      int  numRanksPerSimulation);
 127
 128 /*! \brief Decide whether this thread-MPI simulation will run
 129  * PME tasks on GPUs.
 130  *
 131  * The number of GPU tasks and devices influences both the choice of
 132  * the number of ranks, and checks upon any such choice made by the
 133  * user. So we need to consider this before any automated choice of
 134  * the number of thread-MPI ranks.
 135  *
 136  * \param[in]  useGpuForNonbonded        Whether GPUs will be used for nonbonded interactions.
 137  * \param[in]  pmeTarget                 The user's choice for mdrun -pme for where to assign
 138  *                                       long-ranged PME nonbonded interaction tasks.
 139  * \param[in]  pmeFftTarget              The user's choice for mdrun -pmefft for where to run FFT.
 140  * \param[in]  numDevicesToUse           The number of compatible GPUs that the user permitted us to use.
 141  * \param[in]  userGpuTaskAssignment     The user-specified assignment of GPU tasks to device IDs.
 142  * \param[in]  hardwareInfo              Hardware information
 143  * \param[in]  inputrec                  The user input
 144  * \param[in]  numRanksPerSimulation     The number of ranks in each simulation.
 145  * \param[in]  numPmeRanksPerSimulation  The number of PME ranks in each simulation.
 146  *
 147  * \returns    Whether the simulation will run PME tasks on GPUs.
 148  *
 149  * \throws     std::bad_alloc          If out of memory
 150  *             InconsistentInputError  If the user requirements are inconsistent. */
 151 bool decideWhetherToUseGpusForPmeWithThreadMpi(bool                    useGpuForNonbonded,
 152                                                TaskTarget              pmeTarget,
 153                                                TaskTarget              pmeFftTarget,
 154                                                int                     numDevicesToUse,
 155                                                const std::vector<int>& userGpuTaskAssignment,
 156                                                const gmx_hw_info_t&    hardwareInfo,
 157                                                const t_inputrec&       inputrec,
 158                                                int                     numRanksPerSimulation,
 159                                                int                     numPmeRanksPerSimulation);
 160
 161 /*! \brief Decide whether the simulation will try to run nonbonded
 162  * tasks on GPUs.
 163  *
 164  * The final decision cannot be made until after the duty of the rank
 165  * is known. But we need to know if nonbonded will run on GPUs for
 166  * setting up DD (particularly rlist) and determining duty. If the
 167  * user requires GPUs for the tasks of that duty, then it will be an
 168  * error when none are found.
 169  *
 170  * With thread-MPI, calls have been made to
 171  * decideWhetherToUseGpusForNonbondedWithThreadMpi() and
 172  * decideWhetherToUseGpusForPmeWithThreadMpi() to help determine
 173  * the number of ranks and run some checks, but the final
 174  * decision is made in this routine, along with many more
 175  * consistency checks.
 176  *
 177  * \param[in]  nonbondedTarget             The user's choice for mdrun -nb for where to assign short-ranged nonbonded interaction tasks.
 178  * \param[in]  userGpuTaskAssignment       The user-specified assignment of GPU tasks to device IDs.
 179  * \param[in]  emulateGpuNonbonded         Whether we will emulate GPU calculation of nonbonded interactions.
 180  * \param[in]  buildSupportsNonbondedOnGpu Whether GROMACS was build with GPU support.
 181  * \param[in]  nonbondedOnGpuIsUseful      Whether computing nonbonded interactions on a GPU is useful for this calculation.
 182  * \param[in]  gpusWereDetected            Whether compatible GPUs were detected on any node.
 183  *
 184  * \returns    Whether the simulation will run nonbonded and PME tasks, respectively, on GPUs.
 185  *
 186  * \throws     std::bad_alloc          If out of memory
 187  *             InconsistentInputError  If the user requirements are inconsistent. */
 188 bool decideWhetherToUseGpusForNonbonded(TaskTarget              nonbondedTarget,
 189                                         const std::vector<int>& userGpuTaskAssignment,
 190                                         EmulateGpuNonbonded     emulateGpuNonbonded,
 191                                         bool                    buildSupportsNonbondedOnGpu,
 192                                         bool                    nonbondedOnGpuIsUseful,
 193                                         bool                    gpusWereDetected);
 194
 195 /*! \brief Decide whether the simulation will try to run tasks of
 196  * different types on GPUs.
 197  *
 198  * The final decision cannot be made until after the duty of the rank
 199  * is known. But we need to know if nonbonded will run on GPUs for
 200  * setting up DD (particularly rlist) and determining duty. If the
 201  * user requires GPUs for the tasks of that duty, then it will be an
 202  * error when none are found.
 203  *
 204  * With thread-MPI, calls have been made to
 205  * decideWhetherToUseGpusForNonbondedWithThreadMpi() and
 206  * decideWhetherToUseGpusForPmeWithThreadMpi() to help determine
 207  * the number of ranks and run some checks, but the final
 208  * decision is made in this routine, along with many more
 209  * consistency checks.
 210  *
 211  * \param[in]  useGpuForNonbonded        Whether GPUs will be used for nonbonded interactions.
 212  * \param[in]  pmeTarget                 The user's choice for mdrun -pme for where to assign long-ranged PME nonbonded interaction tasks.
 213  * \param[in]  pmeFftTarget              The user's choice for mdrun -pmefft for where to do FFT for PME.
 214  * \param[in]  userGpuTaskAssignment     The user-specified assignment of GPU tasks to device IDs.
 215  * \param[in]  hardwareInfo              Hardware information
 216  * \param[in]  inputrec                  The user input
 217  * \param[in]  numRanksPerSimulation     The number of ranks in each simulation.
 218  * \param[in]  numPmeRanksPerSimulation  The number of PME ranks in each simulation.
 219  * \param[in]  gpusWereDetected          Whether compatible GPUs were detected on any node.
 220  *
 221  * \returns    Whether the simulation will run nonbonded and PME tasks, respectively, on GPUs.
 222  *
 223  * \throws     std::bad_alloc          If out of memory
 224  *             InconsistentInputError  If the user requirements are inconsistent. */
 225 bool decideWhetherToUseGpusForPme(bool                    useGpuForNonbonded,
 226                                   TaskTarget              pmeTarget,
 227                                   TaskTarget              pmeFftTarget,
 228                                   const std::vector<int>& userGpuTaskAssignment,
 229                                   const gmx_hw_info_t&    hardwareInfo,
 230                                   const t_inputrec&       inputrec,
 231                                   int                     numRanksPerSimulation,
 232                                   int                     numPmeRanksPerSimulation,
 233                                   bool                    gpusWereDetected);
 234
 235 /*! \brief Determine PME run mode.
 236  *
 237  * Given the PME task assignment in \p useGpuForPme and the user-provided
 238  * FFT task target in \p pmeFftTarget, returns a PME run mode for the
 239  * current run. It also checks the compatibility of the two.
 240  *
 241  * \note Aborts the run upon incompatible values of \p useGpuForPme and \p pmeFftTarget.
 242  *
 243  * \param[in]  useGpuForPme              PME task assignment, true if PME task is mapped to the GPU.
 244  * \param[in]  pmeFftTarget              The user's choice for -pmefft for where to assign the FFT
 245  * work of the PME task. \param[in]  inputrec                  The user input record
 246  * */
 247 PmeRunMode determinePmeRunMode(bool useGpuForPme, const TaskTarget& pmeFftTarget, const t_inputrec& inputrec);
 248
 249 /*! \brief Decide whether the simulation will try to run bonded tasks on GPUs.
 250  *
 251  * \param[in]  useGpuForNonbonded        Whether GPUs will be used for nonbonded interactions.
 252  * \param[in]  useGpuForPme              Whether GPUs will be used for PME interactions.
 253  * \param[in]  bondedTarget              The user's choice for mdrun -bonded for where to assign tasks.
 254  * \param[in]  inputrec                  The user input.
 255  * \param[in]  mtop                      The global topology.
 256  * \param[in]  numPmeRanksPerSimulation  The number of PME ranks in each simulation, can be -1 for auto.
 257  * \param[in]  gpusWereDetected          Whether compatible GPUs were detected on any node.
 258  *
 259  * \returns    Whether the simulation will run bondeded tasks on GPUs.
 260  *
 261  * \throws     std::bad_alloc          If out of memory
 262  *             InconsistentInputError  If the user requirements are inconsistent. */
 263 bool decideWhetherToUseGpusForBonded(bool              useGpuForNonbonded,
 264                                      bool              useGpuForPme,
 265                                      TaskTarget        bondedTarget,
 266                                      const t_inputrec& inputrec,
 267                                      const gmx_mtop_t& mtop,
 268                                      int               numPmeRanksPerSimulation,
 269                                      bool              gpusWereDetected);
 270
 271 /*! \brief Decide whether to use GPU for update.
 272  *
 273  * \param[in]  isDomainDecomposition        Whether there more than one domain.
 274  * \param[in]  useUpdateGroups              If the constraints can be split across domains.
 275  * \param[in]  pmeRunMode                   PME running mode: CPU, GPU or mixed.
 276  * \param[in]  havePmeOnlyRank              If there is a PME-only rank in the simulation.
 277  * \param[in]  useGpuForNonbonded           Whether GPUs will be used for nonbonded interactions.
 278  * \param[in]  updateTarget                 User choice for running simulation on GPU.
 279  * \param[in]  gpusWereDetected             Whether compatible GPUs were detected on any node.
 280  * \param[in]  inputrec                     The user input.
 281  * \param[in]  mtop                         The global topology.
 282  * \param[in]  useEssentialDynamics         If essential dynamics is active.
 283  * \param[in]  doOrientationRestraints      If orientation restraints are enabled.
 284  * \param[in]  useReplicaExchange           If this is a REMD simulation.
 285  * \param[in]  haveFrozenAtoms              If this simulation has frozen atoms (see Issue #3920).
 286  * \param[in]  doRerun                      It this is a rerun.
 287  * \param[in]  devFlags                     GPU development / experimental feature flags.
 288  * \param[in]  mdlog                        MD logger.
 289  *
 290  * \returns    Whether complete simulation can be run on GPU.
 291  * \throws     std::bad_alloc            If out of memory
 292  *             InconsistentInputError    If the user requirements are inconsistent.
 293  */
 294 bool decideWhetherToUseGpuForUpdate(bool                           isDomainDecomposition,
 295                                     bool                           useUpdateGroups,
 296                                     PmeRunMode                     pmeRunMode,
 297                                     bool                           havePmeOnlyRank,
 298                                     bool                           useGpuForNonbonded,
 299                                     TaskTarget                     updateTarget,
 300                                     bool                           gpusWereDetected,
 301                                     const t_inputrec&              inputrec,
 302                                     const gmx_mtop_t&              mtop,
 303                                     bool                           useEssentialDynamics,
 304                                     bool                           doOrientationRestraints,
 305                                     bool                           useReplicaExchange,
 306                                     bool                           haveFrozenAtoms,
 307                                     bool                           doRerun,
 308                                     const DevelopmentFeatureFlags& devFlags,
 309                                     const gmx::MDLogger&           mdlog);
 310
 311
 312 /*! \brief Decide whether to use GPU for halo exchange.
 313  *
 314  * \param[in]  devFlags                     GPU development / experimental feature flags.
 315  * \param[in]  havePPDomainDecomposition    Whether PP domain decomposition is in use.
 316  * \param[in]  useGpuForNonbonded           Whether GPUs will be used for nonbonded interactions.
 317  * \param[in]  useModularSimulator          Whether modularsimulator is in use.
 318  * \param[in]  doRerun                      Whether this is a rerun.
 319  * \param[in]  haveEnergyMinimization       Whether energy minimization is in use.
 320  *
 321  * \returns    Whether halo exchange can be run on GPU.
 322  */
 323 bool decideWhetherToUseGpuForHalo(const DevelopmentFeatureFlags& devFlags,
 324                                   bool                           havePPDomainDecomposition,
 325                                   bool                           useGpuForNonbonded,
 326                                   bool                           useModularSimulator,
 327                                   bool                           doRerun,
 328                                   bool                           haveEnergyMinimization);
 329
 330 } // namespace gmx
 331
 332 #endif