src/gromacs/taskassignment/reportgpuusage.cpp

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2017,2018, by the GROMACS development team, led by
   5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6  * and including many others, as listed in the AUTHORS file in the
   7  * top-level source directory and at http://www.gromacs.org.
   8  *
   9  * GROMACS is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public License
  11  * as published by the Free Software Foundation; either version 2.1
  12  * of the License, or (at your option) any later version.
  13  *
  14  * GROMACS is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with GROMACS; if not, see
  21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23  *
  24  * If you want to redistribute modifications to GROMACS, please
  25  * consider that scientific software is very special. Version
  26  * control is crucial - bugs must be traceable. We will be happy to
  27  * consider code for inclusion in the official distribution, but
  28  * derived work must not be called official GROMACS. Details are found
  29  * in the README & COPYING files - if they are missing, get the
  30  * official version at http://www.gromacs.org.
  31  *
  32  * To help us fund GROMACS development, we humbly ask that you cite
  33  * the research papers on the package. Check out http://www.gromacs.org.
  34  */
  35 /*! \internal \file
  36  * \brief Defines routine for reporting GPU usage.
  37  *
  38  * \author Mark Abraham <mark.j.abraham@gmail.com>
  39  * \ingroup module_taskassignment
  40  */
  41 #include "gmxpre.h"
  42
  43 #include "reportgpuusage.h"
  44
  45 #include <set>
  46 #include <string>
  47
  48 #include "gromacs/gpu_utils/gpu_utils.h"
  49 #include "gromacs/utility/cstringutil.h"
  50 #include "gromacs/utility/logger.h"
  51 #include "gromacs/utility/stringutil.h"
  52 #include "gromacs/utility/sysinfo.h"
  53
  54 namespace gmx
  55 {
  56
  57 namespace
  58 {
  59
  60 /*! \brief Count and return the number of unique GPUs (per node) selected.
  61  *
  62  * As sharing GPUs among multiple ranks is possible, the number of
  63  * GPUs used (per node) can be different from the number of GPU IDs
  64  * used.
  65  */
  66 size_t countUniqueGpuIdsUsed(const GpuTaskAssignments &gpuTaskAssignmentOnRanksOfThisNode)
  67 {
  68     std::set<int> uniqueIds;
  69     for (const auto &assignmentsOnRank : gpuTaskAssignmentOnRanksOfThisNode)
  70     {
  71         for (const auto &assignmentOfTask : assignmentsOnRank)
  72         {
  73             uniqueIds.insert(assignmentOfTask.deviceId_);
  74         }
  75     }
  76     return uniqueIds.size();
  77 }
  78
  79 }   // namespace
  80
  81 void
  82 reportGpuUsage(const MDLogger                &mdlog,
  83                bool                           userSetGpuIds,
  84                const GpuTaskAssignments      &gpuTaskAssignmentOnRanksOfThisNode,
  85                size_t                         numGpuTasksOnThisNode,
  86                size_t                         numRanks,
  87                bool                           bPrintHostName)
  88 {
  89     size_t numGpusInUse = countUniqueGpuIdsUsed(gpuTaskAssignmentOnRanksOfThisNode);
  90     if (numGpusInUse == 0)
  91     {
  92         return;
  93     }
  94
  95     std::string output;
  96     {
  97         std::string gpuIdsString;
  98         const char *currentSeparator = "";
  99         const char *separator        = ",";
 100         for (const auto &assignmentsOnRank : gpuTaskAssignmentOnRanksOfThisNode)
 101         {
 102             if (assignmentsOnRank.empty())
 103             {
 104                 gpuIdsString    += currentSeparator;
 105                 gpuIdsString    += "none";
 106                 currentSeparator = separator;
 107             }
 108             else
 109             {
 110                 for (const auto &assignmentOnRank : assignmentsOnRank)
 111                 {
 112                     const char *rankType = (assignmentOnRank.task_ == GpuTask::Nonbonded ? "PP" : "PME");
 113                     gpuIdsString    += currentSeparator;
 114                     gpuIdsString    += formatString("%s:%d", rankType, assignmentOnRank.deviceId_);
 115                     currentSeparator = separator;
 116                 }
 117             }
 118         }
 119         bool        bPluralGpus  = numGpusInUse > 1;
 120
 121         if (bPrintHostName)
 122         {
 123             char host[STRLEN];
 124             gmx_gethostname(host, STRLEN);
 125             output += gmx::formatString("On host %s ", host);
 126         }
 127         output += gmx::formatString("%zu GPU%s %sselected for this run.\n"
 128                                     "Mapping of GPU IDs to the %zu GPU task%s in the %zu rank%s on this node:\n  %s\n",
 129                                     numGpusInUse, bPluralGpus ? "s" : "",
 130                                     userSetGpuIds ? "user-" : "auto-",
 131                                     numGpuTasksOnThisNode,
 132                                     (numGpuTasksOnThisNode > 1) ? "s" : "",
 133                                     numRanks,
 134                                     (numRanks > 1) ? "s" : "",
 135                                     gpuIdsString.c_str());
 136     }
 137
 138     /* NOTE: this print is only for and on one physical node */
 139     GMX_LOG(mdlog.warning).appendText(output);
 140 }
 141
 142 }  // namespace gmx