src/gromacs/ewald/pme_gpu_program_impl_ocl.cpp

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2018,2019,2020, by the GROMACS development team, led by
   5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6  * and including many others, as listed in the AUTHORS file in the
   7  * top-level source directory and at http://www.gromacs.org.
   8  *
   9  * GROMACS is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public License
  11  * as published by the Free Software Foundation; either version 2.1
  12  * of the License, or (at your option) any later version.
  13  *
  14  * GROMACS is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with GROMACS; if not, see
  21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23  *
  24  * If you want to redistribute modifications to GROMACS, please
  25  * consider that scientific software is very special. Version
  26  * control is crucial - bugs must be traceable. We will be happy to
  27  * consider code for inclusion in the official distribution, but
  28  * derived work must not be called official GROMACS. Details are found
  29  * in the README & COPYING files - if they are missing, get the
  30  * official version at http://www.gromacs.org.
  31  *
  32  * To help us fund GROMACS development, we humbly ask that you cite
  33  * the research papers on the package. Check out http://www.gromacs.org.
  34  */
  35
  36 /*! \internal \file
  37  * \brief
  38  * Implements PmeGpuProgramImpl, which stores permanent PME GPU context-derived data,
  39  * such as (compiled) kernel handles.
  40  *
  41  * \author Aleksei Iupinov <a.yupinov@gmail.com>
  42  * \ingroup module_ewald
  43  */
  44 #include "gmxpre.h"
  45
  46 #include "gromacs/gpu_utils/gmxopencl.h"
  47 #include "gromacs/gpu_utils/ocl_compiler.h"
  48 #include "gromacs/utility/stringutil.h"
  49
  50 #include "pme_gpu_constants.h"
  51 #include "pme_gpu_internal.h" // for GridOrdering enum
  52 #include "pme_gpu_program_impl.h"
  53 #include "pme_gpu_types_host.h"
  54 #include "pme_grid.h"
  55
  56 PmeGpuProgramImpl::PmeGpuProgramImpl(const DeviceInformation& deviceInfo, const DeviceContext& deviceContext) :
  57     deviceContext_(deviceContext)
  58 {
  59     // kernel parameters
  60     warpSize = gmx::ocl::getDeviceWarpSize(deviceContext_.context(), deviceInfo.oclDeviceId);
  61     // TODO: for Intel ideally we'd want to set these based on the compiler warp size
  62     // but given that we've done no tuning for Intel iGPU, this is as good as anything.
  63     spreadWorkGroupSize = std::min(c_spreadMaxWarpsPerBlock * warpSize, deviceInfo.maxWorkGroupSize);
  64     solveMaxWorkGroupSize = std::min(c_solveMaxWarpsPerBlock * warpSize, deviceInfo.maxWorkGroupSize);
  65     gatherWorkGroupSize = std::min(c_gatherMaxWarpsPerBlock * warpSize, deviceInfo.maxWorkGroupSize);
  66
  67     compileKernels(deviceInfo);
  68 }
  69
  70 PmeGpuProgramImpl::~PmeGpuProgramImpl()
  71 {
  72     // TODO: log releasing errors
  73     cl_int gmx_used_in_debug stat = 0;
  74     stat |= clReleaseKernel(splineAndSpreadKernel);
  75     stat |= clReleaseKernel(splineKernel);
  76     stat |= clReleaseKernel(spreadKernel);
  77     stat |= clReleaseKernel(gatherKernel);
  78     stat |= clReleaseKernel(solveXYZKernel);
  79     stat |= clReleaseKernel(solveXYZEnergyKernel);
  80     stat |= clReleaseKernel(solveYZXKernel);
  81     stat |= clReleaseKernel(solveYZXEnergyKernel);
  82     GMX_ASSERT(stat == CL_SUCCESS,
  83                gmx::formatString("Failed to release PME OpenCL resources %d: %s", stat,
  84                                  ocl_get_error_string(stat).c_str())
  85                        .c_str());
  86 }
  87
  88 /*! \brief Ensure that spread/gather kernels have been compiled to a suitable warp size
  89  *
  90  * On Intel the exec width/warp is decided at compile-time and can be
  91  * smaller than the minimum order^2 required in spread/gather ATM which
  92  * we need to check for.
  93  */
  94 static void checkRequiredWarpSize(cl_kernel kernel, const char* kernelName, const DeviceInformation& deviceInfo)
  95 {
  96     if (deviceInfo.deviceVendor == DeviceVendor::Intel)
  97     {
  98         size_t kernelWarpSize = gmx::ocl::getKernelWarpSize(kernel, deviceInfo.oclDeviceId);
  99
 100         if (kernelWarpSize < c_pmeSpreadGatherMinWarpSize)
 101         {
 102             const std::string errorString = gmx::formatString(
 103                     "PME OpenCL kernels require >=%d execution width, but the %s kernel "
 104                     "has been compiled for the device %s to a %zu width and therefore it can not "
 105                     "execute correctly.",
 106                     c_pmeSpreadGatherMinWarpSize, kernelName, deviceInfo.device_name, kernelWarpSize);
 107             GMX_THROW(gmx::InternalError(errorString));
 108         }
 109     }
 110 }
 111
 112 void PmeGpuProgramImpl::compileKernels(const DeviceInformation& deviceInfo)
 113 {
 114     // We might consider storing program as a member variable if it's needed later
 115     cl_program program = nullptr;
 116     /* Need to catch std::bad_alloc here and during compilation string handling. */
 117     try
 118     {
 119         /* Here we pass macros and static const int variables defined in include
 120          * files outside as macros, to avoid including those files
 121          * in the JIT compilation that happens at runtime.
 122          */
 123         const std::string commonDefines = gmx::formatString(
 124                 "-Dwarp_size=%zd "
 125                 "-Dorder=%d "
 126                 "-DthreadsPerAtom=%d "
 127                 // forwarding from pme_grid.h, used for spline computation table sizes only
 128                 "-Dc_pmeMaxUnitcellShift=%f "
 129                 // forwarding PME behavior constants from pme_gpu_constants.h
 130                 "-Dc_skipNeutralAtoms=%d "
 131                 "-Dc_virialAndEnergyCount=%d "
 132                 // forwarding kernel work sizes
 133                 "-Dc_spreadWorkGroupSize=%zd "
 134                 "-Dc_solveMaxWorkGroupSize=%zd "
 135                 "-Dc_gatherWorkGroupSize=%zd "
 136                 // forwarding from vectypes.h
 137                 "-DDIM=%d -DXX=%d -DYY=%d -DZZ=%d "
 138                 // decomposition parameter placeholders
 139                 "-DwrapX=true -DwrapY=true ",
 140                 warpSize, c_pmeGpuOrder, c_pmeSpreadGatherThreadsPerAtom,
 141                 static_cast<float>(c_pmeMaxUnitcellShift), static_cast<int>(c_skipNeutralAtoms),
 142                 c_virialAndEnergyCount, spreadWorkGroupSize, solveMaxWorkGroupSize,
 143                 gatherWorkGroupSize, DIM, XX, YY, ZZ);
 144         try
 145         {
 146             /* TODO when we have a proper MPI-aware logging module,
 147                the log output here should be written there */
 148             program = gmx::ocl::compileProgram(stderr, "gromacs/ewald", "pme_program.cl",
 149                                                commonDefines, deviceContext_.context(),
 150                                                deviceInfo.oclDeviceId, deviceInfo.deviceVendor);
 151         }
 152         catch (gmx::GromacsException& e)
 153         {
 154             e.prependContext(gmx::formatString("Failed to compile PME kernels for GPU #%s\n",
 155                                                deviceInfo.device_name));
 156             throw;
 157         }
 158     }
 159     GMX_CATCH_ALL_AND_EXIT_WITH_FATAL_ERROR;
 160
 161     constexpr cl_uint expectedKernelCount = 9;
 162     // Has to be equal or larger than the number of kernel instances.
 163     // If it is not, CL_INVALID_VALUE will be thrown.
 164     std::vector<cl_kernel> kernels(expectedKernelCount, nullptr);
 165     cl_uint                actualKernelCount = 0;
 166     cl_int clError = clCreateKernelsInProgram(program, kernels.size(), kernels.data(), &actualKernelCount);
 167     if (clError != CL_SUCCESS)
 168     {
 169         const std::string errorString = gmx::formatString(
 170                 "Failed to create kernels for PME on GPU #%s:\n OpenCL error %d: %s",
 171                 deviceInfo.device_name, clError, ocl_get_error_string(clError).c_str());
 172         GMX_THROW(gmx::InternalError(errorString));
 173     }
 174     kernels.resize(actualKernelCount);
 175
 176     std::array<char, 100> kernelNamesBuffer;
 177     for (const auto& kernel : kernels)
 178     {
 179         clError = clGetKernelInfo(kernel, CL_KERNEL_FUNCTION_NAME, kernelNamesBuffer.size(),
 180                                   kernelNamesBuffer.data(), nullptr);
 181         if (clError != CL_SUCCESS)
 182         {
 183             const std::string errorString = gmx::formatString(
 184                     "Failed to parse kernels for PME on GPU #%s:\n OpenCL error %d: %s",
 185                     deviceInfo.device_name, clError, ocl_get_error_string(clError).c_str());
 186             GMX_THROW(gmx::InternalError(errorString));
 187         }
 188
 189         // The names below must correspond to those defined in pme_program.cl
 190         // TODO use a map with string key instead?
 191         if (!strcmp(kernelNamesBuffer.data(), "pmeSplineKernel"))
 192         {
 193             splineKernel = kernel;
 194         }
 195         else if (!strcmp(kernelNamesBuffer.data(), "pmeSplineAndSpreadKernel"))
 196         {
 197             splineAndSpreadKernel             = kernel;
 198             splineAndSpreadKernelWriteSplines = kernel;
 199             checkRequiredWarpSize(splineAndSpreadKernel, kernelNamesBuffer.data(), deviceInfo);
 200         }
 201         else if (!strcmp(kernelNamesBuffer.data(), "pmeSpreadKernel"))
 202         {
 203             spreadKernel = kernel;
 204             checkRequiredWarpSize(spreadKernel, kernelNamesBuffer.data(), deviceInfo);
 205         }
 206         else if (!strcmp(kernelNamesBuffer.data(), "pmeGatherKernel"))
 207         {
 208             gatherKernel            = kernel;
 209             gatherKernelReadSplines = kernel;
 210             checkRequiredWarpSize(gatherKernel, kernelNamesBuffer.data(), deviceInfo);
 211         }
 212         else if (!strcmp(kernelNamesBuffer.data(), "pmeSolveYZXKernel"))
 213         {
 214             solveYZXKernel = kernel;
 215         }
 216         else if (!strcmp(kernelNamesBuffer.data(), "pmeSolveYZXEnergyKernel"))
 217         {
 218             solveYZXEnergyKernel = kernel;
 219         }
 220         else if (!strcmp(kernelNamesBuffer.data(), "pmeSolveXYZKernel"))
 221         {
 222             solveXYZKernel = kernel;
 223         }
 224         else if (!strcmp(kernelNamesBuffer.data(), "pmeSolveXYZEnergyKernel"))
 225         {
 226             solveXYZEnergyKernel = kernel;
 227         }
 228     }
 229     clReleaseProgram(program);
 230 }