src/gromacs/nbnxm/prunekerneldispatch.cpp

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2016,2017,2018,2019,2020 by the GROMACS development team.
   5  * Copyright (c) 2021, by the GROMACS development team, led by
   6  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   7  * and including many others, as listed in the AUTHORS file in the
   8  * top-level source directory and at http://www.gromacs.org.
   9  *
  10  * GROMACS is free software; you can redistribute it and/or
  11  * modify it under the terms of the GNU Lesser General Public License
  12  * as published by the Free Software Foundation; either version 2.1
  13  * of the License, or (at your option) any later version.
  14  *
  15  * GROMACS is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  18  * Lesser General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU Lesser General Public
  21  * License along with GROMACS; if not, see
  22  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  23  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  24  *
  25  * If you want to redistribute modifications to GROMACS, please
  26  * consider that scientific software is very special. Version
  27  * control is crucial - bugs must be traceable. We will be happy to
  28  * consider code for inclusion in the official distribution, but
  29  * derived work must not be called official GROMACS. Details are found
  30  * in the README & COPYING files - if they are missing, get the
  31  * official version at http://www.gromacs.org.
  32  *
  33  * To help us fund GROMACS development, we humbly ask that you cite
  34  * the research papers on the package. Check out http://www.gromacs.org.
  35  */
  36
  37 #include "gmxpre.h"
  38
  39 #include "gromacs/mdlib/gmx_omp_nthreads.h"
  40 #include "gromacs/nbnxm/nbnxm.h"
  41 #include "gromacs/timing/wallcycle.h"
  42 #include "gromacs/utility/gmxassert.h"
  43
  44 #include "clusterdistancekerneltype.h"
  45 #include "nbnxm_gpu.h"
  46 #include "nbnxm_simd.h"
  47 #include "pairlistset.h"
  48 #include "pairlistsets.h"
  49 #include "kernels_reference/kernel_ref_prune.h"
  50 #include "kernels_simd_2xmm/kernel_prune.h"
  51 #include "kernels_simd_4xm/kernel_prune.h"
  52
  53 void PairlistSets::dispatchPruneKernel(const gmx::InteractionLocality iLocality,
  54                                        const nbnxn_atomdata_t*        nbat,
  55                                        gmx::ArrayRef<const gmx::RVec> shift_vec)
  56 {
  57     pairlistSet(iLocality).dispatchPruneKernel(nbat, shift_vec);
  58 }
  59
  60 void PairlistSet::dispatchPruneKernel(const nbnxn_atomdata_t* nbat, gmx::ArrayRef<const gmx::RVec> shift_vec)
  61 {
  62     const real rlistInner = params_.rlistInner;
  63
  64     GMX_ASSERT(cpuLists_[0].ciOuter.size() >= cpuLists_[0].ci.size(),
  65                "Here we should either have an empty ci list or ciOuter should be >= ci");
  66
  67     int gmx_unused nthreads = gmx_omp_nthreads_get(ModuleMultiThread::Nonbonded);
  68     GMX_ASSERT(nthreads == static_cast<gmx::index>(cpuLists_.size()),
  69                "The number of threads should match the number of lists");
  70 #pragma omp parallel for schedule(static) num_threads(nthreads)
  71     for (int i = 0; i < nthreads; i++)
  72     {
  73         NbnxnPairlistCpu* nbl = &cpuLists_[i];
  74
  75         switch (getClusterDistanceKernelType(params_.pairlistType, *nbat))
  76         {
  77 #ifdef GMX_NBNXN_SIMD_4XN
  78             case ClusterDistanceKernelType::CpuSimd_4xM:
  79                 nbnxn_kernel_prune_4xn(nbl, nbat, shift_vec, rlistInner);
  80                 break;
  81 #endif
  82 #ifdef GMX_NBNXN_SIMD_2XNN
  83             case ClusterDistanceKernelType::CpuSimd_2xMM:
  84                 nbnxn_kernel_prune_2xnn(nbl, nbat, shift_vec, rlistInner);
  85                 break;
  86 #endif
  87             case ClusterDistanceKernelType::CpuPlainC:
  88                 nbnxn_kernel_prune_ref(nbl, nbat, shift_vec, rlistInner);
  89                 break;
  90             default: GMX_RELEASE_ASSERT(false, "kernel type not handled (yet)");
  91         }
  92     }
  93 }
  94
  95 void nonbonded_verlet_t::dispatchPruneKernelCpu(const gmx::InteractionLocality iLocality,
  96                                                 gmx::ArrayRef<const gmx::RVec> shift_vec) const
  97 {
  98     pairlistSets_->dispatchPruneKernel(iLocality, nbat.get(), shift_vec);
  99 }
 100
 101 void nonbonded_verlet_t::dispatchPruneKernelGpu(int64_t step)
 102 {
 103     wallcycle_start_nocount(wcycle_, WallCycleCounter::LaunchGpu);
 104     wallcycle_sub_start_nocount(wcycle_, WallCycleSubCounter::LaunchGpuNonBonded);
 105
 106     const bool stepIsEven =
 107             (pairlistSets().numStepsWithPairlist(step) % (2 * pairlistSets().params().mtsFactor) == 0);
 108
 109     Nbnxm::gpu_launch_kernel_pruneonly(
 110             gpu_nbv,
 111             stepIsEven ? gmx::InteractionLocality::Local : gmx::InteractionLocality::NonLocal,
 112             pairlistSets().params().numRollingPruningParts);
 113
 114     wallcycle_sub_stop(wcycle_, WallCycleSubCounter::LaunchGpuNonBonded);
 115     wallcycle_stop(wcycle_, WallCycleCounter::LaunchGpu);
 116 }