src/gromacs/gmxlib/nonbonded/nonbonded.cpp

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 1991-2000, University of Groningen, The Netherlands.
   5  * Copyright (c) 2001-2004, The GROMACS development team.
   6  * Copyright (c) 2013,2014,2015,2017,2018,2019, by the GROMACS development team, led by
   7  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   8  * and including many others, as listed in the AUTHORS file in the
   9  * top-level source directory and at http://www.gromacs.org.
  10  *
  11  * GROMACS is free software; you can redistribute it and/or
  12  * modify it under the terms of the GNU Lesser General Public License
  13  * as published by the Free Software Foundation; either version 2.1
  14  * of the License, or (at your option) any later version.
  15  *
  16  * GROMACS is distributed in the hope that it will be useful,
  17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  19  * Lesser General Public License for more details.
  20  *
  21  * You should have received a copy of the GNU Lesser General Public
  22  * License along with GROMACS; if not, see
  23  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  24  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  25  *
  26  * If you want to redistribute modifications to GROMACS, please
  27  * consider that scientific software is very special. Version
  28  * control is crucial - bugs must be traceable. We will be happy to
  29  * consider code for inclusion in the official distribution, but
  30  * derived work must not be called official GROMACS. Details are found
  31  * in the README & COPYING files - if they are missing, get the
  32  * official version at http://www.gromacs.org.
  33  *
  34  * To help us fund GROMACS development, we humbly ask that you cite
  35  * the research papers on the package. Check out http://www.gromacs.org.
  36  */
  37 #include "gmxpre.h"
  38
  39 #include "nonbonded.h"
  40
  41 #include "config.h"
  42
  43 #include <cassert>
  44 #include <cstdio>
  45 #include <cstdlib>
  46
  47 #include "thread_mpi/threads.h"
  48
  49 #include "gromacs/gmxlib/nrnb.h"
  50 #include "gromacs/gmxlib/nonbonded/nb_free_energy.h"
  51 #include "gromacs/gmxlib/nonbonded/nb_generic.h"
  52 #include "gromacs/gmxlib/nonbonded/nb_generic_cg.h"
  53 #include "gromacs/gmxlib/nonbonded/nb_kernel.h"
  54 #include "gromacs/listed-forces/bonded.h"
  55 #include "gromacs/math/utilities.h"
  56 #include "gromacs/math/vec.h"
  57 #include "gromacs/mdtypes/enerdata.h"
  58 #include "gromacs/mdtypes/forcerec.h"
  59 #include "gromacs/mdtypes/md_enums.h"
  60 #include "gromacs/mdtypes/mdatom.h"
  61 #include "gromacs/mdtypes/nblist.h"
  62 #include "gromacs/pbcutil/ishift.h"
  63 #include "gromacs/pbcutil/mshift.h"
  64 #include "gromacs/pbcutil/pbc.h"
  65 #include "gromacs/tables/forcetable.h"
  66 #include "gromacs/utility/arraysize.h"
  67 #include "gromacs/utility/basedefinitions.h"
  68 #include "gromacs/utility/cstringutil.h"
  69 #include "gromacs/utility/fatalerror.h"
  70 #include "gromacs/utility/smalloc.h"
  71
  72 /* Different default (c) and SIMD instructions interaction-specific kernels */
  73 #if !GMX_CLANG_ANALYZER
  74 #include "gromacs/gmxlib/nonbonded/nb_kernel_c/nb_kernel_c.h"
  75 #endif
  76
  77 #if GMX_SIMD_X86_SSE2 && !GMX_DOUBLE
  78 #    include "gromacs/gmxlib/nonbonded/nb_kernel_sse2_single/nb_kernel_sse2_single.h"
  79 #endif
  80 #if GMX_SIMD_X86_SSE4_1 && !GMX_DOUBLE
  81 #    include "gromacs/gmxlib/nonbonded/nb_kernel_sse4_1_single/nb_kernel_sse4_1_single.h"
  82 #endif
  83 #if GMX_SIMD_X86_AVX_128_FMA && !GMX_DOUBLE
  84 #    include "gromacs/gmxlib/nonbonded/nb_kernel_avx_128_fma_single/nb_kernel_avx_128_fma_single.h"
  85 #endif
  86 #if (GMX_SIMD_X86_AVX_256 || GMX_SIMD_X86_AVX2_256) && !GMX_DOUBLE
  87 #    include "gromacs/gmxlib/nonbonded/nb_kernel_avx_256_single/nb_kernel_avx_256_single.h"
  88 #endif
  89 #if GMX_SIMD_X86_SSE2 && GMX_DOUBLE
  90 #    include "gromacs/gmxlib/nonbonded/nb_kernel_sse2_double/nb_kernel_sse2_double.h"
  91 #endif
  92 #if GMX_SIMD_X86_SSE4_1 && GMX_DOUBLE
  93 #    include "gromacs/gmxlib/nonbonded/nb_kernel_sse4_1_double/nb_kernel_sse4_1_double.h"
  94 #endif
  95 #if GMX_SIMD_X86_AVX_128_FMA && GMX_DOUBLE
  96 #    include "gromacs/gmxlib/nonbonded/nb_kernel_avx_128_fma_double/nb_kernel_avx_128_fma_double.h"
  97 #endif
  98 #if (GMX_SIMD_X86_AVX_256 || GMX_SIMD_X86_AVX2_256) && GMX_DOUBLE
  99 #    include "gromacs/gmxlib/nonbonded/nb_kernel_avx_256_double/nb_kernel_avx_256_double.h"
 100 #endif
 101
 102 static tMPI_Thread_mutex_t nonbonded_setup_mutex = TMPI_THREAD_MUTEX_INITIALIZER;
 103 static gmx_bool            nonbonded_setup_done  = FALSE;
 104
 105
 106 void
 107 gmx_nonbonded_setup(t_forcerec *   fr,
 108                     gmx_bool       bGenericKernelOnly)
 109 {
 110     tMPI_Thread_mutex_lock(&nonbonded_setup_mutex);
 111     /* Here we are guaranteed only one thread made it. */
 112     if (!nonbonded_setup_done)
 113     {
 114         if (!bGenericKernelOnly)
 115         {
 116             /* Add the generic kernels to the structure stored statically in nb_kernel.c */
 117 #if !GMX_CLANG_ANALYZER
 118             nb_kernel_list_add_kernels(kernellist_c, kernellist_c_size);
 119 #endif
 120
 121             if (!(fr != nullptr && !fr->use_simd_kernels))
 122             {
 123                 /* Add interaction-specific kernels for different architectures */
 124                 /* Single precision */
 125 #if GMX_SIMD_X86_SSE2 && !GMX_DOUBLE
 126                 nb_kernel_list_add_kernels(kernellist_sse2_single, kernellist_sse2_single_size);
 127 #endif
 128 #if GMX_SIMD_X86_SSE4_1 && !GMX_DOUBLE
 129                 nb_kernel_list_add_kernels(kernellist_sse4_1_single, kernellist_sse4_1_single_size);
 130 #endif
 131 #if GMX_SIMD_X86_AVX_128_FMA && !GMX_DOUBLE
 132                 nb_kernel_list_add_kernels(kernellist_avx_128_fma_single, kernellist_avx_128_fma_single_size);
 133 #endif
 134 #if (GMX_SIMD_X86_AVX_256 || GMX_SIMD_X86_AVX2_256) && !GMX_DOUBLE
 135                 nb_kernel_list_add_kernels(kernellist_avx_256_single, kernellist_avx_256_single_size);
 136 #endif
 137                 /* Double precision */
 138 #if GMX_SIMD_X86_SSE2 && GMX_DOUBLE
 139                 nb_kernel_list_add_kernels(kernellist_sse2_double, kernellist_sse2_double_size);
 140 #endif
 141 #if GMX_SIMD_X86_SSE4_1 && GMX_DOUBLE
 142                 nb_kernel_list_add_kernels(kernellist_sse4_1_double, kernellist_sse4_1_double_size);
 143 #endif
 144 #if GMX_SIMD_X86_AVX_128_FMA && GMX_DOUBLE
 145                 nb_kernel_list_add_kernels(kernellist_avx_128_fma_double, kernellist_avx_128_fma_double_size);
 146 #endif
 147 #if (GMX_SIMD_X86_AVX_256 || GMX_SIMD_X86_AVX2_256) && GMX_DOUBLE
 148                 nb_kernel_list_add_kernels(kernellist_avx_256_double, kernellist_avx_256_double_size);
 149 #endif
 150                 ; /* empty statement to avoid a completely empty block */
 151             }
 152         }
 153         /* Create a hash for faster lookups */
 154         nb_kernel_list_hash_init();
 155
 156         nonbonded_setup_done = TRUE;
 157     }
 158     tMPI_Thread_mutex_unlock(&nonbonded_setup_mutex);
 159 }
 160
 161
 162
 163 void
 164 gmx_nonbonded_set_kernel_pointers(FILE *log, t_nblist *nl, gmx_bool bElecAndVdwSwitchDiffers)
 165 {
 166     const char *     elec;
 167     const char *     elec_mod;
 168     const char *     vdw;
 169     const char *     vdw_mod;
 170     const char *     geom;
 171     const char *     other;
 172
 173     struct
 174     {
 175         const char *  arch;
 176         int           simd_padding_width;
 177     }
 178     arch_and_padding[] =
 179     {
 180         /* Single precision */
 181 #if (GMX_SIMD_X86_AVX_256 || GMX_SIMD_X86_AVX2_256) && !GMX_DOUBLE
 182         { "avx_256_single", 8 },
 183 #endif
 184 #if GMX_SIMD_X86_AVX_128_FMA && !GMX_DOUBLE
 185         { "avx_128_fma_single", 4 },
 186 #endif
 187 #if GMX_SIMD_X86_SSE4_1 && !GMX_DOUBLE
 188         { "sse4_1_single", 4 },
 189 #endif
 190 #if GMX_SIMD_X86_SSE2 && !GMX_DOUBLE
 191         { "sse2_single", 4 },
 192 #endif
 193         /* Double precision */
 194 #if (GMX_SIMD_X86_AVX_256 || GMX_SIMD_X86_AVX2_256) && GMX_DOUBLE
 195         { "avx_256_double", 4 },
 196 #endif
 197 #if GMX_SIMD_X86_AVX_128_FMA && GMX_DOUBLE
 198         /* Sic. Double precision 2-way SIMD does not require neighbor list padding,
 199          * since the kernels execute a loop unrolled a factor 2, followed by
 200          * a possible single odd-element epilogue.
 201          */
 202         { "avx_128_fma_double", 1 },
 203 #endif
 204 #if GMX_SIMD_X86_SSE2 && GMX_DOUBLE
 205         /* No padding - see comment above */
 206         { "sse2_double", 1 },
 207 #endif
 208 #if GMX_SIMD_X86_SSE4_1 && GMX_DOUBLE
 209         /* No padding - see comment above */
 210         { "sse4_1_double", 1 },
 211 #endif
 212         { "c", 1 },
 213     };
 214     int              narch = asize(arch_and_padding);
 215     int              i;
 216
 217     if (!nonbonded_setup_done)
 218     {
 219         /* We typically call this setup routine before starting timers,
 220          * but if that has not been done for whatever reason we do it now.
 221          */
 222         gmx_nonbonded_setup(nullptr, FALSE);
 223     }
 224
 225     /* Not used yet */
 226     other = "";
 227
 228     nl->kernelptr_vf = nullptr;
 229     nl->kernelptr_v  = nullptr;
 230     nl->kernelptr_f  = nullptr;
 231
 232     elec     = gmx_nbkernel_elec_names[nl->ielec];
 233     elec_mod = eintmod_names[nl->ielecmod];
 234     vdw      = gmx_nbkernel_vdw_names[nl->ivdw];
 235     vdw_mod  = eintmod_names[nl->ivdwmod];
 236     geom     = gmx_nblist_geometry_names[nl->igeometry];
 237
 238     if (nl->type == GMX_NBLIST_INTERACTION_FREE_ENERGY)
 239     {
 240         nl->kernelptr_vf       = reinterpret_cast<void *>(gmx_nb_free_energy_kernel);
 241         nl->kernelptr_f        = reinterpret_cast<void *>(gmx_nb_free_energy_kernel);
 242         nl->simd_padding_width = 1;
 243     }
 244     else if (!gmx_strcasecmp_min(geom, "CG-CG"))
 245     {
 246         nl->kernelptr_vf       = reinterpret_cast<void *>(gmx_nb_generic_cg_kernel);
 247         nl->kernelptr_f        = reinterpret_cast<void *>(gmx_nb_generic_cg_kernel);
 248         nl->simd_padding_width = 1;
 249     }
 250     else
 251     {
 252         /* Try to find a specific kernel first */
 253
 254         for (i = 0; i < narch && nl->kernelptr_vf == nullptr; i++)
 255         {
 256             nl->kernelptr_vf       = reinterpret_cast<void *>(nb_kernel_list_findkernel(log, arch_and_padding[i].arch, elec, elec_mod, vdw, vdw_mod, geom, other, "PotentialAndForce"));
 257             nl->simd_padding_width = arch_and_padding[i].simd_padding_width;
 258         }
 259         for (i = 0; i < narch && nl->kernelptr_f == nullptr; i++)
 260         {
 261             nl->kernelptr_f        = reinterpret_cast<void *>(nb_kernel_list_findkernel(log, arch_and_padding[i].arch, elec, elec_mod, vdw, vdw_mod, geom, other, "Force"));
 262             nl->simd_padding_width = arch_and_padding[i].simd_padding_width;
 263
 264             /* If there is not force-only optimized kernel, is there a potential & force one? */
 265             if (nl->kernelptr_f == nullptr)
 266             {
 267                 nl->kernelptr_f        = reinterpret_cast<void *>(nb_kernel_list_findkernel(nullptr, arch_and_padding[i].arch, elec, elec_mod, vdw, vdw_mod, geom, other, "PotentialAndForce"));
 268                 nl->simd_padding_width = arch_and_padding[i].simd_padding_width;
 269             }
 270         }
 271
 272         /* For now, the accelerated kernels cannot handle the combination of switch functions for both
 273          * electrostatics and VdW that use different switch radius or switch cutoff distances
 274          * (both of them enter in the switch function calculation). This would require
 275          * us to evaluate two completely separate switch functions for every interaction.
 276          * Instead, we disable such kernels by setting the pointer to NULL.
 277          * This will cause the generic kernel (which can handle it) to be called instead.
 278          *
 279          * Note that we typically already enable tabulated coulomb interactions for this case,
 280          * so this is mostly a safe-guard to make sure we call the generic kernel if the
 281          * tables are disabled.
 282          */
 283         if ((nl->ielec != GMX_NBKERNEL_ELEC_NONE) && (nl->ielecmod == eintmodPOTSWITCH) &&
 284             (nl->ivdw  != GMX_NBKERNEL_VDW_NONE)  && (nl->ivdwmod  == eintmodPOTSWITCH) &&
 285             bElecAndVdwSwitchDiffers)
 286         {
 287             nl->kernelptr_vf = nullptr;
 288             nl->kernelptr_f  = nullptr;
 289         }
 290
 291         /* Give up, pick a generic one instead.
 292          * We only do this for particle-particle kernels; by leaving the water-optimized kernel
 293          * pointers to NULL, the water optimization will automatically be disabled for this interaction.
 294          */
 295         if (nl->kernelptr_vf == nullptr && !gmx_strcasecmp_min(geom, "Particle-Particle"))
 296         {
 297             nl->kernelptr_vf       = reinterpret_cast<void *>(gmx_nb_generic_kernel);
 298             nl->kernelptr_f        = reinterpret_cast<void *>(gmx_nb_generic_kernel);
 299             nl->simd_padding_width = 1;
 300             if (debug)
 301             {
 302                 fprintf(debug,
 303                         "WARNING - Slow generic NB kernel used for neighborlist with\n"
 304                         "    Elec: '%s', Modifier: '%s'\n"
 305                         "    Vdw:  '%s', Modifier: '%s'\n",
 306                         elec, elec_mod, vdw, vdw_mod);
 307             }
 308         }
 309     }
 310 }
 311
 312 void do_nonbonded(const t_forcerec  *fr,
 313                   rvec               x[],
 314                   rvec               f_shortrange[],
 315                   const t_mdatoms   *mdatoms,
 316                   const t_blocka    *excl,
 317                   gmx_grppairener_t *grppener,
 318                   t_nrnb            *nrnb,
 319                   real              *lambda,
 320                   real              *dvdl,
 321                   int                nls,
 322                   int                eNL,
 323                   int                flags)
 324 {
 325     t_nblist *        nlist;
 326     int               n, n0, n1, i, i0, i1;
 327     t_nblists *       nblists;
 328     nb_kernel_data_t  kernel_data;
 329     nb_kernel_t *     kernelptr = nullptr;
 330     rvec *            f;
 331
 332     kernel_data.flags                   = flags;
 333     kernel_data.exclusions              = excl;
 334     kernel_data.lambda                  = lambda;
 335     kernel_data.dvdl                    = dvdl;
 336
 337     if (eNL >= 0)
 338     {
 339         i0 = eNL;
 340         i1 = i0+1;
 341     }
 342     else
 343     {
 344         i0 = 0;
 345         i1 = eNL_NR;
 346     }
 347
 348     if (nls >= 0)
 349     {
 350         n0 = nls;
 351         n1 = nls+1;
 352     }
 353     else
 354     {
 355         n0 = 0;
 356         n1 = fr->nnblists;
 357     }
 358
 359     for (n = n0; (n < n1); n++)
 360     {
 361         nblists = &fr->nblists[n];
 362
 363         /* Tabulated kernels hard-code a lot of assumptions about the
 364          * structure of these tables, but that's not worth fixing with
 365          * the group scheme due for removal soon. As a token
 366          * improvement, this assertion will stop code segfaulting if
 367          * someone assumes that extending the group-scheme table-type
 368          * enumeration is something that GROMACS supports. */
 369         static_assert(etiNR == 3, "");
 370
 371         kernel_data.table_elec              = nblists->table_elec;
 372         kernel_data.table_vdw               = nblists->table_vdw;
 373         kernel_data.table_elec_vdw          = nblists->table_elec_vdw;
 374
 375         {
 376             {
 377                 /* Short-range */
 378                 if (!(flags & GMX_NONBONDED_DO_SR))
 379                 {
 380                     continue;
 381                 }
 382                 kernel_data.energygrp_elec          = grppener->ener[egCOULSR];
 383                 kernel_data.energygrp_vdw           = grppener->ener[fr->bBHAM ? egBHAMSR : egLJSR];
 384                 nlist = nblists->nlist_sr;
 385                 f                                   = f_shortrange;
 386             }
 387
 388             for (i = i0; (i < i1); i++)
 389             {
 390                 if (nlist[i].nri > 0)
 391                 {
 392                     if (flags & GMX_NONBONDED_DO_POTENTIAL)
 393                     {
 394                         /* Potential and force */
 395                         kernelptr = reinterpret_cast<nb_kernel_t *>(nlist[i].kernelptr_vf);
 396                     }
 397                     else
 398                     {
 399                         /* Force only, no potential */
 400                         kernelptr = reinterpret_cast<nb_kernel_t *>(nlist[i].kernelptr_f);
 401                     }
 402
 403                     if (nlist[i].type != GMX_NBLIST_INTERACTION_FREE_ENERGY && (flags & GMX_NONBONDED_DO_FOREIGNLAMBDA))
 404                     {
 405                         /* We don't need the non-perturbed interactions */
 406                         continue;
 407                     }
 408                     /* Neighborlists whose kernelptr==NULL will always be empty */
 409                     if (kernelptr != nullptr)
 410                     {
 411                         (*kernelptr)(&(nlist[i]), x, f, const_cast<t_forcerec*>(fr),
 412                                      const_cast<t_mdatoms*>(mdatoms), &kernel_data, nrnb);
 413                     }
 414                     else
 415                     {
 416                         gmx_fatal(FARGS, "Non-empty neighborlist does not have any kernel pointer assigned.");
 417                     }
 418                 }
 419             }
 420         }
 421     }
 422 }