src/gromacs/domdec/mdsetup.cpp

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2016,2017,2018,2019,2020, by the GROMACS development team, led by
   5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6  * and including many others, as listed in the AUTHORS file in the
   7  * top-level source directory and at http://www.gromacs.org.
   8  *
   9  * GROMACS is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public License
  11  * as published by the Free Software Foundation; either version 2.1
  12  * of the License, or (at your option) any later version.
  13  *
  14  * GROMACS is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with GROMACS; if not, see
  21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23  *
  24  * If you want to redistribute modifications to GROMACS, please
  25  * consider that scientific software is very special. Version
  26  * control is crucial - bugs must be traceable. We will be happy to
  27  * consider code for inclusion in the official distribution, but
  28  * derived work must not be called official GROMACS. Details are found
  29  * in the README & COPYING files - if they are missing, get the
  30  * official version at http://www.gromacs.org.
  31  *
  32  * To help us fund GROMACS development, we humbly ask that you cite
  33  * the research papers on the package. Check out http://www.gromacs.org.
  34  */
  35 #include "gmxpre.h"
  36
  37 #include "mdsetup.h"
  38
  39 #include "gromacs/domdec/domdec.h"
  40 #include "gromacs/domdec/domdec_struct.h"
  41 #include "gromacs/ewald/pme.h"
  42 #include "gromacs/listed_forces/manage_threading.h"
  43 #include "gromacs/mdlib/constr.h"
  44 #include "gromacs/mdlib/mdatoms.h"
  45 #include "gromacs/mdlib/vsite.h"
  46 #include "gromacs/mdtypes/commrec.h"
  47 #include "gromacs/mdtypes/forcerec.h"
  48 #include "gromacs/mdtypes/inputrec.h"
  49 #include "gromacs/mdtypes/interaction_const.h"
  50 #include "gromacs/mdtypes/mdatom.h"
  51 #include "gromacs/pbcutil/mshift.h"
  52 #include "gromacs/pbcutil/pbc.h"
  53 #include "gromacs/topology/mtop_util.h"
  54 #include "gromacs/topology/topology.h"
  55 #include "gromacs/utility/gmxassert.h"
  56 #include "gromacs/utility/smalloc.h"
  57
  58 /* TODO: Add a routine that collects the initial setup of the algorithms.
  59  *
  60  * The final solution should be an MD algorithm base class with methods
  61  * for initialization and atom-data setup.
  62  */
  63 void mdAlgorithmsSetupAtomData(const t_commrec*  cr,
  64                                const t_inputrec* ir,
  65                                const gmx_mtop_t& top_global,
  66                                gmx_localtop_t*   top,
  67                                t_forcerec*       fr,
  68                                t_graph**         graph,
  69                                gmx::MDAtoms*     mdAtoms,
  70                                gmx::Constraints* constr,
  71                                gmx_vsite_t*      vsite,
  72                                gmx_shellfc_t*    shellfc)
  73 {
  74     bool usingDomDec = DOMAINDECOMP(cr);
  75
  76     int  numAtomIndex, numHomeAtoms;
  77     int* atomIndex;
  78
  79     if (usingDomDec)
  80     {
  81         numAtomIndex = dd_natoms_mdatoms(cr->dd);
  82         atomIndex    = cr->dd->globalAtomIndices.data();
  83         numHomeAtoms = dd_numHomeAtoms(*cr->dd);
  84     }
  85     else
  86     {
  87         numAtomIndex = -1;
  88         atomIndex    = nullptr;
  89         numHomeAtoms = top_global.natoms;
  90     }
  91     atoms2md(&top_global, ir, numAtomIndex, atomIndex, numHomeAtoms, mdAtoms);
  92
  93     auto mdatoms = mdAtoms->mdatoms();
  94     if (usingDomDec)
  95     {
  96         dd_sort_local_top(cr->dd, mdatoms, top);
  97     }
  98     else
  99     {
 100         gmx_mtop_generate_local_top(top_global, top, ir->efep != efepNO);
 101     }
 102
 103     if (vsite)
 104     {
 105         if (usingDomDec)
 106         {
 107             /* The vsites were already assigned by the domdec topology code.
 108              * We only need to do the thread division here.
 109              */
 110             split_vsites_over_threads(top->idef.il, top->idef.iparams, mdatoms, vsite);
 111         }
 112         else
 113         {
 114             set_vsite_top(vsite, top, mdatoms);
 115         }
 116     }
 117
 118     if (!usingDomDec && ir->pbcType != PbcType::No && !fr->bMolPBC)
 119     {
 120         GMX_ASSERT(graph != nullptr, "We use a graph with PBC (no periodic mols) and without DD");
 121
 122         *graph = mk_graph(nullptr, top->idef, 0, top_global.natoms, FALSE, FALSE);
 123     }
 124     else if (graph != nullptr)
 125     {
 126         *graph = nullptr;
 127     }
 128
 129     /* Note that with DD only flexible constraints, not shells, are supported
 130      * and these don't require setup in make_local_shells().
 131      *
 132      * TODO: This should only happen in ShellFCElement (it is called directly by the modular
 133      *       simulator ShellFCElement already, but still used here by legacy simulators)
 134      */
 135     if (!usingDomDec && shellfc)
 136     {
 137         make_local_shells(cr, mdatoms, shellfc);
 138     }
 139
 140     setup_bonded_threading(fr->bondedThreading, fr->natoms_force, fr->gpuBonded != nullptr, top->idef);
 141
 142     if (EEL_PME(fr->ic->eeltype) && (cr->duty & DUTY_PME))
 143     {
 144         /* This handles the PP+PME rank case where fr->pmedata is valid.
 145          * For PME-only ranks, gmx_pmeonly() has its own call to gmx_pme_reinit_atoms().
 146          */
 147         const int numPmeAtoms = numHomeAtoms - fr->n_tpi;
 148         gmx_pme_reinit_atoms(fr->pmedata, numPmeAtoms, mdatoms->chargeA);
 149     }
 150
 151     if (constr)
 152     {
 153         constr->setConstraints(top, *mdatoms);
 154     }
 155 }