Use more forward declarations to removed header dependencies
[alexxy/gromacs.git] / src / gromacs / mdrun / shellfc.cpp
1 /*
2  * This file is part of the GROMACS molecular simulation package.
3  *
4  * Copyright (c) 1991-2000, University of Groningen, The Netherlands.
5  * Copyright (c) 2001-2008, The GROMACS development team.
6  * Copyright (c) 2013,2014,2015,2016,2017 by the GROMACS development team.
7  * Copyright (c) 2018,2019,2020, by the GROMACS development team, led by
8  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
9  * and including many others, as listed in the AUTHORS file in the
10  * top-level source directory and at http://www.gromacs.org.
11  *
12  * GROMACS is free software; you can redistribute it and/or
13  * modify it under the terms of the GNU Lesser General Public License
14  * as published by the Free Software Foundation; either version 2.1
15  * of the License, or (at your option) any later version.
16  *
17  * GROMACS is distributed in the hope that it will be useful,
18  * but WITHOUT ANY WARRANTY; without even the implied warranty of
19  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
20  * Lesser General Public License for more details.
21  *
22  * You should have received a copy of the GNU Lesser General Public
23  * License along with GROMACS; if not, see
24  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
25  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
26  *
27  * If you want to redistribute modifications to GROMACS, please
28  * consider that scientific software is very special. Version
29  * control is crucial - bugs must be traceable. We will be happy to
30  * consider code for inclusion in the official distribution, but
31  * derived work must not be called official GROMACS. Details are found
32  * in the README & COPYING files - if they are missing, get the
33  * official version at http://www.gromacs.org.
34  *
35  * To help us fund GROMACS development, we humbly ask that you cite
36  * the research papers on the package. Check out http://www.gromacs.org.
37  */
38 #include "gmxpre.h"
39
40 #include "shellfc.h"
41
42 #include <cmath>
43 #include <cstdint>
44 #include <cstdlib>
45 #include <cstring>
46
47 #include <algorithm>
48 #include <array>
49
50 #include "gromacs/domdec/dlbtiming.h"
51 #include "gromacs/domdec/domdec.h"
52 #include "gromacs/domdec/domdec_struct.h"
53 #include "gromacs/domdec/mdsetup.h"
54 #include "gromacs/gmxlib/network.h"
55 #include "gromacs/math/functions.h"
56 #include "gromacs/math/units.h"
57 #include "gromacs/math/vec.h"
58 #include "gromacs/math/vecdump.h"
59 #include "gromacs/mdlib/constr.h"
60 #include "gromacs/mdlib/enerdata_utils.h"
61 #include "gromacs/mdlib/force.h"
62 #include "gromacs/mdlib/force_flags.h"
63 #include "gromacs/mdlib/gmx_omp_nthreads.h"
64 #include "gromacs/mdlib/mdatoms.h"
65 #include "gromacs/mdlib/vsite.h"
66 #include "gromacs/mdtypes/commrec.h"
67 #include "gromacs/mdtypes/enerdata.h"
68 #include "gromacs/mdtypes/forcerec.h"
69 #include "gromacs/mdtypes/inputrec.h"
70 #include "gromacs/mdtypes/md_enums.h"
71 #include "gromacs/mdtypes/mdatom.h"
72 #include "gromacs/mdtypes/state.h"
73 #include "gromacs/pbcutil/mshift.h"
74 #include "gromacs/pbcutil/pbc.h"
75 #include "gromacs/topology/ifunc.h"
76 #include "gromacs/topology/mtop_lookup.h"
77 #include "gromacs/topology/mtop_util.h"
78 #include "gromacs/utility/arrayref.h"
79 #include "gromacs/utility/arraysize.h"
80 #include "gromacs/utility/cstringutil.h"
81 #include "gromacs/utility/fatalerror.h"
82 #include "gromacs/utility/gmxassert.h"
83
84 using gmx::ArrayRef;
85 using gmx::ArrayRefWithPadding;
86 using gmx::RVec;
87
88 struct t_shell
89 {
90     int  nnucl      = 0;  /* The number of nuclei */
91     int  shellIndex = -1; /* The shell index */
92     int  nucl1      = -1; /* The first nuclei connected to the shell    */
93     int  nucl2      = -1; /* The second nuclei connected to the shell   */
94     int  nucl3      = -1; /* The third nuclei connected to the shell    */
95     real k          = 0;  /* force constant                     */
96     real k_1        = 0;  /* 1 over force constant              */
97     rvec xold;            /* The old shell coordinates */
98     rvec fold;            /* The old force on the shell */
99     rvec step;            /* Step size for steepest descents */
100 };
101
102 struct gmx_shellfc_t
103 {
104     /* Shell counts, indices, parameters and working data */
105     std::vector<t_shell> shell_gl;              /* All the shells (for DD only)              */
106     std::vector<int>     shell_index_gl;        /* Global shell index (for DD only)          */
107     gmx_bool             bInterCG;              /* Are there inter charge-group shells?      */
108     std::vector<t_shell> shells;                /* The local shells                          */
109     bool                 predictShells = false; /* Predict shell positions                   */
110     bool                 requireInit   = false; /* Require initialization of shell positions */
111     int                  nflexcon      = 0;     /* The number of flexible constraints        */
112
113     std::array<PaddedHostVector<RVec>, 2> x; /* Coordinate buffers for iterative minimization */
114     std::array<PaddedHostVector<RVec>, 2> f; /* Force buffers for iterative minimization */
115
116     /* Flexible constraint working data */
117     std::vector<RVec>       acc_dir;                /* Acceleration direction for flexcon        */
118     gmx::PaddedVector<RVec> x_old;                  /* Old coordinates for flexcon               */
119     gmx::PaddedVector<RVec> adir_xnold;             /* Work space for init_adir                  */
120     gmx::PaddedVector<RVec> adir_xnew;              /* Work space for init_adir                  */
121     std::int64_t            numForceEvaluations;    /* Total number of force evaluations         */
122     int                     numConvergedIterations; /* Total number of iterations that converged */
123 };
124
125
126 static void pr_shell(FILE* fplog, ArrayRef<const t_shell> shells)
127 {
128     fprintf(fplog, "SHELL DATA\n");
129     fprintf(fplog, "%5s  %8s  %5s  %5s  %5s\n", "Shell", "Force k", "Nucl1", "Nucl2", "Nucl3");
130     for (const t_shell& shell : shells)
131     {
132         fprintf(fplog, "%5d  %8.3f  %5d", shell.shellIndex, 1.0 / shell.k_1, shell.nucl1);
133         if (shell.nnucl == 2)
134         {
135             fprintf(fplog, "  %5d\n", shell.nucl2);
136         }
137         else if (shell.nnucl == 3)
138         {
139             fprintf(fplog, "  %5d  %5d\n", shell.nucl2, shell.nucl3);
140         }
141         else
142         {
143             fprintf(fplog, "\n");
144         }
145     }
146 }
147
148 /* TODO The remain call of this function passes non-NULL mass and NULL
149  * mtop, so this routine can be simplified.
150  *
151  * The other code path supported doing prediction before the MD loop
152  * started, but even when called, the prediction was always
153  * over-written by a subsequent call in the MD loop, so has been
154  * removed. */
155 static void predict_shells(FILE*                   fplog,
156                            ArrayRef<RVec>          x,
157                            ArrayRef<RVec>          v,
158                            real                    dt,
159                            ArrayRef<const t_shell> shells,
160                            const real              mass[],
161                            gmx_mtop_t*             mtop,
162                            gmx_bool                bInit)
163 {
164     int  m, n1, n2, n3;
165     real dt_1, fudge, tm, m1, m2, m3;
166
167     GMX_RELEASE_ASSERT(mass || mtop, "Must have masses or a way to look them up");
168
169     /* We introduce a fudge factor for performance reasons: with this choice
170      * the initial force on the shells is about a factor of two lower than
171      * without
172      */
173     fudge = 1.0;
174
175     ArrayRef<RVec> xOrV;
176     if (bInit)
177     {
178         if (fplog)
179         {
180             fprintf(fplog, "RELAX: Using prediction for initial shell placement\n");
181         }
182         xOrV = x;
183         dt_1 = 1;
184     }
185     else
186     {
187         xOrV = v;
188         dt_1 = fudge * dt;
189     }
190
191     int molb = 0;
192     for (const t_shell& shell : shells)
193     {
194         const int s1 = shell.shellIndex;
195         if (bInit)
196         {
197             clear_rvec(x[s1]);
198         }
199         switch (shell.nnucl)
200         {
201             case 1:
202                 n1 = shell.nucl1;
203                 for (m = 0; (m < DIM); m++)
204                 {
205                     x[s1][m] += xOrV[n1][m] * dt_1;
206                 }
207                 break;
208             case 2:
209                 n1 = shell.nucl1;
210                 n2 = shell.nucl2;
211                 if (mass)
212                 {
213                     m1 = mass[n1];
214                     m2 = mass[n2];
215                 }
216                 else
217                 {
218                     /* Not the correct masses with FE, but it is just a prediction... */
219                     m1 = mtopGetAtomMass(mtop, n1, &molb);
220                     m2 = mtopGetAtomMass(mtop, n2, &molb);
221                 }
222                 tm = dt_1 / (m1 + m2);
223                 for (m = 0; (m < DIM); m++)
224                 {
225                     x[s1][m] += (m1 * xOrV[n1][m] + m2 * xOrV[n2][m]) * tm;
226                 }
227                 break;
228             case 3:
229                 n1 = shell.nucl1;
230                 n2 = shell.nucl2;
231                 n3 = shell.nucl3;
232                 if (mass)
233                 {
234                     m1 = mass[n1];
235                     m2 = mass[n2];
236                     m3 = mass[n3];
237                 }
238                 else
239                 {
240                     /* Not the correct masses with FE, but it is just a prediction... */
241                     m1 = mtopGetAtomMass(mtop, n1, &molb);
242                     m2 = mtopGetAtomMass(mtop, n2, &molb);
243                     m3 = mtopGetAtomMass(mtop, n3, &molb);
244                 }
245                 tm = dt_1 / (m1 + m2 + m3);
246                 for (m = 0; (m < DIM); m++)
247                 {
248                     x[s1][m] += (m1 * xOrV[n1][m] + m2 * xOrV[n2][m] + m3 * xOrV[n3][m]) * tm;
249                 }
250                 break;
251             default: gmx_fatal(FARGS, "Shell %d has %d nuclei!", s1, shell.nnucl);
252         }
253     }
254 }
255
256 gmx_shellfc_t* init_shell_flexcon(FILE* fplog, const gmx_mtop_t* mtop, int nflexcon, int nstcalcenergy, bool usingDomainDecomposition)
257 {
258     gmx_shellfc_t* shfc;
259
260     int  ns, nshell, nsi;
261     int  i, j, type, a_offset, mol, ftype, nra;
262     real qS, alpha;
263     int  aS, aN = 0; /* Shell and nucleus */
264     int bondtypes[] = { F_BONDS, F_HARMONIC, F_CUBICBONDS, F_POLARIZATION, F_ANHARM_POL, F_WATER_POL };
265 #define NBT asize(bondtypes)
266     const gmx_ffparams_t* ffparams;
267
268     const std::array<int, eptNR> numParticles = gmx_mtop_particletype_count(*mtop);
269     if (fplog)
270     {
271         /* Print the number of each particle type */
272         int pType = 0;
273         for (const auto& n : numParticles)
274         {
275             if (n != 0)
276             {
277                 fprintf(fplog, "There are: %d %ss\n", n, ptype_str[pType]);
278             }
279             pType++;
280         }
281     }
282
283     nshell = numParticles[eptShell];
284
285     if (nshell == 0 && nflexcon == 0)
286     {
287         /* We're not doing shells or flexible constraints */
288         return nullptr;
289     }
290
291     shfc           = new gmx_shellfc_t;
292     shfc->nflexcon = nflexcon;
293
294     if (nshell == 0)
295     {
296         /* Only flexible constraints, no shells.
297          * Note that make_local_shells() does not need to be called.
298          */
299         return shfc;
300     }
301
302     if (nstcalcenergy != 1)
303     {
304         gmx_fatal(FARGS,
305                   "You have nstcalcenergy set to a value (%d) that is different from 1.\nThis is "
306                   "not supported in combination with shell particles.\nPlease make a new tpr file.",
307                   nstcalcenergy);
308     }
309     if (usingDomainDecomposition)
310     {
311         gmx_fatal(
312                 FARGS,
313                 "Shell particles are not implemented with domain decomposition, use a single rank");
314     }
315
316     /* We have shells: fill the shell data structure */
317
318     /* Global system sized array, this should be avoided */
319     std::vector<int> shell_index(mtop->natoms);
320
321     nshell = 0;
322     for (const AtomProxy atomP : AtomRange(*mtop))
323     {
324         const t_atom& local = atomP.atom();
325         int           i     = atomP.globalAtomNumber();
326         if (local.ptype == eptShell)
327         {
328             shell_index[i] = nshell++;
329         }
330     }
331
332     std::vector<t_shell> shell(nshell);
333
334     ffparams = &mtop->ffparams;
335
336     /* Now fill the structures */
337     /* TODO: See if we can use update groups that cover shell constructions */
338     shfc->bInterCG = FALSE;
339     ns             = 0;
340     a_offset       = 0;
341     for (size_t mb = 0; mb < mtop->molblock.size(); mb++)
342     {
343         const gmx_molblock_t* molb = &mtop->molblock[mb];
344         const gmx_moltype_t*  molt = &mtop->moltype[molb->type];
345
346         const t_atom* atom = molt->atoms.atom;
347         for (mol = 0; mol < molb->nmol; mol++)
348         {
349             for (j = 0; (j < NBT); j++)
350             {
351                 const int* ia = molt->ilist[bondtypes[j]].iatoms.data();
352                 for (i = 0; (i < molt->ilist[bondtypes[j]].size());)
353                 {
354                     type  = ia[0];
355                     ftype = ffparams->functype[type];
356                     nra   = interaction_function[ftype].nratoms;
357
358                     /* Check whether we have a bond with a shell */
359                     aS = -1;
360
361                     switch (bondtypes[j])
362                     {
363                         case F_BONDS:
364                         case F_HARMONIC:
365                         case F_CUBICBONDS:
366                         case F_POLARIZATION:
367                         case F_ANHARM_POL:
368                             if (atom[ia[1]].ptype == eptShell)
369                             {
370                                 aS = ia[1];
371                                 aN = ia[2];
372                             }
373                             else if (atom[ia[2]].ptype == eptShell)
374                             {
375                                 aS = ia[2];
376                                 aN = ia[1];
377                             }
378                             break;
379                         case F_WATER_POL:
380                             aN = ia[4]; /* Dummy */
381                             aS = ia[5]; /* Shell */
382                             break;
383                         default: gmx_fatal(FARGS, "Death Horror: %s, %d", __FILE__, __LINE__);
384                     }
385
386                     if (aS != -1)
387                     {
388                         qS = atom[aS].q;
389
390                         /* Check whether one of the particles is a shell... */
391                         nsi = shell_index[a_offset + aS];
392                         if ((nsi < 0) || (nsi >= nshell))
393                         {
394                             gmx_fatal(FARGS, "nsi is %d should be within 0 - %d. aS = %d", nsi, nshell, aS);
395                         }
396                         if (shell[nsi].shellIndex == -1)
397                         {
398                             shell[nsi].shellIndex = a_offset + aS;
399                             ns++;
400                         }
401                         else if (shell[nsi].shellIndex != a_offset + aS)
402                         {
403                             gmx_fatal(FARGS, "Weird stuff in %s, %d", __FILE__, __LINE__);
404                         }
405
406                         if (shell[nsi].nucl1 == -1)
407                         {
408                             shell[nsi].nucl1 = a_offset + aN;
409                         }
410                         else if (shell[nsi].nucl2 == -1)
411                         {
412                             shell[nsi].nucl2 = a_offset + aN;
413                         }
414                         else if (shell[nsi].nucl3 == -1)
415                         {
416                             shell[nsi].nucl3 = a_offset + aN;
417                         }
418                         else
419                         {
420                             if (fplog)
421                             {
422                                 pr_shell(fplog, shell);
423                             }
424                             gmx_fatal(FARGS, "Can not handle more than three bonds per shell\n");
425                         }
426                         if (aS != aN)
427                         {
428                             /* shell[nsi].bInterCG = TRUE; */
429                             shfc->bInterCG = TRUE;
430                         }
431
432                         switch (bondtypes[j])
433                         {
434                             case F_BONDS:
435                             case F_HARMONIC:
436                                 shell[nsi].k += ffparams->iparams[type].harmonic.krA;
437                                 break;
438                             case F_CUBICBONDS:
439                                 shell[nsi].k += ffparams->iparams[type].cubic.kb;
440                                 break;
441                             case F_POLARIZATION:
442                             case F_ANHARM_POL:
443                                 if (!gmx_within_tol(qS, atom[aS].qB, GMX_REAL_EPS * 10))
444                                 {
445                                     gmx_fatal(FARGS,
446                                               "polarize can not be used with qA(%e) != qB(%e) for "
447                                               "atom %d of molecule block %zu",
448                                               qS, atom[aS].qB, aS + 1, mb + 1);
449                                 }
450                                 shell[nsi].k += gmx::square(qS) * ONE_4PI_EPS0
451                                                 / ffparams->iparams[type].polarize.alpha;
452                                 break;
453                             case F_WATER_POL:
454                                 if (!gmx_within_tol(qS, atom[aS].qB, GMX_REAL_EPS * 10))
455                                 {
456                                     gmx_fatal(FARGS,
457                                               "water_pol can not be used with qA(%e) != qB(%e) for "
458                                               "atom %d of molecule block %zu",
459                                               qS, atom[aS].qB, aS + 1, mb + 1);
460                                 }
461                                 alpha = (ffparams->iparams[type].wpol.al_x
462                                          + ffparams->iparams[type].wpol.al_y
463                                          + ffparams->iparams[type].wpol.al_z)
464                                         / 3.0;
465                                 shell[nsi].k += gmx::square(qS) * ONE_4PI_EPS0 / alpha;
466                                 break;
467                             default: gmx_fatal(FARGS, "Death Horror: %s, %d", __FILE__, __LINE__);
468                         }
469                         shell[nsi].nnucl++;
470                     }
471                     ia += nra + 1;
472                     i += nra + 1;
473                 }
474             }
475             a_offset += molt->atoms.nr;
476         }
477         /* Done with this molecule type */
478     }
479
480     /* Verify whether it's all correct */
481     if (ns != nshell)
482     {
483         gmx_fatal(FARGS, "Something weird with shells. They may not be bonded to something");
484     }
485
486     for (i = 0; (i < ns); i++)
487     {
488         shell[i].k_1 = 1.0 / shell[i].k;
489     }
490
491     if (debug)
492     {
493         pr_shell(debug, shell);
494     }
495
496
497     shfc->shell_gl       = shell;
498     shfc->shell_index_gl = shell_index;
499
500     shfc->predictShells = (getenv("GMX_NOPREDICT") == nullptr);
501     shfc->requireInit   = false;
502     if (!shfc->predictShells)
503     {
504         if (fplog)
505         {
506             fprintf(fplog, "\nWill never predict shell positions\n");
507         }
508     }
509     else
510     {
511         shfc->requireInit = (getenv("GMX_REQUIRE_SHELL_INIT") != nullptr);
512         if (shfc->requireInit && fplog)
513         {
514             fprintf(fplog, "\nWill always initiate shell positions\n");
515         }
516     }
517
518     if (shfc->predictShells)
519     {
520         if (shfc->bInterCG)
521         {
522             if (fplog)
523             {
524                 fprintf(fplog,
525                         "\nNOTE: in the current version shell prediction during the crun is "
526                         "disabled\n\n");
527             }
528             /* Prediction improves performance, so we should implement either:
529              * 1. communication for the atoms needed for prediction
530              * 2. prediction using the velocities of shells; currently the
531              *    shell velocities are zeroed, it's a bit tricky to keep
532              *    track of the shell displacements and thus the velocity.
533              */
534             shfc->predictShells = false;
535         }
536     }
537
538     return shfc;
539 }
540
541 void make_local_shells(const t_commrec* cr, const t_mdatoms* md, gmx_shellfc_t* shfc)
542 {
543     int           a0, a1;
544     gmx_domdec_t* dd = nullptr;
545
546     if (DOMAINDECOMP(cr))
547     {
548         dd = cr->dd;
549         a0 = 0;
550         a1 = dd_numHomeAtoms(*dd);
551     }
552     else
553     {
554         /* Single node: we need all shells, copy them */
555         shfc->shells = shfc->shell_gl;
556
557         return;
558     }
559
560     ArrayRef<const int> ind = shfc->shell_index_gl;
561
562     std::vector<t_shell>& shells = shfc->shells;
563     shells.clear();
564     for (int i = a0; i < a1; i++)
565     {
566         if (md->ptype[i] == eptShell)
567         {
568             if (dd)
569             {
570                 shells.push_back(shfc->shell_gl[ind[dd->globalAtomIndices[i]]]);
571             }
572             else
573             {
574                 shells.push_back(shfc->shell_gl[ind[i]]);
575             }
576             t_shell& shell = shells.back();
577
578             /* With inter-cg shells we can no do shell prediction,
579              * so we do not need the nuclei numbers.
580              */
581             if (!shfc->bInterCG)
582             {
583                 shell.nucl1 = i + shell.nucl1 - shell.shellIndex;
584                 if (shell.nnucl > 1)
585                 {
586                     shell.nucl2 = i + shell.nucl2 - shell.shellIndex;
587                 }
588                 if (shell.nnucl > 2)
589                 {
590                     shell.nucl3 = i + shell.nucl3 - shell.shellIndex;
591                 }
592             }
593             shell.shellIndex = i;
594         }
595     }
596 }
597
598 static void do_1pos(rvec xnew, const rvec xold, const rvec f, real step)
599 {
600     real xo, yo, zo;
601     real dx, dy, dz;
602
603     xo = xold[XX];
604     yo = xold[YY];
605     zo = xold[ZZ];
606
607     dx = f[XX] * step;
608     dy = f[YY] * step;
609     dz = f[ZZ] * step;
610
611     xnew[XX] = xo + dx;
612     xnew[YY] = yo + dy;
613     xnew[ZZ] = zo + dz;
614 }
615
616 static void do_1pos3(rvec xnew, const rvec xold, const rvec f, const rvec step)
617 {
618     real xo, yo, zo;
619     real dx, dy, dz;
620
621     xo = xold[XX];
622     yo = xold[YY];
623     zo = xold[ZZ];
624
625     dx = f[XX] * step[XX];
626     dy = f[YY] * step[YY];
627     dz = f[ZZ] * step[ZZ];
628
629     xnew[XX] = xo + dx;
630     xnew[YY] = yo + dy;
631     xnew[ZZ] = zo + dz;
632 }
633
634 static void directional_sd(ArrayRef<const RVec> xold,
635                            ArrayRef<RVec>       xnew,
636                            ArrayRef<const RVec> acc_dir,
637                            int                  homenr,
638                            real                 step)
639 {
640     const rvec* xo = as_rvec_array(xold.data());
641     rvec*       xn = as_rvec_array(xnew.data());
642
643     for (int i = 0; i < homenr; i++)
644     {
645         do_1pos(xn[i], xo[i], acc_dir[i], step);
646     }
647 }
648
649 static void shell_pos_sd(ArrayRef<const RVec> xcur,
650                          ArrayRef<RVec>       xnew,
651                          ArrayRef<const RVec> f,
652                          ArrayRef<t_shell>    shells,
653                          int                  count)
654 {
655     const real step_scale_min = 0.8, step_scale_increment = 0.2, step_scale_max = 1.2,
656                step_scale_multiple = (step_scale_max - step_scale_min) / step_scale_increment;
657     int        d;
658     real       dx, df, k_est;
659     const real zero = 0;
660 #ifdef PRINT_STEP
661     real step_min, step_max;
662
663     step_min = 1e30;
664     step_max = 0;
665 #endif
666     for (t_shell& shell : shells)
667     {
668         const int ind = shell.shellIndex;
669         if (count == 1)
670         {
671             for (d = 0; d < DIM; d++)
672             {
673                 shell.step[d] = shell.k_1;
674 #ifdef PRINT_STEP
675                 step_min = std::min(step_min, shell.step[d]);
676                 step_max = std::max(step_max, shell.step[d]);
677 #endif
678             }
679         }
680         else
681         {
682             for (d = 0; d < DIM; d++)
683             {
684                 dx = xcur[ind][d] - shell.xold[d];
685                 df = f[ind][d] - shell.fold[d];
686                 /* -dx/df gets used to generate an interpolated value, but would
687                  * cause a NaN if df were binary-equal to zero. Values close to
688                  * zero won't cause problems (because of the min() and max()), so
689                  * just testing for binary inequality is OK. */
690                 if (zero != df)
691                 {
692                     k_est = -dx / df;
693                     /* Scale the step size by a factor interpolated from
694                      * step_scale_min to step_scale_max, as k_est goes from 0 to
695                      * step_scale_multiple * shell.step[d] */
696                     shell.step[d] = step_scale_min * shell.step[d]
697                                     + step_scale_increment
698                                               * std::min(step_scale_multiple * shell.step[d],
699                                                          std::max(k_est, zero));
700                 }
701                 else
702                 {
703                     /* Here 0 == df */
704                     if (gmx_numzero(dx)) /* 0 == dx */
705                     {
706                         /* Likely this will never happen, but if it does just
707                          * don't scale the step. */
708                     }
709                     else /* 0 != dx */
710                     {
711                         shell.step[d] *= step_scale_max;
712                     }
713                 }
714 #ifdef PRINT_STEP
715                 step_min = std::min(step_min, shell.step[d]);
716                 step_max = std::max(step_max, shell.step[d]);
717 #endif
718             }
719         }
720         copy_rvec(xcur[ind], shell.xold);
721         copy_rvec(f[ind], shell.fold);
722
723         do_1pos3(xnew[ind], xcur[ind], f[ind], shell.step);
724
725         if (gmx_debug_at)
726         {
727             fprintf(debug, "shell = %d\n", ind);
728             pr_rvec(debug, 0, "fshell", f[ind], DIM, TRUE);
729             pr_rvec(debug, 0, "xold", xcur[ind], DIM, TRUE);
730             pr_rvec(debug, 0, "step", shell.step, DIM, TRUE);
731             pr_rvec(debug, 0, "xnew", xnew[ind], DIM, TRUE);
732         }
733     }
734 #ifdef PRINT_STEP
735     printf("step %.3e %.3e\n", step_min, step_max);
736 #endif
737 }
738
739 static void decrease_step_size(ArrayRef<t_shell> shells)
740 {
741     for (t_shell& shell : shells)
742     {
743         svmul(0.8, shell.step, shell.step);
744     }
745 }
746
747 static void print_epot(FILE* fp, int64_t mdstep, int count, real epot, real df, int ndir, real sf_dir)
748 {
749     char buf[22];
750
751     fprintf(fp, "MDStep=%5s/%2d EPot: %12.8e, rmsF: %6.2e", gmx_step_str(mdstep, buf), count, epot, df);
752     if (ndir)
753     {
754         fprintf(fp, ", dir. rmsF: %6.2e\n", std::sqrt(sf_dir / ndir));
755     }
756     else
757     {
758         fprintf(fp, "\n");
759     }
760 }
761
762
763 static real rms_force(const t_commrec*        cr,
764                       ArrayRef<const RVec>    force,
765                       ArrayRef<const t_shell> shells,
766                       int                     ndir,
767                       real*                   sf_dir,
768                       real*                   Epot)
769 {
770     double      buf[4];
771     const rvec* f = as_rvec_array(force.data());
772
773     buf[0] = *sf_dir;
774     for (const t_shell& shell : shells)
775     {
776         buf[0] += norm2(f[shell.shellIndex]);
777     }
778     int ntot = shells.ssize();
779
780     if (PAR(cr))
781     {
782         buf[1] = ntot;
783         buf[2] = *sf_dir;
784         buf[3] = *Epot;
785         gmx_sumd(4, buf, cr);
786         ntot    = gmx::roundToInt(buf[1]);
787         *sf_dir = buf[2];
788         *Epot   = buf[3];
789     }
790     ntot += ndir;
791
792     return (ntot ? std::sqrt(buf[0] / ntot) : 0);
793 }
794
795 static void dump_shells(FILE* fp, ArrayRef<RVec> f, real ftol, ArrayRef<const t_shell> shells)
796 {
797     real ft2, ff2;
798
799     ft2 = gmx::square(ftol);
800
801     for (const t_shell& shell : shells)
802     {
803         const int ind = shell.shellIndex;
804         ff2           = iprod(f[ind], f[ind]);
805         if (ff2 > ft2)
806         {
807             fprintf(fp, "SHELL %5d, force %10.5f  %10.5f  %10.5f, |f| %10.5f\n", ind, f[ind][XX],
808                     f[ind][YY], f[ind][ZZ], std::sqrt(ff2));
809         }
810     }
811 }
812
813 static void init_adir(gmx_shellfc_t*            shfc,
814                       gmx::Constraints*         constr,
815                       const t_inputrec*         ir,
816                       const t_commrec*          cr,
817                       int                       dd_ac1,
818                       int64_t                   step,
819                       const t_mdatoms*          md,
820                       int                       end,
821                       ArrayRefWithPadding<RVec> xOld,
822                       ArrayRef<RVec>            x_init,
823                       ArrayRefWithPadding<RVec> xCurrent,
824                       ArrayRef<RVec>            f,
825                       ArrayRef<RVec>            acc_dir,
826                       const matrix              box,
827                       ArrayRef<const real>      lambda,
828                       real*                     dvdlambda)
829 {
830     double          dt, w_dt;
831     int             n, d;
832     unsigned short* ptype;
833
834     if (DOMAINDECOMP(cr))
835     {
836         n = dd_ac1;
837     }
838     else
839     {
840         n = end;
841     }
842     shfc->adir_xnold.resizeWithPadding(n);
843     shfc->adir_xnew.resizeWithPadding(n);
844     rvec* xnold = as_rvec_array(shfc->adir_xnold.data());
845     rvec* xnew  = as_rvec_array(shfc->adir_xnew.data());
846     rvec* x_old = as_rvec_array(xOld.paddedArrayRef().data());
847     rvec* x     = as_rvec_array(xCurrent.paddedArrayRef().data());
848
849     ptype = md->ptype;
850
851     dt = ir->delta_t;
852
853     /* Does NOT work with freeze or acceleration groups (yet) */
854     for (n = 0; n < end; n++)
855     {
856         w_dt = md->invmass[n] * dt;
857
858         for (d = 0; d < DIM; d++)
859         {
860             if ((ptype[n] != eptVSite) && (ptype[n] != eptShell))
861             {
862                 xnold[n][d] = x[n][d] - (x_init[n][d] - x_old[n][d]);
863                 xnew[n][d]  = 2 * x[n][d] - x_old[n][d] + f[n][d] * w_dt * dt;
864             }
865             else
866             {
867                 xnold[n][d] = x[n][d];
868                 xnew[n][d]  = x[n][d];
869             }
870         }
871     }
872     constr->apply(FALSE, FALSE, step, 0, 1.0, xCurrent, shfc->adir_xnold.arrayRefWithPadding(), {},
873                   box, lambda[efptBONDED], &(dvdlambda[efptBONDED]), {}, nullptr,
874                   gmx::ConstraintVariable::Positions);
875     constr->apply(FALSE, FALSE, step, 0, 1.0, xCurrent, shfc->adir_xnew.arrayRefWithPadding(), {},
876                   box, lambda[efptBONDED], &(dvdlambda[efptBONDED]), {}, nullptr,
877                   gmx::ConstraintVariable::Positions);
878
879     for (n = 0; n < end; n++)
880     {
881         for (d = 0; d < DIM; d++)
882         {
883             xnew[n][d] = -(2 * x[n][d] - xnold[n][d] - xnew[n][d]) / gmx::square(dt)
884                          - f[n][d] * md->invmass[n];
885         }
886         clear_rvec(acc_dir[n]);
887     }
888
889     /* Project the acceleration on the old bond directions */
890     constr->apply(FALSE, FALSE, step, 0, 1.0, xOld, shfc->adir_xnew.arrayRefWithPadding(), acc_dir,
891                   box, lambda[efptBONDED], &(dvdlambda[efptBONDED]), {}, nullptr,
892                   gmx::ConstraintVariable::Deriv_FlexCon);
893 }
894
895 void relax_shell_flexcon(FILE*                         fplog,
896                          const t_commrec*              cr,
897                          const gmx_multisim_t*         ms,
898                          gmx_bool                      bVerbose,
899                          gmx_enfrot*                   enforcedRotation,
900                          int64_t                       mdstep,
901                          const t_inputrec*             inputrec,
902                          gmx::ImdSession*              imdSession,
903                          pull_t*                       pull_work,
904                          gmx_bool                      bDoNS,
905                          int                           force_flags,
906                          const gmx_localtop_t*         top,
907                          gmx::Constraints*             constr,
908                          gmx_enerdata_t*               enerd,
909                          t_fcdata*                     fcd,
910                          int                           natoms,
911                          ArrayRefWithPadding<RVec>     xPadded,
912                          ArrayRefWithPadding<RVec>     vPadded,
913                          const matrix                  box,
914                          ArrayRef<real>                lambda,
915                          history_t*                    hist,
916                          ArrayRefWithPadding<RVec>     f,
917                          tensor                        force_vir,
918                          const t_mdatoms*              md,
919                          t_nrnb*                       nrnb,
920                          gmx_wallcycle_t               wcycle,
921                          t_graph*                      graph,
922                          gmx_shellfc_t*                shfc,
923                          t_forcerec*                   fr,
924                          gmx::MdrunScheduleWorkload*   runScheduleWork,
925                          double                        t,
926                          rvec                          mu_tot,
927                          const gmx_vsite_t*            vsite,
928                          const DDBalanceRegionHandler& ddBalanceRegionHandler)
929 {
930     real Epot[2], df[2];
931     real sf_dir, invdt;
932     real dum = 0;
933     char sbuf[22];
934     int  nat, dd_ac0, dd_ac1 = 0, i;
935     int  homenr = md->homenr, end = homenr;
936     int  d, Min = 0, count = 0;
937 #define Try (1 - Min) /* At start Try = 1 */
938
939     const bool        bCont        = (mdstep == inputrec->init_step) && inputrec->bContinuation;
940     const bool        bInit        = (mdstep == inputrec->init_step) || shfc->requireInit;
941     const real        ftol         = inputrec->em_tol;
942     const int         number_steps = inputrec->niter;
943     ArrayRef<t_shell> shells       = shfc->shells;
944     const int         nflexcon     = shfc->nflexcon;
945
946     const t_idef* idef = &top->idef;
947
948     if (DOMAINDECOMP(cr))
949     {
950         nat = dd_natoms_vsite(cr->dd);
951         if (nflexcon > 0)
952         {
953             dd_get_constraint_range(cr->dd, &dd_ac0, &dd_ac1);
954             nat = std::max(nat, dd_ac1);
955         }
956     }
957     else
958     {
959         nat = natoms;
960     }
961
962     for (i = 0; (i < 2); i++)
963     {
964         shfc->x[i].resizeWithPadding(nat);
965         shfc->f[i].resizeWithPadding(nat);
966     }
967
968     /* Create views that we can swap for trail and minimum for positions and forces */
969     ArrayRefWithPadding<RVec> posWithPadding[2];
970     ArrayRefWithPadding<RVec> forceWithPadding[2];
971     ArrayRef<RVec>            pos[2];
972     ArrayRef<RVec>            force[2];
973     for (i = 0; (i < 2); i++)
974     {
975         posWithPadding[i]   = shfc->x[i].arrayRefWithPadding();
976         pos[i]              = posWithPadding[i].paddedArrayRef();
977         forceWithPadding[i] = shfc->f[i].arrayRefWithPadding();
978         force[i]            = forceWithPadding[i].paddedArrayRef();
979     }
980
981     ArrayRef<RVec> x = xPadded.unpaddedArrayRef();
982     ArrayRef<RVec> v = vPadded.unpaddedArrayRef();
983
984     if (bDoNS && inputrec->pbcType != PbcType::No && !DOMAINDECOMP(cr))
985     {
986         /* This is the only time where the coordinates are used
987          * before do_force is called, which normally puts all
988          * charge groups in the box.
989          */
990         put_atoms_in_box_omp(fr->pbcType, box, x.subArray(0, md->homenr),
991                              gmx_omp_nthreads_get(emntDefault));
992
993         if (graph)
994         {
995             mk_mshift(fplog, graph, fr->pbcType, box, as_rvec_array(x.data()));
996         }
997     }
998
999     /* After this all coordinate arrays will contain whole charge groups */
1000     if (graph)
1001     {
1002         shift_self(graph, box, as_rvec_array(x.data()));
1003     }
1004
1005     if (nflexcon)
1006     {
1007         shfc->acc_dir.resize(nat);
1008         shfc->x_old.resizeWithPadding(nat);
1009         ArrayRef<RVec> x_old = shfc->x_old.arrayRefWithPadding().unpaddedArrayRef();
1010         for (i = 0; i < homenr; i++)
1011         {
1012             for (d = 0; d < DIM; d++)
1013             {
1014                 x_old[i][d] = x[i][d] - v[i][d] * inputrec->delta_t;
1015             }
1016         }
1017     }
1018
1019     /* Do a prediction of the shell positions, when appropriate.
1020      * Without velocities (EM, NM, BD) we only do initial prediction.
1021      */
1022     if (shfc->predictShells && !bCont && (EI_STATE_VELOCITY(inputrec->eI) || bInit))
1023     {
1024         predict_shells(fplog, x, v, inputrec->delta_t, shells, md->massT, nullptr, bInit);
1025     }
1026
1027     /* do_force expected the charge groups to be in the box */
1028     if (graph)
1029     {
1030         unshift_self(graph, box, as_rvec_array(x.data()));
1031     }
1032
1033     /* Calculate the forces first time around */
1034     if (gmx_debug_at)
1035     {
1036         pr_rvecs(debug, 0, "x b4 do_force", as_rvec_array(x.data()), homenr);
1037     }
1038     int shellfc_flags = force_flags | (bVerbose ? GMX_FORCE_ENERGY : 0);
1039     do_force(fplog, cr, ms, inputrec, nullptr, enforcedRotation, imdSession, pull_work, mdstep,
1040              nrnb, wcycle, top, box, xPadded, hist, forceWithPadding[Min], force_vir, md, enerd,
1041              fcd, lambda, graph, fr, runScheduleWork, vsite, mu_tot, t, nullptr,
1042              (bDoNS ? GMX_FORCE_NS : 0) | shellfc_flags, ddBalanceRegionHandler);
1043
1044     sf_dir = 0;
1045     if (nflexcon)
1046     {
1047         init_adir(shfc, constr, inputrec, cr, dd_ac1, mdstep, md, end, shfc->x_old.arrayRefWithPadding(),
1048                   x, xPadded, force[Min], shfc->acc_dir, box, lambda, &dum);
1049
1050         for (i = 0; i < end; i++)
1051         {
1052             sf_dir += md->massT[i] * norm2(shfc->acc_dir[i]);
1053         }
1054     }
1055     sum_epot(&(enerd->grpp), enerd->term);
1056     Epot[Min] = enerd->term[F_EPOT];
1057
1058     df[Min] = rms_force(cr, forceWithPadding[Min].paddedArrayRef(), shells, nflexcon, &sf_dir, &Epot[Min]);
1059     df[Try] = 0;
1060     if (debug)
1061     {
1062         fprintf(debug, "df = %g  %g\n", df[Min], df[Try]);
1063     }
1064
1065     if (gmx_debug_at)
1066     {
1067         pr_rvecs(debug, 0, "force0", as_rvec_array(force[Min].data()), md->nr);
1068     }
1069
1070     if (!shells.empty() || nflexcon > 0)
1071     {
1072         /* Copy x to pos[Min] & pos[Try]: during minimization only the
1073          * shell positions are updated, therefore the other particles must
1074          * be set here, in advance.
1075          */
1076         std::copy(xPadded.paddedArrayRef().begin(), xPadded.paddedArrayRef().end(),
1077                   posWithPadding[Min].paddedArrayRef().begin());
1078         std::copy(xPadded.paddedArrayRef().begin(), xPadded.paddedArrayRef().end(),
1079                   posWithPadding[Try].paddedArrayRef().begin());
1080     }
1081
1082     if (bVerbose && MASTER(cr))
1083     {
1084         print_epot(stdout, mdstep, 0, Epot[Min], df[Min], nflexcon, sf_dir);
1085     }
1086
1087     if (debug)
1088     {
1089         fprintf(debug, "%17s: %14.10e\n", interaction_function[F_EKIN].longname, enerd->term[F_EKIN]);
1090         fprintf(debug, "%17s: %14.10e\n", interaction_function[F_EPOT].longname, enerd->term[F_EPOT]);
1091         fprintf(debug, "%17s: %14.10e\n", interaction_function[F_ETOT].longname, enerd->term[F_ETOT]);
1092         fprintf(debug, "SHELLSTEP %s\n", gmx_step_str(mdstep, sbuf));
1093     }
1094
1095     /* First check whether we should do shells, or whether the force is
1096      * low enough even without minimization.
1097      */
1098     bool bConverged = (df[Min] < ftol);
1099
1100     for (count = 1; (!(bConverged) && (count < number_steps)); count++)
1101     {
1102         if (vsite)
1103         {
1104             construct_vsites(vsite, as_rvec_array(pos[Min].data()), inputrec->delta_t,
1105                              as_rvec_array(v.data()), idef->iparams, idef->il, fr->pbcType,
1106                              fr->bMolPBC, cr, box);
1107         }
1108
1109         if (nflexcon)
1110         {
1111             init_adir(shfc, constr, inputrec, cr, dd_ac1, mdstep, md, end,
1112                       shfc->x_old.arrayRefWithPadding(), x, posWithPadding[Min], force[Min],
1113                       shfc->acc_dir, box, lambda, &dum);
1114
1115             directional_sd(pos[Min], pos[Try], shfc->acc_dir, end, fr->fc_stepsize);
1116         }
1117
1118         /* New positions, Steepest descent */
1119         shell_pos_sd(pos[Min], pos[Try], force[Min], shells, count);
1120
1121         /* do_force expected the charge groups to be in the box */
1122         if (graph)
1123         {
1124             unshift_self(graph, box, as_rvec_array(pos[Try].data()));
1125         }
1126
1127         if (gmx_debug_at)
1128         {
1129             pr_rvecs(debug, 0, "RELAX: pos[Min]  ", as_rvec_array(pos[Min].data()), homenr);
1130             pr_rvecs(debug, 0, "RELAX: pos[Try]  ", as_rvec_array(pos[Try].data()), homenr);
1131         }
1132         /* Try the new positions */
1133         do_force(fplog, cr, ms, inputrec, nullptr, enforcedRotation, imdSession, pull_work, 1, nrnb,
1134                  wcycle, top, box, posWithPadding[Try], hist, forceWithPadding[Try], force_vir, md,
1135                  enerd, fcd, lambda, graph, fr, runScheduleWork, vsite, mu_tot, t, nullptr,
1136                  shellfc_flags, ddBalanceRegionHandler);
1137         sum_epot(&(enerd->grpp), enerd->term);
1138         if (gmx_debug_at)
1139         {
1140             pr_rvecs(debug, 0, "RELAX: force[Min]", as_rvec_array(force[Min].data()), homenr);
1141             pr_rvecs(debug, 0, "RELAX: force[Try]", as_rvec_array(force[Try].data()), homenr);
1142         }
1143         sf_dir = 0;
1144         if (nflexcon)
1145         {
1146             init_adir(shfc, constr, inputrec, cr, dd_ac1, mdstep, md, end,
1147                       shfc->x_old.arrayRefWithPadding(), x, posWithPadding[Try], force[Try],
1148                       shfc->acc_dir, box, lambda, &dum);
1149
1150             ArrayRef<const RVec> acc_dir = shfc->acc_dir;
1151             for (i = 0; i < end; i++)
1152             {
1153                 sf_dir += md->massT[i] * norm2(acc_dir[i]);
1154             }
1155         }
1156
1157         Epot[Try] = enerd->term[F_EPOT];
1158
1159         df[Try] = rms_force(cr, force[Try], shells, nflexcon, &sf_dir, &Epot[Try]);
1160
1161         if (debug)
1162         {
1163             fprintf(debug, "df = %g  %g\n", df[Min], df[Try]);
1164         }
1165
1166         if (debug)
1167         {
1168             if (gmx_debug_at)
1169             {
1170                 pr_rvecs(debug, 0, "F na do_force", as_rvec_array(force[Try].data()), homenr);
1171             }
1172             if (gmx_debug_at)
1173             {
1174                 fprintf(debug, "SHELL ITER %d\n", count);
1175                 dump_shells(debug, force[Try], ftol, shells);
1176             }
1177         }
1178
1179         if (bVerbose && MASTER(cr))
1180         {
1181             print_epot(stdout, mdstep, count, Epot[Try], df[Try], nflexcon, sf_dir);
1182         }
1183
1184         bConverged = (df[Try] < ftol);
1185
1186         if ((df[Try] < df[Min]))
1187         {
1188             if (debug)
1189             {
1190                 fprintf(debug, "Swapping Min and Try\n");
1191             }
1192             if (nflexcon)
1193             {
1194                 /* Correct the velocities for the flexible constraints */
1195                 invdt = 1 / inputrec->delta_t;
1196                 for (i = 0; i < end; i++)
1197                 {
1198                     for (d = 0; d < DIM; d++)
1199                     {
1200                         v[i][d] += (pos[Try][i][d] - pos[Min][i][d]) * invdt;
1201                     }
1202                 }
1203             }
1204             Min = Try;
1205         }
1206         else
1207         {
1208             decrease_step_size(shells);
1209         }
1210     }
1211     shfc->numForceEvaluations += count;
1212     if (bConverged)
1213     {
1214         shfc->numConvergedIterations++;
1215     }
1216     if (MASTER(cr) && !(bConverged))
1217     {
1218         /* Note that the energies and virial are incorrect when not converged */
1219         if (fplog)
1220         {
1221             fprintf(fplog, "step %s: EM did not converge in %d iterations, RMS force %6.2e\n",
1222                     gmx_step_str(mdstep, sbuf), number_steps, df[Min]);
1223         }
1224         fprintf(stderr, "step %s: EM did not converge in %d iterations, RMS force %6.2e\n",
1225                 gmx_step_str(mdstep, sbuf), number_steps, df[Min]);
1226     }
1227
1228     /* Copy back the coordinates and the forces */
1229     std::copy(pos[Min].begin(), pos[Min].end(), x.data());
1230     std::copy(force[Min].begin(), force[Min].end(), f.unpaddedArrayRef().begin());
1231 }
1232
1233 void done_shellfc(FILE* fplog, gmx_shellfc_t* shfc, int64_t numSteps)
1234 {
1235     if (shfc && fplog && numSteps > 0)
1236     {
1237         double numStepsAsDouble = static_cast<double>(numSteps);
1238         fprintf(fplog, "Fraction of iterations that converged:           %.2f %%\n",
1239                 (shfc->numConvergedIterations * 100.0) / numStepsAsDouble);
1240         fprintf(fplog, "Average number of force evaluations per MD step: %.2f\n\n",
1241                 shfc->numForceEvaluations / numStepsAsDouble);
1242     }
1243
1244     delete shfc;
1245 }