src/gromacs/gmxlib/bondfree.c

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 1991-2000, University of Groningen, The Netherlands.
   5  * Copyright (c) 2001-2004, The GROMACS development team.
   6  * Copyright (c) 2013,2014, by the GROMACS development team, led by
   7  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   8  * and including many others, as listed in the AUTHORS file in the
   9  * top-level source directory and at http://www.gromacs.org.
  10  *
  11  * GROMACS is free software; you can redistribute it and/or
  12  * modify it under the terms of the GNU Lesser General Public License
  13  * as published by the Free Software Foundation; either version 2.1
  14  * of the License, or (at your option) any later version.
  15  *
  16  * GROMACS is distributed in the hope that it will be useful,
  17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  19  * Lesser General Public License for more details.
  20  *
  21  * You should have received a copy of the GNU Lesser General Public
  22  * License along with GROMACS; if not, see
  23  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  24  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  25  *
  26  * If you want to redistribute modifications to GROMACS, please
  27  * consider that scientific software is very special. Version
  28  * control is crucial - bugs must be traceable. We will be happy to
  29  * consider code for inclusion in the official distribution, but
  30  * derived work must not be called official GROMACS. Details are found
  31  * in the README & COPYING files - if they are missing, get the
  32  * official version at http://www.gromacs.org.
  33  *
  34  * To help us fund GROMACS development, we humbly ask that you cite
  35  * the research papers on the package. Check out http://www.gromacs.org.
  36  */
  37 #ifdef HAVE_CONFIG_H
  38 #include <config.h>
  39 #endif
  40
  41 #include <math.h>
  42 #include <assert.h>
  43 #include "physics.h"
  44 #include "vec.h"
  45 #include "gromacs/math/utilities.h"
  46 #include "txtdump.h"
  47 #include "bondf.h"
  48 #include "smalloc.h"
  49 #include "pbc.h"
  50 #include "ns.h"
  51 #include "macros.h"
  52 #include "names.h"
  53 #include "gmx_fatal.h"
  54 #include "mshift.h"
  55 #include "main.h"
  56 #include "disre.h"
  57 #include "orires.h"
  58 #include "force.h"
  59 #include "nonbonded.h"
  60 #include "restcbt.h"
  61
  62 #include "gromacs/simd/simd.h"
  63 #include "gromacs/simd/simd_math.h"
  64 #include "gromacs/simd/vector_operations.h"
  65
  66 /* Find a better place for this? */
  67 const int cmap_coeff_matrix[] = {
  68     1, 0, -3,  2, 0, 0,  0,  0, -3,  0,  9, -6,  2,  0, -6,  4,
  69     0, 0,  0,  0, 0, 0,  0,  0,  3,  0, -9,  6, -2,  0,  6, -4,
  70     0, 0,  0,  0, 0, 0,  0,  0,  0,  0,  9, -6,  0,  0, -6,  4,
  71     0, 0,  3, -2, 0, 0,  0,  0,  0,  0, -9,  6,  0,  0,  6, -4,
  72     0, 0,  0,  0, 1, 0, -3,  2, -2,  0,  6, -4,  1,  0, -3,  2,
  73     0, 0,  0,  0, 0, 0,  0,  0, -1,  0,  3, -2,  1,  0, -3,  2,
  74     0, 0,  0,  0, 0, 0,  0,  0,  0,  0, -3,  2,  0,  0,  3, -2,
  75     0, 0,  0,  0, 0, 0,  3, -2,  0,  0, -6,  4,  0,  0,  3, -2,
  76     0, 1, -2,  1, 0, 0,  0,  0,  0, -3,  6, -3,  0,  2, -4,  2,
  77     0, 0,  0,  0, 0, 0,  0,  0,  0,  3, -6,  3,  0, -2,  4, -2,
  78     0, 0,  0,  0, 0, 0,  0,  0,  0,  0, -3,  3,  0,  0,  2, -2,
  79     0, 0, -1,  1, 0, 0,  0,  0,  0,  0,  3, -3,  0,  0, -2,  2,
  80     0, 0,  0,  0, 0, 1, -2,  1,  0, -2,  4, -2,  0,  1, -2,  1,
  81     0, 0,  0,  0, 0, 0,  0,  0,  0, -1,  2, -1,  0,  1, -2,  1,
  82     0, 0,  0,  0, 0, 0,  0,  0,  0,  0,  1, -1,  0,  0, -1,  1,
  83     0, 0,  0,  0, 0, 0, -1,  1,  0,  0,  2, -2,  0,  0, -1,  1
  84 };
  85
  86
  87
  88 int glatnr(int *global_atom_index, int i)
  89 {
  90     int atnr;
  91
  92     if (global_atom_index == NULL)
  93     {
  94         atnr = i + 1;
  95     }
  96     else
  97     {
  98         atnr = global_atom_index[i] + 1;
  99     }
 100
 101     return atnr;
 102 }
 103
 104 static int pbc_rvec_sub(const t_pbc *pbc, const rvec xi, const rvec xj, rvec dx)
 105 {
 106     if (pbc)
 107     {
 108         return pbc_dx_aiuc(pbc, xi, xj, dx);
 109     }
 110     else
 111     {
 112         rvec_sub(xi, xj, dx);
 113         return CENTRAL;
 114     }
 115 }
 116
 117 #ifdef GMX_SIMD_HAVE_REAL
 118
 119 /* SIMD PBC data structure, containing 1/boxdiag and the box vectors */
 120 typedef struct {
 121     gmx_simd_real_t inv_bzz;
 122     gmx_simd_real_t inv_byy;
 123     gmx_simd_real_t inv_bxx;
 124     gmx_simd_real_t bzx;
 125     gmx_simd_real_t bzy;
 126     gmx_simd_real_t bzz;
 127     gmx_simd_real_t byx;
 128     gmx_simd_real_t byy;
 129     gmx_simd_real_t bxx;
 130 } pbc_simd_t;
 131
 132 /* Set the SIMD pbc data from a normal t_pbc struct */
 133 static void set_pbc_simd(const t_pbc *pbc, pbc_simd_t *pbc_simd)
 134 {
 135     rvec inv_bdiag;
 136     int  d;
 137
 138     /* Setting inv_bdiag to 0 effectively turns off PBC */
 139     clear_rvec(inv_bdiag);
 140     if (pbc != NULL)
 141     {
 142         for (d = 0; d < pbc->ndim_ePBC; d++)
 143         {
 144             inv_bdiag[d] = 1.0/pbc->box[d][d];
 145         }
 146     }
 147
 148     pbc_simd->inv_bzz = gmx_simd_set1_r(inv_bdiag[ZZ]);
 149     pbc_simd->inv_byy = gmx_simd_set1_r(inv_bdiag[YY]);
 150     pbc_simd->inv_bxx = gmx_simd_set1_r(inv_bdiag[XX]);
 151
 152     if (pbc != NULL)
 153     {
 154         pbc_simd->bzx = gmx_simd_set1_r(pbc->box[ZZ][XX]);
 155         pbc_simd->bzy = gmx_simd_set1_r(pbc->box[ZZ][YY]);
 156         pbc_simd->bzz = gmx_simd_set1_r(pbc->box[ZZ][ZZ]);
 157         pbc_simd->byx = gmx_simd_set1_r(pbc->box[YY][XX]);
 158         pbc_simd->byy = gmx_simd_set1_r(pbc->box[YY][YY]);
 159         pbc_simd->bxx = gmx_simd_set1_r(pbc->box[XX][XX]);
 160     }
 161     else
 162     {
 163         pbc_simd->bzx = gmx_simd_setzero_r();
 164         pbc_simd->bzy = gmx_simd_setzero_r();
 165         pbc_simd->bzz = gmx_simd_setzero_r();
 166         pbc_simd->byx = gmx_simd_setzero_r();
 167         pbc_simd->byy = gmx_simd_setzero_r();
 168         pbc_simd->bxx = gmx_simd_setzero_r();
 169     }
 170 }
 171
 172 /* Correct distance vector *dx,*dy,*dz for PBC using SIMD */
 173 static gmx_inline void
 174 pbc_dx_simd(gmx_simd_real_t *dx, gmx_simd_real_t *dy, gmx_simd_real_t *dz,
 175             const pbc_simd_t *pbc)
 176 {
 177     gmx_simd_real_t sh;
 178
 179     sh  = gmx_simd_round_r(gmx_simd_mul_r(*dz, pbc->inv_bzz));
 180     *dx = gmx_simd_fnmadd_r(sh, pbc->bzx, *dx);
 181     *dy = gmx_simd_fnmadd_r(sh, pbc->bzy, *dy);
 182     *dz = gmx_simd_fnmadd_r(sh, pbc->bzz, *dz);
 183
 184     sh  = gmx_simd_round_r(gmx_simd_mul_r(*dy, pbc->inv_byy));
 185     *dx = gmx_simd_fnmadd_r(sh, pbc->byx, *dx);
 186     *dy = gmx_simd_fnmadd_r(sh, pbc->byy, *dy);
 187
 188     sh  = gmx_simd_round_r(gmx_simd_mul_r(*dx, pbc->inv_bxx));
 189     *dx = gmx_simd_fnmadd_r(sh, pbc->bxx, *dx);
 190 }
 191
 192 #endif /* GMX_SIMD_HAVE_REAL */
 193
 194 /*
 195  * Morse potential bond by Frank Everdij
 196  *
 197  * Three parameters needed:
 198  *
 199  * b0 = equilibrium distance in nm
 200  * be = beta in nm^-1 (actually, it's nu_e*Sqrt(2*pi*pi*mu/D_e))
 201  * cb = well depth in kJ/mol
 202  *
 203  * Note: the potential is referenced to be +cb at infinite separation
 204  *       and zero at the equilibrium distance!
 205  */
 206
 207 real morse_bonds(int nbonds,
 208                  const t_iatom forceatoms[], const t_iparams forceparams[],
 209                  const rvec x[], rvec f[], rvec fshift[],
 210                  const t_pbc *pbc, const t_graph *g,
 211                  real lambda, real *dvdlambda,
 212                  const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
 213                  int gmx_unused *global_atom_index)
 214 {
 215     const real one = 1.0;
 216     const real two = 2.0;
 217     real       dr, dr2, temp, omtemp, cbomtemp, fbond, vbond, fij, vtot;
 218     real       b0, be, cb, b0A, beA, cbA, b0B, beB, cbB, L1;
 219     rvec       dx;
 220     int        i, m, ki, type, ai, aj;
 221     ivec       dt;
 222
 223     vtot = 0.0;
 224     for (i = 0; (i < nbonds); )
 225     {
 226         type = forceatoms[i++];
 227         ai   = forceatoms[i++];
 228         aj   = forceatoms[i++];
 229
 230         b0A   = forceparams[type].morse.b0A;
 231         beA   = forceparams[type].morse.betaA;
 232         cbA   = forceparams[type].morse.cbA;
 233
 234         b0B   = forceparams[type].morse.b0B;
 235         beB   = forceparams[type].morse.betaB;
 236         cbB   = forceparams[type].morse.cbB;
 237
 238         L1 = one-lambda;                            /* 1 */
 239         b0 = L1*b0A + lambda*b0B;                   /* 3 */
 240         be = L1*beA + lambda*beB;                   /* 3 */
 241         cb = L1*cbA + lambda*cbB;                   /* 3 */
 242
 243         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx); /*   3          */
 244         dr2  = iprod(dx, dx);                       /*   5          */
 245         dr   = dr2*gmx_invsqrt(dr2);                /*  10          */
 246         temp = exp(-be*(dr-b0));                    /*  12          */
 247
 248         if (temp == one)
 249         {
 250             /* bonds are constrainted. This may _not_ include bond constraints if they are lambda dependent */
 251             *dvdlambda += cbB-cbA;
 252             continue;
 253         }
 254
 255         omtemp    = one-temp;                                                                                        /*   1          */
 256         cbomtemp  = cb*omtemp;                                                                                       /*   1          */
 257         vbond     = cbomtemp*omtemp;                                                                                 /*   1          */
 258         fbond     = -two*be*temp*cbomtemp*gmx_invsqrt(dr2);                                                          /*   9          */
 259         vtot     += vbond;                                                                                           /*   1          */
 260
 261         *dvdlambda += (cbB - cbA) * omtemp * omtemp - (2-2*omtemp)*omtemp * cb * ((b0B-b0A)*be - (beB-beA)*(dr-b0)); /* 15 */
 262
 263         if (g)
 264         {
 265             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
 266             ki = IVEC2IS(dt);
 267         }
 268
 269         for (m = 0; (m < DIM); m++)                    /*  15          */
 270         {
 271             fij                 = fbond*dx[m];
 272             f[ai][m]           += fij;
 273             f[aj][m]           -= fij;
 274             fshift[ki][m]      += fij;
 275             fshift[CENTRAL][m] -= fij;
 276         }
 277     }                                         /*  83 TOTAL    */
 278     return vtot;
 279 }
 280
 281 real cubic_bonds(int nbonds,
 282                  const t_iatom forceatoms[], const t_iparams forceparams[],
 283                  const rvec x[], rvec f[], rvec fshift[],
 284                  const t_pbc *pbc, const t_graph *g,
 285                  real gmx_unused lambda, real gmx_unused *dvdlambda,
 286                  const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
 287                  int gmx_unused *global_atom_index)
 288 {
 289     const real three = 3.0;
 290     const real two   = 2.0;
 291     real       kb, b0, kcub;
 292     real       dr, dr2, dist, kdist, kdist2, fbond, vbond, fij, vtot;
 293     rvec       dx;
 294     int        i, m, ki, type, ai, aj;
 295     ivec       dt;
 296
 297     vtot = 0.0;
 298     for (i = 0; (i < nbonds); )
 299     {
 300         type = forceatoms[i++];
 301         ai   = forceatoms[i++];
 302         aj   = forceatoms[i++];
 303
 304         b0   = forceparams[type].cubic.b0;
 305         kb   = forceparams[type].cubic.kb;
 306         kcub = forceparams[type].cubic.kcub;
 307
 308         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx);     /*   3          */
 309         dr2  = iprod(dx, dx);                           /*   5          */
 310
 311         if (dr2 == 0.0)
 312         {
 313             continue;
 314         }
 315
 316         dr         = dr2*gmx_invsqrt(dr2);                  /*  10          */
 317         dist       = dr-b0;
 318         kdist      = kb*dist;
 319         kdist2     = kdist*dist;
 320
 321         vbond      = kdist2 + kcub*kdist2*dist;
 322         fbond      = -(two*kdist + three*kdist2*kcub)/dr;
 323
 324         vtot      += vbond;   /* 21 */
 325
 326         if (g)
 327         {
 328             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
 329             ki = IVEC2IS(dt);
 330         }
 331         for (m = 0; (m < DIM); m++)                    /*  15          */
 332         {
 333             fij                 = fbond*dx[m];
 334             f[ai][m]           += fij;
 335             f[aj][m]           -= fij;
 336             fshift[ki][m]      += fij;
 337             fshift[CENTRAL][m] -= fij;
 338         }
 339     }                                         /*  54 TOTAL    */
 340     return vtot;
 341 }
 342
 343 real FENE_bonds(int nbonds,
 344                 const t_iatom forceatoms[], const t_iparams forceparams[],
 345                 const rvec x[], rvec f[], rvec fshift[],
 346                 const t_pbc *pbc, const t_graph *g,
 347                 real gmx_unused lambda, real gmx_unused *dvdlambda,
 348                 const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
 349                 int *global_atom_index)
 350 {
 351     const real half = 0.5;
 352     const real one  = 1.0;
 353     real       bm, kb;
 354     real       dr, dr2, bm2, omdr2obm2, fbond, vbond, fij, vtot;
 355     rvec       dx;
 356     int        i, m, ki, type, ai, aj;
 357     ivec       dt;
 358
 359     vtot = 0.0;
 360     for (i = 0; (i < nbonds); )
 361     {
 362         type = forceatoms[i++];
 363         ai   = forceatoms[i++];
 364         aj   = forceatoms[i++];
 365
 366         bm   = forceparams[type].fene.bm;
 367         kb   = forceparams[type].fene.kb;
 368
 369         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx);     /*   3          */
 370         dr2  = iprod(dx, dx);                           /*   5          */
 371
 372         if (dr2 == 0.0)
 373         {
 374             continue;
 375         }
 376
 377         bm2 = bm*bm;
 378
 379         if (dr2 >= bm2)
 380         {
 381             gmx_fatal(FARGS,
 382                       "r^2 (%f) >= bm^2 (%f) in FENE bond between atoms %d and %d",
 383                       dr2, bm2,
 384                       glatnr(global_atom_index, ai),
 385                       glatnr(global_atom_index, aj));
 386         }
 387
 388         omdr2obm2  = one - dr2/bm2;
 389
 390         vbond      = -half*kb*bm2*log(omdr2obm2);
 391         fbond      = -kb/omdr2obm2;
 392
 393         vtot      += vbond;   /* 35 */
 394
 395         if (g)
 396         {
 397             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
 398             ki = IVEC2IS(dt);
 399         }
 400         for (m = 0; (m < DIM); m++)                    /*  15          */
 401         {
 402             fij                 = fbond*dx[m];
 403             f[ai][m]           += fij;
 404             f[aj][m]           -= fij;
 405             fshift[ki][m]      += fij;
 406             fshift[CENTRAL][m] -= fij;
 407         }
 408     }                                         /*  58 TOTAL    */
 409     return vtot;
 410 }
 411
 412 real harmonic(real kA, real kB, real xA, real xB, real x, real lambda,
 413               real *V, real *F)
 414 {
 415     const real half = 0.5;
 416     real       L1, kk, x0, dx, dx2;
 417     real       v, f, dvdlambda;
 418
 419     L1    = 1.0-lambda;
 420     kk    = L1*kA+lambda*kB;
 421     x0    = L1*xA+lambda*xB;
 422
 423     dx    = x-x0;
 424     dx2   = dx*dx;
 425
 426     f          = -kk*dx;
 427     v          = half*kk*dx2;
 428     dvdlambda  = half*(kB-kA)*dx2 + (xA-xB)*kk*dx;
 429
 430     *F    = f;
 431     *V    = v;
 432
 433     return dvdlambda;
 434
 435     /* That was 19 flops */
 436 }
 437
 438
 439 real bonds(int nbonds,
 440            const t_iatom forceatoms[], const t_iparams forceparams[],
 441            const rvec x[], rvec f[], rvec fshift[],
 442            const t_pbc *pbc, const t_graph *g,
 443            real lambda, real *dvdlambda,
 444            const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
 445            int gmx_unused *global_atom_index)
 446 {
 447     int  i, m, ki, ai, aj, type;
 448     real dr, dr2, fbond, vbond, fij, vtot;
 449     rvec dx;
 450     ivec dt;
 451
 452     vtot = 0.0;
 453     for (i = 0; (i < nbonds); )
 454     {
 455         type = forceatoms[i++];
 456         ai   = forceatoms[i++];
 457         aj   = forceatoms[i++];
 458
 459         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx); /*   3      */
 460         dr2  = iprod(dx, dx);                       /*   5              */
 461         dr   = dr2*gmx_invsqrt(dr2);                /*  10              */
 462
 463         *dvdlambda += harmonic(forceparams[type].harmonic.krA,
 464                                forceparams[type].harmonic.krB,
 465                                forceparams[type].harmonic.rA,
 466                                forceparams[type].harmonic.rB,
 467                                dr, lambda, &vbond, &fbond); /*  19  */
 468
 469         if (dr2 == 0.0)
 470         {
 471             continue;
 472         }
 473
 474
 475         vtot  += vbond;            /* 1*/
 476         fbond *= gmx_invsqrt(dr2); /*   6               */
 477 #ifdef DEBUG
 478         if (debug)
 479         {
 480             fprintf(debug, "BONDS: dr = %10g  vbond = %10g  fbond = %10g\n",
 481                     dr, vbond, fbond);
 482         }
 483 #endif
 484         if (g)
 485         {
 486             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
 487             ki = IVEC2IS(dt);
 488         }
 489         for (m = 0; (m < DIM); m++)     /*  15          */
 490         {
 491             fij                 = fbond*dx[m];
 492             f[ai][m]           += fij;
 493             f[aj][m]           -= fij;
 494             fshift[ki][m]      += fij;
 495             fshift[CENTRAL][m] -= fij;
 496         }
 497     }               /* 59 TOTAL */
 498     return vtot;
 499 }
 500
 501 real restraint_bonds(int nbonds,
 502                      const t_iatom forceatoms[], const t_iparams forceparams[],
 503                      const rvec x[], rvec f[], rvec fshift[],
 504                      const t_pbc *pbc, const t_graph *g,
 505                      real lambda, real *dvdlambda,
 506                      const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
 507                      int gmx_unused *global_atom_index)
 508 {
 509     int  i, m, ki, ai, aj, type;
 510     real dr, dr2, fbond, vbond, fij, vtot;
 511     real L1;
 512     real low, dlow, up1, dup1, up2, dup2, k, dk;
 513     real drh, drh2;
 514     rvec dx;
 515     ivec dt;
 516
 517     L1   = 1.0 - lambda;
 518
 519     vtot = 0.0;
 520     for (i = 0; (i < nbonds); )
 521     {
 522         type = forceatoms[i++];
 523         ai   = forceatoms[i++];
 524         aj   = forceatoms[i++];
 525
 526         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx); /*   3      */
 527         dr2  = iprod(dx, dx);                       /*   5              */
 528         dr   = dr2*gmx_invsqrt(dr2);                /*  10              */
 529
 530         low  = L1*forceparams[type].restraint.lowA + lambda*forceparams[type].restraint.lowB;
 531         dlow =   -forceparams[type].restraint.lowA +        forceparams[type].restraint.lowB;
 532         up1  = L1*forceparams[type].restraint.up1A + lambda*forceparams[type].restraint.up1B;
 533         dup1 =   -forceparams[type].restraint.up1A +        forceparams[type].restraint.up1B;
 534         up2  = L1*forceparams[type].restraint.up2A + lambda*forceparams[type].restraint.up2B;
 535         dup2 =   -forceparams[type].restraint.up2A +        forceparams[type].restraint.up2B;
 536         k    = L1*forceparams[type].restraint.kA   + lambda*forceparams[type].restraint.kB;
 537         dk   =   -forceparams[type].restraint.kA   +        forceparams[type].restraint.kB;
 538         /* 24 */
 539
 540         if (dr < low)
 541         {
 542             drh         = dr - low;
 543             drh2        = drh*drh;
 544             vbond       = 0.5*k*drh2;
 545             fbond       = -k*drh;
 546             *dvdlambda += 0.5*dk*drh2 - k*dlow*drh;
 547         } /* 11 */
 548         else if (dr <= up1)
 549         {
 550             vbond = 0;
 551             fbond = 0;
 552         }
 553         else if (dr <= up2)
 554         {
 555             drh         = dr - up1;
 556             drh2        = drh*drh;
 557             vbond       = 0.5*k*drh2;
 558             fbond       = -k*drh;
 559             *dvdlambda += 0.5*dk*drh2 - k*dup1*drh;
 560         } /* 11 */
 561         else
 562         {
 563             drh         = dr - up2;
 564             vbond       = k*(up2 - up1)*(0.5*(up2 - up1) + drh);
 565             fbond       = -k*(up2 - up1);
 566             *dvdlambda += dk*(up2 - up1)*(0.5*(up2 - up1) + drh)
 567                 + k*(dup2 - dup1)*(up2 - up1 + drh)
 568                 - k*(up2 - up1)*dup2;
 569         }
 570
 571         if (dr2 == 0.0)
 572         {
 573             continue;
 574         }
 575
 576         vtot  += vbond;            /* 1*/
 577         fbond *= gmx_invsqrt(dr2); /*   6               */
 578 #ifdef DEBUG
 579         if (debug)
 580         {
 581             fprintf(debug, "BONDS: dr = %10g  vbond = %10g  fbond = %10g\n",
 582                     dr, vbond, fbond);
 583         }
 584 #endif
 585         if (g)
 586         {
 587             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
 588             ki = IVEC2IS(dt);
 589         }
 590         for (m = 0; (m < DIM); m++)             /*  15          */
 591         {
 592             fij                 = fbond*dx[m];
 593             f[ai][m]           += fij;
 594             f[aj][m]           -= fij;
 595             fshift[ki][m]      += fij;
 596             fshift[CENTRAL][m] -= fij;
 597         }
 598     }                   /* 59 TOTAL     */
 599
 600     return vtot;
 601 }
 602
 603 real polarize(int nbonds,
 604               const t_iatom forceatoms[], const t_iparams forceparams[],
 605               const rvec x[], rvec f[], rvec fshift[],
 606               const t_pbc *pbc, const t_graph *g,
 607               real lambda, real *dvdlambda,
 608               const t_mdatoms *md, t_fcdata gmx_unused *fcd,
 609               int gmx_unused *global_atom_index)
 610 {
 611     int  i, m, ki, ai, aj, type;
 612     real dr, dr2, fbond, vbond, fij, vtot, ksh;
 613     rvec dx;
 614     ivec dt;
 615
 616     vtot = 0.0;
 617     for (i = 0; (i < nbonds); )
 618     {
 619         type = forceatoms[i++];
 620         ai   = forceatoms[i++];
 621         aj   = forceatoms[i++];
 622         ksh  = sqr(md->chargeA[aj])*ONE_4PI_EPS0/forceparams[type].polarize.alpha;
 623         if (debug)
 624         {
 625             fprintf(debug, "POL: local ai = %d aj = %d ksh = %.3f\n", ai, aj, ksh);
 626         }
 627
 628         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx);                         /*   3      */
 629         dr2  = iprod(dx, dx);                                               /*   5              */
 630         dr   = dr2*gmx_invsqrt(dr2);                                        /*  10              */
 631
 632         *dvdlambda += harmonic(ksh, ksh, 0, 0, dr, lambda, &vbond, &fbond); /*  19  */
 633
 634         if (dr2 == 0.0)
 635         {
 636             continue;
 637         }
 638
 639         vtot  += vbond;            /* 1*/
 640         fbond *= gmx_invsqrt(dr2); /*   6               */
 641
 642         if (g)
 643         {
 644             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
 645             ki = IVEC2IS(dt);
 646         }
 647         for (m = 0; (m < DIM); m++)     /*  15          */
 648         {
 649             fij                 = fbond*dx[m];
 650             f[ai][m]           += fij;
 651             f[aj][m]           -= fij;
 652             fshift[ki][m]      += fij;
 653             fshift[CENTRAL][m] -= fij;
 654         }
 655     }               /* 59 TOTAL */
 656     return vtot;
 657 }
 658
 659 real anharm_polarize(int nbonds,
 660                      const t_iatom forceatoms[], const t_iparams forceparams[],
 661                      const rvec x[], rvec f[], rvec fshift[],
 662                      const t_pbc *pbc, const t_graph *g,
 663                      real lambda, real *dvdlambda,
 664                      const t_mdatoms *md, t_fcdata gmx_unused *fcd,
 665                      int gmx_unused *global_atom_index)
 666 {
 667     int  i, m, ki, ai, aj, type;
 668     real dr, dr2, fbond, vbond, fij, vtot, ksh, khyp, drcut, ddr, ddr3;
 669     rvec dx;
 670     ivec dt;
 671
 672     vtot = 0.0;
 673     for (i = 0; (i < nbonds); )
 674     {
 675         type  = forceatoms[i++];
 676         ai    = forceatoms[i++];
 677         aj    = forceatoms[i++];
 678         ksh   = sqr(md->chargeA[aj])*ONE_4PI_EPS0/forceparams[type].anharm_polarize.alpha; /* 7*/
 679         khyp  = forceparams[type].anharm_polarize.khyp;
 680         drcut = forceparams[type].anharm_polarize.drcut;
 681         if (debug)
 682         {
 683             fprintf(debug, "POL: local ai = %d aj = %d ksh = %.3f\n", ai, aj, ksh);
 684         }
 685
 686         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx);                         /*   3      */
 687         dr2  = iprod(dx, dx);                                               /*   5              */
 688         dr   = dr2*gmx_invsqrt(dr2);                                        /*  10              */
 689
 690         *dvdlambda += harmonic(ksh, ksh, 0, 0, dr, lambda, &vbond, &fbond); /*  19  */
 691
 692         if (dr2 == 0.0)
 693         {
 694             continue;
 695         }
 696
 697         if (dr > drcut)
 698         {
 699             ddr    = dr-drcut;
 700             ddr3   = ddr*ddr*ddr;
 701             vbond += khyp*ddr*ddr3;
 702             fbond -= 4*khyp*ddr3;
 703         }
 704         fbond *= gmx_invsqrt(dr2); /*   6               */
 705         vtot  += vbond;            /* 1*/
 706
 707         if (g)
 708         {
 709             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
 710             ki = IVEC2IS(dt);
 711         }
 712         for (m = 0; (m < DIM); m++)     /*  15          */
 713         {
 714             fij                 = fbond*dx[m];
 715             f[ai][m]           += fij;
 716             f[aj][m]           -= fij;
 717             fshift[ki][m]      += fij;
 718             fshift[CENTRAL][m] -= fij;
 719         }
 720     }               /* 72 TOTAL */
 721     return vtot;
 722 }
 723
 724 real water_pol(int nbonds,
 725                const t_iatom forceatoms[], const t_iparams forceparams[],
 726                const rvec x[], rvec f[], rvec gmx_unused fshift[],
 727                const t_pbc gmx_unused *pbc, const t_graph gmx_unused *g,
 728                real gmx_unused lambda, real gmx_unused *dvdlambda,
 729                const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
 730                int gmx_unused *global_atom_index)
 731 {
 732     /* This routine implements anisotropic polarizibility for water, through
 733      * a shell connected to a dummy with spring constant that differ in the
 734      * three spatial dimensions in the molecular frame.
 735      */
 736     int  i, m, aO, aH1, aH2, aD, aS, type, type0;
 737     rvec dOH1, dOH2, dHH, dOD, dDS, nW, kk, dx, kdx, proj;
 738 #ifdef DEBUG
 739     rvec df;
 740 #endif
 741     real vtot, fij, r_HH, r_OD, r_nW, tx, ty, tz, qS;
 742
 743     vtot = 0.0;
 744     if (nbonds > 0)
 745     {
 746         type0  = forceatoms[0];
 747         aS     = forceatoms[5];
 748         qS     = md->chargeA[aS];
 749         kk[XX] = sqr(qS)*ONE_4PI_EPS0/forceparams[type0].wpol.al_x;
 750         kk[YY] = sqr(qS)*ONE_4PI_EPS0/forceparams[type0].wpol.al_y;
 751         kk[ZZ] = sqr(qS)*ONE_4PI_EPS0/forceparams[type0].wpol.al_z;
 752         r_HH   = 1.0/forceparams[type0].wpol.rHH;
 753         r_OD   = 1.0/forceparams[type0].wpol.rOD;
 754         if (debug)
 755         {
 756             fprintf(debug, "WPOL: qS  = %10.5f aS = %5d\n", qS, aS);
 757             fprintf(debug, "WPOL: kk  = %10.3f        %10.3f        %10.3f\n",
 758                     kk[XX], kk[YY], kk[ZZ]);
 759             fprintf(debug, "WPOL: rOH = %10.3f  rHH = %10.3f  rOD = %10.3f\n",
 760                     forceparams[type0].wpol.rOH,
 761                     forceparams[type0].wpol.rHH,
 762                     forceparams[type0].wpol.rOD);
 763         }
 764         for (i = 0; (i < nbonds); i += 6)
 765         {
 766             type = forceatoms[i];
 767             if (type != type0)
 768             {
 769                 gmx_fatal(FARGS, "Sorry, type = %d, type0 = %d, file = %s, line = %d",
 770                           type, type0, __FILE__, __LINE__);
 771             }
 772             aO   = forceatoms[i+1];
 773             aH1  = forceatoms[i+2];
 774             aH2  = forceatoms[i+3];
 775             aD   = forceatoms[i+4];
 776             aS   = forceatoms[i+5];
 777
 778             /* Compute vectors describing the water frame */
 779             rvec_sub(x[aH1], x[aO], dOH1);
 780             rvec_sub(x[aH2], x[aO], dOH2);
 781             rvec_sub(x[aH2], x[aH1], dHH);
 782             rvec_sub(x[aD], x[aO], dOD);
 783             rvec_sub(x[aS], x[aD], dDS);
 784             cprod(dOH1, dOH2, nW);
 785
 786             /* Compute inverse length of normal vector
 787              * (this one could be precomputed, but I'm too lazy now)
 788              */
 789             r_nW = gmx_invsqrt(iprod(nW, nW));
 790             /* This is for precision, but does not make a big difference,
 791              * it can go later.
 792              */
 793             r_OD = gmx_invsqrt(iprod(dOD, dOD));
 794
 795             /* Normalize the vectors in the water frame */
 796             svmul(r_nW, nW, nW);
 797             svmul(r_HH, dHH, dHH);
 798             svmul(r_OD, dOD, dOD);
 799
 800             /* Compute displacement of shell along components of the vector */
 801             dx[ZZ] = iprod(dDS, dOD);
 802             /* Compute projection on the XY plane: dDS - dx[ZZ]*dOD */
 803             for (m = 0; (m < DIM); m++)
 804             {
 805                 proj[m] = dDS[m]-dx[ZZ]*dOD[m];
 806             }
 807
 808             /*dx[XX] = iprod(dDS,nW);
 809                dx[YY] = iprod(dDS,dHH);*/
 810             dx[XX] = iprod(proj, nW);
 811             for (m = 0; (m < DIM); m++)
 812             {
 813                 proj[m] -= dx[XX]*nW[m];
 814             }
 815             dx[YY] = iprod(proj, dHH);
 816             /*#define DEBUG*/
 817 #ifdef DEBUG
 818             if (debug)
 819             {
 820                 fprintf(debug, "WPOL: dx2=%10g  dy2=%10g  dz2=%10g  sum=%10g  dDS^2=%10g\n",
 821                         sqr(dx[XX]), sqr(dx[YY]), sqr(dx[ZZ]), iprod(dx, dx), iprod(dDS, dDS));
 822                 fprintf(debug, "WPOL: dHH=(%10g,%10g,%10g)\n", dHH[XX], dHH[YY], dHH[ZZ]);
 823                 fprintf(debug, "WPOL: dOD=(%10g,%10g,%10g), 1/r_OD = %10g\n",
 824                         dOD[XX], dOD[YY], dOD[ZZ], 1/r_OD);
 825                 fprintf(debug, "WPOL: nW =(%10g,%10g,%10g), 1/r_nW = %10g\n",
 826                         nW[XX], nW[YY], nW[ZZ], 1/r_nW);
 827                 fprintf(debug, "WPOL: dx  =%10g, dy  =%10g, dz  =%10g\n",
 828                         dx[XX], dx[YY], dx[ZZ]);
 829                 fprintf(debug, "WPOL: dDSx=%10g, dDSy=%10g, dDSz=%10g\n",
 830                         dDS[XX], dDS[YY], dDS[ZZ]);
 831             }
 832 #endif
 833             /* Now compute the forces and energy */
 834             kdx[XX] = kk[XX]*dx[XX];
 835             kdx[YY] = kk[YY]*dx[YY];
 836             kdx[ZZ] = kk[ZZ]*dx[ZZ];
 837             vtot   += iprod(dx, kdx);
 838             for (m = 0; (m < DIM); m++)
 839             {
 840                 /* This is a tensor operation but written out for speed */
 841                 tx        =  nW[m]*kdx[XX];
 842                 ty        = dHH[m]*kdx[YY];
 843                 tz        = dOD[m]*kdx[ZZ];
 844                 fij       = -tx-ty-tz;
 845 #ifdef DEBUG
 846                 df[m] = fij;
 847 #endif
 848                 f[aS][m] += fij;
 849                 f[aD][m] -= fij;
 850             }
 851 #ifdef DEBUG
 852             if (debug)
 853             {
 854                 fprintf(debug, "WPOL: vwpol=%g\n", 0.5*iprod(dx, kdx));
 855                 fprintf(debug, "WPOL: df = (%10g, %10g, %10g)\n", df[XX], df[YY], df[ZZ]);
 856             }
 857 #endif
 858         }
 859     }
 860     return 0.5*vtot;
 861 }
 862
 863 static real do_1_thole(const rvec xi, const rvec xj, rvec fi, rvec fj,
 864                        const t_pbc *pbc, real qq,
 865                        rvec fshift[], real afac)
 866 {
 867     rvec r12;
 868     real r12sq, r12_1, r12n, r12bar, v0, v1, fscal, ebar, fff;
 869     int  m, t;
 870
 871     t      = pbc_rvec_sub(pbc, xi, xj, r12);                      /*  3 */
 872
 873     r12sq  = iprod(r12, r12);                                     /*  5 */
 874     r12_1  = gmx_invsqrt(r12sq);                                  /*  5 */
 875     r12bar = afac/r12_1;                                          /*  5 */
 876     v0     = qq*ONE_4PI_EPS0*r12_1;                               /*  2 */
 877     ebar   = exp(-r12bar);                                        /*  5 */
 878     v1     = (1-(1+0.5*r12bar)*ebar);                             /*  4 */
 879     fscal  = ((v0*r12_1)*v1 - v0*0.5*afac*ebar*(r12bar+1))*r12_1; /* 9 */
 880     if (debug)
 881     {
 882         fprintf(debug, "THOLE: v0 = %.3f v1 = %.3f r12= % .3f r12bar = %.3f fscal = %.3f  ebar = %.3f\n", v0, v1, 1/r12_1, r12bar, fscal, ebar);
 883     }
 884
 885     for (m = 0; (m < DIM); m++)
 886     {
 887         fff                 = fscal*r12[m];
 888         fi[m]              += fff;
 889         fj[m]              -= fff;
 890         fshift[t][m]       += fff;
 891         fshift[CENTRAL][m] -= fff;
 892     }             /* 15 */
 893
 894     return v0*v1; /* 1 */
 895     /* 54 */
 896 }
 897
 898 real thole_pol(int nbonds,
 899                const t_iatom forceatoms[], const t_iparams forceparams[],
 900                const rvec x[], rvec f[], rvec fshift[],
 901                const t_pbc *pbc, const t_graph gmx_unused *g,
 902                real gmx_unused lambda, real gmx_unused *dvdlambda,
 903                const t_mdatoms *md, t_fcdata gmx_unused *fcd,
 904                int gmx_unused *global_atom_index)
 905 {
 906     /* Interaction between two pairs of particles with opposite charge */
 907     int  i, type, a1, da1, a2, da2;
 908     real q1, q2, qq, a, al1, al2, afac;
 909     real V = 0;
 910
 911     for (i = 0; (i < nbonds); )
 912     {
 913         type  = forceatoms[i++];
 914         a1    = forceatoms[i++];
 915         da1   = forceatoms[i++];
 916         a2    = forceatoms[i++];
 917         da2   = forceatoms[i++];
 918         q1    = md->chargeA[da1];
 919         q2    = md->chargeA[da2];
 920         a     = forceparams[type].thole.a;
 921         al1   = forceparams[type].thole.alpha1;
 922         al2   = forceparams[type].thole.alpha2;
 923         qq    = q1*q2;
 924         afac  = a*pow(al1*al2, -1.0/6.0);
 925         V    += do_1_thole(x[a1], x[a2], f[a1], f[a2], pbc, qq, fshift, afac);
 926         V    += do_1_thole(x[da1], x[a2], f[da1], f[a2], pbc, -qq, fshift, afac);
 927         V    += do_1_thole(x[a1], x[da2], f[a1], f[da2], pbc, -qq, fshift, afac);
 928         V    += do_1_thole(x[da1], x[da2], f[da1], f[da2], pbc, qq, fshift, afac);
 929     }
 930     /* 290 flops */
 931     return V;
 932 }
 933
 934 real bond_angle(const rvec xi, const rvec xj, const rvec xk, const t_pbc *pbc,
 935                 rvec r_ij, rvec r_kj, real *costh,
 936                 int *t1, int *t2)
 937 /* Return value is the angle between the bonds i-j and j-k */
 938 {
 939     /* 41 FLOPS */
 940     real th;
 941
 942     *t1 = pbc_rvec_sub(pbc, xi, xj, r_ij); /*  3                */
 943     *t2 = pbc_rvec_sub(pbc, xk, xj, r_kj); /*  3                */
 944
 945     *costh = cos_angle(r_ij, r_kj);        /* 25                */
 946     th     = acos(*costh);                 /* 10                */
 947     /* 41 TOTAL */
 948     return th;
 949 }
 950
 951 real angles(int nbonds,
 952             const t_iatom forceatoms[], const t_iparams forceparams[],
 953             const rvec x[], rvec f[], rvec fshift[],
 954             const t_pbc *pbc, const t_graph *g,
 955             real lambda, real *dvdlambda,
 956             const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
 957             int gmx_unused *global_atom_index)
 958 {
 959     int  i, ai, aj, ak, t1, t2, type;
 960     rvec r_ij, r_kj;
 961     real cos_theta, cos_theta2, theta, dVdt, va, vtot;
 962     ivec jt, dt_ij, dt_kj;
 963
 964     vtot = 0.0;
 965     for (i = 0; i < nbonds; )
 966     {
 967         type = forceatoms[i++];
 968         ai   = forceatoms[i++];
 969         aj   = forceatoms[i++];
 970         ak   = forceatoms[i++];
 971
 972         theta  = bond_angle(x[ai], x[aj], x[ak], pbc,
 973                             r_ij, r_kj, &cos_theta, &t1, &t2);  /*  41          */
 974
 975         *dvdlambda += harmonic(forceparams[type].harmonic.krA,
 976                                forceparams[type].harmonic.krB,
 977                                forceparams[type].harmonic.rA*DEG2RAD,
 978                                forceparams[type].harmonic.rB*DEG2RAD,
 979                                theta, lambda, &va, &dVdt);  /*  21  */
 980         vtot += va;
 981
 982         cos_theta2 = sqr(cos_theta);
 983         if (cos_theta2 < 1)
 984         {
 985             int  m;
 986             real st, sth;
 987             real cik, cii, ckk;
 988             real nrkj2, nrij2;
 989             real nrkj_1, nrij_1;
 990             rvec f_i, f_j, f_k;
 991
 992             st  = dVdt*gmx_invsqrt(1 - cos_theta2); /*  12              */
 993             sth = st*cos_theta;                     /*   1              */
 994 #ifdef DEBUG
 995             if (debug)
 996             {
 997                 fprintf(debug, "ANGLES: theta = %10g  vth = %10g  dV/dtheta = %10g\n",
 998                         theta*RAD2DEG, va, dVdt);
 999             }
1000 #endif
1001             nrij2 = iprod(r_ij, r_ij);      /*   5              */
1002             nrkj2 = iprod(r_kj, r_kj);      /*   5              */
1003
1004             nrij_1 = gmx_invsqrt(nrij2);    /*  10              */
1005             nrkj_1 = gmx_invsqrt(nrkj2);    /*  10              */
1006
1007             cik = st*nrij_1*nrkj_1;         /*   2              */
1008             cii = sth*nrij_1*nrij_1;        /*   2              */
1009             ckk = sth*nrkj_1*nrkj_1;        /*   2              */
1010
1011             for (m = 0; m < DIM; m++)
1012             {           /*  39          */
1013                 f_i[m]    = -(cik*r_kj[m] - cii*r_ij[m]);
1014                 f_k[m]    = -(cik*r_ij[m] - ckk*r_kj[m]);
1015                 f_j[m]    = -f_i[m] - f_k[m];
1016                 f[ai][m] += f_i[m];
1017                 f[aj][m] += f_j[m];
1018                 f[ak][m] += f_k[m];
1019             }
1020             if (g != NULL)
1021             {
1022                 copy_ivec(SHIFT_IVEC(g, aj), jt);
1023
1024                 ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
1025                 ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
1026                 t1 = IVEC2IS(dt_ij);
1027                 t2 = IVEC2IS(dt_kj);
1028             }
1029             rvec_inc(fshift[t1], f_i);
1030             rvec_inc(fshift[CENTRAL], f_j);
1031             rvec_inc(fshift[t2], f_k);
1032         }                                           /* 161 TOTAL        */
1033     }
1034
1035     return vtot;
1036 }
1037
1038 #ifdef GMX_SIMD_HAVE_REAL
1039
1040 /* As angles, but using SIMD to calculate many dihedrals at once.
1041  * This routines does not calculate energies and shift forces.
1042  */
1043 static gmx_inline void
1044 angles_noener_simd(int nbonds,
1045                    const t_iatom forceatoms[], const t_iparams forceparams[],
1046                    const rvec x[], rvec f[],
1047                    const t_pbc *pbc, const t_graph gmx_unused *g,
1048                    real gmx_unused lambda,
1049                    const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
1050                    int gmx_unused *global_atom_index)
1051 {
1052     const int            nfa1 = 4;
1053     int                  i, iu, s, m;
1054     int                  type, ai[GMX_SIMD_REAL_WIDTH], aj[GMX_SIMD_REAL_WIDTH];
1055     int                  ak[GMX_SIMD_REAL_WIDTH];
1056     real                 coeff_array[2*GMX_SIMD_REAL_WIDTH+GMX_SIMD_REAL_WIDTH], *coeff;
1057     real                 dr_array[2*DIM*GMX_SIMD_REAL_WIDTH+GMX_SIMD_REAL_WIDTH], *dr;
1058     real                 f_buf_array[6*GMX_SIMD_REAL_WIDTH+GMX_SIMD_REAL_WIDTH], *f_buf;
1059     gmx_simd_real_t      k_S, theta0_S;
1060     gmx_simd_real_t      rijx_S, rijy_S, rijz_S;
1061     gmx_simd_real_t      rkjx_S, rkjy_S, rkjz_S;
1062     gmx_simd_real_t      one_S;
1063     gmx_simd_real_t      min_one_plus_eps_S;
1064     gmx_simd_real_t      rij_rkj_S;
1065     gmx_simd_real_t      nrij2_S, nrij_1_S;
1066     gmx_simd_real_t      nrkj2_S, nrkj_1_S;
1067     gmx_simd_real_t      cos_S, invsin_S;
1068     gmx_simd_real_t      theta_S;
1069     gmx_simd_real_t      st_S, sth_S;
1070     gmx_simd_real_t      cik_S, cii_S, ckk_S;
1071     gmx_simd_real_t      f_ix_S, f_iy_S, f_iz_S;
1072     gmx_simd_real_t      f_kx_S, f_ky_S, f_kz_S;
1073     pbc_simd_t           pbc_simd;
1074
1075     /* Ensure register memory alignment */
1076     coeff = gmx_simd_align_r(coeff_array);
1077     dr    = gmx_simd_align_r(dr_array);
1078     f_buf = gmx_simd_align_r(f_buf_array);
1079
1080     set_pbc_simd(pbc, &pbc_simd);
1081
1082     one_S = gmx_simd_set1_r(1.0);
1083
1084     /* The smallest number > -1 */
1085     min_one_plus_eps_S = gmx_simd_set1_r(-1.0 + 2*GMX_REAL_EPS);
1086
1087     /* nbonds is the number of angles times nfa1, here we step GMX_SIMD_REAL_WIDTH angles */
1088     for (i = 0; (i < nbonds); i += GMX_SIMD_REAL_WIDTH*nfa1)
1089     {
1090         /* Collect atoms for GMX_SIMD_REAL_WIDTH angles.
1091          * iu indexes into forceatoms, we should not let iu go beyond nbonds.
1092          */
1093         iu = i;
1094         for (s = 0; s < GMX_SIMD_REAL_WIDTH; s++)
1095         {
1096             type  = forceatoms[iu];
1097             ai[s] = forceatoms[iu+1];
1098             aj[s] = forceatoms[iu+2];
1099             ak[s] = forceatoms[iu+3];
1100
1101             coeff[s]                     = forceparams[type].harmonic.krA;
1102             coeff[GMX_SIMD_REAL_WIDTH+s] = forceparams[type].harmonic.rA*DEG2RAD;
1103
1104             /* If you can't use pbc_dx_simd below for PBC, e.g. because
1105              * you can't round in SIMD, use pbc_rvec_sub here.
1106              */
1107             /* Store the non PBC corrected distances packed and aligned */
1108             for (m = 0; m < DIM; m++)
1109             {
1110                 dr[s +      m *GMX_SIMD_REAL_WIDTH] = x[ai[s]][m] - x[aj[s]][m];
1111                 dr[s + (DIM+m)*GMX_SIMD_REAL_WIDTH] = x[ak[s]][m] - x[aj[s]][m];
1112             }
1113
1114             /* At the end fill the arrays with identical entries */
1115             if (iu + nfa1 < nbonds)
1116             {
1117                 iu += nfa1;
1118             }
1119         }
1120
1121         k_S       = gmx_simd_load_r(coeff);
1122         theta0_S  = gmx_simd_load_r(coeff+GMX_SIMD_REAL_WIDTH);
1123
1124         rijx_S    = gmx_simd_load_r(dr + 0*GMX_SIMD_REAL_WIDTH);
1125         rijy_S    = gmx_simd_load_r(dr + 1*GMX_SIMD_REAL_WIDTH);
1126         rijz_S    = gmx_simd_load_r(dr + 2*GMX_SIMD_REAL_WIDTH);
1127         rkjx_S    = gmx_simd_load_r(dr + 3*GMX_SIMD_REAL_WIDTH);
1128         rkjy_S    = gmx_simd_load_r(dr + 4*GMX_SIMD_REAL_WIDTH);
1129         rkjz_S    = gmx_simd_load_r(dr + 5*GMX_SIMD_REAL_WIDTH);
1130
1131         pbc_dx_simd(&rijx_S, &rijy_S, &rijz_S, &pbc_simd);
1132         pbc_dx_simd(&rkjx_S, &rkjy_S, &rkjz_S, &pbc_simd);
1133
1134         rij_rkj_S = gmx_simd_iprod_r(rijx_S, rijy_S, rijz_S,
1135                                      rkjx_S, rkjy_S, rkjz_S);
1136
1137         nrij2_S   = gmx_simd_norm2_r(rijx_S, rijy_S, rijz_S);
1138         nrkj2_S   = gmx_simd_norm2_r(rkjx_S, rkjy_S, rkjz_S);
1139
1140         nrij_1_S  = gmx_simd_invsqrt_r(nrij2_S);
1141         nrkj_1_S  = gmx_simd_invsqrt_r(nrkj2_S);
1142
1143         cos_S     = gmx_simd_mul_r(rij_rkj_S, gmx_simd_mul_r(nrij_1_S, nrkj_1_S));
1144
1145         /* To allow for 180 degrees, we take the max of cos and -1 + 1bit,
1146          * so we can safely get the 1/sin from 1/sqrt(1 - cos^2).
1147          * This also ensures that rounding errors would cause the argument
1148          * of gmx_simd_acos_r to be < -1.
1149          * Note that we do not take precautions for cos(0)=1, so the outer
1150          * atoms in an angle should not be on top of each other.
1151          */
1152         cos_S     = gmx_simd_max_r(cos_S, min_one_plus_eps_S);
1153
1154         theta_S   = gmx_simd_acos_r(cos_S);
1155
1156         invsin_S  = gmx_simd_invsqrt_r(gmx_simd_sub_r(one_S, gmx_simd_mul_r(cos_S, cos_S)));
1157
1158         st_S      = gmx_simd_mul_r(gmx_simd_mul_r(k_S, gmx_simd_sub_r(theta0_S, theta_S)),
1159                                    invsin_S);
1160         sth_S     = gmx_simd_mul_r(st_S, cos_S);
1161
1162         cik_S     = gmx_simd_mul_r(st_S,  gmx_simd_mul_r(nrij_1_S, nrkj_1_S));
1163         cii_S     = gmx_simd_mul_r(sth_S, gmx_simd_mul_r(nrij_1_S, nrij_1_S));
1164         ckk_S     = gmx_simd_mul_r(sth_S, gmx_simd_mul_r(nrkj_1_S, nrkj_1_S));
1165
1166         f_ix_S    = gmx_simd_mul_r(cii_S, rijx_S);
1167         f_ix_S    = gmx_simd_fnmadd_r(cik_S, rkjx_S, f_ix_S);
1168         f_iy_S    = gmx_simd_mul_r(cii_S, rijy_S);
1169         f_iy_S    = gmx_simd_fnmadd_r(cik_S, rkjy_S, f_iy_S);
1170         f_iz_S    = gmx_simd_mul_r(cii_S, rijz_S);
1171         f_iz_S    = gmx_simd_fnmadd_r(cik_S, rkjz_S, f_iz_S);
1172         f_kx_S    = gmx_simd_mul_r(ckk_S, rkjx_S);
1173         f_kx_S    = gmx_simd_fnmadd_r(cik_S, rijx_S, f_kx_S);
1174         f_ky_S    = gmx_simd_mul_r(ckk_S, rkjy_S);
1175         f_ky_S    = gmx_simd_fnmadd_r(cik_S, rijy_S, f_ky_S);
1176         f_kz_S    = gmx_simd_mul_r(ckk_S, rkjz_S);
1177         f_kz_S    = gmx_simd_fnmadd_r(cik_S, rijz_S, f_kz_S);
1178
1179         gmx_simd_store_r(f_buf + 0*GMX_SIMD_REAL_WIDTH, f_ix_S);
1180         gmx_simd_store_r(f_buf + 1*GMX_SIMD_REAL_WIDTH, f_iy_S);
1181         gmx_simd_store_r(f_buf + 2*GMX_SIMD_REAL_WIDTH, f_iz_S);
1182         gmx_simd_store_r(f_buf + 3*GMX_SIMD_REAL_WIDTH, f_kx_S);
1183         gmx_simd_store_r(f_buf + 4*GMX_SIMD_REAL_WIDTH, f_ky_S);
1184         gmx_simd_store_r(f_buf + 5*GMX_SIMD_REAL_WIDTH, f_kz_S);
1185
1186         iu = i;
1187         s  = 0;
1188         do
1189         {
1190             for (m = 0; m < DIM; m++)
1191             {
1192                 f[ai[s]][m] += f_buf[s + m*GMX_SIMD_REAL_WIDTH];
1193                 f[aj[s]][m] -= f_buf[s + m*GMX_SIMD_REAL_WIDTH] + f_buf[s + (DIM+m)*GMX_SIMD_REAL_WIDTH];
1194                 f[ak[s]][m] += f_buf[s + (DIM+m)*GMX_SIMD_REAL_WIDTH];
1195             }
1196             s++;
1197             iu += nfa1;
1198         }
1199         while (s < GMX_SIMD_REAL_WIDTH && iu < nbonds);
1200     }
1201 }
1202
1203 #endif /* GMX_SIMD_HAVE_REAL */
1204
1205 real linear_angles(int nbonds,
1206                    const t_iatom forceatoms[], const t_iparams forceparams[],
1207                    const rvec x[], rvec f[], rvec fshift[],
1208                    const t_pbc *pbc, const t_graph *g,
1209                    real lambda, real *dvdlambda,
1210                    const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
1211                    int gmx_unused *global_atom_index)
1212 {
1213     int  i, m, ai, aj, ak, t1, t2, type;
1214     rvec f_i, f_j, f_k;
1215     real L1, kA, kB, aA, aB, dr, dr2, va, vtot, a, b, klin;
1216     ivec jt, dt_ij, dt_kj;
1217     rvec r_ij, r_kj, r_ik, dx;
1218
1219     L1   = 1-lambda;
1220     vtot = 0.0;
1221     for (i = 0; (i < nbonds); )
1222     {
1223         type = forceatoms[i++];
1224         ai   = forceatoms[i++];
1225         aj   = forceatoms[i++];
1226         ak   = forceatoms[i++];
1227
1228         kA   = forceparams[type].linangle.klinA;
1229         kB   = forceparams[type].linangle.klinB;
1230         klin = L1*kA + lambda*kB;
1231
1232         aA   = forceparams[type].linangle.aA;
1233         aB   = forceparams[type].linangle.aB;
1234         a    = L1*aA+lambda*aB;
1235         b    = 1-a;
1236
1237         t1 = pbc_rvec_sub(pbc, x[ai], x[aj], r_ij);
1238         t2 = pbc_rvec_sub(pbc, x[ak], x[aj], r_kj);
1239         rvec_sub(r_ij, r_kj, r_ik);
1240
1241         dr2 = 0;
1242         for (m = 0; (m < DIM); m++)
1243         {
1244             dr        = -a * r_ij[m] - b * r_kj[m];
1245             dr2      += dr*dr;
1246             dx[m]     = dr;
1247             f_i[m]    = a*klin*dr;
1248             f_k[m]    = b*klin*dr;
1249             f_j[m]    = -(f_i[m]+f_k[m]);
1250             f[ai][m] += f_i[m];
1251             f[aj][m] += f_j[m];
1252             f[ak][m] += f_k[m];
1253         }
1254         va          = 0.5*klin*dr2;
1255         *dvdlambda += 0.5*(kB-kA)*dr2 + klin*(aB-aA)*iprod(dx, r_ik);
1256
1257         vtot += va;
1258
1259         if (g)
1260         {
1261             copy_ivec(SHIFT_IVEC(g, aj), jt);
1262
1263             ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
1264             ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
1265             t1 = IVEC2IS(dt_ij);
1266             t2 = IVEC2IS(dt_kj);
1267         }
1268         rvec_inc(fshift[t1], f_i);
1269         rvec_inc(fshift[CENTRAL], f_j);
1270         rvec_inc(fshift[t2], f_k);
1271     }                                         /* 57 TOTAL       */
1272     return vtot;
1273 }
1274
1275 real urey_bradley(int nbonds,
1276                   const t_iatom forceatoms[], const t_iparams forceparams[],
1277                   const rvec x[], rvec f[], rvec fshift[],
1278                   const t_pbc *pbc, const t_graph *g,
1279                   real lambda, real *dvdlambda,
1280                   const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
1281                   int gmx_unused *global_atom_index)
1282 {
1283     int  i, m, ai, aj, ak, t1, t2, type, ki;
1284     rvec r_ij, r_kj, r_ik;
1285     real cos_theta, cos_theta2, theta;
1286     real dVdt, va, vtot, dr, dr2, vbond, fbond, fik;
1287     real kthA, th0A, kUBA, r13A, kthB, th0B, kUBB, r13B;
1288     ivec jt, dt_ij, dt_kj, dt_ik;
1289
1290     vtot = 0.0;
1291     for (i = 0; (i < nbonds); )
1292     {
1293         type  = forceatoms[i++];
1294         ai    = forceatoms[i++];
1295         aj    = forceatoms[i++];
1296         ak    = forceatoms[i++];
1297         th0A  = forceparams[type].u_b.thetaA*DEG2RAD;
1298         kthA  = forceparams[type].u_b.kthetaA;
1299         r13A  = forceparams[type].u_b.r13A;
1300         kUBA  = forceparams[type].u_b.kUBA;
1301         th0B  = forceparams[type].u_b.thetaB*DEG2RAD;
1302         kthB  = forceparams[type].u_b.kthetaB;
1303         r13B  = forceparams[type].u_b.r13B;
1304         kUBB  = forceparams[type].u_b.kUBB;
1305
1306         theta  = bond_angle(x[ai], x[aj], x[ak], pbc,
1307                             r_ij, r_kj, &cos_theta, &t1, &t2);                     /*  41               */
1308
1309         *dvdlambda += harmonic(kthA, kthB, th0A, th0B, theta, lambda, &va, &dVdt); /*  21  */
1310         vtot       += va;
1311
1312         ki   = pbc_rvec_sub(pbc, x[ai], x[ak], r_ik);                               /*   3      */
1313         dr2  = iprod(r_ik, r_ik);                                                   /*   5              */
1314         dr   = dr2*gmx_invsqrt(dr2);                                                /*  10              */
1315
1316         *dvdlambda += harmonic(kUBA, kUBB, r13A, r13B, dr, lambda, &vbond, &fbond); /*  19  */
1317
1318         cos_theta2 = sqr(cos_theta);                                                /*   1              */
1319         if (cos_theta2 < 1)
1320         {
1321             real st, sth;
1322             real cik, cii, ckk;
1323             real nrkj2, nrij2;
1324             rvec f_i, f_j, f_k;
1325
1326             st  = dVdt*gmx_invsqrt(1 - cos_theta2); /*  12              */
1327             sth = st*cos_theta;                     /*   1              */
1328 #ifdef DEBUG
1329             if (debug)
1330             {
1331                 fprintf(debug, "ANGLES: theta = %10g  vth = %10g  dV/dtheta = %10g\n",
1332                         theta*RAD2DEG, va, dVdt);
1333             }
1334 #endif
1335             nrkj2 = iprod(r_kj, r_kj);  /*   5          */
1336             nrij2 = iprod(r_ij, r_ij);
1337
1338             cik = st*gmx_invsqrt(nrkj2*nrij2); /*  12           */
1339             cii = sth/nrij2;                   /*  10           */
1340             ckk = sth/nrkj2;                   /*  10           */
1341
1342             for (m = 0; (m < DIM); m++)        /*  39           */
1343             {
1344                 f_i[m]    = -(cik*r_kj[m]-cii*r_ij[m]);
1345                 f_k[m]    = -(cik*r_ij[m]-ckk*r_kj[m]);
1346                 f_j[m]    = -f_i[m]-f_k[m];
1347                 f[ai][m] += f_i[m];
1348                 f[aj][m] += f_j[m];
1349                 f[ak][m] += f_k[m];
1350             }
1351             if (g)
1352             {
1353                 copy_ivec(SHIFT_IVEC(g, aj), jt);
1354
1355                 ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
1356                 ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
1357                 t1 = IVEC2IS(dt_ij);
1358                 t2 = IVEC2IS(dt_kj);
1359             }
1360             rvec_inc(fshift[t1], f_i);
1361             rvec_inc(fshift[CENTRAL], f_j);
1362             rvec_inc(fshift[t2], f_k);
1363         }                                       /* 161 TOTAL    */
1364         /* Time for the bond calculations */
1365         if (dr2 == 0.0)
1366         {
1367             continue;
1368         }
1369
1370         vtot  += vbond;            /* 1*/
1371         fbond *= gmx_invsqrt(dr2); /*   6               */
1372
1373         if (g)
1374         {
1375             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, ak), dt_ik);
1376             ki = IVEC2IS(dt_ik);
1377         }
1378         for (m = 0; (m < DIM); m++)     /*  15          */
1379         {
1380             fik                 = fbond*r_ik[m];
1381             f[ai][m]           += fik;
1382             f[ak][m]           -= fik;
1383             fshift[ki][m]      += fik;
1384             fshift[CENTRAL][m] -= fik;
1385         }
1386     }
1387     return vtot;
1388 }
1389
1390 real quartic_angles(int nbonds,
1391                     const t_iatom forceatoms[], const t_iparams forceparams[],
1392                     const rvec x[], rvec f[], rvec fshift[],
1393                     const t_pbc *pbc, const t_graph *g,
1394                     real gmx_unused lambda, real gmx_unused *dvdlambda,
1395                     const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
1396                     int gmx_unused *global_atom_index)
1397 {
1398     int  i, j, ai, aj, ak, t1, t2, type;
1399     rvec r_ij, r_kj;
1400     real cos_theta, cos_theta2, theta, dt, dVdt, va, dtp, c, vtot;
1401     ivec jt, dt_ij, dt_kj;
1402
1403     vtot = 0.0;
1404     for (i = 0; (i < nbonds); )
1405     {
1406         type = forceatoms[i++];
1407         ai   = forceatoms[i++];
1408         aj   = forceatoms[i++];
1409         ak   = forceatoms[i++];
1410
1411         theta  = bond_angle(x[ai], x[aj], x[ak], pbc,
1412                             r_ij, r_kj, &cos_theta, &t1, &t2); /*  41           */
1413
1414         dt = theta - forceparams[type].qangle.theta*DEG2RAD;   /* 2          */
1415
1416         dVdt = 0;
1417         va   = forceparams[type].qangle.c[0];
1418         dtp  = 1.0;
1419         for (j = 1; j <= 4; j++)
1420         {
1421             c     = forceparams[type].qangle.c[j];
1422             dVdt -= j*c*dtp;
1423             dtp  *= dt;
1424             va   += c*dtp;
1425         }
1426         /* 20 */
1427
1428         vtot += va;
1429
1430         cos_theta2 = sqr(cos_theta);            /*   1          */
1431         if (cos_theta2 < 1)
1432         {
1433             int  m;
1434             real st, sth;
1435             real cik, cii, ckk;
1436             real nrkj2, nrij2;
1437             rvec f_i, f_j, f_k;
1438
1439             st  = dVdt*gmx_invsqrt(1 - cos_theta2); /*  12              */
1440             sth = st*cos_theta;                     /*   1              */
1441 #ifdef DEBUG
1442             if (debug)
1443             {
1444                 fprintf(debug, "ANGLES: theta = %10g  vth = %10g  dV/dtheta = %10g\n",
1445                         theta*RAD2DEG, va, dVdt);
1446             }
1447 #endif
1448             nrkj2 = iprod(r_kj, r_kj);  /*   5          */
1449             nrij2 = iprod(r_ij, r_ij);
1450
1451             cik = st*gmx_invsqrt(nrkj2*nrij2); /*  12           */
1452             cii = sth/nrij2;                   /*  10           */
1453             ckk = sth/nrkj2;                   /*  10           */
1454
1455             for (m = 0; (m < DIM); m++)        /*  39           */
1456             {
1457                 f_i[m]    = -(cik*r_kj[m]-cii*r_ij[m]);
1458                 f_k[m]    = -(cik*r_ij[m]-ckk*r_kj[m]);
1459                 f_j[m]    = -f_i[m]-f_k[m];
1460                 f[ai][m] += f_i[m];
1461                 f[aj][m] += f_j[m];
1462                 f[ak][m] += f_k[m];
1463             }
1464             if (g)
1465             {
1466                 copy_ivec(SHIFT_IVEC(g, aj), jt);
1467
1468                 ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
1469                 ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
1470                 t1 = IVEC2IS(dt_ij);
1471                 t2 = IVEC2IS(dt_kj);
1472             }
1473             rvec_inc(fshift[t1], f_i);
1474             rvec_inc(fshift[CENTRAL], f_j);
1475             rvec_inc(fshift[t2], f_k);
1476         }                                       /* 153 TOTAL    */
1477     }
1478     return vtot;
1479 }
1480
1481 real dih_angle(const rvec xi, const rvec xj, const rvec xk, const rvec xl,
1482                const t_pbc *pbc,
1483                rvec r_ij, rvec r_kj, rvec r_kl, rvec m, rvec n,
1484                real *sign, int *t1, int *t2, int *t3)
1485 {
1486     real ipr, phi;
1487
1488     *t1 = pbc_rvec_sub(pbc, xi, xj, r_ij); /*  3        */
1489     *t2 = pbc_rvec_sub(pbc, xk, xj, r_kj); /*  3                */
1490     *t3 = pbc_rvec_sub(pbc, xk, xl, r_kl); /*  3                */
1491
1492     cprod(r_ij, r_kj, m);                  /*  9        */
1493     cprod(r_kj, r_kl, n);                  /*  9                */
1494     phi     = gmx_angle(m, n);             /* 49 (assuming 25 for atan2) */
1495     ipr     = iprod(r_ij, n);              /*  5        */
1496     (*sign) = (ipr < 0.0) ? -1.0 : 1.0;
1497     phi     = (*sign)*phi;                 /*  1                */
1498     /* 82 TOTAL */
1499     return phi;
1500 }
1501
1502
1503 #ifdef GMX_SIMD_HAVE_REAL
1504
1505 /* As dih_angle above, but calculates 4 dihedral angles at once using SIMD,
1506  * also calculates the pre-factor required for the dihedral force update.
1507  * Note that bv and buf should be register aligned.
1508  */
1509 static gmx_inline void
1510 dih_angle_simd(const rvec *x,
1511                const int *ai, const int *aj, const int *ak, const int *al,
1512                const pbc_simd_t *pbc,
1513                real *dr,
1514                gmx_simd_real_t *phi_S,
1515                gmx_simd_real_t *mx_S, gmx_simd_real_t *my_S, gmx_simd_real_t *mz_S,
1516                gmx_simd_real_t *nx_S, gmx_simd_real_t *ny_S, gmx_simd_real_t *nz_S,
1517                gmx_simd_real_t *nrkj_m2_S,
1518                gmx_simd_real_t *nrkj_n2_S,
1519                real *p,
1520                real *q)
1521 {
1522     int             s, m;
1523     gmx_simd_real_t rijx_S, rijy_S, rijz_S;
1524     gmx_simd_real_t rkjx_S, rkjy_S, rkjz_S;
1525     gmx_simd_real_t rklx_S, rkly_S, rklz_S;
1526     gmx_simd_real_t cx_S, cy_S, cz_S;
1527     gmx_simd_real_t cn_S;
1528     gmx_simd_real_t s_S;
1529     gmx_simd_real_t ipr_S;
1530     gmx_simd_real_t iprm_S, iprn_S;
1531     gmx_simd_real_t nrkj2_S, nrkj_1_S, nrkj_2_S, nrkj_S;
1532     gmx_simd_real_t toler_S;
1533     gmx_simd_real_t p_S, q_S;
1534     gmx_simd_real_t nrkj2_min_S;
1535     gmx_simd_real_t real_eps_S;
1536
1537     /* Used to avoid division by zero.
1538      * We take into acount that we multiply the result by real_eps_S.
1539      */
1540     nrkj2_min_S = gmx_simd_set1_r(GMX_REAL_MIN/(2*GMX_REAL_EPS));
1541
1542     /* The value of the last significant bit (GMX_REAL_EPS is half of that) */
1543     real_eps_S  = gmx_simd_set1_r(2*GMX_REAL_EPS);
1544
1545     for (s = 0; s < GMX_SIMD_REAL_WIDTH; s++)
1546     {
1547         /* If you can't use pbc_dx_simd below for PBC, e.g. because
1548          * you can't round in SIMD, use pbc_rvec_sub here.
1549          */
1550         for (m = 0; m < DIM; m++)
1551         {
1552             dr[s + (0*DIM + m)*GMX_SIMD_REAL_WIDTH] = x[ai[s]][m] - x[aj[s]][m];
1553             dr[s + (1*DIM + m)*GMX_SIMD_REAL_WIDTH] = x[ak[s]][m] - x[aj[s]][m];
1554             dr[s + (2*DIM + m)*GMX_SIMD_REAL_WIDTH] = x[ak[s]][m] - x[al[s]][m];
1555         }
1556     }
1557
1558     rijx_S = gmx_simd_load_r(dr + 0*GMX_SIMD_REAL_WIDTH);
1559     rijy_S = gmx_simd_load_r(dr + 1*GMX_SIMD_REAL_WIDTH);
1560     rijz_S = gmx_simd_load_r(dr + 2*GMX_SIMD_REAL_WIDTH);
1561     rkjx_S = gmx_simd_load_r(dr + 3*GMX_SIMD_REAL_WIDTH);
1562     rkjy_S = gmx_simd_load_r(dr + 4*GMX_SIMD_REAL_WIDTH);
1563     rkjz_S = gmx_simd_load_r(dr + 5*GMX_SIMD_REAL_WIDTH);
1564     rklx_S = gmx_simd_load_r(dr + 6*GMX_SIMD_REAL_WIDTH);
1565     rkly_S = gmx_simd_load_r(dr + 7*GMX_SIMD_REAL_WIDTH);
1566     rklz_S = gmx_simd_load_r(dr + 8*GMX_SIMD_REAL_WIDTH);
1567
1568     pbc_dx_simd(&rijx_S, &rijy_S, &rijz_S, pbc);
1569     pbc_dx_simd(&rkjx_S, &rkjy_S, &rkjz_S, pbc);
1570     pbc_dx_simd(&rklx_S, &rkly_S, &rklz_S, pbc);
1571
1572     gmx_simd_cprod_r(rijx_S, rijy_S, rijz_S,
1573                      rkjx_S, rkjy_S, rkjz_S,
1574                      mx_S, my_S, mz_S);
1575
1576     gmx_simd_cprod_r(rkjx_S, rkjy_S, rkjz_S,
1577                      rklx_S, rkly_S, rklz_S,
1578                      nx_S, ny_S, nz_S);
1579
1580     gmx_simd_cprod_r(*mx_S, *my_S, *mz_S,
1581                      *nx_S, *ny_S, *nz_S,
1582                      &cx_S, &cy_S, &cz_S);
1583
1584     cn_S       = gmx_simd_sqrt_r(gmx_simd_norm2_r(cx_S, cy_S, cz_S));
1585
1586     s_S        = gmx_simd_iprod_r(*mx_S, *my_S, *mz_S, *nx_S, *ny_S, *nz_S);
1587
1588     /* Determine the dihedral angle, the sign might need correction */
1589     *phi_S     = gmx_simd_atan2_r(cn_S, s_S);
1590
1591     ipr_S      = gmx_simd_iprod_r(rijx_S, rijy_S, rijz_S,
1592                                   *nx_S, *ny_S, *nz_S);
1593
1594     iprm_S     = gmx_simd_norm2_r(*mx_S, *my_S, *mz_S);
1595     iprn_S     = gmx_simd_norm2_r(*nx_S, *ny_S, *nz_S);
1596
1597     nrkj2_S    = gmx_simd_norm2_r(rkjx_S, rkjy_S, rkjz_S);
1598
1599     /* Avoid division by zero. When zero, the result is multiplied by 0
1600      * anyhow, so the 3 max below do not affect the final result.
1601      */
1602     nrkj2_S    = gmx_simd_max_r(nrkj2_S, nrkj2_min_S);
1603     nrkj_1_S   = gmx_simd_invsqrt_r(nrkj2_S);
1604     nrkj_2_S   = gmx_simd_mul_r(nrkj_1_S, nrkj_1_S);
1605     nrkj_S     = gmx_simd_mul_r(nrkj2_S, nrkj_1_S);
1606
1607     toler_S    = gmx_simd_mul_r(nrkj2_S, real_eps_S);
1608
1609     /* Here the plain-C code uses a conditional, but we can't do that in SIMD.
1610      * So we take a max with the tolerance instead. Since we multiply with
1611      * m or n later, the max does not affect the results.
1612      */
1613     iprm_S     = gmx_simd_max_r(iprm_S, toler_S);
1614     iprn_S     = gmx_simd_max_r(iprn_S, toler_S);
1615     *nrkj_m2_S = gmx_simd_mul_r(nrkj_S, gmx_simd_inv_r(iprm_S));
1616     *nrkj_n2_S = gmx_simd_mul_r(nrkj_S, gmx_simd_inv_r(iprn_S));
1617
1618     /* Set sign of phi_S with the sign of ipr_S; phi_S is currently positive */
1619     *phi_S     = gmx_simd_xor_sign_r(*phi_S, ipr_S);
1620     p_S        = gmx_simd_iprod_r(rijx_S, rijy_S, rijz_S,
1621                                   rkjx_S, rkjy_S, rkjz_S);
1622     p_S        = gmx_simd_mul_r(p_S, nrkj_2_S);
1623
1624     q_S        = gmx_simd_iprod_r(rklx_S, rkly_S, rklz_S,
1625                                   rkjx_S, rkjy_S, rkjz_S);
1626     q_S        = gmx_simd_mul_r(q_S, nrkj_2_S);
1627
1628     gmx_simd_store_r(p, p_S);
1629     gmx_simd_store_r(q, q_S);
1630 }
1631
1632 #endif /* GMX_SIMD_HAVE_REAL */
1633
1634
1635 void do_dih_fup(int i, int j, int k, int l, real ddphi,
1636                 rvec r_ij, rvec r_kj, rvec r_kl,
1637                 rvec m, rvec n, rvec f[], rvec fshift[],
1638                 const t_pbc *pbc, const t_graph *g,
1639                 const rvec x[], int t1, int t2, int t3)
1640 {
1641     /* 143 FLOPS */
1642     rvec f_i, f_j, f_k, f_l;
1643     rvec uvec, vvec, svec, dx_jl;
1644     real iprm, iprn, nrkj, nrkj2, nrkj_1, nrkj_2;
1645     real a, b, p, q, toler;
1646     ivec jt, dt_ij, dt_kj, dt_lj;
1647
1648     iprm  = iprod(m, m);       /*  5    */
1649     iprn  = iprod(n, n);       /*  5    */
1650     nrkj2 = iprod(r_kj, r_kj); /*  5    */
1651     toler = nrkj2*GMX_REAL_EPS;
1652     if ((iprm > toler) && (iprn > toler))
1653     {
1654         nrkj_1 = gmx_invsqrt(nrkj2); /* 10      */
1655         nrkj_2 = nrkj_1*nrkj_1;      /*  1      */
1656         nrkj   = nrkj2*nrkj_1;       /*  1      */
1657         a      = -ddphi*nrkj/iprm;   /* 11      */
1658         svmul(a, m, f_i);            /*  3      */
1659         b     = ddphi*nrkj/iprn;     /* 11      */
1660         svmul(b, n, f_l);            /*  3  */
1661         p     = iprod(r_ij, r_kj);   /*  5      */
1662         p    *= nrkj_2;              /*  1      */
1663         q     = iprod(r_kl, r_kj);   /*  5      */
1664         q    *= nrkj_2;              /*  1      */
1665         svmul(p, f_i, uvec);         /*  3      */
1666         svmul(q, f_l, vvec);         /*  3      */
1667         rvec_sub(uvec, vvec, svec);  /*  3      */
1668         rvec_sub(f_i, svec, f_j);    /*  3      */
1669         rvec_add(f_l, svec, f_k);    /*  3      */
1670         rvec_inc(f[i], f_i);         /*  3      */
1671         rvec_dec(f[j], f_j);         /*  3      */
1672         rvec_dec(f[k], f_k);         /*  3      */
1673         rvec_inc(f[l], f_l);         /*  3      */
1674
1675         if (g)
1676         {
1677             copy_ivec(SHIFT_IVEC(g, j), jt);
1678             ivec_sub(SHIFT_IVEC(g, i), jt, dt_ij);
1679             ivec_sub(SHIFT_IVEC(g, k), jt, dt_kj);
1680             ivec_sub(SHIFT_IVEC(g, l), jt, dt_lj);
1681             t1 = IVEC2IS(dt_ij);
1682             t2 = IVEC2IS(dt_kj);
1683             t3 = IVEC2IS(dt_lj);
1684         }
1685         else if (pbc)
1686         {
1687             t3 = pbc_rvec_sub(pbc, x[l], x[j], dx_jl);
1688         }
1689         else
1690         {
1691             t3 = CENTRAL;
1692         }
1693
1694         rvec_inc(fshift[t1], f_i);
1695         rvec_dec(fshift[CENTRAL], f_j);
1696         rvec_dec(fshift[t2], f_k);
1697         rvec_inc(fshift[t3], f_l);
1698     }
1699     /* 112 TOTAL    */
1700 }
1701
1702 /* As do_dih_fup above, but without shift forces */
1703 static void
1704 do_dih_fup_noshiftf(int i, int j, int k, int l, real ddphi,
1705                     rvec r_ij, rvec r_kj, rvec r_kl,
1706                     rvec m, rvec n, rvec f[])
1707 {
1708     rvec f_i, f_j, f_k, f_l;
1709     rvec uvec, vvec, svec, dx_jl;
1710     real iprm, iprn, nrkj, nrkj2, nrkj_1, nrkj_2;
1711     real a, b, p, q, toler;
1712     ivec jt, dt_ij, dt_kj, dt_lj;
1713
1714     iprm  = iprod(m, m);       /*  5    */
1715     iprn  = iprod(n, n);       /*  5    */
1716     nrkj2 = iprod(r_kj, r_kj); /*  5    */
1717     toler = nrkj2*GMX_REAL_EPS;
1718     if ((iprm > toler) && (iprn > toler))
1719     {
1720         nrkj_1 = gmx_invsqrt(nrkj2); /* 10      */
1721         nrkj_2 = nrkj_1*nrkj_1;      /*  1      */
1722         nrkj   = nrkj2*nrkj_1;       /*  1      */
1723         a      = -ddphi*nrkj/iprm;   /* 11      */
1724         svmul(a, m, f_i);            /*  3      */
1725         b     = ddphi*nrkj/iprn;     /* 11      */
1726         svmul(b, n, f_l);            /*  3  */
1727         p     = iprod(r_ij, r_kj);   /*  5      */
1728         p    *= nrkj_2;              /*  1      */
1729         q     = iprod(r_kl, r_kj);   /*  5      */
1730         q    *= nrkj_2;              /*  1      */
1731         svmul(p, f_i, uvec);         /*  3      */
1732         svmul(q, f_l, vvec);         /*  3      */
1733         rvec_sub(uvec, vvec, svec);  /*  3      */
1734         rvec_sub(f_i, svec, f_j);    /*  3      */
1735         rvec_add(f_l, svec, f_k);    /*  3      */
1736         rvec_inc(f[i], f_i);         /*  3      */
1737         rvec_dec(f[j], f_j);         /*  3      */
1738         rvec_dec(f[k], f_k);         /*  3      */
1739         rvec_inc(f[l], f_l);         /*  3      */
1740     }
1741 }
1742
1743 /* As do_dih_fup_noshiftf above, but with pre-calculated pre-factors */
1744 static gmx_inline void
1745 do_dih_fup_noshiftf_precalc(int i, int j, int k, int l,
1746                             real p, real q,
1747                             real f_i_x, real f_i_y, real f_i_z,
1748                             real mf_l_x, real mf_l_y, real mf_l_z,
1749                             rvec f[])
1750 {
1751     rvec f_i, f_j, f_k, f_l;
1752     rvec uvec, vvec, svec;
1753
1754     f_i[XX] = f_i_x;
1755     f_i[YY] = f_i_y;
1756     f_i[ZZ] = f_i_z;
1757     f_l[XX] = -mf_l_x;
1758     f_l[YY] = -mf_l_y;
1759     f_l[ZZ] = -mf_l_z;
1760     svmul(p, f_i, uvec);
1761     svmul(q, f_l, vvec);
1762     rvec_sub(uvec, vvec, svec);
1763     rvec_sub(f_i, svec, f_j);
1764     rvec_add(f_l, svec, f_k);
1765     rvec_inc(f[i], f_i);
1766     rvec_dec(f[j], f_j);
1767     rvec_dec(f[k], f_k);
1768     rvec_inc(f[l], f_l);
1769 }
1770
1771
1772 real dopdihs(real cpA, real cpB, real phiA, real phiB, int mult,
1773              real phi, real lambda, real *V, real *F)
1774 {
1775     real v, dvdlambda, mdphi, v1, sdphi, ddphi;
1776     real L1   = 1.0 - lambda;
1777     real ph0  = (L1*phiA + lambda*phiB)*DEG2RAD;
1778     real dph0 = (phiB - phiA)*DEG2RAD;
1779     real cp   = L1*cpA + lambda*cpB;
1780
1781     mdphi =  mult*phi - ph0;
1782     sdphi = sin(mdphi);
1783     ddphi = -cp*mult*sdphi;
1784     v1    = 1.0 + cos(mdphi);
1785     v     = cp*v1;
1786
1787     dvdlambda  = (cpB - cpA)*v1 + cp*dph0*sdphi;
1788
1789     *V = v;
1790     *F = ddphi;
1791
1792     return dvdlambda;
1793
1794     /* That was 40 flops */
1795 }
1796
1797 static void
1798 dopdihs_noener(real cpA, real cpB, real phiA, real phiB, int mult,
1799                real phi, real lambda, real *F)
1800 {
1801     real mdphi, sdphi, ddphi;
1802     real L1   = 1.0 - lambda;
1803     real ph0  = (L1*phiA + lambda*phiB)*DEG2RAD;
1804     real cp   = L1*cpA + lambda*cpB;
1805
1806     mdphi = mult*phi - ph0;
1807     sdphi = sin(mdphi);
1808     ddphi = -cp*mult*sdphi;
1809
1810     *F = ddphi;
1811
1812     /* That was 20 flops */
1813 }
1814
1815 static void
1816 dopdihs_mdphi(real cpA, real cpB, real phiA, real phiB, int mult,
1817               real phi, real lambda, real *cp, real *mdphi)
1818 {
1819     real L1   = 1.0 - lambda;
1820     real ph0  = (L1*phiA + lambda*phiB)*DEG2RAD;
1821
1822     *cp    = L1*cpA + lambda*cpB;
1823
1824     *mdphi = mult*phi - ph0;
1825 }
1826
1827 static real dopdihs_min(real cpA, real cpB, real phiA, real phiB, int mult,
1828                         real phi, real lambda, real *V, real *F)
1829 /* similar to dopdihs, except for a minus sign  *
1830  * and a different treatment of mult/phi0       */
1831 {
1832     real v, dvdlambda, mdphi, v1, sdphi, ddphi;
1833     real L1   = 1.0 - lambda;
1834     real ph0  = (L1*phiA + lambda*phiB)*DEG2RAD;
1835     real dph0 = (phiB - phiA)*DEG2RAD;
1836     real cp   = L1*cpA + lambda*cpB;
1837
1838     mdphi = mult*(phi-ph0);
1839     sdphi = sin(mdphi);
1840     ddphi = cp*mult*sdphi;
1841     v1    = 1.0-cos(mdphi);
1842     v     = cp*v1;
1843
1844     dvdlambda  = (cpB-cpA)*v1 + cp*dph0*sdphi;
1845
1846     *V = v;
1847     *F = ddphi;
1848
1849     return dvdlambda;
1850
1851     /* That was 40 flops */
1852 }
1853
1854 real pdihs(int nbonds,
1855            const t_iatom forceatoms[], const t_iparams forceparams[],
1856            const rvec x[], rvec f[], rvec fshift[],
1857            const t_pbc *pbc, const t_graph *g,
1858            real lambda, real *dvdlambda,
1859            const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
1860            int gmx_unused *global_atom_index)
1861 {
1862     int  i, type, ai, aj, ak, al;
1863     int  t1, t2, t3;
1864     rvec r_ij, r_kj, r_kl, m, n;
1865     real phi, sign, ddphi, vpd, vtot;
1866
1867     vtot = 0.0;
1868
1869     for (i = 0; (i < nbonds); )
1870     {
1871         type = forceatoms[i++];
1872         ai   = forceatoms[i++];
1873         aj   = forceatoms[i++];
1874         ak   = forceatoms[i++];
1875         al   = forceatoms[i++];
1876
1877         phi = dih_angle(x[ai], x[aj], x[ak], x[al], pbc, r_ij, r_kj, r_kl, m, n,
1878                         &sign, &t1, &t2, &t3);  /*  84      */
1879         *dvdlambda += dopdihs(forceparams[type].pdihs.cpA,
1880                               forceparams[type].pdihs.cpB,
1881                               forceparams[type].pdihs.phiA,
1882                               forceparams[type].pdihs.phiB,
1883                               forceparams[type].pdihs.mult,
1884                               phi, lambda, &vpd, &ddphi);
1885
1886         vtot += vpd;
1887         do_dih_fup(ai, aj, ak, al, ddphi, r_ij, r_kj, r_kl, m, n,
1888                    f, fshift, pbc, g, x, t1, t2, t3); /* 112            */
1889
1890 #ifdef DEBUG
1891         fprintf(debug, "pdih: (%d,%d,%d,%d) phi=%g\n",
1892                 ai, aj, ak, al, phi);
1893 #endif
1894     } /* 223 TOTAL  */
1895
1896     return vtot;
1897 }
1898
1899 void make_dp_periodic(real *dp)  /* 1 flop? */
1900 {
1901     /* dp cannot be outside (-pi,pi) */
1902     if (*dp >= M_PI)
1903     {
1904         *dp -= 2*M_PI;
1905     }
1906     else if (*dp < -M_PI)
1907     {
1908         *dp += 2*M_PI;
1909     }
1910     return;
1911 }
1912
1913 /* As pdihs above, but without calculating energies and shift forces */
1914 static void
1915 pdihs_noener(int nbonds,
1916              const t_iatom forceatoms[], const t_iparams forceparams[],
1917              const rvec x[], rvec f[],
1918              const t_pbc gmx_unused *pbc, const t_graph gmx_unused *g,
1919              real lambda,
1920              const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
1921              int gmx_unused *global_atom_index)
1922 {
1923     int  i, type, ai, aj, ak, al;
1924     int  t1, t2, t3;
1925     rvec r_ij, r_kj, r_kl, m, n;
1926     real phi, sign, ddphi_tot, ddphi;
1927
1928     for (i = 0; (i < nbonds); )
1929     {
1930         ai   = forceatoms[i+1];
1931         aj   = forceatoms[i+2];
1932         ak   = forceatoms[i+3];
1933         al   = forceatoms[i+4];
1934
1935         phi = dih_angle(x[ai], x[aj], x[ak], x[al], pbc, r_ij, r_kj, r_kl, m, n,
1936                         &sign, &t1, &t2, &t3);
1937
1938         ddphi_tot = 0;
1939
1940         /* Loop over dihedrals working on the same atoms,
1941          * so we avoid recalculating angles and force distributions.
1942          */
1943         do
1944         {
1945             type = forceatoms[i];
1946             dopdihs_noener(forceparams[type].pdihs.cpA,
1947                            forceparams[type].pdihs.cpB,
1948                            forceparams[type].pdihs.phiA,
1949                            forceparams[type].pdihs.phiB,
1950                            forceparams[type].pdihs.mult,
1951                            phi, lambda, &ddphi);
1952             ddphi_tot += ddphi;
1953
1954             i += 5;
1955         }
1956         while (i < nbonds &&
1957                forceatoms[i+1] == ai &&
1958                forceatoms[i+2] == aj &&
1959                forceatoms[i+3] == ak &&
1960                forceatoms[i+4] == al);
1961
1962         do_dih_fup_noshiftf(ai, aj, ak, al, ddphi_tot, r_ij, r_kj, r_kl, m, n, f);
1963     }
1964 }
1965
1966
1967 #ifdef GMX_SIMD_HAVE_REAL
1968
1969 /* As pdihs_noner above, but using SIMD to calculate many dihedrals at once */
1970 static void
1971 pdihs_noener_simd(int nbonds,
1972                   const t_iatom forceatoms[], const t_iparams forceparams[],
1973                   const rvec x[], rvec f[],
1974                   const t_pbc *pbc, const t_graph gmx_unused *g,
1975                   real gmx_unused lambda,
1976                   const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
1977                   int gmx_unused *global_atom_index)
1978 {
1979     const int             nfa1 = 5;
1980     int                   i, iu, s;
1981     int                   type, ai[GMX_SIMD_REAL_WIDTH], aj[GMX_SIMD_REAL_WIDTH], ak[GMX_SIMD_REAL_WIDTH], al[GMX_SIMD_REAL_WIDTH];
1982     int                   t1[GMX_SIMD_REAL_WIDTH], t2[GMX_SIMD_REAL_WIDTH], t3[GMX_SIMD_REAL_WIDTH];
1983     real                  ddphi;
1984     real                  dr_array[3*DIM*GMX_SIMD_REAL_WIDTH+GMX_SIMD_REAL_WIDTH], *dr;
1985     real                  buf_array[7*GMX_SIMD_REAL_WIDTH+GMX_SIMD_REAL_WIDTH], *buf;
1986     real                 *cp, *phi0, *mult, *phi, *p, *q, *sf_i, *msf_l;
1987     gmx_simd_real_t       phi0_S, phi_S;
1988     gmx_simd_real_t       mx_S, my_S, mz_S;
1989     gmx_simd_real_t       nx_S, ny_S, nz_S;
1990     gmx_simd_real_t       nrkj_m2_S, nrkj_n2_S;
1991     gmx_simd_real_t       cp_S, mdphi_S, mult_S;
1992     gmx_simd_real_t       sin_S, cos_S;
1993     gmx_simd_real_t       mddphi_S;
1994     gmx_simd_real_t       sf_i_S, msf_l_S;
1995     pbc_simd_t            pbc_simd;
1996
1997     /* Ensure SIMD register alignment */
1998     dr  = gmx_simd_align_r(dr_array);
1999     buf = gmx_simd_align_r(buf_array);
2000
2001     /* Extract aligned pointer for parameters and variables */
2002     cp    = buf + 0*GMX_SIMD_REAL_WIDTH;
2003     phi0  = buf + 1*GMX_SIMD_REAL_WIDTH;
2004     mult  = buf + 2*GMX_SIMD_REAL_WIDTH;
2005     p     = buf + 3*GMX_SIMD_REAL_WIDTH;
2006     q     = buf + 4*GMX_SIMD_REAL_WIDTH;
2007     sf_i  = buf + 5*GMX_SIMD_REAL_WIDTH;
2008     msf_l = buf + 6*GMX_SIMD_REAL_WIDTH;
2009
2010     set_pbc_simd(pbc, &pbc_simd);
2011
2012     /* nbonds is the number of dihedrals times nfa1, here we step GMX_SIMD_REAL_WIDTH dihs */
2013     for (i = 0; (i < nbonds); i += GMX_SIMD_REAL_WIDTH*nfa1)
2014     {
2015         /* Collect atoms quadruplets for GMX_SIMD_REAL_WIDTH dihedrals.
2016          * iu indexes into forceatoms, we should not let iu go beyond nbonds.
2017          */
2018         iu = i;
2019         for (s = 0; s < GMX_SIMD_REAL_WIDTH; s++)
2020         {
2021             type  = forceatoms[iu];
2022             ai[s] = forceatoms[iu+1];
2023             aj[s] = forceatoms[iu+2];
2024             ak[s] = forceatoms[iu+3];
2025             al[s] = forceatoms[iu+4];
2026
2027             cp[s]   = forceparams[type].pdihs.cpA;
2028             phi0[s] = forceparams[type].pdihs.phiA*DEG2RAD;
2029             mult[s] = forceparams[type].pdihs.mult;
2030
2031             /* At the end fill the arrays with identical entries */
2032             if (iu + nfa1 < nbonds)
2033             {
2034                 iu += nfa1;
2035             }
2036         }
2037
2038         /* Caclulate GMX_SIMD_REAL_WIDTH dihedral angles at once */
2039         dih_angle_simd(x, ai, aj, ak, al, &pbc_simd,
2040                        dr,
2041                        &phi_S,
2042                        &mx_S, &my_S, &mz_S,
2043                        &nx_S, &ny_S, &nz_S,
2044                        &nrkj_m2_S,
2045                        &nrkj_n2_S,
2046                        p, q);
2047
2048         cp_S     = gmx_simd_load_r(cp);
2049         phi0_S   = gmx_simd_load_r(phi0);
2050         mult_S   = gmx_simd_load_r(mult);
2051
2052         mdphi_S  = gmx_simd_sub_r(gmx_simd_mul_r(mult_S, phi_S), phi0_S);
2053
2054         /* Calculate GMX_SIMD_REAL_WIDTH sines at once */
2055         gmx_simd_sincos_r(mdphi_S, &sin_S, &cos_S);
2056         mddphi_S = gmx_simd_mul_r(gmx_simd_mul_r(cp_S, mult_S), sin_S);
2057         sf_i_S   = gmx_simd_mul_r(mddphi_S, nrkj_m2_S);
2058         msf_l_S  = gmx_simd_mul_r(mddphi_S, nrkj_n2_S);
2059
2060         /* After this m?_S will contain f[i] */
2061         mx_S     = gmx_simd_mul_r(sf_i_S, mx_S);
2062         my_S     = gmx_simd_mul_r(sf_i_S, my_S);
2063         mz_S     = gmx_simd_mul_r(sf_i_S, mz_S);
2064
2065         /* After this m?_S will contain -f[l] */
2066         nx_S     = gmx_simd_mul_r(msf_l_S, nx_S);
2067         ny_S     = gmx_simd_mul_r(msf_l_S, ny_S);
2068         nz_S     = gmx_simd_mul_r(msf_l_S, nz_S);
2069
2070         gmx_simd_store_r(dr + 0*GMX_SIMD_REAL_WIDTH, mx_S);
2071         gmx_simd_store_r(dr + 1*GMX_SIMD_REAL_WIDTH, my_S);
2072         gmx_simd_store_r(dr + 2*GMX_SIMD_REAL_WIDTH, mz_S);
2073         gmx_simd_store_r(dr + 3*GMX_SIMD_REAL_WIDTH, nx_S);
2074         gmx_simd_store_r(dr + 4*GMX_SIMD_REAL_WIDTH, ny_S);
2075         gmx_simd_store_r(dr + 5*GMX_SIMD_REAL_WIDTH, nz_S);
2076
2077         iu = i;
2078         s  = 0;
2079         do
2080         {
2081             do_dih_fup_noshiftf_precalc(ai[s], aj[s], ak[s], al[s],
2082                                         p[s], q[s],
2083                                         dr[     XX *GMX_SIMD_REAL_WIDTH+s],
2084                                         dr[     YY *GMX_SIMD_REAL_WIDTH+s],
2085                                         dr[     ZZ *GMX_SIMD_REAL_WIDTH+s],
2086                                         dr[(DIM+XX)*GMX_SIMD_REAL_WIDTH+s],
2087                                         dr[(DIM+YY)*GMX_SIMD_REAL_WIDTH+s],
2088                                         dr[(DIM+ZZ)*GMX_SIMD_REAL_WIDTH+s],
2089                                         f);
2090             s++;
2091             iu += nfa1;
2092         }
2093         while (s < GMX_SIMD_REAL_WIDTH && iu < nbonds);
2094     }
2095 }
2096
2097 #endif /* GMX_SIMD_HAVE_REAL */
2098
2099
2100 real idihs(int nbonds,
2101            const t_iatom forceatoms[], const t_iparams forceparams[],
2102            const rvec x[], rvec f[], rvec fshift[],
2103            const t_pbc *pbc, const t_graph *g,
2104            real lambda, real *dvdlambda,
2105            const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2106            int gmx_unused *global_atom_index)
2107 {
2108     int  i, type, ai, aj, ak, al;
2109     int  t1, t2, t3;
2110     real phi, phi0, dphi0, ddphi, sign, vtot;
2111     rvec r_ij, r_kj, r_kl, m, n;
2112     real L1, kk, dp, dp2, kA, kB, pA, pB, dvdl_term;
2113
2114     L1        = 1.0-lambda;
2115     dvdl_term = 0;
2116     vtot      = 0.0;
2117     for (i = 0; (i < nbonds); )
2118     {
2119         type = forceatoms[i++];
2120         ai   = forceatoms[i++];
2121         aj   = forceatoms[i++];
2122         ak   = forceatoms[i++];
2123         al   = forceatoms[i++];
2124
2125         phi = dih_angle(x[ai], x[aj], x[ak], x[al], pbc, r_ij, r_kj, r_kl, m, n,
2126                         &sign, &t1, &t2, &t3);  /*  84          */
2127
2128         /* phi can jump if phi0 is close to Pi/-Pi, which will cause huge
2129          * force changes if we just apply a normal harmonic.
2130          * Instead, we first calculate phi-phi0 and take it modulo (-Pi,Pi).
2131          * This means we will never have the periodicity problem, unless
2132          * the dihedral is Pi away from phiO, which is very unlikely due to
2133          * the potential.
2134          */
2135         kA = forceparams[type].harmonic.krA;
2136         kB = forceparams[type].harmonic.krB;
2137         pA = forceparams[type].harmonic.rA;
2138         pB = forceparams[type].harmonic.rB;
2139
2140         kk    = L1*kA + lambda*kB;
2141         phi0  = (L1*pA + lambda*pB)*DEG2RAD;
2142         dphi0 = (pB - pA)*DEG2RAD;
2143
2144         dp = phi-phi0;
2145
2146         make_dp_periodic(&dp);
2147
2148         dp2 = dp*dp;
2149
2150         vtot += 0.5*kk*dp2;
2151         ddphi = -kk*dp;
2152
2153         dvdl_term += 0.5*(kB - kA)*dp2 - kk*dphi0*dp;
2154
2155         do_dih_fup(ai, aj, ak, al, (real)(-ddphi), r_ij, r_kj, r_kl, m, n,
2156                    f, fshift, pbc, g, x, t1, t2, t3); /* 112            */
2157         /* 218 TOTAL    */
2158 #ifdef DEBUG
2159         if (debug)
2160         {
2161             fprintf(debug, "idih: (%d,%d,%d,%d) phi=%g\n",
2162                     ai, aj, ak, al, phi);
2163         }
2164 #endif
2165     }
2166
2167     *dvdlambda += dvdl_term;
2168     return vtot;
2169 }
2170
2171
2172 /*! \brief returns dx, rdist, and dpdl for functions posres() and fbposres()
2173  */
2174 static void posres_dx(const rvec x, const rvec pos0A, const rvec pos0B,
2175                       const rvec comA_sc, const rvec comB_sc,
2176                       real lambda,
2177                       t_pbc *pbc, int refcoord_scaling, int npbcdim,
2178                       rvec dx, rvec rdist, rvec dpdl)
2179 {
2180     int  m, d;
2181     real posA, posB, L1, ref = 0.;
2182     rvec pos;
2183
2184     L1 = 1.0-lambda;
2185
2186     for (m = 0; m < DIM; m++)
2187     {
2188         posA = pos0A[m];
2189         posB = pos0B[m];
2190         if (m < npbcdim)
2191         {
2192             switch (refcoord_scaling)
2193             {
2194                 case erscNO:
2195                     ref      = 0;
2196                     rdist[m] = L1*posA + lambda*posB;
2197                     dpdl[m]  = posB - posA;
2198                     break;
2199                 case erscALL:
2200                     /* Box relative coordinates are stored for dimensions with pbc */
2201                     posA *= pbc->box[m][m];
2202                     posB *= pbc->box[m][m];
2203                     assert(npbcdim <= DIM);
2204                     for (d = m+1; d < npbcdim; d++)
2205                     {
2206                         posA += pos0A[d]*pbc->box[d][m];
2207                         posB += pos0B[d]*pbc->box[d][m];
2208                     }
2209                     ref      = L1*posA + lambda*posB;
2210                     rdist[m] = 0;
2211                     dpdl[m]  = posB - posA;
2212                     break;
2213                 case erscCOM:
2214                     ref      = L1*comA_sc[m] + lambda*comB_sc[m];
2215                     rdist[m] = L1*posA       + lambda*posB;
2216                     dpdl[m]  = comB_sc[m] - comA_sc[m] + posB - posA;
2217                     break;
2218                 default:
2219                     gmx_fatal(FARGS, "No such scaling method implemented");
2220             }
2221         }
2222         else
2223         {
2224             ref      = L1*posA + lambda*posB;
2225             rdist[m] = 0;
2226             dpdl[m]  = posB - posA;
2227         }
2228
2229         /* We do pbc_dx with ref+rdist,
2230          * since with only ref we can be up to half a box vector wrong.
2231          */
2232         pos[m] = ref + rdist[m];
2233     }
2234
2235     if (pbc)
2236     {
2237         pbc_dx(pbc, x, pos, dx);
2238     }
2239     else
2240     {
2241         rvec_sub(x, pos, dx);
2242     }
2243 }
2244
2245 /*! \brief Adds forces of flat-bottomed positions restraints to f[]
2246  *         and fixes vir_diag. Returns the flat-bottomed potential. */
2247 real fbposres(int nbonds,
2248               const t_iatom forceatoms[], const t_iparams forceparams[],
2249               const rvec x[], rvec f[], rvec vir_diag,
2250               t_pbc *pbc,
2251               int refcoord_scaling, int ePBC, rvec com)
2252 /* compute flat-bottomed positions restraints */
2253 {
2254     int              i, ai, m, d, type, npbcdim = 0, fbdim;
2255     const t_iparams *pr;
2256     real             vtot, kk, v;
2257     real             ref = 0, dr, dr2, rpot, rfb, rfb2, fact, invdr;
2258     rvec             com_sc, rdist, pos, dx, dpdl, fm;
2259     gmx_bool         bInvert;
2260
2261     npbcdim = ePBC2npbcdim(ePBC);
2262
2263     if (refcoord_scaling == erscCOM)
2264     {
2265         clear_rvec(com_sc);
2266         for (m = 0; m < npbcdim; m++)
2267         {
2268             assert(npbcdim <= DIM);
2269             for (d = m; d < npbcdim; d++)
2270             {
2271                 com_sc[m] += com[d]*pbc->box[d][m];
2272             }
2273         }
2274     }
2275
2276     vtot = 0.0;
2277     for (i = 0; (i < nbonds); )
2278     {
2279         type = forceatoms[i++];
2280         ai   = forceatoms[i++];
2281         pr   = &forceparams[type];
2282
2283         /* same calculation as for normal posres, but with identical A and B states, and lambda==0 */
2284         posres_dx(x[ai], forceparams[type].fbposres.pos0, forceparams[type].fbposres.pos0,
2285                   com_sc, com_sc, 0.0,
2286                   pbc, refcoord_scaling, npbcdim,
2287                   dx, rdist, dpdl);
2288
2289         clear_rvec(fm);
2290         v = 0.0;
2291
2292         kk   = pr->fbposres.k;
2293         rfb  = pr->fbposres.r;
2294         rfb2 = sqr(rfb);
2295
2296         /* with rfb<0, push particle out of the sphere/cylinder/layer */
2297         bInvert = FALSE;
2298         if (rfb < 0.)
2299         {
2300             bInvert = TRUE;
2301             rfb     = -rfb;
2302         }
2303
2304         switch (pr->fbposres.geom)
2305         {
2306             case efbposresSPHERE:
2307                 /* spherical flat-bottom posres */
2308                 dr2 = norm2(dx);
2309                 if (dr2 > 0.0 &&
2310                     ( (dr2 > rfb2 && bInvert == FALSE ) || (dr2 < rfb2 && bInvert == TRUE ) )
2311                     )
2312                 {
2313                     dr   = sqrt(dr2);
2314                     v    = 0.5*kk*sqr(dr - rfb);
2315                     fact = -kk*(dr-rfb)/dr; /* Force pointing to the center pos0 */
2316                     svmul(fact, dx, fm);
2317                 }
2318                 break;
2319             case efbposresCYLINDER:
2320                 /* cylidrical flat-bottom posres in x-y plane. fm[ZZ] = 0. */
2321                 dr2 = sqr(dx[XX])+sqr(dx[YY]);
2322                 if  (dr2 > 0.0 &&
2323                      ( (dr2 > rfb2 && bInvert == FALSE ) || (dr2 < rfb2 && bInvert == TRUE ) )
2324                      )
2325                 {
2326                     dr     = sqrt(dr2);
2327                     invdr  = 1./dr;
2328                     v      = 0.5*kk*sqr(dr - rfb);
2329                     fm[XX] = -kk*(dr-rfb)*dx[XX]*invdr; /* Force pointing to the center */
2330                     fm[YY] = -kk*(dr-rfb)*dx[YY]*invdr;
2331                 }
2332                 break;
2333             case efbposresX: /* fbdim=XX */
2334             case efbposresY: /* fbdim=YY */
2335             case efbposresZ: /* fbdim=ZZ */
2336                 /* 1D flat-bottom potential */
2337                 fbdim = pr->fbposres.geom - efbposresX;
2338                 dr    = dx[fbdim];
2339                 if ( ( dr > rfb && bInvert == FALSE ) || ( 0 < dr && dr < rfb && bInvert == TRUE )  )
2340                 {
2341                     v         = 0.5*kk*sqr(dr - rfb);
2342                     fm[fbdim] = -kk*(dr - rfb);
2343                 }
2344                 else if ( (dr < (-rfb) && bInvert == FALSE ) || ( (-rfb) < dr && dr < 0 && bInvert == TRUE ))
2345                 {
2346                     v         = 0.5*kk*sqr(dr + rfb);
2347                     fm[fbdim] = -kk*(dr + rfb);
2348                 }
2349                 break;
2350         }
2351
2352         vtot += v;
2353
2354         for (m = 0; (m < DIM); m++)
2355         {
2356             f[ai][m]   += fm[m];
2357             /* Here we correct for the pbc_dx which included rdist */
2358             vir_diag[m] -= 0.5*(dx[m] + rdist[m])*fm[m];
2359         }
2360     }
2361
2362     return vtot;
2363 }
2364
2365
2366 real posres(int nbonds,
2367             const t_iatom forceatoms[], const t_iparams forceparams[],
2368             const rvec x[], rvec f[], rvec vir_diag,
2369             t_pbc *pbc,
2370             real lambda, real *dvdlambda,
2371             int refcoord_scaling, int ePBC, rvec comA, rvec comB)
2372 {
2373     int              i, ai, m, d, type, ki, npbcdim = 0;
2374     const t_iparams *pr;
2375     real             L1;
2376     real             vtot, kk, fm;
2377     real             posA, posB, ref = 0;
2378     rvec             comA_sc, comB_sc, rdist, dpdl, pos, dx;
2379     gmx_bool         bForceValid = TRUE;
2380
2381     if ((f == NULL) || (vir_diag == NULL))    /* should both be null together! */
2382     {
2383         bForceValid = FALSE;
2384     }
2385
2386     npbcdim = ePBC2npbcdim(ePBC);
2387
2388     if (refcoord_scaling == erscCOM)
2389     {
2390         clear_rvec(comA_sc);
2391         clear_rvec(comB_sc);
2392         for (m = 0; m < npbcdim; m++)
2393         {
2394             assert(npbcdim <= DIM);
2395             for (d = m; d < npbcdim; d++)
2396             {
2397                 comA_sc[m] += comA[d]*pbc->box[d][m];
2398                 comB_sc[m] += comB[d]*pbc->box[d][m];
2399             }
2400         }
2401     }
2402
2403     L1 = 1.0 - lambda;
2404
2405     vtot = 0.0;
2406     for (i = 0; (i < nbonds); )
2407     {
2408         type = forceatoms[i++];
2409         ai   = forceatoms[i++];
2410         pr   = &forceparams[type];
2411
2412         /* return dx, rdist, and dpdl */
2413         posres_dx(x[ai], forceparams[type].posres.pos0A, forceparams[type].posres.pos0B,
2414                   comA_sc, comB_sc, lambda,
2415                   pbc, refcoord_scaling, npbcdim,
2416                   dx, rdist, dpdl);
2417
2418         for (m = 0; (m < DIM); m++)
2419         {
2420             kk          = L1*pr->posres.fcA[m] + lambda*pr->posres.fcB[m];
2421             fm          = -kk*dx[m];
2422             vtot       += 0.5*kk*dx[m]*dx[m];
2423             *dvdlambda +=
2424                 0.5*(pr->posres.fcB[m] - pr->posres.fcA[m])*dx[m]*dx[m]
2425                 -fm*dpdl[m];
2426
2427             /* Here we correct for the pbc_dx which included rdist */
2428             if (bForceValid)
2429             {
2430                 f[ai][m]    += fm;
2431                 vir_diag[m] -= 0.5*(dx[m] + rdist[m])*fm;
2432             }
2433         }
2434     }
2435
2436     return vtot;
2437 }
2438
2439 static real low_angres(int nbonds,
2440                        const t_iatom forceatoms[], const t_iparams forceparams[],
2441                        const rvec x[], rvec f[], rvec fshift[],
2442                        const t_pbc *pbc, const t_graph *g,
2443                        real lambda, real *dvdlambda,
2444                        gmx_bool bZAxis)
2445 {
2446     int  i, m, type, ai, aj, ak, al;
2447     int  t1, t2;
2448     real phi, cos_phi, cos_phi2, vid, vtot, dVdphi;
2449     rvec r_ij, r_kl, f_i, f_k = {0, 0, 0};
2450     real st, sth, nrij2, nrkl2, c, cij, ckl;
2451
2452     ivec dt;
2453     t2 = 0; /* avoid warning with gcc-3.3. It is never used uninitialized */
2454
2455     vtot = 0.0;
2456     ak   = al = 0; /* to avoid warnings */
2457     for (i = 0; i < nbonds; )
2458     {
2459         type = forceatoms[i++];
2460         ai   = forceatoms[i++];
2461         aj   = forceatoms[i++];
2462         t1   = pbc_rvec_sub(pbc, x[aj], x[ai], r_ij);       /*  3               */
2463         if (!bZAxis)
2464         {
2465             ak   = forceatoms[i++];
2466             al   = forceatoms[i++];
2467             t2   = pbc_rvec_sub(pbc, x[al], x[ak], r_kl);  /*  3                */
2468         }
2469         else
2470         {
2471             r_kl[XX] = 0;
2472             r_kl[YY] = 0;
2473             r_kl[ZZ] = 1;
2474         }
2475
2476         cos_phi = cos_angle(r_ij, r_kl); /* 25          */
2477         phi     = acos(cos_phi);         /* 10           */
2478
2479         *dvdlambda += dopdihs_min(forceparams[type].pdihs.cpA,
2480                                   forceparams[type].pdihs.cpB,
2481                                   forceparams[type].pdihs.phiA,
2482                                   forceparams[type].pdihs.phiB,
2483                                   forceparams[type].pdihs.mult,
2484                                   phi, lambda, &vid, &dVdphi); /*  40  */
2485
2486         vtot += vid;
2487
2488         cos_phi2 = sqr(cos_phi);                /*   1          */
2489         if (cos_phi2 < 1)
2490         {
2491             st    = -dVdphi*gmx_invsqrt(1 - cos_phi2); /*  12           */
2492             sth   = st*cos_phi;                        /*   1           */
2493             nrij2 = iprod(r_ij, r_ij);                 /*   5           */
2494             nrkl2 = iprod(r_kl, r_kl);                 /*   5          */
2495
2496             c   = st*gmx_invsqrt(nrij2*nrkl2);         /*  11           */
2497             cij = sth/nrij2;                           /*  10           */
2498             ckl = sth/nrkl2;                           /*  10           */
2499
2500             for (m = 0; m < DIM; m++)                  /*  18+18       */
2501             {
2502                 f_i[m]    = (c*r_kl[m]-cij*r_ij[m]);
2503                 f[ai][m] += f_i[m];
2504                 f[aj][m] -= f_i[m];
2505                 if (!bZAxis)
2506                 {
2507                     f_k[m]    = (c*r_ij[m]-ckl*r_kl[m]);
2508                     f[ak][m] += f_k[m];
2509                     f[al][m] -= f_k[m];
2510                 }
2511             }
2512
2513             if (g)
2514             {
2515                 ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
2516                 t1 = IVEC2IS(dt);
2517             }
2518             rvec_inc(fshift[t1], f_i);
2519             rvec_dec(fshift[CENTRAL], f_i);
2520             if (!bZAxis)
2521             {
2522                 if (g)
2523                 {
2524                     ivec_sub(SHIFT_IVEC(g, ak), SHIFT_IVEC(g, al), dt);
2525                     t2 = IVEC2IS(dt);
2526                 }
2527                 rvec_inc(fshift[t2], f_k);
2528                 rvec_dec(fshift[CENTRAL], f_k);
2529             }
2530         }
2531     }
2532
2533     return vtot; /*  184 / 157 (bZAxis)  total  */
2534 }
2535
2536 real angres(int nbonds,
2537             const t_iatom forceatoms[], const t_iparams forceparams[],
2538             const rvec x[], rvec f[], rvec fshift[],
2539             const t_pbc *pbc, const t_graph *g,
2540             real lambda, real *dvdlambda,
2541             const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2542             int gmx_unused *global_atom_index)
2543 {
2544     return low_angres(nbonds, forceatoms, forceparams, x, f, fshift, pbc, g,
2545                       lambda, dvdlambda, FALSE);
2546 }
2547
2548 real angresz(int nbonds,
2549              const t_iatom forceatoms[], const t_iparams forceparams[],
2550              const rvec x[], rvec f[], rvec fshift[],
2551              const t_pbc *pbc, const t_graph *g,
2552              real lambda, real *dvdlambda,
2553              const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2554              int gmx_unused *global_atom_index)
2555 {
2556     return low_angres(nbonds, forceatoms, forceparams, x, f, fshift, pbc, g,
2557                       lambda, dvdlambda, TRUE);
2558 }
2559
2560 real dihres(int nbonds,
2561             const t_iatom forceatoms[], const t_iparams forceparams[],
2562             const rvec x[], rvec f[], rvec fshift[],
2563             const t_pbc *pbc, const t_graph *g,
2564             real lambda, real *dvdlambda,
2565             const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2566             int gmx_unused  *global_atom_index)
2567 {
2568     real vtot = 0;
2569     int  ai, aj, ak, al, i, k, type, t1, t2, t3;
2570     real phi0A, phi0B, dphiA, dphiB, kfacA, kfacB, phi0, dphi, kfac;
2571     real phi, ddphi, ddp, ddp2, dp, sign, d2r, fc, L1;
2572     rvec r_ij, r_kj, r_kl, m, n;
2573
2574     L1 = 1.0-lambda;
2575
2576     d2r = DEG2RAD;
2577     k   = 0;
2578
2579     for (i = 0; (i < nbonds); )
2580     {
2581         type = forceatoms[i++];
2582         ai   = forceatoms[i++];
2583         aj   = forceatoms[i++];
2584         ak   = forceatoms[i++];
2585         al   = forceatoms[i++];
2586
2587         phi0A  = forceparams[type].dihres.phiA*d2r;
2588         dphiA  = forceparams[type].dihres.dphiA*d2r;
2589         kfacA  = forceparams[type].dihres.kfacA;
2590
2591         phi0B  = forceparams[type].dihres.phiB*d2r;
2592         dphiB  = forceparams[type].dihres.dphiB*d2r;
2593         kfacB  = forceparams[type].dihres.kfacB;
2594
2595         phi0  = L1*phi0A + lambda*phi0B;
2596         dphi  = L1*dphiA + lambda*dphiB;
2597         kfac  = L1*kfacA + lambda*kfacB;
2598
2599         phi = dih_angle(x[ai], x[aj], x[ak], x[al], pbc, r_ij, r_kj, r_kl, m, n,
2600                         &sign, &t1, &t2, &t3);
2601         /* 84 flops */
2602
2603         if (debug)
2604         {
2605             fprintf(debug, "dihres[%d]: %d %d %d %d : phi=%f, dphi=%f, kfac=%f\n",
2606                     k++, ai, aj, ak, al, phi0, dphi, kfac);
2607         }
2608         /* phi can jump if phi0 is close to Pi/-Pi, which will cause huge
2609          * force changes if we just apply a normal harmonic.
2610          * Instead, we first calculate phi-phi0 and take it modulo (-Pi,Pi).
2611          * This means we will never have the periodicity problem, unless
2612          * the dihedral is Pi away from phiO, which is very unlikely due to
2613          * the potential.
2614          */
2615         dp = phi-phi0;
2616         make_dp_periodic(&dp);
2617
2618         if (dp > dphi)
2619         {
2620             ddp = dp-dphi;
2621         }
2622         else if (dp < -dphi)
2623         {
2624             ddp = dp+dphi;
2625         }
2626         else
2627         {
2628             ddp = 0;
2629         }
2630
2631         if (ddp != 0.0)
2632         {
2633             ddp2  = ddp*ddp;
2634             vtot += 0.5*kfac*ddp2;
2635             ddphi = kfac*ddp;
2636
2637             *dvdlambda += 0.5*(kfacB - kfacA)*ddp2;
2638             /* lambda dependence from changing restraint distances */
2639             if (ddp > 0)
2640             {
2641                 *dvdlambda -= kfac*ddp*((dphiB - dphiA)+(phi0B - phi0A));
2642             }
2643             else if (ddp < 0)
2644             {
2645                 *dvdlambda += kfac*ddp*((dphiB - dphiA)-(phi0B - phi0A));
2646             }
2647             do_dih_fup(ai, aj, ak, al, ddphi, r_ij, r_kj, r_kl, m, n,
2648                        f, fshift, pbc, g, x, t1, t2, t3);      /* 112           */
2649         }
2650     }
2651     return vtot;
2652 }
2653
2654
2655 real unimplemented(int gmx_unused nbonds,
2656                    const t_iatom gmx_unused forceatoms[], const t_iparams gmx_unused forceparams[],
2657                    const rvec gmx_unused x[], rvec gmx_unused f[], rvec gmx_unused fshift[],
2658                    const t_pbc gmx_unused *pbc, const t_graph  gmx_unused *g,
2659                    real gmx_unused lambda, real gmx_unused *dvdlambda,
2660                    const t_mdatoms  gmx_unused *md, t_fcdata gmx_unused *fcd,
2661                    int gmx_unused *global_atom_index)
2662 {
2663     gmx_impl("*** you are using a not implemented function");
2664
2665     return 0.0; /* To make the compiler happy */
2666 }
2667
2668 real restrangles(int nbonds,
2669                  const t_iatom forceatoms[], const t_iparams forceparams[],
2670                  const rvec x[], rvec f[], rvec fshift[],
2671                  const t_pbc *pbc, const t_graph *g,
2672                  real gmx_unused lambda, real gmx_unused *dvdlambda,
2673                  const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2674                  int gmx_unused *global_atom_index)
2675 {
2676     int  i, d, ai, aj, ak, type, m;
2677     int  t1, t2;
2678     rvec r_ij, r_kj;
2679     real v, vtot;
2680     ivec jt, dt_ij, dt_kj;
2681     rvec f_i, f_j, f_k;
2682     real prefactor, ratio_ante, ratio_post;
2683     rvec delta_ante, delta_post, vec_temp;
2684
2685     vtot = 0.0;
2686     for (i = 0; (i < nbonds); )
2687     {
2688         type = forceatoms[i++];
2689         ai   = forceatoms[i++];
2690         aj   = forceatoms[i++];
2691         ak   = forceatoms[i++];
2692
2693         t1 = pbc_rvec_sub(pbc, x[ai], x[aj], vec_temp);
2694         pbc_rvec_sub(pbc, x[aj], x[ai], delta_ante);
2695         t2 = pbc_rvec_sub(pbc, x[ak], x[aj], delta_post);
2696
2697
2698         /* This function computes factors needed for restricted angle potential.
2699          * The restricted angle potential is used in coarse-grained simulations to avoid singularities
2700          * when three particles align and the dihedral angle and dihedral potential
2701          * cannot be calculated. This potential is calculated using the formula:
2702            real restrangles(int nbonds,
2703             const t_iatom forceatoms[],const t_iparams forceparams[],
2704             const rvec x[],rvec f[],rvec fshift[],
2705             const t_pbc *pbc,const t_graph *g,
2706             real gmx_unused lambda,real gmx_unused *dvdlambda,
2707             const t_mdatoms gmx_unused *md,t_fcdata gmx_unused *fcd,
2708             int gmx_unused *global_atom_index)
2709            {
2710            int  i, d, ai, aj, ak, type, m;
2711            int t1, t2;
2712            rvec r_ij,r_kj;
2713            real v, vtot;
2714            ivec jt,dt_ij,dt_kj;
2715            rvec f_i, f_j, f_k;
2716            real prefactor, ratio_ante, ratio_post;
2717            rvec delta_ante, delta_post, vec_temp;
2718
2719            vtot = 0.0;
2720            for(i=0; (i<nbonds); )
2721            {
2722            type = forceatoms[i++];
2723            ai   = forceatoms[i++];
2724            aj   = forceatoms[i++];
2725            ak   = forceatoms[i++];
2726
2727          * \f[V_{\rm ReB}(\theta_i) = \frac{1}{2} k_{\theta} \frac{(\cos\theta_i - \cos\theta_0)^2}
2728          * {\sin^2\theta_i}\f] ({eq:ReB} and ref \cite{MonicaGoga2013} from the manual).
2729          * For more explanations see comments file "restcbt.h". */
2730
2731         compute_factors_restangles(type, forceparams,  delta_ante, delta_post,
2732                                    &prefactor, &ratio_ante, &ratio_post, &v);
2733
2734         /*   Forces are computed per component */
2735         for (d = 0; d < DIM; d++)
2736         {
2737             f_i[d] = prefactor * (ratio_ante * delta_ante[d] - delta_post[d]);
2738             f_j[d] = prefactor * ((ratio_post + 1.0) * delta_post[d] - (ratio_ante + 1.0) * delta_ante[d]);
2739             f_k[d] = prefactor * (delta_ante[d] - ratio_post * delta_post[d]);
2740         }
2741
2742         /*   Computation of potential energy   */
2743
2744         vtot += v;
2745
2746         /*   Update forces */
2747
2748         for (m = 0; (m < DIM); m++)
2749         {
2750             f[ai][m] += f_i[m];
2751             f[aj][m] += f_j[m];
2752             f[ak][m] += f_k[m];
2753         }
2754
2755         if (g)
2756         {
2757             copy_ivec(SHIFT_IVEC(g, aj), jt);
2758             ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
2759             ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
2760             t1 = IVEC2IS(dt_ij);
2761             t2 = IVEC2IS(dt_kj);
2762         }
2763
2764         rvec_inc(fshift[t1], f_i);
2765         rvec_inc(fshift[CENTRAL], f_j);
2766         rvec_inc(fshift[t2], f_k);
2767     }
2768     return vtot;
2769 }
2770
2771
2772 real restrdihs(int nbonds,
2773                const t_iatom forceatoms[], const t_iparams forceparams[],
2774                const rvec x[], rvec f[], rvec fshift[],
2775                const t_pbc *pbc, const t_graph *g,
2776                real gmx_unused lambda, real gmx_unused *dvlambda,
2777                const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2778                int gmx_unused *global_atom_index)
2779 {
2780     int  i, d, type, ai, aj, ak, al;
2781     rvec f_i, f_j, f_k, f_l;
2782     rvec dx_jl;
2783     ivec jt, dt_ij, dt_kj, dt_lj;
2784     int  t1, t2, t3;
2785     real v, vtot;
2786     rvec delta_ante,  delta_crnt, delta_post, vec_temp;
2787     real factor_phi_ai_ante, factor_phi_ai_crnt, factor_phi_ai_post;
2788     real factor_phi_aj_ante, factor_phi_aj_crnt, factor_phi_aj_post;
2789     real factor_phi_ak_ante, factor_phi_ak_crnt, factor_phi_ak_post;
2790     real factor_phi_al_ante, factor_phi_al_crnt, factor_phi_al_post;
2791     real prefactor_phi;
2792
2793
2794     vtot = 0.0;
2795     for (i = 0; (i < nbonds); )
2796     {
2797         type = forceatoms[i++];
2798         ai   = forceatoms[i++];
2799         aj   = forceatoms[i++];
2800         ak   = forceatoms[i++];
2801         al   = forceatoms[i++];
2802
2803         t1 = pbc_rvec_sub(pbc, x[ai], x[aj], vec_temp);
2804         pbc_rvec_sub(pbc, x[aj], x[ai], delta_ante);
2805         t2 = pbc_rvec_sub(pbc, x[ak], x[aj], delta_crnt);
2806         t3 = pbc_rvec_sub(pbc, x[ak], x[al], vec_temp);
2807         pbc_rvec_sub(pbc, x[al], x[ak], delta_post);
2808
2809         /* This function computes factors needed for restricted angle potential.
2810          * The restricted angle potential is used in coarse-grained simulations to avoid singularities
2811          * when three particles align and the dihedral angle and dihedral potential cannot be calculated.
2812          * This potential is calculated using the formula:
2813          * \f[V_{\rm ReB}(\theta_i) = \frac{1}{2} k_{\theta}
2814          * \frac{(\cos\theta_i - \cos\theta_0)^2}{\sin^2\theta_i}\f]
2815          * ({eq:ReB} and ref \cite{MonicaGoga2013} from the manual).
2816          * For more explanations see comments file "restcbt.h" */
2817
2818         compute_factors_restrdihs(type, forceparams,
2819                                   delta_ante, delta_crnt, delta_post,
2820                                   &factor_phi_ai_ante, &factor_phi_ai_crnt, &factor_phi_ai_post,
2821                                   &factor_phi_aj_ante, &factor_phi_aj_crnt, &factor_phi_aj_post,
2822                                   &factor_phi_ak_ante, &factor_phi_ak_crnt, &factor_phi_ak_post,
2823                                   &factor_phi_al_ante, &factor_phi_al_crnt, &factor_phi_al_post,
2824                                   &prefactor_phi, &v);
2825
2826
2827         /*      Computation of forces per component */
2828         for (d = 0; d < DIM; d++)
2829         {
2830             f_i[d] = prefactor_phi * (factor_phi_ai_ante * delta_ante[d] + factor_phi_ai_crnt * delta_crnt[d] + factor_phi_ai_post * delta_post[d]);
2831             f_j[d] = prefactor_phi * (factor_phi_aj_ante * delta_ante[d] + factor_phi_aj_crnt * delta_crnt[d] + factor_phi_aj_post * delta_post[d]);
2832             f_k[d] = prefactor_phi * (factor_phi_ak_ante * delta_ante[d] + factor_phi_ak_crnt * delta_crnt[d] + factor_phi_ak_post * delta_post[d]);
2833             f_l[d] = prefactor_phi * (factor_phi_al_ante * delta_ante[d] + factor_phi_al_crnt * delta_crnt[d] + factor_phi_al_post * delta_post[d]);
2834         }
2835         /*      Computation of the energy */
2836
2837         vtot += v;
2838
2839
2840
2841         /*    Updating the forces */
2842
2843         rvec_inc(f[ai], f_i);
2844         rvec_inc(f[aj], f_j);
2845         rvec_inc(f[ak], f_k);
2846         rvec_inc(f[al], f_l);
2847
2848
2849         /* Updating the fshift forces for the pressure coupling */
2850         if (g)
2851         {
2852             copy_ivec(SHIFT_IVEC(g, aj), jt);
2853             ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
2854             ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
2855             ivec_sub(SHIFT_IVEC(g, al), jt, dt_lj);
2856             t1 = IVEC2IS(dt_ij);
2857             t2 = IVEC2IS(dt_kj);
2858             t3 = IVEC2IS(dt_lj);
2859         }
2860         else if (pbc)
2861         {
2862             t3 = pbc_rvec_sub(pbc, x[al], x[aj], dx_jl);
2863         }
2864         else
2865         {
2866             t3 = CENTRAL;
2867         }
2868
2869         rvec_inc(fshift[t1], f_i);
2870         rvec_inc(fshift[CENTRAL], f_j);
2871         rvec_inc(fshift[t2], f_k);
2872         rvec_inc(fshift[t3], f_l);
2873
2874     }
2875
2876     return vtot;
2877 }
2878
2879
2880 real cbtdihs(int nbonds,
2881              const t_iatom forceatoms[], const t_iparams forceparams[],
2882              const rvec x[], rvec f[], rvec fshift[],
2883              const t_pbc *pbc, const t_graph *g,
2884              real gmx_unused lambda, real gmx_unused *dvdlambda,
2885              const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2886              int gmx_unused *global_atom_index)
2887 {
2888     int  type, ai, aj, ak, al, i, d;
2889     int  t1, t2, t3;
2890     real v, vtot;
2891     rvec vec_temp;
2892     rvec f_i, f_j, f_k, f_l;
2893     ivec jt, dt_ij, dt_kj, dt_lj;
2894     rvec dx_jl;
2895     rvec delta_ante, delta_crnt, delta_post;
2896     rvec f_phi_ai, f_phi_aj, f_phi_ak, f_phi_al;
2897     rvec f_theta_ante_ai, f_theta_ante_aj, f_theta_ante_ak;
2898     rvec f_theta_post_aj, f_theta_post_ak, f_theta_post_al;
2899
2900
2901
2902
2903     vtot = 0.0;
2904     for (i = 0; (i < nbonds); )
2905     {
2906         type = forceatoms[i++];
2907         ai   = forceatoms[i++];
2908         aj   = forceatoms[i++];
2909         ak   = forceatoms[i++];
2910         al   = forceatoms[i++];
2911
2912
2913         t1 = pbc_rvec_sub(pbc, x[ai], x[aj], vec_temp);
2914         pbc_rvec_sub(pbc, x[aj], x[ai], delta_ante);
2915         t2 = pbc_rvec_sub(pbc, x[ak], x[aj], vec_temp);
2916         pbc_rvec_sub(pbc, x[ak], x[aj], delta_crnt);
2917         t3 = pbc_rvec_sub(pbc, x[ak], x[al], vec_temp);
2918         pbc_rvec_sub(pbc, x[al], x[ak], delta_post);
2919
2920         /* \brief Compute factors for CBT potential
2921          * The combined bending-torsion potential goes to zero in a very smooth manner, eliminating the numerical
2922          * instabilities, when three coarse-grained particles align and the dihedral angle and standard
2923          * dihedral potentials cannot be calculated. The CBT potential is calculated using the formula:
2924          * \f[V_{\rm CBT}(\theta_{i-1}, \theta_i, \phi_i) = k_{\phi} \sin^3\theta_{i-1} \sin^3\theta_{i}
2925          * \sum_{n=0}^4 { a_n \cos^n\phi_i}\f] ({eq:CBT} and ref \cite{MonicaGoga2013} from the manual).
2926          * It contains in its expression not only the dihedral angle \f$\phi\f$
2927          * but also \f[\theta_{i-1}\f] (theta_ante bellow) and \f[\theta_{i}\f] (theta_post bellow)
2928          * --- the adjacent bending angles.
2929          * For more explanations see comments file "restcbt.h". */
2930
2931         compute_factors_cbtdihs(type, forceparams, delta_ante, delta_crnt, delta_post,
2932                                 f_phi_ai, f_phi_aj, f_phi_ak, f_phi_al,
2933                                 f_theta_ante_ai, f_theta_ante_aj, f_theta_ante_ak,
2934                                 f_theta_post_aj, f_theta_post_ak, f_theta_post_al,
2935                                 &v);
2936
2937
2938         /*      Acumulate the resuts per beads */
2939         for (d = 0; d < DIM; d++)
2940         {
2941             f_i[d] = f_phi_ai[d] + f_theta_ante_ai[d];
2942             f_j[d] = f_phi_aj[d] + f_theta_ante_aj[d] + f_theta_post_aj[d];
2943             f_k[d] = f_phi_ak[d] + f_theta_ante_ak[d] + f_theta_post_ak[d];
2944             f_l[d] = f_phi_al[d] + f_theta_post_al[d];
2945         }
2946
2947         /*      Compute the potential energy */
2948
2949         vtot += v;
2950
2951
2952         /*  Updating the forces */
2953         rvec_inc(f[ai], f_i);
2954         rvec_inc(f[aj], f_j);
2955         rvec_inc(f[ak], f_k);
2956         rvec_inc(f[al], f_l);
2957
2958
2959         /* Updating the fshift forces for the pressure coupling */
2960         if (g)
2961         {
2962             copy_ivec(SHIFT_IVEC(g, aj), jt);
2963             ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
2964             ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
2965             ivec_sub(SHIFT_IVEC(g, al), jt, dt_lj);
2966             t1 = IVEC2IS(dt_ij);
2967             t2 = IVEC2IS(dt_kj);
2968             t3 = IVEC2IS(dt_lj);
2969         }
2970         else if (pbc)
2971         {
2972             t3 = pbc_rvec_sub(pbc, x[al], x[aj], dx_jl);
2973         }
2974         else
2975         {
2976             t3 = CENTRAL;
2977         }
2978
2979         rvec_inc(fshift[t1], f_i);
2980         rvec_inc(fshift[CENTRAL], f_j);
2981         rvec_inc(fshift[t2], f_k);
2982         rvec_inc(fshift[t3], f_l);
2983     }
2984
2985     return vtot;
2986 }
2987
2988 real rbdihs(int nbonds,
2989             const t_iatom forceatoms[], const t_iparams forceparams[],
2990             const rvec x[], rvec f[], rvec fshift[],
2991             const t_pbc *pbc, const t_graph *g,
2992             real lambda, real *dvdlambda,
2993             const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
2994             int gmx_unused *global_atom_index)
2995 {
2996     const real c0 = 0.0, c1 = 1.0, c2 = 2.0, c3 = 3.0, c4 = 4.0, c5 = 5.0;
2997     int        type, ai, aj, ak, al, i, j;
2998     int        t1, t2, t3;
2999     rvec       r_ij, r_kj, r_kl, m, n;
3000     real       parmA[NR_RBDIHS];
3001     real       parmB[NR_RBDIHS];
3002     real       parm[NR_RBDIHS];
3003     real       cos_phi, phi, rbp, rbpBA;
3004     real       v, sign, ddphi, sin_phi;
3005     real       cosfac, vtot;
3006     real       L1        = 1.0-lambda;
3007     real       dvdl_term = 0;
3008
3009     vtot = 0.0;
3010     for (i = 0; (i < nbonds); )
3011     {
3012         type = forceatoms[i++];
3013         ai   = forceatoms[i++];
3014         aj   = forceatoms[i++];
3015         ak   = forceatoms[i++];
3016         al   = forceatoms[i++];
3017
3018         phi = dih_angle(x[ai], x[aj], x[ak], x[al], pbc, r_ij, r_kj, r_kl, m, n,
3019                         &sign, &t1, &t2, &t3);  /*  84          */
3020
3021         /* Change to polymer convention */
3022         if (phi < c0)
3023         {
3024             phi += M_PI;
3025         }
3026         else
3027         {
3028             phi -= M_PI;    /*   1              */
3029
3030         }
3031         cos_phi = cos(phi);
3032         /* Beware of accuracy loss, cannot use 1-sqrt(cos^2) ! */
3033         sin_phi = sin(phi);
3034
3035         for (j = 0; (j < NR_RBDIHS); j++)
3036         {
3037             parmA[j] = forceparams[type].rbdihs.rbcA[j];
3038             parmB[j] = forceparams[type].rbdihs.rbcB[j];
3039             parm[j]  = L1*parmA[j]+lambda*parmB[j];
3040         }
3041         /* Calculate cosine powers */
3042         /* Calculate the energy */
3043         /* Calculate the derivative */
3044
3045         v            = parm[0];
3046         dvdl_term   += (parmB[0]-parmA[0]);
3047         ddphi        = c0;
3048         cosfac       = c1;
3049
3050         rbp          = parm[1];
3051         rbpBA        = parmB[1]-parmA[1];
3052         ddphi       += rbp*cosfac;
3053         cosfac      *= cos_phi;
3054         v           += cosfac*rbp;
3055         dvdl_term   += cosfac*rbpBA;
3056         rbp          = parm[2];
3057         rbpBA        = parmB[2]-parmA[2];
3058         ddphi       += c2*rbp*cosfac;
3059         cosfac      *= cos_phi;
3060         v           += cosfac*rbp;
3061         dvdl_term   += cosfac*rbpBA;
3062         rbp          = parm[3];
3063         rbpBA        = parmB[3]-parmA[3];
3064         ddphi       += c3*rbp*cosfac;
3065         cosfac      *= cos_phi;
3066         v           += cosfac*rbp;
3067         dvdl_term   += cosfac*rbpBA;
3068         rbp          = parm[4];
3069         rbpBA        = parmB[4]-parmA[4];
3070         ddphi       += c4*rbp*cosfac;
3071         cosfac      *= cos_phi;
3072         v           += cosfac*rbp;
3073         dvdl_term   += cosfac*rbpBA;
3074         rbp          = parm[5];
3075         rbpBA        = parmB[5]-parmA[5];
3076         ddphi       += c5*rbp*cosfac;
3077         cosfac      *= cos_phi;
3078         v           += cosfac*rbp;
3079         dvdl_term   += cosfac*rbpBA;
3080
3081         ddphi = -ddphi*sin_phi;         /*  11          */
3082
3083         do_dih_fup(ai, aj, ak, al, ddphi, r_ij, r_kj, r_kl, m, n,
3084                    f, fshift, pbc, g, x, t1, t2, t3); /* 112            */
3085         vtot += v;
3086     }
3087     *dvdlambda += dvdl_term;
3088
3089     return vtot;
3090 }
3091
3092 int cmap_setup_grid_index(int ip, int grid_spacing, int *ipm1, int *ipp1, int *ipp2)
3093 {
3094     int im1, ip1, ip2;
3095
3096     if (ip < 0)
3097     {
3098         ip = ip + grid_spacing - 1;
3099     }
3100     else if (ip > grid_spacing)
3101     {
3102         ip = ip - grid_spacing - 1;
3103     }
3104
3105     im1 = ip - 1;
3106     ip1 = ip + 1;
3107     ip2 = ip + 2;
3108
3109     if (ip == 0)
3110     {
3111         im1 = grid_spacing - 1;
3112     }
3113     else if (ip == grid_spacing-2)
3114     {
3115         ip2 = 0;
3116     }
3117     else if (ip == grid_spacing-1)
3118     {
3119         ip1 = 0;
3120         ip2 = 1;
3121     }
3122
3123     *ipm1 = im1;
3124     *ipp1 = ip1;
3125     *ipp2 = ip2;
3126
3127     return ip;
3128
3129 }
3130
3131 real cmap_dihs(int nbonds,
3132                const t_iatom forceatoms[], const t_iparams forceparams[],
3133                const gmx_cmap_t *cmap_grid,
3134                const rvec x[], rvec f[], rvec fshift[],
3135                const t_pbc *pbc, const t_graph *g,
3136                real gmx_unused lambda, real gmx_unused *dvdlambda,
3137                const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
3138                int  gmx_unused *global_atom_index)
3139 {
3140     int         i, j, k, n, idx;
3141     int         ai, aj, ak, al, am;
3142     int         a1i, a1j, a1k, a1l, a2i, a2j, a2k, a2l;
3143     int         type, cmapA;
3144     int         t11, t21, t31, t12, t22, t32;
3145     int         iphi1, ip1m1, ip1p1, ip1p2;
3146     int         iphi2, ip2m1, ip2p1, ip2p2;
3147     int         l1, l2, l3, l4;
3148     int         pos1, pos2, pos3, pos4, tmp;
3149
3150     real        ty[4], ty1[4], ty2[4], ty12[4], tc[16], tx[16];
3151     real        phi1, psi1, cos_phi1, sin_phi1, sign1, xphi1;
3152     real        phi2, psi2, cos_phi2, sin_phi2, sign2, xphi2;
3153     real        dx, xx, tt, tu, e, df1, df2, ddf1, ddf2, ddf12, vtot;
3154     real        ra21, rb21, rg21, rg1, rgr1, ra2r1, rb2r1, rabr1;
3155     real        ra22, rb22, rg22, rg2, rgr2, ra2r2, rb2r2, rabr2;
3156     real        fg1, hg1, fga1, hgb1, gaa1, gbb1;
3157     real        fg2, hg2, fga2, hgb2, gaa2, gbb2;
3158     real        fac;
3159
3160     rvec        r1_ij, r1_kj, r1_kl, m1, n1;
3161     rvec        r2_ij, r2_kj, r2_kl, m2, n2;
3162     rvec        f1_i, f1_j, f1_k, f1_l;
3163     rvec        f2_i, f2_j, f2_k, f2_l;
3164     rvec        a1, b1, a2, b2;
3165     rvec        f1, g1, h1, f2, g2, h2;
3166     rvec        dtf1, dtg1, dth1, dtf2, dtg2, dth2;
3167     ivec        jt1, dt1_ij, dt1_kj, dt1_lj;
3168     ivec        jt2, dt2_ij, dt2_kj, dt2_lj;
3169
3170     const real *cmapd;
3171
3172     int         loop_index[4][4] = {
3173         {0, 4, 8, 12},
3174         {1, 5, 9, 13},
3175         {2, 6, 10, 14},
3176         {3, 7, 11, 15}
3177     };
3178
3179     /* Total CMAP energy */
3180     vtot = 0;
3181
3182     for (n = 0; n < nbonds; )
3183     {
3184         /* Five atoms are involved in the two torsions */
3185         type   = forceatoms[n++];
3186         ai     = forceatoms[n++];
3187         aj     = forceatoms[n++];
3188         ak     = forceatoms[n++];
3189         al     = forceatoms[n++];
3190         am     = forceatoms[n++];
3191
3192         /* Which CMAP type is this */
3193         cmapA = forceparams[type].cmap.cmapA;
3194         cmapd = cmap_grid->cmapdata[cmapA].cmap;
3195
3196         /* First torsion */
3197         a1i   = ai;
3198         a1j   = aj;
3199         a1k   = ak;
3200         a1l   = al;
3201
3202         phi1  = dih_angle(x[a1i], x[a1j], x[a1k], x[a1l], pbc, r1_ij, r1_kj, r1_kl, m1, n1,
3203                           &sign1, &t11, &t21, &t31);  /* 84 */
3204
3205         cos_phi1 = cos(phi1);
3206
3207         a1[0] = r1_ij[1]*r1_kj[2]-r1_ij[2]*r1_kj[1];
3208         a1[1] = r1_ij[2]*r1_kj[0]-r1_ij[0]*r1_kj[2];
3209         a1[2] = r1_ij[0]*r1_kj[1]-r1_ij[1]*r1_kj[0]; /* 9 */
3210
3211         b1[0] = r1_kl[1]*r1_kj[2]-r1_kl[2]*r1_kj[1];
3212         b1[1] = r1_kl[2]*r1_kj[0]-r1_kl[0]*r1_kj[2];
3213         b1[2] = r1_kl[0]*r1_kj[1]-r1_kl[1]*r1_kj[0]; /* 9 */
3214
3215         tmp = pbc_rvec_sub(pbc, x[a1l], x[a1k], h1);
3216
3217         ra21  = iprod(a1, a1);       /* 5 */
3218         rb21  = iprod(b1, b1);       /* 5 */
3219         rg21  = iprod(r1_kj, r1_kj); /* 5 */
3220         rg1   = sqrt(rg21);
3221
3222         rgr1  = 1.0/rg1;
3223         ra2r1 = 1.0/ra21;
3224         rb2r1 = 1.0/rb21;
3225         rabr1 = sqrt(ra2r1*rb2r1);
3226
3227         sin_phi1 = rg1 * rabr1 * iprod(a1, h1) * (-1);
3228
3229         if (cos_phi1 < -0.5 || cos_phi1 > 0.5)
3230         {
3231             phi1 = asin(sin_phi1);
3232
3233             if (cos_phi1 < 0)
3234             {
3235                 if (phi1 > 0)
3236                 {
3237                     phi1 = M_PI - phi1;
3238                 }
3239                 else
3240                 {
3241                     phi1 = -M_PI - phi1;
3242                 }
3243             }
3244         }
3245         else
3246         {
3247             phi1 = acos(cos_phi1);
3248
3249             if (sin_phi1 < 0)
3250             {
3251                 phi1 = -phi1;
3252             }
3253         }
3254
3255         xphi1 = phi1 + M_PI; /* 1 */
3256
3257         /* Second torsion */
3258         a2i   = aj;
3259         a2j   = ak;
3260         a2k   = al;
3261         a2l   = am;
3262
3263         phi2  = dih_angle(x[a2i], x[a2j], x[a2k], x[a2l], pbc, r2_ij, r2_kj, r2_kl, m2, n2,
3264                           &sign2, &t12, &t22, &t32); /* 84 */
3265
3266         cos_phi2 = cos(phi2);
3267
3268         a2[0] = r2_ij[1]*r2_kj[2]-r2_ij[2]*r2_kj[1];
3269         a2[1] = r2_ij[2]*r2_kj[0]-r2_ij[0]*r2_kj[2];
3270         a2[2] = r2_ij[0]*r2_kj[1]-r2_ij[1]*r2_kj[0]; /* 9 */
3271
3272         b2[0] = r2_kl[1]*r2_kj[2]-r2_kl[2]*r2_kj[1];
3273         b2[1] = r2_kl[2]*r2_kj[0]-r2_kl[0]*r2_kj[2];
3274         b2[2] = r2_kl[0]*r2_kj[1]-r2_kl[1]*r2_kj[0]; /* 9 */
3275
3276         tmp = pbc_rvec_sub(pbc, x[a2l], x[a2k], h2);
3277
3278         ra22  = iprod(a2, a2);         /* 5 */
3279         rb22  = iprod(b2, b2);         /* 5 */
3280         rg22  = iprod(r2_kj, r2_kj);   /* 5 */
3281         rg2   = sqrt(rg22);
3282
3283         rgr2  = 1.0/rg2;
3284         ra2r2 = 1.0/ra22;
3285         rb2r2 = 1.0/rb22;
3286         rabr2 = sqrt(ra2r2*rb2r2);
3287
3288         sin_phi2 = rg2 * rabr2 * iprod(a2, h2) * (-1);
3289
3290         if (cos_phi2 < -0.5 || cos_phi2 > 0.5)
3291         {
3292             phi2 = asin(sin_phi2);
3293
3294             if (cos_phi2 < 0)
3295             {
3296                 if (phi2 > 0)
3297                 {
3298                     phi2 = M_PI - phi2;
3299                 }
3300                 else
3301                 {
3302                     phi2 = -M_PI - phi2;
3303                 }
3304             }
3305         }
3306         else
3307         {
3308             phi2 = acos(cos_phi2);
3309
3310             if (sin_phi2 < 0)
3311             {
3312                 phi2 = -phi2;
3313             }
3314         }
3315
3316         xphi2 = phi2 + M_PI; /* 1 */
3317
3318         /* Range mangling */
3319         if (xphi1 < 0)
3320         {
3321             xphi1 = xphi1 + 2*M_PI;
3322         }
3323         else if (xphi1 >= 2*M_PI)
3324         {
3325             xphi1 = xphi1 - 2*M_PI;
3326         }
3327
3328         if (xphi2 < 0)
3329         {
3330             xphi2 = xphi2 + 2*M_PI;
3331         }
3332         else if (xphi2 >= 2*M_PI)
3333         {
3334             xphi2 = xphi2 - 2*M_PI;
3335         }
3336
3337         /* Number of grid points */
3338         dx = 2*M_PI / cmap_grid->grid_spacing;
3339
3340         /* Where on the grid are we */
3341         iphi1 = (int)(xphi1/dx);
3342         iphi2 = (int)(xphi2/dx);
3343
3344         iphi1 = cmap_setup_grid_index(iphi1, cmap_grid->grid_spacing, &ip1m1, &ip1p1, &ip1p2);
3345         iphi2 = cmap_setup_grid_index(iphi2, cmap_grid->grid_spacing, &ip2m1, &ip2p1, &ip2p2);
3346
3347         pos1    = iphi1*cmap_grid->grid_spacing+iphi2;
3348         pos2    = ip1p1*cmap_grid->grid_spacing+iphi2;
3349         pos3    = ip1p1*cmap_grid->grid_spacing+ip2p1;
3350         pos4    = iphi1*cmap_grid->grid_spacing+ip2p1;
3351
3352         ty[0]   = cmapd[pos1*4];
3353         ty[1]   = cmapd[pos2*4];
3354         ty[2]   = cmapd[pos3*4];
3355         ty[3]   = cmapd[pos4*4];
3356
3357         ty1[0]   = cmapd[pos1*4+1];
3358         ty1[1]   = cmapd[pos2*4+1];
3359         ty1[2]   = cmapd[pos3*4+1];
3360         ty1[3]   = cmapd[pos4*4+1];
3361
3362         ty2[0]   = cmapd[pos1*4+2];
3363         ty2[1]   = cmapd[pos2*4+2];
3364         ty2[2]   = cmapd[pos3*4+2];
3365         ty2[3]   = cmapd[pos4*4+2];
3366
3367         ty12[0]   = cmapd[pos1*4+3];
3368         ty12[1]   = cmapd[pos2*4+3];
3369         ty12[2]   = cmapd[pos3*4+3];
3370         ty12[3]   = cmapd[pos4*4+3];
3371
3372         /* Switch to degrees */
3373         dx    = 360.0 / cmap_grid->grid_spacing;
3374         xphi1 = xphi1 * RAD2DEG;
3375         xphi2 = xphi2 * RAD2DEG;
3376
3377         for (i = 0; i < 4; i++) /* 16 */
3378         {
3379             tx[i]    = ty[i];
3380             tx[i+4]  = ty1[i]*dx;
3381             tx[i+8]  = ty2[i]*dx;
3382             tx[i+12] = ty12[i]*dx*dx;
3383         }
3384
3385         idx = 0;
3386         for (i = 0; i < 4; i++) /* 1056 */
3387         {
3388             for (j = 0; j < 4; j++)
3389             {
3390                 xx = 0;
3391                 for (k = 0; k < 16; k++)
3392                 {
3393                     xx = xx + cmap_coeff_matrix[k*16+idx]*tx[k];
3394                 }
3395
3396                 idx++;
3397                 tc[i*4+j] = xx;
3398             }
3399         }
3400
3401         tt    = (xphi1-iphi1*dx)/dx;
3402         tu    = (xphi2-iphi2*dx)/dx;
3403
3404         e     = 0;
3405         df1   = 0;
3406         df2   = 0;
3407         ddf1  = 0;
3408         ddf2  = 0;
3409         ddf12 = 0;
3410
3411         for (i = 3; i >= 0; i--)
3412         {
3413             l1 = loop_index[i][3];
3414             l2 = loop_index[i][2];
3415             l3 = loop_index[i][1];
3416
3417             e     = tt * e    + ((tc[i*4+3]*tu+tc[i*4+2])*tu + tc[i*4+1])*tu+tc[i*4];
3418             df1   = tu * df1  + (3.0*tc[l1]*tt+2.0*tc[l2])*tt+tc[l3];
3419             df2   = tt * df2  + (3.0*tc[i*4+3]*tu+2.0*tc[i*4+2])*tu+tc[i*4+1];
3420             ddf1  = tu * ddf1 + 2.0*3.0*tc[l1]*tt+2.0*tc[l2];
3421             ddf2  = tt * ddf2 + 2.0*3.0*tc[4*i+3]*tu+2.0*tc[4*i+2];
3422         }
3423
3424         ddf12 = tc[5] + 2.0*tc[9]*tt + 3.0*tc[13]*tt*tt + 2.0*tu*(tc[6]+2.0*tc[10]*tt+3.0*tc[14]*tt*tt) +
3425             3.0*tu*tu*(tc[7]+2.0*tc[11]*tt+3.0*tc[15]*tt*tt);
3426
3427         fac     = RAD2DEG/dx;
3428         df1     = df1   * fac;
3429         df2     = df2   * fac;
3430         ddf1    = ddf1  * fac * fac;
3431         ddf2    = ddf2  * fac * fac;
3432         ddf12   = ddf12 * fac * fac;
3433
3434         /* CMAP energy */
3435         vtot += e;
3436
3437         /* Do forces - first torsion */
3438         fg1       = iprod(r1_ij, r1_kj);
3439         hg1       = iprod(r1_kl, r1_kj);
3440         fga1      = fg1*ra2r1*rgr1;
3441         hgb1      = hg1*rb2r1*rgr1;
3442         gaa1      = -ra2r1*rg1;
3443         gbb1      = rb2r1*rg1;
3444
3445         for (i = 0; i < DIM; i++)
3446         {
3447             dtf1[i]   = gaa1 * a1[i];
3448             dtg1[i]   = fga1 * a1[i] - hgb1 * b1[i];
3449             dth1[i]   = gbb1 * b1[i];
3450
3451             f1[i]     = df1  * dtf1[i];
3452             g1[i]     = df1  * dtg1[i];
3453             h1[i]     = df1  * dth1[i];
3454
3455             f1_i[i]   =  f1[i];
3456             f1_j[i]   = -f1[i] - g1[i];
3457             f1_k[i]   =  h1[i] + g1[i];
3458             f1_l[i]   = -h1[i];
3459
3460             f[a1i][i] = f[a1i][i] + f1_i[i];
3461             f[a1j][i] = f[a1j][i] + f1_j[i]; /* - f1[i] - g1[i] */
3462             f[a1k][i] = f[a1k][i] + f1_k[i]; /* h1[i] + g1[i] */
3463             f[a1l][i] = f[a1l][i] + f1_l[i]; /* h1[i] */
3464         }
3465
3466         /* Do forces - second torsion */
3467         fg2       = iprod(r2_ij, r2_kj);
3468         hg2       = iprod(r2_kl, r2_kj);
3469         fga2      = fg2*ra2r2*rgr2;
3470         hgb2      = hg2*rb2r2*rgr2;
3471         gaa2      = -ra2r2*rg2;
3472         gbb2      = rb2r2*rg2;
3473
3474         for (i = 0; i < DIM; i++)
3475         {
3476             dtf2[i]   = gaa2 * a2[i];
3477             dtg2[i]   = fga2 * a2[i] - hgb2 * b2[i];
3478             dth2[i]   = gbb2 * b2[i];
3479
3480             f2[i]     = df2  * dtf2[i];
3481             g2[i]     = df2  * dtg2[i];
3482             h2[i]     = df2  * dth2[i];
3483
3484             f2_i[i]   =  f2[i];
3485             f2_j[i]   = -f2[i] - g2[i];
3486             f2_k[i]   =  h2[i] + g2[i];
3487             f2_l[i]   = -h2[i];
3488
3489             f[a2i][i] = f[a2i][i] + f2_i[i]; /* f2[i] */
3490             f[a2j][i] = f[a2j][i] + f2_j[i]; /* - f2[i] - g2[i] */
3491             f[a2k][i] = f[a2k][i] + f2_k[i]; /* h2[i] + g2[i] */
3492             f[a2l][i] = f[a2l][i] + f2_l[i]; /* - h2[i] */
3493         }
3494
3495         /* Shift forces */
3496         if (g)
3497         {
3498             copy_ivec(SHIFT_IVEC(g, a1j), jt1);
3499             ivec_sub(SHIFT_IVEC(g, a1i),  jt1, dt1_ij);
3500             ivec_sub(SHIFT_IVEC(g, a1k),  jt1, dt1_kj);
3501             ivec_sub(SHIFT_IVEC(g, a1l),  jt1, dt1_lj);
3502             t11 = IVEC2IS(dt1_ij);
3503             t21 = IVEC2IS(dt1_kj);
3504             t31 = IVEC2IS(dt1_lj);
3505
3506             copy_ivec(SHIFT_IVEC(g, a2j), jt2);
3507             ivec_sub(SHIFT_IVEC(g, a2i),  jt2, dt2_ij);
3508             ivec_sub(SHIFT_IVEC(g, a2k),  jt2, dt2_kj);
3509             ivec_sub(SHIFT_IVEC(g, a2l),  jt2, dt2_lj);
3510             t12 = IVEC2IS(dt2_ij);
3511             t22 = IVEC2IS(dt2_kj);
3512             t32 = IVEC2IS(dt2_lj);
3513         }
3514         else if (pbc)
3515         {
3516             t31 = pbc_rvec_sub(pbc, x[a1l], x[a1j], h1);
3517             t32 = pbc_rvec_sub(pbc, x[a2l], x[a2j], h2);
3518         }
3519         else
3520         {
3521             t31 = CENTRAL;
3522             t32 = CENTRAL;
3523         }
3524
3525         rvec_inc(fshift[t11], f1_i);
3526         rvec_inc(fshift[CENTRAL], f1_j);
3527         rvec_inc(fshift[t21], f1_k);
3528         rvec_inc(fshift[t31], f1_l);
3529
3530         rvec_inc(fshift[t21], f2_i);
3531         rvec_inc(fshift[CENTRAL], f2_j);
3532         rvec_inc(fshift[t22], f2_k);
3533         rvec_inc(fshift[t32], f2_l);
3534     }
3535     return vtot;
3536 }
3537
3538
3539
3540 /***********************************************************
3541  *
3542  *   G R O M O S  9 6   F U N C T I O N S
3543  *
3544  ***********************************************************/
3545 real g96harmonic(real kA, real kB, real xA, real xB, real x, real lambda,
3546                  real *V, real *F)
3547 {
3548     const real half = 0.5;
3549     real       L1, kk, x0, dx, dx2;
3550     real       v, f, dvdlambda;
3551
3552     L1    = 1.0-lambda;
3553     kk    = L1*kA+lambda*kB;
3554     x0    = L1*xA+lambda*xB;
3555
3556     dx    = x-x0;
3557     dx2   = dx*dx;
3558
3559     f          = -kk*dx;
3560     v          = half*kk*dx2;
3561     dvdlambda  = half*(kB-kA)*dx2 + (xA-xB)*kk*dx;
3562
3563     *F    = f;
3564     *V    = v;
3565
3566     return dvdlambda;
3567
3568     /* That was 21 flops */
3569 }
3570
3571 real g96bonds(int nbonds,
3572               const t_iatom forceatoms[], const t_iparams forceparams[],
3573               const rvec x[], rvec f[], rvec fshift[],
3574               const t_pbc *pbc, const t_graph *g,
3575               real lambda, real *dvdlambda,
3576               const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
3577               int gmx_unused *global_atom_index)
3578 {
3579     int  i, m, ki, ai, aj, type;
3580     real dr2, fbond, vbond, fij, vtot;
3581     rvec dx;
3582     ivec dt;
3583
3584     vtot = 0.0;
3585     for (i = 0; (i < nbonds); )
3586     {
3587         type = forceatoms[i++];
3588         ai   = forceatoms[i++];
3589         aj   = forceatoms[i++];
3590
3591         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx); /*   3      */
3592         dr2  = iprod(dx, dx);                       /*   5              */
3593
3594         *dvdlambda += g96harmonic(forceparams[type].harmonic.krA,
3595                                   forceparams[type].harmonic.krB,
3596                                   forceparams[type].harmonic.rA,
3597                                   forceparams[type].harmonic.rB,
3598                                   dr2, lambda, &vbond, &fbond);
3599
3600         vtot  += 0.5*vbond;                         /* 1*/
3601 #ifdef DEBUG
3602         if (debug)
3603         {
3604             fprintf(debug, "G96-BONDS: dr = %10g  vbond = %10g  fbond = %10g\n",
3605                     sqrt(dr2), vbond, fbond);
3606         }
3607 #endif
3608
3609         if (g)
3610         {
3611             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
3612             ki = IVEC2IS(dt);
3613         }
3614         for (m = 0; (m < DIM); m++)     /*  15          */
3615         {
3616             fij                 = fbond*dx[m];
3617             f[ai][m]           += fij;
3618             f[aj][m]           -= fij;
3619             fshift[ki][m]      += fij;
3620             fshift[CENTRAL][m] -= fij;
3621         }
3622     }               /* 44 TOTAL */
3623     return vtot;
3624 }
3625
3626 real g96bond_angle(const rvec xi, const rvec xj, const rvec xk, const t_pbc *pbc,
3627                    rvec r_ij, rvec r_kj,
3628                    int *t1, int *t2)
3629 /* Return value is the angle between the bonds i-j and j-k */
3630 {
3631     real costh;
3632
3633     *t1 = pbc_rvec_sub(pbc, xi, xj, r_ij); /*  3                */
3634     *t2 = pbc_rvec_sub(pbc, xk, xj, r_kj); /*  3                */
3635
3636     costh = cos_angle(r_ij, r_kj);         /* 25                */
3637     /* 41 TOTAL */
3638     return costh;
3639 }
3640
3641 real g96angles(int nbonds,
3642                const t_iatom forceatoms[], const t_iparams forceparams[],
3643                const rvec x[], rvec f[], rvec fshift[],
3644                const t_pbc *pbc, const t_graph *g,
3645                real lambda, real *dvdlambda,
3646                const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
3647                int gmx_unused *global_atom_index)
3648 {
3649     int  i, ai, aj, ak, type, m, t1, t2;
3650     rvec r_ij, r_kj;
3651     real cos_theta, dVdt, va, vtot;
3652     real rij_1, rij_2, rkj_1, rkj_2, rijrkj_1;
3653     rvec f_i, f_j, f_k;
3654     ivec jt, dt_ij, dt_kj;
3655
3656     vtot = 0.0;
3657     for (i = 0; (i < nbonds); )
3658     {
3659         type = forceatoms[i++];
3660         ai   = forceatoms[i++];
3661         aj   = forceatoms[i++];
3662         ak   = forceatoms[i++];
3663
3664         cos_theta  = g96bond_angle(x[ai], x[aj], x[ak], pbc, r_ij, r_kj, &t1, &t2);
3665
3666         *dvdlambda += g96harmonic(forceparams[type].harmonic.krA,
3667                                   forceparams[type].harmonic.krB,
3668                                   forceparams[type].harmonic.rA,
3669                                   forceparams[type].harmonic.rB,
3670                                   cos_theta, lambda, &va, &dVdt);
3671         vtot    += va;
3672
3673         rij_1    = gmx_invsqrt(iprod(r_ij, r_ij));
3674         rkj_1    = gmx_invsqrt(iprod(r_kj, r_kj));
3675         rij_2    = rij_1*rij_1;
3676         rkj_2    = rkj_1*rkj_1;
3677         rijrkj_1 = rij_1*rkj_1;                 /* 23 */
3678
3679 #ifdef DEBUG
3680         if (debug)
3681         {
3682             fprintf(debug, "G96ANGLES: costheta = %10g  vth = %10g  dV/dct = %10g\n",
3683                     cos_theta, va, dVdt);
3684         }
3685 #endif
3686         for (m = 0; (m < DIM); m++)     /*  42  */
3687         {
3688             f_i[m]    = dVdt*(r_kj[m]*rijrkj_1 - r_ij[m]*rij_2*cos_theta);
3689             f_k[m]    = dVdt*(r_ij[m]*rijrkj_1 - r_kj[m]*rkj_2*cos_theta);
3690             f_j[m]    = -f_i[m]-f_k[m];
3691             f[ai][m] += f_i[m];
3692             f[aj][m] += f_j[m];
3693             f[ak][m] += f_k[m];
3694         }
3695
3696         if (g)
3697         {
3698             copy_ivec(SHIFT_IVEC(g, aj), jt);
3699
3700             ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
3701             ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
3702             t1 = IVEC2IS(dt_ij);
3703             t2 = IVEC2IS(dt_kj);
3704         }
3705         rvec_inc(fshift[t1], f_i);
3706         rvec_inc(fshift[CENTRAL], f_j);
3707         rvec_inc(fshift[t2], f_k);          /* 9 */
3708         /* 163 TOTAL    */
3709     }
3710     return vtot;
3711 }
3712
3713 real cross_bond_bond(int nbonds,
3714                      const t_iatom forceatoms[], const t_iparams forceparams[],
3715                      const rvec x[], rvec f[], rvec fshift[],
3716                      const t_pbc *pbc, const t_graph *g,
3717                      real gmx_unused lambda, real gmx_unused *dvdlambda,
3718                      const t_mdatoms gmx_unused *md, t_fcdata gmx_unused  *fcd,
3719                      int gmx_unused *global_atom_index)
3720 {
3721     /* Potential from Lawrence and Skimmer, Chem. Phys. Lett. 372 (2003)
3722      * pp. 842-847
3723      */
3724     int  i, ai, aj, ak, type, m, t1, t2;
3725     rvec r_ij, r_kj;
3726     real vtot, vrr, s1, s2, r1, r2, r1e, r2e, krr;
3727     rvec f_i, f_j, f_k;
3728     ivec jt, dt_ij, dt_kj;
3729
3730     vtot = 0.0;
3731     for (i = 0; (i < nbonds); )
3732     {
3733         type = forceatoms[i++];
3734         ai   = forceatoms[i++];
3735         aj   = forceatoms[i++];
3736         ak   = forceatoms[i++];
3737         r1e  = forceparams[type].cross_bb.r1e;
3738         r2e  = forceparams[type].cross_bb.r2e;
3739         krr  = forceparams[type].cross_bb.krr;
3740
3741         /* Compute distance vectors ... */
3742         t1 = pbc_rvec_sub(pbc, x[ai], x[aj], r_ij);
3743         t2 = pbc_rvec_sub(pbc, x[ak], x[aj], r_kj);
3744
3745         /* ... and their lengths */
3746         r1 = norm(r_ij);
3747         r2 = norm(r_kj);
3748
3749         /* Deviations from ideality */
3750         s1 = r1-r1e;
3751         s2 = r2-r2e;
3752
3753         /* Energy (can be negative!) */
3754         vrr   = krr*s1*s2;
3755         vtot += vrr;
3756
3757         /* Forces */
3758         svmul(-krr*s2/r1, r_ij, f_i);
3759         svmul(-krr*s1/r2, r_kj, f_k);
3760
3761         for (m = 0; (m < DIM); m++)     /*  12  */
3762         {
3763             f_j[m]    = -f_i[m] - f_k[m];
3764             f[ai][m] += f_i[m];
3765             f[aj][m] += f_j[m];
3766             f[ak][m] += f_k[m];
3767         }
3768
3769         /* Virial stuff */
3770         if (g)
3771         {
3772             copy_ivec(SHIFT_IVEC(g, aj), jt);
3773
3774             ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
3775             ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
3776             t1 = IVEC2IS(dt_ij);
3777             t2 = IVEC2IS(dt_kj);
3778         }
3779         rvec_inc(fshift[t1], f_i);
3780         rvec_inc(fshift[CENTRAL], f_j);
3781         rvec_inc(fshift[t2], f_k);          /* 9 */
3782         /* 163 TOTAL    */
3783     }
3784     return vtot;
3785 }
3786
3787 real cross_bond_angle(int nbonds,
3788                       const t_iatom forceatoms[], const t_iparams forceparams[],
3789                       const rvec x[], rvec f[], rvec fshift[],
3790                       const t_pbc *pbc, const t_graph *g,
3791                       real gmx_unused lambda, real gmx_unused *dvdlambda,
3792                       const t_mdatoms gmx_unused *md, t_fcdata gmx_unused *fcd,
3793                       int gmx_unused *global_atom_index)
3794 {
3795     /* Potential from Lawrence and Skimmer, Chem. Phys. Lett. 372 (2003)
3796      * pp. 842-847
3797      */
3798     int  i, ai, aj, ak, type, m, t1, t2, t3;
3799     rvec r_ij, r_kj, r_ik;
3800     real vtot, vrt, s1, s2, s3, r1, r2, r3, r1e, r2e, r3e, krt, k1, k2, k3;
3801     rvec f_i, f_j, f_k;
3802     ivec jt, dt_ij, dt_kj;
3803
3804     vtot = 0.0;
3805     for (i = 0; (i < nbonds); )
3806     {
3807         type = forceatoms[i++];
3808         ai   = forceatoms[i++];
3809         aj   = forceatoms[i++];
3810         ak   = forceatoms[i++];
3811         r1e  = forceparams[type].cross_ba.r1e;
3812         r2e  = forceparams[type].cross_ba.r2e;
3813         r3e  = forceparams[type].cross_ba.r3e;
3814         krt  = forceparams[type].cross_ba.krt;
3815
3816         /* Compute distance vectors ... */
3817         t1 = pbc_rvec_sub(pbc, x[ai], x[aj], r_ij);
3818         t2 = pbc_rvec_sub(pbc, x[ak], x[aj], r_kj);
3819         t3 = pbc_rvec_sub(pbc, x[ai], x[ak], r_ik);
3820
3821         /* ... and their lengths */
3822         r1 = norm(r_ij);
3823         r2 = norm(r_kj);
3824         r3 = norm(r_ik);
3825
3826         /* Deviations from ideality */
3827         s1 = r1-r1e;
3828         s2 = r2-r2e;
3829         s3 = r3-r3e;
3830
3831         /* Energy (can be negative!) */
3832         vrt   = krt*s3*(s1+s2);
3833         vtot += vrt;
3834
3835         /* Forces */
3836         k1 = -krt*(s3/r1);
3837         k2 = -krt*(s3/r2);
3838         k3 = -krt*(s1+s2)/r3;
3839         for (m = 0; (m < DIM); m++)
3840         {
3841             f_i[m] = k1*r_ij[m] + k3*r_ik[m];
3842             f_k[m] = k2*r_kj[m] - k3*r_ik[m];
3843             f_j[m] = -f_i[m] - f_k[m];
3844         }
3845
3846         for (m = 0; (m < DIM); m++)     /*  12  */
3847         {
3848             f[ai][m] += f_i[m];
3849             f[aj][m] += f_j[m];
3850             f[ak][m] += f_k[m];
3851         }
3852
3853         /* Virial stuff */
3854         if (g)
3855         {
3856             copy_ivec(SHIFT_IVEC(g, aj), jt);
3857
3858             ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
3859             ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
3860             t1 = IVEC2IS(dt_ij);
3861             t2 = IVEC2IS(dt_kj);
3862         }
3863         rvec_inc(fshift[t1], f_i);
3864         rvec_inc(fshift[CENTRAL], f_j);
3865         rvec_inc(fshift[t2], f_k);          /* 9 */
3866         /* 163 TOTAL    */
3867     }
3868     return vtot;
3869 }
3870
3871 static real bonded_tab(const char *type, int table_nr,
3872                        const bondedtable_t *table, real kA, real kB, real r,
3873                        real lambda, real *V, real *F)
3874 {
3875     real k, tabscale, *VFtab, rt, eps, eps2, Yt, Ft, Geps, Heps2, Fp, VV, FF;
3876     int  n0, nnn;
3877     real v, f, dvdlambda;
3878
3879     k = (1.0 - lambda)*kA + lambda*kB;
3880
3881     tabscale = table->scale;
3882     VFtab    = table->data;
3883
3884     rt    = r*tabscale;
3885     n0    = rt;
3886     if (n0 >= table->n)
3887     {
3888         gmx_fatal(FARGS, "A tabulated %s interaction table number %d is out of the table range: r %f, between table indices %d and %d, table length %d",
3889                   type, table_nr, r, n0, n0+1, table->n);
3890     }
3891     eps   = rt - n0;
3892     eps2  = eps*eps;
3893     nnn   = 4*n0;
3894     Yt    = VFtab[nnn];
3895     Ft    = VFtab[nnn+1];
3896     Geps  = VFtab[nnn+2]*eps;
3897     Heps2 = VFtab[nnn+3]*eps2;
3898     Fp    = Ft + Geps + Heps2;
3899     VV    = Yt + Fp*eps;
3900     FF    = Fp + Geps + 2.0*Heps2;
3901
3902     *F         = -k*FF*tabscale;
3903     *V         = k*VV;
3904     dvdlambda  = (kB - kA)*VV;
3905
3906     return dvdlambda;
3907
3908     /* That was 22 flops */
3909 }
3910
3911 real tab_bonds(int nbonds,
3912                const t_iatom forceatoms[], const t_iparams forceparams[],
3913                const rvec x[], rvec f[], rvec fshift[],
3914                const t_pbc *pbc, const t_graph *g,
3915                real lambda, real *dvdlambda,
3916                const t_mdatoms gmx_unused *md, t_fcdata *fcd,
3917                int gmx_unused  *global_atom_index)
3918 {
3919     int  i, m, ki, ai, aj, type, table;
3920     real dr, dr2, fbond, vbond, fij, vtot;
3921     rvec dx;
3922     ivec dt;
3923
3924     vtot = 0.0;
3925     for (i = 0; (i < nbonds); )
3926     {
3927         type = forceatoms[i++];
3928         ai   = forceatoms[i++];
3929         aj   = forceatoms[i++];
3930
3931         ki   = pbc_rvec_sub(pbc, x[ai], x[aj], dx); /*   3      */
3932         dr2  = iprod(dx, dx);                       /*   5              */
3933         dr   = dr2*gmx_invsqrt(dr2);                /*  10              */
3934
3935         table = forceparams[type].tab.table;
3936
3937         *dvdlambda += bonded_tab("bond", table,
3938                                  &fcd->bondtab[table],
3939                                  forceparams[type].tab.kA,
3940                                  forceparams[type].tab.kB,
3941                                  dr, lambda, &vbond, &fbond); /*  22 */
3942
3943         if (dr2 == 0.0)
3944         {
3945             continue;
3946         }
3947
3948
3949         vtot  += vbond;            /* 1*/
3950         fbond *= gmx_invsqrt(dr2); /*   6               */
3951 #ifdef DEBUG
3952         if (debug)
3953         {
3954             fprintf(debug, "TABBONDS: dr = %10g  vbond = %10g  fbond = %10g\n",
3955                     dr, vbond, fbond);
3956         }
3957 #endif
3958         if (g)
3959         {
3960             ivec_sub(SHIFT_IVEC(g, ai), SHIFT_IVEC(g, aj), dt);
3961             ki = IVEC2IS(dt);
3962         }
3963         for (m = 0; (m < DIM); m++)     /*  15          */
3964         {
3965             fij                 = fbond*dx[m];
3966             f[ai][m]           += fij;
3967             f[aj][m]           -= fij;
3968             fshift[ki][m]      += fij;
3969             fshift[CENTRAL][m] -= fij;
3970         }
3971     }               /* 62 TOTAL */
3972     return vtot;
3973 }
3974
3975 real tab_angles(int nbonds,
3976                 const t_iatom forceatoms[], const t_iparams forceparams[],
3977                 const rvec x[], rvec f[], rvec fshift[],
3978                 const t_pbc *pbc, const t_graph *g,
3979                 real lambda, real *dvdlambda,
3980                 const t_mdatoms gmx_unused  *md, t_fcdata *fcd,
3981                 int gmx_unused *global_atom_index)
3982 {
3983     int  i, ai, aj, ak, t1, t2, type, table;
3984     rvec r_ij, r_kj;
3985     real cos_theta, cos_theta2, theta, dVdt, va, vtot;
3986     ivec jt, dt_ij, dt_kj;
3987
3988     vtot = 0.0;
3989     for (i = 0; (i < nbonds); )
3990     {
3991         type = forceatoms[i++];
3992         ai   = forceatoms[i++];
3993         aj   = forceatoms[i++];
3994         ak   = forceatoms[i++];
3995
3996         theta  = bond_angle(x[ai], x[aj], x[ak], pbc,
3997                             r_ij, r_kj, &cos_theta, &t1, &t2); /*  41           */
3998
3999         table = forceparams[type].tab.table;
4000
4001         *dvdlambda += bonded_tab("angle", table,
4002                                  &fcd->angletab[table],
4003                                  forceparams[type].tab.kA,
4004                                  forceparams[type].tab.kB,
4005                                  theta, lambda, &va, &dVdt); /*  22  */
4006         vtot += va;
4007
4008         cos_theta2 = sqr(cos_theta);            /*   1          */
4009         if (cos_theta2 < 1)
4010         {
4011             int  m;
4012             real snt, st, sth;
4013             real cik, cii, ckk;
4014             real nrkj2, nrij2;
4015             rvec f_i, f_j, f_k;
4016
4017             st  = dVdt*gmx_invsqrt(1 - cos_theta2); /*  12              */
4018             sth = st*cos_theta;                     /*   1              */
4019 #ifdef DEBUG
4020             if (debug)
4021             {
4022                 fprintf(debug, "ANGLES: theta = %10g  vth = %10g  dV/dtheta = %10g\n",
4023                         theta*RAD2DEG, va, dVdt);
4024             }
4025 #endif
4026             nrkj2 = iprod(r_kj, r_kj);  /*   5          */
4027             nrij2 = iprod(r_ij, r_ij);
4028
4029             cik = st*gmx_invsqrt(nrkj2*nrij2); /*  12           */
4030             cii = sth/nrij2;                   /*  10           */
4031             ckk = sth/nrkj2;                   /*  10           */
4032
4033             for (m = 0; (m < DIM); m++)        /*  39           */
4034             {
4035                 f_i[m]    = -(cik*r_kj[m]-cii*r_ij[m]);
4036                 f_k[m]    = -(cik*r_ij[m]-ckk*r_kj[m]);
4037                 f_j[m]    = -f_i[m]-f_k[m];
4038                 f[ai][m] += f_i[m];
4039                 f[aj][m] += f_j[m];
4040                 f[ak][m] += f_k[m];
4041             }
4042             if (g)
4043             {
4044                 copy_ivec(SHIFT_IVEC(g, aj), jt);
4045
4046                 ivec_sub(SHIFT_IVEC(g, ai), jt, dt_ij);
4047                 ivec_sub(SHIFT_IVEC(g, ak), jt, dt_kj);
4048                 t1 = IVEC2IS(dt_ij);
4049                 t2 = IVEC2IS(dt_kj);
4050             }
4051             rvec_inc(fshift[t1], f_i);
4052             rvec_inc(fshift[CENTRAL], f_j);
4053             rvec_inc(fshift[t2], f_k);
4054         }                                       /* 169 TOTAL    */
4055     }
4056     return vtot;
4057 }
4058
4059 real tab_dihs(int nbonds,
4060               const t_iatom forceatoms[], const t_iparams forceparams[],
4061               const rvec x[], rvec f[], rvec fshift[],
4062               const t_pbc *pbc, const t_graph *g,
4063               real lambda, real *dvdlambda,
4064               const t_mdatoms gmx_unused *md, t_fcdata *fcd,
4065               int gmx_unused *global_atom_index)
4066 {
4067     int  i, type, ai, aj, ak, al, table;
4068     int  t1, t2, t3;
4069     rvec r_ij, r_kj, r_kl, m, n;
4070     real phi, sign, ddphi, vpd, vtot;
4071
4072     vtot = 0.0;
4073     for (i = 0; (i < nbonds); )
4074     {
4075         type = forceatoms[i++];
4076         ai   = forceatoms[i++];
4077         aj   = forceatoms[i++];
4078         ak   = forceatoms[i++];
4079         al   = forceatoms[i++];
4080
4081         phi = dih_angle(x[ai], x[aj], x[ak], x[al], pbc, r_ij, r_kj, r_kl, m, n,
4082                         &sign, &t1, &t2, &t3);  /*  84  */
4083
4084         table = forceparams[type].tab.table;
4085
4086         /* Hopefully phi+M_PI never results in values < 0 */
4087         *dvdlambda += bonded_tab("dihedral", table,
4088                                  &fcd->dihtab[table],
4089                                  forceparams[type].tab.kA,
4090                                  forceparams[type].tab.kB,
4091                                  phi+M_PI, lambda, &vpd, &ddphi);
4092
4093         vtot += vpd;
4094         do_dih_fup(ai, aj, ak, al, -ddphi, r_ij, r_kj, r_kl, m, n,
4095                    f, fshift, pbc, g, x, t1, t2, t3); /* 112    */
4096
4097 #ifdef DEBUG
4098         fprintf(debug, "pdih: (%d,%d,%d,%d) phi=%g\n",
4099                 ai, aj, ak, al, phi);
4100 #endif
4101     } /* 227 TOTAL  */
4102
4103     return vtot;
4104 }
4105
4106 /* Return if this is a potential calculated in bondfree.c,
4107  * i.e. an interaction that actually calculates a potential and
4108  * works on multiple atoms (not e.g. a connection or a position restraint).
4109  */
4110 static gmx_inline gmx_bool ftype_is_bonded_potential(int ftype)
4111 {
4112     return
4113         (interaction_function[ftype].flags & IF_BOND) &&
4114         !(ftype == F_CONNBONDS || ftype == F_POSRES || ftype == F_FBPOSRES) &&
4115         (ftype < F_GB12 || ftype > F_GB14);
4116 }
4117
4118 static void divide_bondeds_over_threads(t_idef *idef, int nthreads)
4119 {
4120     int ftype;
4121     int nat1;
4122     int t;
4123     int il_nr_thread;
4124
4125     idef->nthreads = nthreads;
4126
4127     if (F_NRE*(nthreads+1) > idef->il_thread_division_nalloc)
4128     {
4129         idef->il_thread_division_nalloc = F_NRE*(nthreads+1);
4130         snew(idef->il_thread_division, idef->il_thread_division_nalloc);
4131     }
4132
4133     for (ftype = 0; ftype < F_NRE; ftype++)
4134     {
4135         if (ftype_is_bonded_potential(ftype))
4136         {
4137             nat1 = interaction_function[ftype].nratoms + 1;
4138
4139             for (t = 0; t <= nthreads; t++)
4140             {
4141                 /* Divide the interactions equally over the threads.
4142                  * When the different types of bonded interactions
4143                  * are distributed roughly equally over the threads,
4144                  * this should lead to well localized output into
4145                  * the force buffer on each thread.
4146                  * If this is not the case, a more advanced scheme
4147                  * (not implemented yet) will do better.
4148                  */
4149                 il_nr_thread = (((idef->il[ftype].nr/nat1)*t)/nthreads)*nat1;
4150
4151                 /* Ensure that distance restraint pairs with the same label
4152                  * end up on the same thread.
4153                  * This is slighlty tricky code, since the next for iteration
4154                  * may have an initial il_nr_thread lower than the final value
4155                  * in the previous iteration, but this will anyhow be increased
4156                  * to the approriate value again by this while loop.
4157                  */
4158                 while (ftype == F_DISRES &&
4159                        il_nr_thread > 0 &&
4160                        il_nr_thread < idef->il[ftype].nr &&
4161                        idef->iparams[idef->il[ftype].iatoms[il_nr_thread]].disres.label ==
4162                        idef->iparams[idef->il[ftype].iatoms[il_nr_thread-nat1]].disres.label)
4163                 {
4164                     il_nr_thread += nat1;
4165                 }
4166
4167                 idef->il_thread_division[ftype*(nthreads+1)+t] = il_nr_thread;
4168             }
4169         }
4170     }
4171 }
4172
4173 static unsigned
4174 calc_bonded_reduction_mask(const t_idef *idef,
4175                            int shift,
4176                            int t, int nt)
4177 {
4178     unsigned mask;
4179     int      ftype, nb, nat1, nb0, nb1, i, a;
4180
4181     mask = 0;
4182
4183     for (ftype = 0; ftype < F_NRE; ftype++)
4184     {
4185         if (ftype_is_bonded_potential(ftype))
4186         {
4187             nb = idef->il[ftype].nr;
4188             if (nb > 0)
4189             {
4190                 nat1 = interaction_function[ftype].nratoms + 1;
4191
4192                 /* Divide this interaction equally over the threads.
4193                  * This is not stored: should match division in calc_bonds.
4194                  */
4195                 nb0 = idef->il_thread_division[ftype*(nt+1)+t];
4196                 nb1 = idef->il_thread_division[ftype*(nt+1)+t+1];
4197
4198                 for (i = nb0; i < nb1; i += nat1)
4199                 {
4200                     for (a = 1; a < nat1; a++)
4201                     {
4202                         mask |= (1U << (idef->il[ftype].iatoms[i+a]>>shift));
4203                     }
4204                 }
4205             }
4206         }
4207     }
4208
4209     return mask;
4210 }
4211
4212 void setup_bonded_threading(t_forcerec   *fr, t_idef *idef)
4213 {
4214 #define MAX_BLOCK_BITS 32
4215     int t;
4216     int ctot, c, b;
4217
4218     assert(fr->nthreads >= 1);
4219
4220     /* Divide the bonded interaction over the threads */
4221     divide_bondeds_over_threads(idef, fr->nthreads);
4222
4223     if (fr->nthreads == 1)
4224     {
4225         fr->red_nblock = 0;
4226
4227         return;
4228     }
4229
4230     /* We divide the force array in a maximum of 32 blocks.
4231      * Minimum force block reduction size is 2^6=64.
4232      */
4233     fr->red_ashift = 6;
4234     while (fr->natoms_force > (int)(MAX_BLOCK_BITS*(1U<<fr->red_ashift)))
4235     {
4236         fr->red_ashift++;
4237     }
4238     if (debug)
4239     {
4240         fprintf(debug, "bonded force buffer block atom shift %d bits\n",
4241                 fr->red_ashift);
4242     }
4243
4244     /* Determine to which blocks each thread's bonded force calculation
4245      * contributes. Store this is a mask for each thread.
4246      */
4247 #pragma omp parallel for num_threads(fr->nthreads) schedule(static)
4248     for (t = 1; t < fr->nthreads; t++)
4249     {
4250         fr->f_t[t].red_mask =
4251             calc_bonded_reduction_mask(idef, fr->red_ashift, t, fr->nthreads);
4252     }
4253
4254     /* Determine the maximum number of blocks we need to reduce over */
4255     fr->red_nblock = 0;
4256     ctot           = 0;
4257     for (t = 0; t < fr->nthreads; t++)
4258     {
4259         c = 0;
4260         for (b = 0; b < MAX_BLOCK_BITS; b++)
4261         {
4262             if (fr->f_t[t].red_mask & (1U<<b))
4263             {
4264                 fr->red_nblock = max(fr->red_nblock, b+1);
4265                 c++;
4266             }
4267         }
4268         if (debug)
4269         {
4270             fprintf(debug, "thread %d flags %x count %d\n",
4271                     t, fr->f_t[t].red_mask, c);
4272         }
4273         ctot += c;
4274     }
4275     if (debug)
4276     {
4277         fprintf(debug, "Number of blocks to reduce: %d of size %d\n",
4278                 fr->red_nblock, 1<<fr->red_ashift);
4279         fprintf(debug, "Reduction density %.2f density/#thread %.2f\n",
4280                 ctot*(1<<fr->red_ashift)/(double)fr->natoms_force,
4281                 ctot*(1<<fr->red_ashift)/(double)(fr->natoms_force*fr->nthreads));
4282     }
4283 }
4284
4285 static void zero_thread_forces(f_thread_t *f_t, int n,
4286                                int nblock, int blocksize)
4287 {
4288     int b, a0, a1, a, i, j;
4289
4290     if (n > f_t->f_nalloc)
4291     {
4292         f_t->f_nalloc = over_alloc_large(n);
4293         srenew(f_t->f, f_t->f_nalloc);
4294     }
4295
4296     if (f_t->red_mask != 0)
4297     {
4298         for (b = 0; b < nblock; b++)
4299         {
4300             if (f_t->red_mask && (1U<<b))
4301             {
4302                 a0 = b*blocksize;
4303                 a1 = min((b+1)*blocksize, n);
4304                 for (a = a0; a < a1; a++)
4305                 {
4306                     clear_rvec(f_t->f[a]);
4307                 }
4308             }
4309         }
4310     }
4311     for (i = 0; i < SHIFTS; i++)
4312     {
4313         clear_rvec(f_t->fshift[i]);
4314     }
4315     for (i = 0; i < F_NRE; i++)
4316     {
4317         f_t->ener[i] = 0;
4318     }
4319     for (i = 0; i < egNR; i++)
4320     {
4321         for (j = 0; j < f_t->grpp.nener; j++)
4322         {
4323             f_t->grpp.ener[i][j] = 0;
4324         }
4325     }
4326     for (i = 0; i < efptNR; i++)
4327     {
4328         f_t->dvdl[i] = 0;
4329     }
4330 }
4331
4332 static void reduce_thread_force_buffer(int n, rvec *f,
4333                                        int nthreads, f_thread_t *f_t,
4334                                        int nblock, int block_size)
4335 {
4336     /* The max thread number is arbitrary,
4337      * we used a fixed number to avoid memory management.
4338      * Using more than 16 threads is probably never useful performance wise.
4339      */
4340 #define MAX_BONDED_THREADS 256
4341     int b;
4342
4343     if (nthreads > MAX_BONDED_THREADS)
4344     {
4345         gmx_fatal(FARGS, "Can not reduce bonded forces on more than %d threads",
4346                   MAX_BONDED_THREADS);
4347     }
4348
4349     /* This reduction can run on any number of threads,
4350      * independently of nthreads.
4351      */
4352 #pragma omp parallel for num_threads(nthreads) schedule(static)
4353     for (b = 0; b < nblock; b++)
4354     {
4355         rvec *fp[MAX_BONDED_THREADS];
4356         int   nfb, ft, fb;
4357         int   a0, a1, a;
4358
4359         /* Determine which threads contribute to this block */
4360         nfb = 0;
4361         for (ft = 1; ft < nthreads; ft++)
4362         {
4363             if (f_t[ft].red_mask & (1U<<b))
4364             {
4365                 fp[nfb++] = f_t[ft].f;
4366             }
4367         }
4368         if (nfb > 0)
4369         {
4370             /* Reduce force buffers for threads that contribute */
4371             a0 =  b   *block_size;
4372             a1 = (b+1)*block_size;
4373             a1 = min(a1, n);
4374             for (a = a0; a < a1; a++)
4375             {
4376                 for (fb = 0; fb < nfb; fb++)
4377                 {
4378                     rvec_inc(f[a], fp[fb][a]);
4379                 }
4380             }
4381         }
4382     }
4383 }
4384
4385 static void reduce_thread_forces(int n, rvec *f, rvec *fshift,
4386                                  real *ener, gmx_grppairener_t *grpp, real *dvdl,
4387                                  int nthreads, f_thread_t *f_t,
4388                                  int nblock, int block_size,
4389                                  gmx_bool bCalcEnerVir,
4390                                  gmx_bool bDHDL)
4391 {
4392     if (nblock > 0)
4393     {
4394         /* Reduce the bonded force buffer */
4395         reduce_thread_force_buffer(n, f, nthreads, f_t, nblock, block_size);
4396     }
4397
4398     /* When necessary, reduce energy and virial using one thread only */
4399     if (bCalcEnerVir)
4400     {
4401         int t, i, j;
4402
4403         for (i = 0; i < SHIFTS; i++)
4404         {
4405             for (t = 1; t < nthreads; t++)
4406             {
4407                 rvec_inc(fshift[i], f_t[t].fshift[i]);
4408             }
4409         }
4410         for (i = 0; i < F_NRE; i++)
4411         {
4412             for (t = 1; t < nthreads; t++)
4413             {
4414                 ener[i] += f_t[t].ener[i];
4415             }
4416         }
4417         for (i = 0; i < egNR; i++)
4418         {
4419             for (j = 0; j < f_t[1].grpp.nener; j++)
4420             {
4421                 for (t = 1; t < nthreads; t++)
4422                 {
4423
4424                     grpp->ener[i][j] += f_t[t].grpp.ener[i][j];
4425                 }
4426             }
4427         }
4428         if (bDHDL)
4429         {
4430             for (i = 0; i < efptNR; i++)
4431             {
4432
4433                 for (t = 1; t < nthreads; t++)
4434                 {
4435                     dvdl[i] += f_t[t].dvdl[i];
4436                 }
4437             }
4438         }
4439     }
4440 }
4441
4442 static real calc_one_bond(FILE *fplog, int thread,
4443                           int ftype, const t_idef *idef,
4444                           rvec x[], rvec f[], rvec fshift[],
4445                           t_forcerec *fr,
4446                           const t_pbc *pbc, const t_graph *g,
4447                           gmx_grppairener_t *grpp,
4448                           t_nrnb *nrnb,
4449                           real *lambda, real *dvdl,
4450                           const t_mdatoms *md, t_fcdata *fcd,
4451                           gmx_bool bCalcEnerVir,
4452                           int *global_atom_index, gmx_bool bPrintSepPot)
4453 {
4454     int      nat1, nbonds, efptFTYPE;
4455     real     v = 0;
4456     t_iatom *iatoms;
4457     int      nb0, nbn;
4458
4459     if (IS_RESTRAINT_TYPE(ftype))
4460     {
4461         efptFTYPE = efptRESTRAINT;
4462     }
4463     else
4464     {
4465         efptFTYPE = efptBONDED;
4466     }
4467
4468     nat1      = interaction_function[ftype].nratoms + 1;
4469     nbonds    = idef->il[ftype].nr/nat1;
4470     iatoms    = idef->il[ftype].iatoms;
4471
4472     nb0 = idef->il_thread_division[ftype*(idef->nthreads+1)+thread];
4473     nbn = idef->il_thread_division[ftype*(idef->nthreads+1)+thread+1] - nb0;
4474
4475     if (!IS_LISTED_LJ_C(ftype))
4476     {
4477         if (ftype == F_CMAP)
4478         {
4479             v = cmap_dihs(nbn, iatoms+nb0,
4480                           idef->iparams, &idef->cmap_grid,
4481                           (const rvec*)x, f, fshift,
4482                           pbc, g, lambda[efptFTYPE], &(dvdl[efptFTYPE]),
4483                           md, fcd, global_atom_index);
4484         }
4485 #ifdef GMX_SIMD_HAVE_REAL
4486         else if (ftype == F_ANGLES &&
4487                  !bCalcEnerVir && fr->efep == efepNO)
4488         {
4489             /* No energies, shift forces, dvdl */
4490             angles_noener_simd(nbn, idef->il[ftype].iatoms+nb0,
4491                                idef->iparams,
4492                                (const rvec*)x, f,
4493                                pbc, g, lambda[efptFTYPE], md, fcd,
4494                                global_atom_index);
4495             v = 0;
4496         }
4497 #endif
4498         else if (ftype == F_PDIHS &&
4499                  !bCalcEnerVir && fr->efep == efepNO)
4500         {
4501             /* No energies, shift forces, dvdl */
4502 #ifdef GMX_SIMD_HAVE_REAL
4503             pdihs_noener_simd
4504 #else
4505             pdihs_noener
4506 #endif
4507                 (nbn, idef->il[ftype].iatoms+nb0,
4508                 idef->iparams,
4509                 (const rvec*)x, f,
4510                 pbc, g, lambda[efptFTYPE], md, fcd,
4511                 global_atom_index);
4512             v = 0;
4513         }
4514         else
4515         {
4516             v = interaction_function[ftype].ifunc(nbn, iatoms+nb0,
4517                                                   idef->iparams,
4518                                                   (const rvec*)x, f, fshift,
4519                                                   pbc, g, lambda[efptFTYPE], &(dvdl[efptFTYPE]),
4520                                                   md, fcd, global_atom_index);
4521         }
4522         if (bPrintSepPot)
4523         {
4524             fprintf(fplog, "  %-23s #%4d  V %12.5e  dVdl %12.5e\n",
4525                     interaction_function[ftype].longname,
4526                     nbonds, v, lambda[efptFTYPE]);
4527         }
4528     }
4529     else
4530     {
4531         v = do_nonbonded_listed(ftype, nbn, iatoms+nb0, idef->iparams, (const rvec*)x, f, fshift,
4532                                 pbc, g, lambda, dvdl, md, fr, grpp, global_atom_index);
4533
4534         if (bPrintSepPot)
4535         {
4536             fprintf(fplog, "  %-5s + %-15s #%4d                  dVdl %12.5e\n",
4537                     interaction_function[ftype].longname,
4538                     interaction_function[F_LJ14].longname, nbonds, dvdl[efptVDW]);
4539             fprintf(fplog, "  %-5s + %-15s #%4d                  dVdl %12.5e\n",
4540                     interaction_function[ftype].longname,
4541                     interaction_function[F_COUL14].longname, nbonds, dvdl[efptCOUL]);
4542         }
4543     }
4544
4545     if (thread == 0)
4546     {
4547         inc_nrnb(nrnb, interaction_function[ftype].nrnb_ind, nbonds);
4548     }
4549
4550     return v;
4551 }
4552
4553 void calc_bonds(FILE *fplog, const gmx_multisim_t *ms,
4554                 const t_idef *idef,
4555                 rvec x[], history_t *hist,
4556                 rvec f[], t_forcerec *fr,
4557                 const t_pbc *pbc, const t_graph *g,
4558                 gmx_enerdata_t *enerd, t_nrnb *nrnb,
4559                 real *lambda,
4560                 const t_mdatoms *md,
4561                 t_fcdata *fcd, int *global_atom_index,
4562                 t_atomtypes gmx_unused *atype, gmx_genborn_t gmx_unused *born,
4563                 int force_flags,
4564                 gmx_bool bPrintSepPot, gmx_int64_t step)
4565 {
4566     gmx_bool      bCalcEnerVir;
4567     int           i;
4568     real          v, dvdl[efptNR], dvdl_dum[efptNR]; /* The dummy array is to have a place to store the dhdl at other values
4569                                                         of lambda, which will be thrown away in the end*/
4570     const  t_pbc *pbc_null;
4571     char          buf[22];
4572     int           thread;
4573
4574     assert(fr->nthreads == idef->nthreads);
4575
4576     bCalcEnerVir = (force_flags & (GMX_FORCE_VIRIAL | GMX_FORCE_ENERGY));
4577
4578     for (i = 0; i < efptNR; i++)
4579     {
4580         dvdl[i] = 0.0;
4581     }
4582     if (fr->bMolPBC)
4583     {
4584         pbc_null = pbc;
4585     }
4586     else
4587     {
4588         pbc_null = NULL;
4589     }
4590     if (bPrintSepPot)
4591     {
4592         fprintf(fplog, "Step %s: bonded V and dVdl for this node\n",
4593                 gmx_step_str(step, buf));
4594     }
4595
4596 #ifdef DEBUG
4597     if (g && debug)
4598     {
4599         p_graph(debug, "Bondage is fun", g);
4600     }
4601 #endif
4602
4603     /* Do pre force calculation stuff which might require communication */
4604     if (idef->il[F_ORIRES].nr)
4605     {
4606         enerd->term[F_ORIRESDEV] =
4607             calc_orires_dev(ms, idef->il[F_ORIRES].nr,
4608                             idef->il[F_ORIRES].iatoms,
4609                             idef->iparams, md, (const rvec*)x,
4610                             pbc_null, fcd, hist);
4611     }
4612     if (idef->il[F_DISRES].nr)
4613     {
4614         calc_disres_R_6(idef->il[F_DISRES].nr,
4615                         idef->il[F_DISRES].iatoms,
4616                         idef->iparams, (const rvec*)x, pbc_null,
4617                         fcd, hist);
4618 #ifdef GMX_MPI
4619         if (fcd->disres.nsystems > 1)
4620         {
4621             gmx_sum_sim(2*fcd->disres.nres, fcd->disres.Rt_6, ms);
4622         }
4623 #endif
4624     }
4625
4626 #pragma omp parallel for num_threads(fr->nthreads) schedule(static)
4627     for (thread = 0; thread < fr->nthreads; thread++)
4628     {
4629         int                ftype;
4630         real              *epot, v;
4631         /* thread stuff */
4632         rvec              *ft, *fshift;
4633         real              *dvdlt;
4634         gmx_grppairener_t *grpp;
4635
4636         if (thread == 0)
4637         {
4638             ft     = f;
4639             fshift = fr->fshift;
4640             epot   = enerd->term;
4641             grpp   = &enerd->grpp;
4642             dvdlt  = dvdl;
4643         }
4644         else
4645         {
4646             zero_thread_forces(&fr->f_t[thread], fr->natoms_force,
4647                                fr->red_nblock, 1<<fr->red_ashift);
4648
4649             ft     = fr->f_t[thread].f;
4650             fshift = fr->f_t[thread].fshift;
4651             epot   = fr->f_t[thread].ener;
4652             grpp   = &fr->f_t[thread].grpp;
4653             dvdlt  = fr->f_t[thread].dvdl;
4654         }
4655         /* Loop over all bonded force types to calculate the bonded forces */
4656         for (ftype = 0; (ftype < F_NRE); ftype++)
4657         {
4658             if (idef->il[ftype].nr > 0 && ftype_is_bonded_potential(ftype))
4659             {
4660                 v = calc_one_bond(fplog, thread, ftype, idef, x,
4661                                   ft, fshift, fr, pbc_null, g, grpp,
4662                                   nrnb, lambda, dvdlt,
4663                                   md, fcd, bCalcEnerVir,
4664                                   global_atom_index, bPrintSepPot);
4665                 epot[ftype] += v;
4666             }
4667         }
4668     }
4669     if (fr->nthreads > 1)
4670     {
4671         reduce_thread_forces(fr->natoms_force, f, fr->fshift,
4672                              enerd->term, &enerd->grpp, dvdl,
4673                              fr->nthreads, fr->f_t,
4674                              fr->red_nblock, 1<<fr->red_ashift,
4675                              bCalcEnerVir,
4676                              force_flags & GMX_FORCE_DHDL);
4677     }
4678     if (force_flags & GMX_FORCE_DHDL)
4679     {
4680         for (i = 0; i < efptNR; i++)
4681         {
4682             enerd->dvdl_nonlin[i] += dvdl[i];
4683         }
4684     }
4685
4686     /* Copy the sum of violations for the distance restraints from fcd */
4687     if (fcd)
4688     {
4689         enerd->term[F_DISRESVIOL] = fcd->disres.sumviol;
4690
4691     }
4692 }
4693
4694 void calc_bonds_lambda(FILE *fplog,
4695                        const t_idef *idef,
4696                        rvec x[],
4697                        t_forcerec *fr,
4698                        const t_pbc *pbc, const t_graph *g,
4699                        gmx_grppairener_t *grpp, real *epot, t_nrnb *nrnb,
4700                        real *lambda,
4701                        const t_mdatoms *md,
4702                        t_fcdata *fcd,
4703                        int *global_atom_index)
4704 {
4705     int           i, ftype, nr_nonperturbed, nr;
4706     real          v;
4707     real          dvdl_dum[efptNR];
4708     rvec         *f, *fshift;
4709     const  t_pbc *pbc_null;
4710     t_idef        idef_fe;
4711
4712     if (fr->bMolPBC)
4713     {
4714         pbc_null = pbc;
4715     }
4716     else
4717     {
4718         pbc_null = NULL;
4719     }
4720
4721     /* Copy the whole idef, so we can modify the contents locally */
4722     idef_fe          = *idef;
4723     idef_fe.nthreads = 1;
4724     snew(idef_fe.il_thread_division, F_NRE*(idef_fe.nthreads+1));
4725
4726     /* We already have the forces, so we use temp buffers here */
4727     snew(f, fr->natoms_force);
4728     snew(fshift, SHIFTS);
4729
4730     /* Loop over all bonded force types to calculate the bonded energies */
4731     for (ftype = 0; (ftype < F_NRE); ftype++)
4732     {
4733         if (ftype_is_bonded_potential(ftype))
4734         {
4735             /* Set the work range of thread 0 to the perturbed bondeds only */
4736             nr_nonperturbed                       = idef->il[ftype].nr_nonperturbed;
4737             nr                                    = idef->il[ftype].nr;
4738             idef_fe.il_thread_division[ftype*2+0] = nr_nonperturbed;
4739             idef_fe.il_thread_division[ftype*2+1] = nr;
4740
4741             /* This is only to get the flop count correct */
4742             idef_fe.il[ftype].nr = nr - nr_nonperturbed;
4743
4744             if (nr - nr_nonperturbed > 0)
4745             {
4746                 v = calc_one_bond(fplog, 0, ftype, &idef_fe,
4747                                   x, f, fshift, fr, pbc_null, g,
4748                                   grpp, nrnb, lambda, dvdl_dum,
4749                                   md, fcd, TRUE,
4750                                   global_atom_index, FALSE);
4751                 epot[ftype] += v;
4752             }
4753         }
4754     }
4755
4756     sfree(fshift);
4757     sfree(f);
4758
4759     sfree(idef_fe.il_thread_division);
4760 }