src/gromacs/mdlib/domdec_box.c

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2009,2010,2014, by the GROMACS development team, led by
   5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   6  * and including many others, as listed in the AUTHORS file in the
   7  * top-level source directory and at http://www.gromacs.org.
   8  *
   9  * GROMACS is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU Lesser General Public License
  11  * as published by the Free Software Foundation; either version 2.1
  12  * of the License, or (at your option) any later version.
  13  *
  14  * GROMACS is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  17  * Lesser General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Lesser General Public
  20  * License along with GROMACS; if not, see
  21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  23  *
  24  * If you want to redistribute modifications to GROMACS, please
  25  * consider that scientific software is very special. Version
  26  * control is crucial - bugs must be traceable. We will be happy to
  27  * consider code for inclusion in the official distribution, but
  28  * derived work must not be called official GROMACS. Details are found
  29  * in the README & COPYING files - if they are missing, get the
  30  * official version at http://www.gromacs.org.
  31  *
  32  * To help us fund GROMACS development, we humbly ask that you cite
  33  * the research papers on the package. Check out http://www.gromacs.org.
  34  */
  35
  36 #include "gmxpre.h"
  37
  38 #include "config.h"
  39
  40 #include "gromacs/legacyheaders/typedefs.h"
  41 #include "gromacs/math/vec.h"
  42 #include "gromacs/pbcutil/pbc.h"
  43 #include "gromacs/legacyheaders/types/commrec.h"
  44 #include "gromacs/legacyheaders/domdec.h"
  45 #include "gromacs/legacyheaders/domdec_network.h"
  46 #include "gromacs/legacyheaders/nsgrid.h"
  47 #include "gromacs/legacyheaders/network.h"
  48
  49 #include "gromacs/utility/fatalerror.h"
  50
  51 static void calc_cgcm_av_stddev(t_block *cgs, int n, rvec *x, rvec av, rvec stddev,
  52                                 t_commrec *cr_sum)
  53 {
  54     int   *cgindex;
  55     dvec   s1, s2;
  56     double buf[7];
  57     int    cg, d, k0, k1, k, nrcg;
  58     real   inv_ncg;
  59     rvec   cg_cm;
  60
  61     clear_dvec(s1);
  62     clear_dvec(s2);
  63
  64     cgindex = cgs->index;
  65     for (cg = 0; cg < n; cg++)
  66     {
  67         k0      = cgindex[cg];
  68         k1      = cgindex[cg+1];
  69         nrcg    = k1 - k0;
  70         if (nrcg == 1)
  71         {
  72             copy_rvec(x[k0], cg_cm);
  73         }
  74         else
  75         {
  76             inv_ncg = 1.0/nrcg;
  77
  78             clear_rvec(cg_cm);
  79             for (k = k0; (k < k1); k++)
  80             {
  81                 rvec_inc(cg_cm, x[k]);
  82             }
  83             for (d = 0; (d < DIM); d++)
  84             {
  85                 cg_cm[d] *= inv_ncg;
  86             }
  87         }
  88         for (d = 0; d < DIM; d++)
  89         {
  90             s1[d] += cg_cm[d];
  91             s2[d] += cg_cm[d]*cg_cm[d];
  92         }
  93     }
  94
  95     if (cr_sum != NULL)
  96     {
  97         for (d = 0; d < DIM; d++)
  98         {
  99             buf[d]     = s1[d];
 100             buf[DIM+d] = s2[d];
 101         }
 102         buf[6] = n;
 103         gmx_sumd(7, buf, cr_sum);
 104         for (d = 0; d < DIM; d++)
 105         {
 106             s1[d] = buf[d];
 107             s2[d] = buf[DIM+d];
 108         }
 109         n = (int)(buf[6] + 0.5);
 110     }
 111
 112     dsvmul(1.0/n, s1, s1);
 113     dsvmul(1.0/n, s2, s2);
 114
 115     for (d = 0; d < DIM; d++)
 116     {
 117         av[d]     = s1[d];
 118         stddev[d] = sqrt(s2[d] - s1[d]*s1[d]);
 119     }
 120 }
 121
 122 static void set_tric_dir(ivec *dd_nc, gmx_ddbox_t *ddbox, matrix box)
 123 {
 124     int   npbcdim, d, i, j;
 125     rvec *v, *normal;
 126     real  dep, inv_skew_fac2;
 127
 128     npbcdim = ddbox->npbcdim;
 129     normal  = ddbox->normal;
 130     for (d = 0; d < DIM; d++)
 131     {
 132         ddbox->tric_dir[d] = 0;
 133         for (j = d+1; j < npbcdim; j++)
 134         {
 135             if (box[j][d] != 0)
 136             {
 137                 ddbox->tric_dir[d] = 1;
 138                 if (dd_nc != NULL && (*dd_nc)[j] > 1 && (*dd_nc)[d] == 1)
 139                 {
 140                     gmx_fatal(FARGS, "Domain decomposition has not been implemented for box vectors that have non-zero components in directions that do not use domain decomposition: ncells = %d %d %d, box vector[%d] = %f %f %f",
 141                               dd_nc[XX], dd_nc[YY], dd_nc[ZZ],
 142                               j+1, box[j][XX], box[j][YY], box[j][ZZ]);
 143                 }
 144             }
 145         }
 146
 147         /* Convert box vectors to orthogonal vectors for this dimension,
 148          * for use in distance calculations.
 149          * Set the trilinic skewing factor that translates
 150          * the thickness of a slab perpendicular to this dimension
 151          * into the real thickness of the slab.
 152          */
 153         if (ddbox->tric_dir[d])
 154         {
 155             inv_skew_fac2 = 1;
 156             v             = ddbox->v[d];
 157             if (d == XX || d == YY)
 158             {
 159                 /* Normalize such that the "diagonal" is 1 */
 160                 svmul(1/box[d+1][d+1], box[d+1], v[d+1]);
 161                 for (i = 0; i < d; i++)
 162                 {
 163                     v[d+1][i] = 0;
 164                 }
 165                 inv_skew_fac2 += sqr(v[d+1][d]);
 166                 if (d == XX)
 167                 {
 168                     /* Normalize such that the "diagonal" is 1 */
 169                     svmul(1/box[d+2][d+2], box[d+2], v[d+2]);
 170                     for (i = 0; i < d; i++)
 171                     {
 172                         v[d+2][i] = 0;
 173                     }
 174                     /* Make vector [d+2] perpendicular to vector [d+1],
 175                      * this does not affect the normalization.
 176                      */
 177                     dep = iprod(v[d+1], v[d+2])/norm2(v[d+1]);
 178                     for (i = 0; i < DIM; i++)
 179                     {
 180                         v[d+2][i] -= dep*v[d+1][i];
 181                     }
 182                     inv_skew_fac2 += sqr(v[d+2][d]);
 183
 184                     cprod(v[d+1], v[d+2], normal[d]);
 185                 }
 186                 else
 187                 {
 188                     /* cross product with (1,0,0) */
 189                     normal[d][XX] =  0;
 190                     normal[d][YY] =  v[d+1][ZZ];
 191                     normal[d][ZZ] = -v[d+1][YY];
 192                 }
 193                 if (debug)
 194                 {
 195                     fprintf(debug, "box[%d]  %.3f %.3f %.3f\n",
 196                             d, box[d][XX], box[d][YY], box[d][ZZ]);
 197                     for (i = d+1; i < DIM; i++)
 198                     {
 199                         fprintf(debug, "  v[%d]  %.3f %.3f %.3f\n",
 200                                 i, v[i][XX], v[i][YY], v[i][ZZ]);
 201                     }
 202                 }
 203             }
 204             ddbox->skew_fac[d] = 1.0/sqrt(inv_skew_fac2);
 205             /* Set the normal vector length to skew_fac */
 206             dep = ddbox->skew_fac[d]/norm(normal[d]);
 207             svmul(dep, normal[d], normal[d]);
 208
 209             if (debug)
 210             {
 211                 fprintf(debug, "skew_fac[%d] = %f\n", d, ddbox->skew_fac[d]);
 212                 fprintf(debug, "normal[%d]  %.3f %.3f %.3f\n",
 213                         d, normal[d][XX], normal[d][YY], normal[d][ZZ]);
 214             }
 215         }
 216         else
 217         {
 218             ddbox->skew_fac[d] = 1;
 219
 220             for (i = 0; i < DIM; i++)
 221             {
 222                 clear_rvec(ddbox->v[d][i]);
 223                 ddbox->v[d][i][i] = 1;
 224             }
 225             clear_rvec(normal[d]);
 226             normal[d][d] = 1;
 227         }
 228     }
 229 }
 230
 231 static void low_set_ddbox(t_inputrec *ir, ivec *dd_nc, matrix box,
 232                           gmx_bool bCalcUnboundedSize, int ncg, t_block *cgs, rvec *x,
 233                           t_commrec *cr_sum,
 234                           gmx_ddbox_t *ddbox)
 235 {
 236     rvec av, stddev;
 237     real b0, b1;
 238     int  d;
 239
 240     ddbox->npbcdim     = ePBC2npbcdim(ir->ePBC);
 241     ddbox->nboundeddim = inputrec2nboundeddim(ir);
 242
 243     for (d = 0; d < ddbox->nboundeddim; d++)
 244     {
 245         ddbox->box0[d]     = 0;
 246         ddbox->box_size[d] = box[d][d];
 247     }
 248
 249     if (ddbox->nboundeddim < DIM && bCalcUnboundedSize)
 250     {
 251         calc_cgcm_av_stddev(cgs, ncg, x, av, stddev, cr_sum);
 252
 253         /* GRID_STDDEV_FAC * stddev
 254          * gives a uniform load for a rectangular block of cg's.
 255          * For a sphere it is not a bad approximation for 4x1x1 up to 4x2x2.
 256          */
 257         for (d = ddbox->nboundeddim; d < DIM; d++)
 258         {
 259             b0 = av[d] - GRID_STDDEV_FAC*stddev[d];
 260             b1 = av[d] + GRID_STDDEV_FAC*stddev[d];
 261             if (debug)
 262             {
 263                 fprintf(debug, "Setting global DD grid boundaries to %f - %f\n",
 264                         b0, b1);
 265             }
 266             ddbox->box0[d]     = b0;
 267             ddbox->box_size[d] = b1 - b0;
 268         }
 269     }
 270
 271     set_tric_dir(dd_nc, ddbox, box);
 272 }
 273
 274 void set_ddbox(gmx_domdec_t *dd, gmx_bool bMasterState, t_commrec *cr_sum,
 275                t_inputrec *ir, matrix box,
 276                gmx_bool bCalcUnboundedSize, t_block *cgs, rvec *x,
 277                gmx_ddbox_t *ddbox)
 278 {
 279     if (!bMasterState || DDMASTER(dd))
 280     {
 281         low_set_ddbox(ir, &dd->nc, box, bCalcUnboundedSize,
 282                       bMasterState ? cgs->nr : dd->ncg_home, cgs, x,
 283                       bMasterState ? NULL : cr_sum,
 284                       ddbox);
 285     }
 286
 287     if (bMasterState)
 288     {
 289         dd_bcast(dd, sizeof(gmx_ddbox_t), ddbox);
 290     }
 291 }
 292
 293 void set_ddbox_cr(t_commrec *cr, ivec *dd_nc,
 294                   t_inputrec *ir, matrix box, t_block *cgs, rvec *x,
 295                   gmx_ddbox_t *ddbox)
 296 {
 297     if (MASTER(cr))
 298     {
 299         low_set_ddbox(ir, dd_nc, box, TRUE, cgs->nr, cgs, x, NULL, ddbox);
 300     }
 301
 302     gmx_bcast(sizeof(gmx_ddbox_t), ddbox, cr);
 303 }