More consolidation of MPI initialization
[alexxy/gromacs.git] / src / gromacs / utility / init.cpp
1 /*
2  * This file is part of the GROMACS molecular simulation package.
3  *
4  * Copyright (c) 2013, by the GROMACS development team, led by
5  * David van der Spoel, Berk Hess, Erik Lindahl, and including many
6  * others, as listed in the AUTHORS file in the top-level source
7  * directory and at http://www.gromacs.org.
8  *
9  * GROMACS is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public License
11  * as published by the Free Software Foundation; either version 2.1
12  * of the License, or (at your option) any later version.
13  *
14  * GROMACS is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with GROMACS; if not, see
21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
23  *
24  * If you want to redistribute modifications to GROMACS, please
25  * consider that scientific software is very special. Version
26  * control is crucial - bugs must be traceable. We will be happy to
27  * consider code for inclusion in the official distribution, but
28  * derived work must not be called official GROMACS. Details are found
29  * in the README & COPYING files - if they are missing, get the
30  * official version at http://www.gromacs.org.
31  *
32  * To help us fund GROMACS development, we humbly ask that you cite
33  * the research papers on the package. Check out http://www.gromacs.org.
34  */
35 /*! \internal \file
36  * \brief
37  * Implements functions from init.h.
38  *
39  * \author Teemu Murtola <teemu.murtola@gmail.com>
40  * \ingroup module_utility
41  */
42 #include "gromacs/utility/init.h"
43
44 #ifdef HAVE_CONFIG_H
45 #include "config.h"
46 #endif
47
48 #include <cstring>
49
50 #ifdef GMX_LIB_MPI
51 #include "gromacs/utility/gmxmpi.h"
52 #endif
53
54 #include "gromacs/legacyheaders/network.h"
55 #include "gromacs/legacyheaders/smalloc.h"
56 #include "gromacs/legacyheaders/types/commrec.h"
57
58 #include "gromacs/utility/programinfo.h"
59
60 namespace gmx
61 {
62
63 #ifdef GMX_LIB_MPI
64 namespace
65 {
66
67 void broadcastArguments(const t_commrec *cr, int *argc, char ***argv)
68 {
69     gmx_bcast(sizeof(*argc), argc, cr);
70
71     if (!MASTER(cr))
72     {
73         snew(*argv, *argc+1);
74     }
75     for (int i = 0; i < *argc; i++)
76     {
77         int len;
78         if (MASTER(cr))
79         {
80             len = std::strlen((*argv)[i])+1;
81         }
82         gmx_bcast(sizeof(len), &len, cr);
83         if (!MASTER(cr))
84         {
85             snew((*argv)[i], len);
86         }
87         gmx_bcast(len, (*argv)[i], cr);
88     }
89 }
90
91 } // namespace
92 #endif
93
94 ProgramInfo &init(const char *realBinaryName, int *argc, char ***argv)
95 {
96 #ifdef GMX_LIB_MPI
97 #ifdef GMX_FAHCORE
98     (void) fah_MPI_Init(argc, argv);
99 #else
100     (void) MPI_Init(argc, argv);
101 #endif
102
103     // TODO: Rewrite this to not use t_commrec once there is clarity on
104     // the approach for MPI in C++ code.
105     // TODO: Consider whether the argument broadcast would better be done
106     // in CommandLineModuleManager.
107     t_commrec cr;
108     std::memset(&cr, 0, sizeof(cr));
109
110     gmx_fill_commrec_from_mpi(&cr);
111     if (PAR(&cr))
112     {
113         broadcastArguments(&cr, argc, argv);
114     }
115 #endif
116     return ProgramInfo::init(realBinaryName, *argc, *argv);
117 }
118
119 ProgramInfo &init(int *argc, char ***argv)
120 {
121     return init(NULL, argc, argv);
122 }
123
124 void finalize()
125 {
126 #ifndef GMX_MPI
127     /* Compiled without MPI, no MPI finalizing needed */
128     return;
129 #else
130     int finalized;
131
132     if (!gmx_mpi_initialized())
133     {
134         return;
135     }
136     /* just as a check; we don't want to finalize twice */
137     MPI_Finalized(&finalized);
138     if (finalized)
139     {
140         return;
141     }
142
143     /* We sync the processes here to try to avoid problems
144      * with buggy MPI implementations that could cause
145      * unfinished processes to terminate.
146      */
147     MPI_Barrier(MPI_COMM_WORLD);
148
149     /* Apparently certain mpich implementations cause problems
150      * with MPI_Finalize. In that case comment out MPI_Finalize.
151      */
152     MPI_Finalize();
153 #endif
154 }
155
156 } // namespace gmx