Merge release-2019 into master
[alexxy/gromacs.git] / docs / install-guide / index.rst
1 .. Note that this must be a single rst file in order for Sphinx
2    to build into into a single plain-text file to place in the
3    installation tarball.
4
5 .. _install guide:
6
7 ******************
8 Installation guide
9 ******************
10
11 .. highlight:: bash
12
13 Introduction to building |Gromacs|
14 ----------------------------------
15
16 These instructions pertain to building |Gromacs|
17 |version|. You might also want to check the `up-to-date installation instructions`_.
18
19 Quick and dirty installation
20 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
21 1. Get the latest version of your C and C++ compilers.
22 2. Check that you have CMake version |CMAKE_MINIMUM_REQUIRED_VERSION| or later.
23 3. Get and unpack the latest version of the |Gromacs| tarball.
24 4. Make a separate build directory and change to it.
25 5. Run ``cmake`` with the path to the source as an argument
26 6. Run ``make``, ``make check``, and ``make install``
27 7. Source ``GMXRC`` to get access to |Gromacs|
28
29 Or, as a sequence of commands to execute:
30
31 .. parsed-literal::
32
33     tar xfz gromacs-|version|.tar.gz
34     cd gromacs-|version|
35     mkdir build
36     cd build
37     cmake .. -DGMX_BUILD_OWN_FFTW=ON -DREGRESSIONTEST_DOWNLOAD=ON
38     make
39     make check
40     sudo make install
41     source /usr/local/gromacs/bin/GMXRC
42
43 This will download and build first the prerequisite FFT library
44 followed by |Gromacs|. If you already have FFTW installed, you can
45 remove that argument to ``cmake``. Overall, this build of |Gromacs|
46 will be correct and reasonably fast on the machine upon which
47 ``cmake`` ran. On another machine, it may not run, or may not run
48 fast. If you want to get the maximum value for your hardware with
49 |Gromacs|, you will have to read further. Sadly, the interactions of
50 hardware, libraries, and compilers are only going to continue to get
51 more complex.
52
53 Quick and dirty cluster installation
54 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
55
56 On a cluster where users are expected to be running across multiple
57 nodes using MPI, make one installation similar to the above, and
58 another using ``-DGMX_MPI=on`` and which is `building only
59 mdrun`_, because that is the only component of |Gromacs| that uses
60 MPI. The latter will install a single simulation engine binary,
61 i.e. ``mdrun_mpi`` when the default suffix is used. Hence it is safe
62 and common practice to install this into the same location where
63 the non-MPI build is installed.
64
65 Typical installation
66 ^^^^^^^^^^^^^^^^^^^^
67
68 As above, and with further details below, but you should consider
69 using the following `CMake options`_ with the
70 appropriate value instead of ``xxx`` :
71
72 * ``-DCMAKE_C_COMPILER=xxx`` equal to the name of the C99 `Compiler`_ you wish to use (or the environment variable ``CC``)
73 * ``-DCMAKE_CXX_COMPILER=xxx`` equal to the name of the C++98 `compiler`_ you wish to use (or the environment variable ``CXX``)
74 * ``-DGMX_MPI=on`` to build using `MPI support`_ (generally good to combine with `building only mdrun`_)
75 * ``-DGMX_GPU=on`` to build using nvcc to run using NVIDIA `CUDA GPU acceleration`_ or an OpenCL_ GPU
76 * ``-DGMX_USE_OPENCL=on`` to build with OpenCL_ support enabled. ``GMX_GPU`` must also be set.
77 * ``-DGMX_SIMD=xxx`` to specify the level of `SIMD support`_ of the node on which |Gromacs| will run
78 * ``-DGMX_BUILD_MDRUN_ONLY=on`` for `building only mdrun`_, e.g. for compute cluster back-end nodes
79 * ``-DGMX_DOUBLE=on`` to build |Gromacs| in double precision (slower, and not normally useful)
80 * ``-DCMAKE_PREFIX_PATH=xxx`` to add a non-standard location for CMake to `search for libraries, headers or programs`_
81 * ``-DCMAKE_INSTALL_PREFIX=xxx`` to install |Gromacs| to a `non-standard location`_ (default ``/usr/local/gromacs``)
82 * ``-DBUILD_SHARED_LIBS=off`` to turn off the building of shared libraries to help with `static linking`_
83 * ``-DGMX_FFT_LIBRARY=xxx`` to select whether to use ``fftw3``, ``mkl`` or ``fftpack`` libraries for `FFT support`_
84 * ``-DCMAKE_BUILD_TYPE=Debug`` to build |Gromacs| in debug mode
85
86 Building older versions
87 ^^^^^^^^^^^^^^^^^^^^^^^
88
89 Installation instructions for old |Gromacs| versions can be found at
90 the |Gromacs| `documentation page
91 <http://manual.gromacs.org/documentation>`_.
92
93 Prerequisites
94 -------------
95
96 Platform
97 ^^^^^^^^
98
99 |Gromacs| can be compiled for many operating systems and
100 architectures.  These include any distribution of Linux, Mac OS X or
101 Windows, and architectures including x86, AMD64/x86-64, several
102 PowerPC including POWER8, ARM v7, ARM v8, and SPARC VIII.
103
104 Compiler
105 ^^^^^^^^
106
107 |Gromacs| can be compiled on any platform with ANSI C99 and C++14
108 compilers, and their respective standard C/C++ libraries. Good
109 performance on an OS and architecture requires choosing a good
110 compiler. We recommend gcc, because it is free, widely available and
111 frequently provides the best performance.
112
113 You should strive to use the most recent version of your
114 compiler. Since we require full C++14 support the minimum supported
115 compiler versions are
116
117 * GNU (gcc) 5.1
118 * Intel (icc) 17.0.1
119 * LLVM (clang) 3.6
120 * Microsoft (MSVC) 2017
121
122 Other compilers may work (Cray, Pathscale, older clang) but do
123 not offer competitive performance. We recommend against PGI because
124 the performance with C++ is very bad.
125
126 The xlc compiler is not supported and version 16.1 does not compile on
127 POWER architectures for |Gromacs|\ -\ |version|. We recommend to use
128 the gcc compiler instead, as it is being extensively tested.
129
130 You may also need the most recent version of other compiler toolchain
131 components beside the compiler itself (e.g. assembler or linker);
132 these are often shipped by your OS distribution's binutils package.
133
134 C++14 support requires adequate support in both the compiler and the
135 C++ library. The gcc and MSVC compilers include their own standard
136 libraries and require no further configuration. If your vendor's
137 compiler also manages the standard library library via compiler flags,
138 these will be honored. For configuration of other compilers, read on.
139
140 On Linux, both the Intel and clang compiler use the libstdc++ which
141 comes with gcc as the default C++ library. For |Gromacs|, we require
142 the compiler to support libstc++ version 5.1 or higher. To select a
143 particular libstdc++ library, provide the path to g++ with
144 ``-DGMX_GPLUSPLUS_PATH=/path/to/g++``.
145
146 On Windows with the Intel compiler, the MSVC standard library is used,
147 and at least MSVC 2017 is required. Load the enviroment variables with
148 vcvarsall.bat.
149
150 To build with clang and llvm's libcxx standard library, use
151 ``-DCMAKE_CXX_FLAGS=-stdlib=libc++``.
152
153 If you are running on Mac OS X, the best option is the Intel
154 compiler. Both clang and gcc will work, but they produce lower
155 performance and each have some shortcomings. clang 3.8 now offers
156 support for OpenMP, and so may provide decent performance.
157
158 For all non-x86 platforms, your best option is typically to use gcc or
159 the vendor's default or recommended compiler, and check for
160 specialized information below.
161
162 For updated versions of gcc to add to your Linux OS, see
163
164 * Ubuntu: `Ubuntu toolchain ppa page`_
165 * RHEL/CentOS: `EPEL page`_ or the RedHat Developer Toolset
166
167 Compiling with parallelization options
168 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
169
170 For maximum performance you will need to examine how you will use
171 |Gromacs| and what hardware you plan to run on. Often OpenMP_
172 parallelism is an advantage for |Gromacs|, but support for this is
173 generally built into your compiler and detected automatically.
174
175 .. _gmx-gpu-support:
176
177 GPU support
178 ~~~~~~~~~~~
179
180 |Gromacs| has excellent support for NVIDIA GPUs supported via CUDA.
181 On Linux, NVIDIA CUDA_ toolkit with minimum version |REQUIRED_CUDA_VERSION|
182 is required, and the latest version is strongly encouraged. NVIDIA GPUs with at
183 least NVIDIA compute capability |REQUIRED_CUDA_COMPUTE_CAPABILITY| are
184 required. You are strongly recommended to
185 get the latest CUDA version and driver that supports your hardware, but
186 beware of possible performance regressions in newer CUDA versions on
187 older hardware.
188 While some CUDA compilers (nvcc) might not
189 officially support recent versions of gcc as the back-end compiler, we
190 still recommend that you at least use a gcc version recent enough to
191 get the best SIMD support for your CPU, since |Gromacs| always runs some
192 code on the CPU. It is most reliable to use the same C++ compiler
193 version for |Gromacs| code as used as the host compiler for nvcc.
194
195 To make it possible to use other accelerators, |Gromacs| also includes
196 OpenCL_ support. The minimum OpenCL version required is
197 |REQUIRED_OPENCL_MIN_VERSION| and only 64-bit implementations are supported.
198 The current OpenCL implementation is recommended for
199 use with GCN-based AMD GPUs, and on Linux we recommend the ROCm runtime.
200 Intel integrated GPUs are supported with the Neo drivers.
201 OpenCL is also supported with NVIDIA GPUs, but using
202 the latest NVIDIA driver (which includes the NVIDIA OpenCL runtime) is
203 recommended. Also note that there are performance limitations (inherent
204 to the NVIDIA OpenCL runtime).
205 It is not possible to configure both CUDA and OpenCL
206 support in the same build of |Gromacs|, nor to support both
207 Intel and other vendors' GPUs with OpenCL. A 64-bit implementation
208 of OpenCL is required and therefore OpenCL is only supported on 64-bit platforms.
209
210 .. _mpi-support:
211
212 MPI support
213 ~~~~~~~~~~~
214
215 |Gromacs| can run in parallel on multiple cores of a single
216 workstation using its built-in thread-MPI. No user action is required
217 in order to enable this.
218
219 If you wish to run in parallel on multiple machines across a network,
220 you will need to have
221
222 * an MPI library installed that supports the MPI 1.3
223   standard, and
224 * wrapper compilers that will compile code using that library.
225
226 To compile with MPI set your compiler to the normal (non-MPI) compiler
227 and add ``-DGMX_MPI=on`` to the cmake options. It is possible to set
228 the compiler to the MPI compiler wrapper but it is neither necessary
229 nor recommended.
230
231 The |Gromacs| team recommends OpenMPI_ version
232 1.6 (or higher), MPICH_ version 1.4.1 (or
233 higher), or your hardware vendor's MPI installation. The most recent
234 version of either of these is likely to be the best. More specialized
235 networks might depend on accelerations only available in the vendor's
236 library. LAM-MPI_ might work, but since it has
237 been deprecated for years, it is not supported.
238
239 For example, depending on your actual MPI library, use ``cmake
240 -DCMAKE_C_COMPILER=mpicc -DCMAKE_CXX_COMPILER=mpicxx -DGMX_MPI=on``.
241
242
243 CMake
244 ^^^^^
245
246 |Gromacs| builds with the CMake build system, requiring at least
247 version |CMAKE_MINIMUM_REQUIRED_VERSION|. You can check whether
248 CMake is installed, and what version it is, with ``cmake
249 --version``. If you need to install CMake, then first check whether
250 your platform's package management system provides a suitable version,
251 or visit the `CMake installation page`_ for pre-compiled binaries,
252 source code and installation instructions. The |Gromacs| team
253 recommends you install the most recent version of CMake you can.
254
255 .. _FFT support:
256
257 Fast Fourier Transform library
258 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
259
260 Many simulations in |Gromacs| make extensive use of fast Fourier
261 transforms, and a software library to perform these is always
262 required. We recommend FFTW_ (version 3 or higher only) or Intel
263 MKL_. The choice of library can be set with ``cmake
264 -DGMX_FFT_LIBRARY=<name>``, where ``<name>`` is one of ``fftw3``,
265 ``mkl``, or ``fftpack``. FFTPACK is bundled with |Gromacs| as a
266 fallback, and is acceptable if simulation performance is not a
267 priority. When choosing MKL, |Gromacs| will also use MKL for BLAS and
268 LAPACK (see `linear algebra libraries`_). Generally, there is no
269 advantage in using MKL with |Gromacs|, and FFTW is often faster.
270 With PME GPU offload support using CUDA, a GPU-based FFT library
271 is required. The CUDA-based GPU FFT library cuFFT is part of the
272 CUDA toolkit (required for all CUDA builds) and therefore no additional
273 software component is needed when building with CUDA GPU acceleration.
274
275 Using FFTW
276 ~~~~~~~~~~
277
278 FFTW_ is likely to be available for your platform via its package
279 management system, but there can be compatibility and significant
280 performance issues associated with these packages. In particular,
281 |Gromacs| simulations are normally run in "mixed" floating-point
282 precision, which is suited for the use of single precision in
283 FFTW. The default FFTW package is normally in double
284 precision, and good compiler options to use for FFTW when linked to
285 |Gromacs| may not have been used. Accordingly, the |Gromacs| team
286 recommends either
287
288 * that you permit the |Gromacs| installation to download and
289   build FFTW from source automatically for you (use
290   ``cmake -DGMX_BUILD_OWN_FFTW=ON``), or
291 * that you build FFTW from the source code.
292
293 If you build FFTW from source yourself, get the most recent version
294 and follow the `FFTW installation guide`_. Choose the precision for
295 FFTW (i.e. single/float vs. double) to match whether you will later
296 use mixed or double precision for |Gromacs|. There is no need to
297 compile FFTW with threading or MPI support, but it does no harm. On
298 x86 hardware, compile with *both* ``--enable-sse2`` and
299 ``--enable-avx`` for FFTW-3.3.4 and earlier. From FFTW-3.3.5, you
300 should also add ``--enable-avx2`` also. On Intel processors supporting
301 512-wide AVX, including KNL, add ``--enable-avx512`` also.
302 FFTW will create a fat library with codelets for all different instruction sets,
303 and pick the fastest supported one at runtime.
304 On ARM architectures with NEON SIMD support and IBM Power8 and later, you
305 definitely want version 3.3.5 or later,
306 and to compile it with ``--enable-neon`` and ``--enable-vsx``, respectively, for
307 SIMD support. If you are using a Cray, there is a special modified
308 (commercial) version of FFTs using the FFTW interface which can be
309 slightly faster.
310
311 Using MKL
312 ~~~~~~~~~
313
314 Use MKL bundled with Intel compilers by setting up the compiler
315 environment, e.g., through ``source /path/to/compilervars.sh intel64``
316 or similar before running CMake including setting
317 ``-DGMX_FFT_LIBRARY=mkl``.
318
319 If you need to customize this further, use
320
321 ::
322
323     cmake -DGMX_FFT_LIBRARY=mkl \
324           -DMKL_LIBRARIES="/full/path/to/libone.so;/full/path/to/libtwo.so" \
325           -DMKL_INCLUDE_DIR="/full/path/to/mkl/include"
326
327 The full list and order(!) of libraries you require are found in Intel's MKL documentation for your system.
328
329 Using ARM Performance Libraries
330 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
331
332 The ARM Performance Libraries provides FFT transforms implementation for ARM
333 architectures.
334 Preliminary support is provided for ARMPL in |Gromacs| through its FFTW-compatible API.
335 Assuming that the ARM HPC toolchain environment including the ARMPL paths
336 are set up (e.g. through loading the appropriate modules like
337 ``module load Module-Prefix/arm-hpc-compiler-X.Y/armpl/X.Y``) use the following cmake
338 options:
339
340 ::
341
342     cmake -DGMX_FFT_LIBRARY=fftw3 \
343           -DFFTWF_LIBRARY="${ARMPL_DIR}/lib/libarmpl_lp64.so" \
344           -DFFTWF_INCLUDE_DIR=${ARMPL_DIR}/include
345
346
347 Other optional build components
348 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
349
350 * Run-time detection of hardware capabilities can be improved by
351   linking with hwloc, which is automatically enabled if detected.
352 * Hardware-optimized BLAS and LAPACK libraries are useful
353   for a few of the |Gromacs| utilities focused on normal modes and
354   matrix manipulation, but they do not provide any benefits for normal
355   simulations. Configuring these is discussed at
356   `linear algebra libraries`_.
357 * The built-in |Gromacs| trajectory viewer ``gmx view`` requires X11 and
358   Motif/Lesstif libraries and header files. You may prefer to use
359   third-party software for visualization, such as VMD_ or PyMol_.
360 * An external TNG library for trajectory-file handling can be used
361   by setting ``-DGMX_EXTERNAL_TNG=yes``, but TNG
362   |GMX_TNG_MINIMUM_REQUIRED_VERSION| is bundled in the |Gromacs|
363   source already.
364 * The lmfit library for Levenberg-Marquardt curve fitting is used in
365   |Gromacs|. Only lmfit |GMX_LMFIT_REQUIRED_VERSION| is supported.  A
366   reduced version of that library is bundled in the |Gromacs|
367   distribution, and the default build uses it. That default may be
368   explicitly enabled with ``-DGMX_USE_LMFIT=internal``. To use an
369   external lmfit library, set ``-DGMX_USE_LMFIT=external``, and adjust
370   ``CMAKE_PREFIX_PATH`` as needed.  lmfit support can be disabled with
371   ``-DGMX_USE_LMFIT=none``.
372 * zlib is used by TNG for compressing some kinds of trajectory data
373 * Building the |Gromacs| documentation is optional, and requires
374   ImageMagick, pdflatex, bibtex, doxygen, python 2.7, sphinx
375   |EXPECTED_SPHINX_VERSION|, and pygments.
376 * The |Gromacs| utility programs often write data files in formats
377   suitable for the Grace plotting tool, but it is straightforward to
378   use these files in other plotting programs, too.
379
380 Doing a build of |Gromacs|
381 --------------------------
382
383 This section will cover a general build of |Gromacs| with CMake_, but it
384 is not an exhaustive discussion of how to use CMake. There are many
385 resources available on the web, which we suggest you search for when
386 you encounter problems not covered here. The material below applies
387 specifically to builds on Unix-like systems, including Linux, and Mac
388 OS X. For other platforms, see the specialist instructions below.
389
390 .. _configure-cmake:
391
392 Configuring with CMake
393 ^^^^^^^^^^^^^^^^^^^^^^
394
395 CMake will run many tests on your system and do its best to work out
396 how to build |Gromacs| for you. If your build machine is the same as
397 your target machine, then you can be sure that the defaults and
398 detection will be pretty good. However, if you want to control aspects
399 of the build, or you are compiling on a cluster head node for back-end
400 nodes with a different architecture, there are a few things you
401 should consider specifying.
402
403 The best way to use CMake to configure |Gromacs| is to do an
404 "out-of-source" build, by making another directory from which you will
405 run CMake. This can be outside the source directory, or a subdirectory
406 of it. It also means you can never corrupt your source code by trying
407 to build it! So, the only required argument on the CMake command line
408 is the name of the directory containing the ``CMakeLists.txt`` file of
409 the code you want to build. For example, download the source tarball
410 and use
411
412 .. parsed-literal::
413
414     tar xfz gromacs-|version|.tgz
415     cd gromacs-|version|
416     mkdir build-gromacs
417     cd build-gromacs
418     cmake ..
419
420 You will see ``cmake`` report a sequence of results of tests and
421 detections done by the |Gromacs| build system. These are written to the
422 ``cmake`` cache, kept in ``CMakeCache.txt``. You can edit this file by
423 hand, but this is not recommended because you could make a mistake.
424 You should not attempt to move or copy this file to do another build,
425 because file paths are hard-coded within it. If you mess things up,
426 just delete this file and start again with ``cmake``.
427
428 If there is a serious problem detected at this stage, then you will see
429 a fatal error and some suggestions for how to overcome it. If you are
430 not sure how to deal with that, please start by searching on the web
431 (most computer problems already have known solutions!) and then
432 consult the gmx-users mailing list. There are also informational
433 warnings that you might like to take on board or not. Piping the
434 output of ``cmake`` through ``less`` or ``tee`` can be
435 useful, too.
436
437 Once ``cmake`` returns, you can see all the settings that were chosen
438 and information about them by using e.g. the curses interface
439
440 ::
441
442     ccmake ..
443
444 You can actually use ``ccmake`` (available on most Unix platforms)
445 directly in the first step, but then
446 most of the status messages will merely blink in the lower part
447 of the terminal rather than be written to standard output. Most platforms
448 including Linux, Windows, and Mac OS X even have native graphical user interfaces for
449 ``cmake``, and it can create project files for almost any build environment
450 you want (including Visual Studio or Xcode).
451 Check out `running CMake`_ for
452 general advice on what you are seeing and how to navigate and change
453 things. The settings you might normally want to change are already
454 presented. You may make changes, then re-configure (using ``c``), so that it
455 gets a chance to make changes that depend on yours and perform more
456 checking. It may take several configuration passes to reach the desired
457 configuration, in particular if you need to resolve errors.
458
459 When you have reached the desired configuration with ``ccmake``, the
460 build system can be generated by pressing ``g``.  This requires that the previous
461 configuration pass did not reveal any additional settings (if it did, you need
462 to configure once more with ``c``).  With ``cmake``, the build system is generated
463 after each pass that does not produce errors.
464
465 You cannot attempt to change compilers after the initial run of
466 ``cmake``. If you need to change, clean up, and start again.
467
468 .. _non-standard location:
469
470 Where to install |Gromacs|
471 ~~~~~~~~~~~~~~~~~~~~~~~~~~
472
473 |Gromacs| is installed in the directory to which
474 ``CMAKE_INSTALL_PREFIX`` points. It may not be the source directory or
475 the build directory.  You require write permissions to this
476 directory. Thus, without super-user privileges,
477 ``CMAKE_INSTALL_PREFIX`` will have to be within your home directory.
478 Even if you do have super-user privileges, you should use them only
479 for the installation phase, and never for configuring, building, or
480 running |Gromacs|!
481
482 .. _cmake options:
483
484 Using CMake command-line options
485 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
486
487 Once you become comfortable with setting and changing options, you may
488 know in advance how you will configure |Gromacs|. If so, you can speed
489 things up by invoking ``cmake`` and passing the various options at once
490 on the command line. This can be done by setting cache variable at the
491 cmake invocation using ``-DOPTION=VALUE``. Note that some
492 environment variables are also taken into account, in particular
493 variables like ``CC`` and ``CXX``.
494
495 For example, the following command line
496
497 ::
498
499     cmake .. -DGMX_GPU=ON -DGMX_MPI=ON -DCMAKE_INSTALL_PREFIX=/home/marydoe/programs
500
501 can be used to build with CUDA GPUs, MPI and install in a custom
502 location. You can even save that in a shell script to make it even
503 easier next time. You can also do this kind of thing with ``ccmake``,
504 but you should avoid this, because the options set with ``-D`` will not
505 be able to be changed interactively in that run of ``ccmake``.
506
507 .. _gmx-simd-support:
508
509 SIMD support
510 ~~~~~~~~~~~~
511
512 |Gromacs| has extensive support for detecting and using the SIMD
513 capabilities of many modern HPC CPU architectures. If you are building
514 |Gromacs| on the same hardware you will run it on, then you don't need
515 to read more about this, unless you are getting configuration warnings
516 you do not understand. By default, the |Gromacs| build system will
517 detect the SIMD instruction set supported by the CPU architecture (on
518 which the configuring is done), and thus pick the best
519 available SIMD parallelization supported by |Gromacs|. The build system
520 will also check that the compiler and linker used also support the
521 selected SIMD instruction set and issue a fatal error if they
522 do not.
523
524 Valid values are listed below, and the applicable value with the
525 largest number in the list is generally the one you should choose.
526 In most cases, choosing an inappropriate higher number will lead
527 to compiling a binary that will not run. However, on a number of
528 processor architectures choosing the highest supported value can
529 lead to performance loss, e.g. on Intel Skylake-X/SP and AMD Zen.
530
531 1. ``None`` For use only on an architecture either lacking SIMD,
532    or to which |Gromacs| has not yet been ported and none of the
533    options below are applicable.
534 2. ``SSE2`` This SIMD instruction set was introduced in Intel
535    processors in 2001, and AMD in 2003. Essentially all x86
536    machines in existence have this, so it might be a good choice if
537    you need to support dinosaur x86 computers too.
538 3. ``SSE4.1`` Present in all Intel core processors since 2007,
539    but notably not in AMD Magny-Cours. Still, almost all recent
540    processors support this, so this can also be considered a good
541    baseline if you are content with slow simulations and prefer
542    portability between reasonably modern processors.
543 4. ``AVX_128_FMA`` AMD Bulldozer, Piledriver (and later Family 15h) processors have this.
544 5. ``AVX_256`` Intel processors since Sandy Bridge (2011). While this
545    code will work on the  AMD Bulldozer and Piledriver processors, it is significantly less
546    efficient than the ``AVX_128_FMA`` choice above - do not be fooled
547    to assume that 256 is better than 128 in this case.
548 6. ``AVX2_128`` AMD Zen/Zen2 and Hygon Dhyana microarchitecture processors;
549    it will enable AVX2 with 3-way fused multiply-add instructions.
550    While these microarchitectures do support 256-bit AVX2 instructions,
551    hence ``AVX2_256`` is also supported, 128-bit will generally be faster,
552    in particular when the non-bonded tasks run on the CPU -- hence
553    the default ``AVX2_128``. With GPU offload however ``AVX2_256``
554    can be faster on Zen processors.
555 7. ``AVX2_256`` Present on Intel Haswell (and later) processors (2013),
556    and it will also enable Intel 3-way fused multiply-add instructions.
557 8. ``AVX_512`` Skylake-X desktop and Skylake-SP Xeon processors (2017);
558    it will generally be fastest on the higher-end desktop and server
559    processors with two 512-bit fused multiply-add units (e.g. Core i9
560    and Xeon Gold). However, certain desktop and server models
561    (e.g. Xeon Bronze and Silver) come with only one AVX512 FMA unit
562    and therefore on these processors ``AVX2_256`` is faster
563    (compile- and runtime checks try to inform about such cases).
564    Additionally, with GPU accelerated runs ``AVX2_256`` can also be
565    faster on high-end Skylake CPUs with both 512-bit FMA units enabled.
566 9. ``AVX_512_KNL`` Knights Landing Xeon Phi processors
567 10. ``Sparc64_HPC_ACE`` Fujitsu machines like the K computer have this.
568 11. ``IBM_VMX`` Power6 and similar Altivec processors have this.
569 12. ``IBM_VSX`` Power7, Power8, Power9 and later have this.
570 13. ``ARM_NEON`` 32-bit ARMv7 with NEON support.
571 14. ``ARM_NEON_ASIMD`` 64-bit ARMv8 and later.
572
573 The CMake configure system will check that the compiler you have
574 chosen can target the architecture you have chosen. mdrun will check
575 further at runtime, so if in doubt, choose the lowest number you
576 think might work, and see what mdrun says. The configure system also
577 works around many known issues in many versions of common HPC
578 compilers.
579
580 A further ``GMX_SIMD=Reference`` option exists, which is a special
581 SIMD-like implementation written in plain C that developers can use
582 when developing support in |Gromacs| for new SIMD architectures. It is
583 not designed for use in production simulations, but if you are using
584 an architecture with SIMD support to which |Gromacs| has not yet been
585 ported, you may wish to try this option instead of the default
586 ``GMX_SIMD=None``, as it can often out-perform this when the
587 auto-vectorization in your compiler does a good job. And post on the
588 |Gromacs| mailing lists, because |Gromacs| can probably be ported for new
589 SIMD architectures in a few days.
590
591 CMake advanced options
592 ~~~~~~~~~~~~~~~~~~~~~~
593
594 The options that are displayed in the default view of ``ccmake`` are
595 ones that we think a reasonable number of users might want to consider
596 changing. There are a lot more options available, which you can see by
597 toggling the advanced mode in ``ccmake`` on and off with ``t``. Even
598 there, most of the variables that you might want to change have a
599 ``CMAKE_`` or ``GMX_`` prefix. There are also some options that will be
600 visible or not according to whether their preconditions are satisfied.
601
602 .. _search for libraries, headers or programs:
603
604 Helping CMake find the right libraries, headers, or programs
605 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
606
607 If libraries are installed in non-default locations their location can
608 be specified using the following variables:
609
610 * ``CMAKE_INCLUDE_PATH`` for header files
611 * ``CMAKE_LIBRARY_PATH`` for libraries
612 * ``CMAKE_PREFIX_PATH`` for header, libraries and binaries
613   (e.g. ``/usr/local``).
614
615 The respective ``include``, ``lib``, or ``bin`` is
616 appended to the path. For each of these variables, a list of paths can
617 be specified (on Unix, separated with ":"). These can be set as
618 enviroment variables like:
619
620 ::
621
622     CMAKE_PREFIX_PATH=/opt/fftw:/opt/cuda cmake ..
623
624 (assuming ``bash`` shell). Alternatively, these variables are also
625 ``cmake`` options, so they can be set like
626 ``-DCMAKE_PREFIX_PATH=/opt/fftw:/opt/cuda``.
627
628 The ``CC`` and ``CXX`` environment variables are also useful
629 for indicating to ``cmake`` which compilers to use. Similarly,
630 ``CFLAGS``/``CXXFLAGS`` can be used to pass compiler
631 options, but note that these will be appended to those set by
632 |Gromacs| for your build platform and build type. You can customize
633 some of this with advanced CMake options such as ``CMAKE_C_FLAGS``
634 and its relatives.
635
636 See also the page on `CMake environment variables`_.
637
638 .. _CUDA GPU acceleration:
639
640 CUDA GPU acceleration
641 ~~~~~~~~~~~~~~~~~~~~~
642
643 If you have the CUDA_ Toolkit installed, you can use ``cmake`` with:
644
645 ::
646
647     cmake .. -DGMX_GPU=ON -DCUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda
648
649 (or whichever path has your installation). In some cases, you might
650 need to specify manually which of your C++ compilers should be used,
651 e.g. with the advanced option ``CUDA_HOST_COMPILER``.
652
653 By default, code will be generated for the most common CUDA architectures.
654 However, to reduce build time and binary size we do not generate code for
655 every single possible architecture, which in rare cases (say, Tegra systems)
656 can result in the default build not being able to use some GPUs.
657 If this happens, or if you want to remove some architectures to reduce
658 binary size and build time, you can alter the target CUDA architectures.
659 This can be done either with the ``GMX_CUDA_TARGET_SM`` or
660 ``GMX_CUDA_TARGET_COMPUTE`` CMake variables, which take a semicolon delimited
661 string with the two digit suffixes of CUDA (virtual) architectures names, for
662 instance "35;50;51;52;53;60". For details, see the "Options for steering GPU
663 code generation" section of the nvcc man / help or Chapter 6. of the nvcc
664 manual.
665
666 The GPU acceleration has been tested on AMD64/x86-64 platforms with
667 Linux, Mac OS X and Windows operating systems, but Linux is the
668 best-tested and supported of these. Linux running on POWER 8, ARM v7 and v8
669 CPUs also works well.
670
671 Experimental support is available for compiling CUDA code, both for host and
672 device, using clang (version 6.0 or later).
673 A CUDA toolkit is still required but it is used only for GPU device code
674 generation and to link against the CUDA runtime library.
675 The clang CUDA support simplifies compilation and provides benefits for development
676 (e.g. allows the use code sanitizers in CUDA host-code).
677 Additionally, using clang for both CPU and GPU compilation can be beneficial
678 to avoid compatibility issues between the GNU toolchain and the CUDA toolkit.
679 clang for CUDA can be triggered using the ``GMX_CLANG_CUDA=ON`` CMake option.
680 Target architectures can be selected with  ``GMX_CUDA_TARGET_SM``,
681 virtual architecture code is always embedded for all requested architectures
682 (hence GMX_CUDA_TARGET_COMPUTE is ignored).
683 Note that this is mainly a developer-oriented feature and it is not recommended
684 for production use as the performance can be significantly lower than that
685 of code compiled with nvcc (and it has also received less testing).
686 However, note that since clang 5.0 the performance gap is only moderate
687 (at the time of writing, about 20% slower GPU kernels), so this version
688 could be considered in non performance-critical use-cases.
689
690
691 OpenCL GPU acceleration
692 ~~~~~~~~~~~~~~~~~~~~~~~
693
694 The primary targets of the |Gromacs| OpenCL support is accelerating
695 simulations on AMD and Intel hardware. For AMD, we target both
696 discrete GPUs and APUs (integrated CPU+GPU chips), and for Intel we
697 target the integrated GPUs found on modern workstation and mobile
698 hardware. The |Gromacs| OpenCL on NVIDIA GPUs works, but performance
699 and other limitations make it less practical (for details see the user guide).
700
701 To build |Gromacs| with OpenCL_ support enabled, two components are
702 required: the OpenCL_ headers and the wrapper library that acts
703 as a client driver loader (so-called ICD loader).
704 The additional, runtime-only dependency is the vendor-specific GPU driver
705 for the device targeted. This also contains the OpenCL_ compiler.
706 As the GPU compute kernels are compiled  on-demand at run time,
707 this vendor-specific compiler and driver is not needed for building |Gromacs|.
708 The former, compile-time dependencies are standard components,
709 hence stock versions can be obtained from most Linux distribution
710 repositories (e.g. ``opencl-headers`` and ``ocl-icd-libopencl1`` on Debian/Ubuntu).
711 Only the compatibility with the required OpenCL_ version |REQUIRED_OPENCL_MIN_VERSION|
712 needs to be ensured.
713 Alternatively, the headers and library can also be obtained from vendor SDKs
714 (e.g. `from AMD <http://developer.amd.com/appsdk>`_),
715 which must be installed in a path found in ``CMAKE_PREFIX_PATH`` (or via the environment
716 variables ``AMDAPPSDKROOT`` or ``CUDA_PATH``).
717
718 To trigger an OpenCL_ build the following CMake flags must be set
719
720 ::
721
722     cmake .. -DGMX_GPU=ON -DGMX_USE_OPENCL=ON
723
724 To build with support for Intel integrated GPUs, it is required
725 to add ``-DGMX_OPENCL_NB_CLUSTER_SIZE=4`` to the cmake command line,
726 so that the GPU kernels match the characteristics of the hardware.
727 The `Neo driver <https://github.com/intel/compute-runtime/releases>`_
728 is recommended.
729
730 On Mac OS, an AMD GPU can be used only with OS version 10.10.4 and
731 higher; earlier OS versions are known to run incorrectly.
732
733 By default, any clFFT library on the system will be used with
734 |Gromacs|, but if none is found then the code will fall back on a
735 version bundled with |Gromacs|. To require |Gromacs| to link with an
736 external library, use
737
738 ::
739
740     cmake .. -DGMX_GPU=ON -DGMX_USE_OPENCL=ON -DclFFT_ROOT_DIR=/path/to/your/clFFT -DGMX_EXTERNAL_CLFFT=TRUE
741
742 Static linking
743 ~~~~~~~~~~~~~~
744
745 Dynamic linking of the |Gromacs| executables will lead to a
746 smaller disk footprint when installed, and so is the default on
747 platforms where we believe it has been tested repeatedly and found to work.
748 In general, this includes Linux, Windows, Mac OS X and BSD systems.
749 Static binaries take more space, but on some hardware and/or under
750 some conditions they are necessary, most commonly when you are running a parallel
751 simulation using MPI libraries (e.g. Cray).
752
753 * To link |Gromacs| binaries statically against the internal |Gromacs|
754   libraries, set ``-DBUILD_SHARED_LIBS=OFF``.
755 * To link statically against external (non-system) libraries as well,
756   set ``-DGMX_PREFER_STATIC_LIBS=ON``. Note, that in
757   general ``cmake`` picks up whatever is available, so this option only
758   instructs ``cmake`` to prefer static libraries when both static and
759   shared are available. If no static version of an external library is
760   available, even when the aforementioned option is ``ON``, the shared
761   library will be used. Also note that the resulting binaries will
762   still be dynamically linked against system libraries on platforms
763   where that is the default. To use static system libraries,
764   additional compiler/linker flags are necessary, e.g. ``-static-libgcc
765   -static-libstdc++``.
766 * To attempt to link a fully static binary set
767   ``-DGMX_BUILD_SHARED_EXE=OFF``. This will prevent CMake from explicitly
768   setting any dynamic linking flags. This option also sets
769   ``-DBUILD_SHARED_LIBS=OFF`` and ``-DGMX_PREFER_STATIC_LIBS=ON`` by
770   default, but the above caveats apply. For compilers which don't
771   default to static linking, the required flags have to be specified. On
772   Linux, this is usually ``CFLAGS=-static CXXFLAGS=-static``.
773
774 gmxapi external API
775 ~~~~~~~~~~~~~~~~~~~
776
777 For dynamic linking builds and on non-Windows platforms, an extra library and
778 headers are installed by setting ``-DGMXAPI=ON`` (default).
779 Build targets ``gmxapi-cppdocs`` and ``gmxapi-cppdocs-dev`` produce documentation in
780 ``docs/api-user`` and ``docs/api-dev``, respectively.
781 For more project information and use cases,
782 refer to the tracked :issue:`2585`,
783 associated GitHub `gmxapi <https://github.com/kassonlab/gmxapi>`_ projects,
784 or DOI `10.1093/bioinformatics/bty484 <https://doi.org/10.1093/bioinformatics/bty484>`_.
785
786 gmxapi is not yet tested on Windows or with static linking, but these use cases
787 are targeted for future versions.
788
789 Portability aspects
790 ~~~~~~~~~~~~~~~~~~~
791
792 A |Gromacs| build will normally not be portable, not even across
793 hardware with the same base instruction set, like x86. Non-portable
794 hardware-specific optimizations are selected at configure-time, such
795 as the SIMD instruction set used in the compute kernels. This
796 selection will be done by the build system based on the capabilities
797 of the build host machine or otherwise specified to ``cmake`` during
798 configuration.
799
800 Often it is possible to ensure portability by choosing the least
801 common denominator of SIMD support, e.g. SSE2 for x86, and ensuring
802 the you use ``cmake -DGMX_USE_RDTSCP=off`` if any of the target CPU
803 architectures does not support the ``RDTSCP`` instruction.  However, we
804 discourage attempts to use a single |Gromacs| installation when the
805 execution environment is heterogeneous, such as a mix of AVX and
806 earlier hardware, because this will lead to programs (especially
807 mdrun) that run slowly on the new hardware. Building two full
808 installations and locally managing how to call the correct one
809 (e.g. using a module system) is the recommended
810 approach. Alternatively, as at the moment the |Gromacs| tools do not
811 make strong use of SIMD acceleration, it can be convenient to create
812 an installation with tools portable across different x86 machines, but
813 with separate mdrun binaries for each architecture. To achieve this,
814 one can first build a full installation with the
815 least-common-denominator SIMD instruction set, e.g. ``-DGMX_SIMD=SSE2``,
816 then build separate mdrun binaries for each architecture present in
817 the heterogeneous environment. By using custom binary and library
818 suffixes for the mdrun-only builds, these can be installed to the
819 same location as the "generic" tools installation.
820 `Building just the mdrun binary`_ is possible by setting the
821 ``-DGMX_BUILD_MDRUN_ONLY=ON`` option.
822
823 Linear algebra libraries
824 ~~~~~~~~~~~~~~~~~~~~~~~~
825
826 As mentioned above, sometimes vendor BLAS and LAPACK libraries
827 can provide performance enhancements for |Gromacs| when doing
828 normal-mode analysis or covariance analysis. For simplicity, the text
829 below will refer only to BLAS, but the same options are available
830 for LAPACK. By default, CMake will search for BLAS, use it if it
831 is found, and otherwise fall back on a version of BLAS internal to
832 |Gromacs|. The ``cmake`` option ``-DGMX_EXTERNAL_BLAS=on`` will be set
833 accordingly. The internal versions are fine for normal use. If you
834 need to specify a non-standard path to search, use
835 ``-DCMAKE_PREFIX_PATH=/path/to/search``. If you need to specify a
836 library with a non-standard name (e.g. ESSL on Power machines
837 or ARMPL on ARM machines), then
838 set ``-DGMX_BLAS_USER=/path/to/reach/lib/libwhatever.a``.
839
840 If you are using Intel MKL_ for FFT, then the BLAS and
841 LAPACK it provides are used automatically. This could be
842 over-ridden with ``GMX_BLAS_USER``, etc.
843
844 On Apple platforms where the Accelerate Framework is available, these
845 will be automatically used for BLAS and LAPACK. This could be
846 over-ridden with ``GMX_BLAS_USER``, etc.
847
848 .. _installing with MiMiC:
849
850 Building with MiMiC QM/MM support
851 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
852
853 MiMiC QM/MM interface integration will require linking against MiMiC
854 communication library, that establishes the communication channel
855 between |Gromacs| and CPMD. The MiMiC Communication library can be
856 downloaded `here <https://gitlab.com/MiMiC-projects/CommLib>`__.
857 Compile and install it. Check that the installation folder of the
858 MiMiC library is added to CMAKE_PREFIX_PATH if it is installed in
859 non-standard location. Building QM/MM-capable version requires
860 double-precision version of |Gromacs| compiled with MPI support:
861
862 * ``-DGMX_DOUBLE=ON -DGMX_MPI -DGMX_MIMIC=ON``
863
864 Changing the names of |Gromacs| binaries and libraries
865 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
866
867 It is sometimes convenient to have different versions of the same
868 |Gromacs| programs installed. The most common use cases have been single
869 and double precision, and with and without MPI. This mechanism can
870 also be used to install side-by-side multiple versions of mdrun
871 optimized for different CPU architectures, as mentioned previously.
872
873 By default, |Gromacs| will suffix programs and libraries for such builds
874 with ``_d`` for double precision and/or ``_mpi`` for MPI (and nothing
875 otherwise). This can be controlled manually with ``GMX_DEFAULT_SUFFIX
876 (ON/OFF)``, ``GMX_BINARY_SUFFIX`` (takes a string) and ``GMX_LIBS_SUFFIX``
877 (also takes a string). For instance, to set a custom suffix for
878 programs and libraries, one might specify:
879
880 ::
881
882     cmake .. -DGMX_DEFAULT_SUFFIX=OFF -DGMX_BINARY_SUFFIX=_mod -DGMX_LIBS_SUFFIX=_mod
883
884 Thus the names of all programs and libraries will be appended with
885 ``_mod``.
886
887 Changing installation tree structure
888 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
889
890 By default, a few different directories under ``CMAKE_INSTALL_PREFIX`` are used
891 when when |Gromacs| is installed. Some of these can be changed, which is mainly
892 useful for packaging |Gromacs| for various distributions. The directories are
893 listed below, with additional notes about some of them. Unless otherwise noted,
894 the directories can be renamed by editing the installation paths in the main
895 CMakeLists.txt.
896
897 ``bin/``
898     The standard location for executables and some scripts.
899     Some of the scripts hardcode the absolute installation prefix, which needs
900     to be changed if the scripts are relocated.
901     The name of the directory can be changed using ``CMAKE_INSTALL_BINDIR`` CMake
902     variable.
903 ``include/gromacs/``
904     The standard location for installed headers.
905 ``lib/``
906     The standard location for libraries. The default depends on the system, and
907     is determined by CMake.
908     The name of the directory can be changed using ``CMAKE_INSTALL_LIBDIR`` CMake
909     variable.
910 ``lib/pkgconfig/``
911     Information about the installed ``libgromacs`` library for ``pkg-config`` is
912     installed here.  The ``lib/`` part adapts to the installation location of the
913     libraries.  The installed files contain the installation prefix as absolute
914     paths.
915 ``share/cmake/``
916     CMake package configuration files are installed here.
917 ``share/gromacs/``
918     Various data files and some documentation go here. The first part can
919     be changed using ``CMAKE_INSTALL_DATADIR``, and the second by using
920     ``GMX_INSTALL_DATASUBDIR`` Using these CMake variables is the preferred
921     way of changing the installation path for
922     ``share/gromacs/top/``, since the path to this directory is built into
923     ``libgromacs`` as well as some scripts, both as a relative and as an absolute
924     path (the latter as a fallback if everything else fails).
925 ``share/man/``
926     Installed man pages go here.
927
928 Compiling and linking
929 ^^^^^^^^^^^^^^^^^^^^^
930
931 Once you have configured with ``cmake``, you can build |Gromacs| with ``make``.
932 It is expected that this will always complete successfully, and
933 give few or no warnings. The CMake-time tests |Gromacs| makes on the settings
934 you choose are pretty extensive, but there are probably a few cases we
935 have not thought of yet. Search the web first for solutions to
936 problems, but if you need help, ask on gmx-users, being sure to
937 provide as much information as possible about what you did, the system
938 you are building on, and what went wrong. This may mean scrolling back
939 a long way through the output of ``make`` to find the first error
940 message!
941
942 If you have a multi-core or multi-CPU machine with ``N``
943 processors, then using
944
945 ::
946
947     make -j N
948
949 will generally speed things up by quite a bit. Other build generator systems
950 supported by ``cmake`` (e.g. ``ninja``) also work well.
951
952 .. _building just the mdrun binary:
953
954 Building only mdrun
955 ~~~~~~~~~~~~~~~~~~~
956
957 This is now supported with the ``cmake`` option
958 ``-DGMX_BUILD_MDRUN_ONLY=ON``, which will build a different version of
959 ``libgromacs`` and the ``mdrun`` program.
960 Naturally, now ``make install`` installs only those
961 products. By default, mdrun-only builds will default to static linking
962 against |Gromacs| libraries, because this is generally a good idea for
963 the targets for which an mdrun-only build is desirable.
964
965 Installing |Gromacs|
966 ^^^^^^^^^^^^^^^^^^^^
967
968 Finally, ``make install`` will install |Gromacs| in the
969 directory given in ``CMAKE_INSTALL_PREFIX``. If this is a system
970 directory, then you will need permission to write there, and you
971 should use super-user privileges only for ``make install`` and
972 not the whole procedure.
973
974 .. _getting access to |Gromacs|:
975
976 Getting access to |Gromacs| after installation
977 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
978
979 |Gromacs| installs the script ``GMXRC`` in the ``bin``
980 subdirectory of the installation directory
981 (e.g. ``/usr/local/gromacs/bin/GMXRC``), which you should source
982 from your shell:
983
984 ::
985
986     source /your/installation/prefix/here/bin/GMXRC
987
988 It will detect what kind of shell you are running and set up your
989 environment for using |Gromacs|. You may wish to arrange for your
990 login scripts to do this automatically; please search the web for
991 instructions on how to do this for your shell.
992
993 Many of the |Gromacs| programs rely on data installed in the
994 ``share/gromacs`` subdirectory of the installation directory. By
995 default, the programs will use the environment variables set in the
996 ``GMXRC`` script, and if this is not available they will try to guess the
997 path based on their own location.  This usually works well unless you
998 change the names of directories inside the install tree. If you still
999 need to do that, you might want to recompile with the new install
1000 location properly set, or edit the ``GMXRC`` script.
1001
1002 Testing |Gromacs| for correctness
1003 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1004
1005 Since 2011, the |Gromacs| development uses an automated system where
1006 every new code change is subject to regression testing on a number of
1007 platforms and software combinations. While this improves
1008 reliability quite a lot, not everything is tested, and since we
1009 increasingly rely on cutting edge compiler features there is
1010 non-negligible risk that the default compiler on your system could
1011 have bugs. We have tried our best to test and refuse to use known bad
1012 versions in ``cmake``, but we strongly recommend that you run through
1013 the tests yourself. It only takes a few minutes, after which you can
1014 trust your build.
1015
1016 The simplest way to run the checks is to build |Gromacs| with
1017 ``-DREGRESSIONTEST_DOWNLOAD``, and run ``make check``.
1018 |Gromacs| will automatically download and run the tests for you.
1019 Alternatively, you can download and unpack the |Gromacs|
1020 regression test suite |gmx-regressiontests-package| tarball yourself
1021 and use the advanced ``cmake`` option ``REGRESSIONTEST_PATH`` to
1022 specify the path to the unpacked tarball, which will then be used for
1023 testing. If the above does not work, then please read on.
1024
1025 The regression tests are also available from the download_ section.
1026 Once you have downloaded them, unpack the tarball, source
1027 ``GMXRC`` as described above, and run ``./gmxtest.pl all``
1028 inside the regression tests folder. You can find more options
1029 (e.g. adding ``double`` when using double precision, or
1030 ``-only expanded`` to run just the tests whose names match
1031 "expanded") if you just execute the script without options.
1032
1033 Hopefully, you will get a report that all tests have passed. If there
1034 are individual failed tests it could be a sign of a compiler bug, or
1035 that a tolerance is just a tiny bit too tight. Check the output files
1036 the script directs you too, and try a different or newer compiler if
1037 the errors appear to be real. If you cannot get it to pass the
1038 regression tests, you might try dropping a line to the gmx-users
1039 mailing list, but then you should include a detailed description of
1040 your hardware, and the output of ``gmx mdrun -version`` (which contains
1041 valuable diagnostic information in the header).
1042
1043 A build with ``-DGMX_BUILD_MDRUN_ONLY`` cannot be tested with
1044 ``make check`` from the build tree, because most of the tests
1045 require a full build to run things like ``grompp``. To test such an
1046 mdrun fully requires installing it to the same location as a normal
1047 build of |Gromacs|, downloading the regression tests tarball manually
1048 as described above, sourcing the correct ``GMXRC`` and running the
1049 perl script manually. For example, from your |Gromacs| source
1050 directory:
1051
1052 ::
1053
1054     mkdir build-normal
1055     cd build-normal
1056     cmake .. -DCMAKE_INSTALL_PREFIX=/your/installation/prefix/here
1057     make -j 4
1058     make install
1059     cd ..
1060     mkdir build-mdrun-only
1061     cd build-mdrun-only
1062     cmake .. -DGMX_MPI=ON -DGMX_GPU=ON -DGMX_BUILD_MDRUN_ONLY=ON -DCMAKE_INSTALL_PREFIX=/your/installation/prefix/here
1063     make -j 4
1064     make install
1065     cd /to/your/unpacked/regressiontests
1066     source /your/installation/prefix/here/bin/GMXRC
1067     ./gmxtest.pl all -np 2
1068
1069 If your mdrun program has been suffixed in a non-standard way, then
1070 the ``./gmxtest.pl -mdrun`` option will let you specify that name to the
1071 test machinery. You can use ``./gmxtest.pl -double`` to test the
1072 double-precision version. You can use ``./gmxtest.pl -crosscompiling``
1073 to stop the test harness attempting to check that the programs can
1074 be run. You can use ``./gmxtest.pl -mpirun srun`` if your command to
1075 run an MPI program is called ``srun``.
1076
1077 The ``make check`` target also runs integration-style tests that may run
1078 with MPI if ``GMX_MPI=ON`` was set. To make these work with various possible
1079 MPI libraries, you may need to
1080 set the CMake variables ``MPIEXEC``, ``MPIEXEC_NUMPROC_FLAG``,
1081 ``MPIEXEC_PREFLAGS`` and ``MPIEXEC_POSTFLAGS`` so that
1082 ``mdrun-mpi-test_mpi`` would run on multiple ranks via the shell command
1083
1084 ::
1085
1086     ${MPIEXEC} ${MPIEXEC_NUMPROC_FLAG} ${NUMPROC} ${MPIEXEC_PREFLAGS} \
1087           mdrun-mpi-test_mpi ${MPIEXEC_POSTFLAGS} -otherflags
1088
1089 A typical example for SLURM is
1090
1091 ::
1092
1093      cmake .. -DGMX_MPI=on -DMPIEXEC=srun -DMPIEXEC_NUMPROC_FLAG=-n -DMPIEXEC_PREFLAGS= -DMPIEXEC_POSTFLAGS=
1094
1095
1096 Testing |Gromacs| for performance
1097 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1098
1099 We are still working on a set of benchmark systems for testing
1100 the performance of |Gromacs|. Until that is ready, we recommend that
1101 you try a few different parallelization options, and experiment with
1102 tools such as ``gmx tune_pme``.
1103
1104 Having difficulty?
1105 ^^^^^^^^^^^^^^^^^^
1106
1107 You are not alone - this can be a complex task! If you encounter a
1108 problem with installing |Gromacs|, then there are a number of
1109 locations where you can find assistance. It is recommended that you
1110 follow these steps to find the solution:
1111
1112 1. Read the installation instructions again, taking note that you
1113    have followed each and every step correctly.
1114
1115 2. Search the |Gromacs| webpage_ and users emailing list for information
1116    on the error. Adding
1117    ``site:https://mailman-1.sys.kth.se/pipermail/gromacs.org_gmx-users``
1118    to a Google search may help filter better results.
1119
1120 3. Search the internet using a search engine such as Google.
1121
1122 4. Post to the |Gromacs| users emailing list gmx-users for
1123    assistance. Be sure to give a full description of what you have
1124    done and why you think it did not work. Give details about the
1125    system on which you are installing.  Copy and paste your command
1126    line and as much of the output as you think might be relevant -
1127    certainly from the first indication of a problem. In particular,
1128    please try to include at least the header from the mdrun logfile,
1129    and preferably the entire file.  People who might volunteer to help
1130    you do not have time to ask you interactive detailed follow-up
1131    questions, so you will get an answer faster if you provide as much
1132    information as you think could possibly help. High quality bug
1133    reports tend to receive rapid high quality answers.
1134
1135 .. _gmx-special-build:
1136
1137 Special instructions for some platforms
1138 ---------------------------------------
1139
1140 Building on Windows
1141 ^^^^^^^^^^^^^^^^^^^
1142
1143 Building on Windows using native compilers is rather similar to
1144 building on Unix, so please start by reading the above. Then, download
1145 and unpack the |Gromacs| source archive. Make a folder in which to do
1146 the out-of-source build of |Gromacs|. For example, make it within the
1147 folder unpacked from the source archive, and call it ``build-gromacs``.
1148
1149 For CMake, you can either use the graphical user interface provided on
1150 Windows, or you can use a command line shell with instructions similar
1151 to the UNIX ones above. If you open a shell from within your IDE
1152 (e.g. Microsoft Visual Studio), it will configure the environment for
1153 you, but you might need to tweak this in order to get either a 32-bit
1154 or 64-bit build environment. The latter provides the fastest
1155 executable. If you use a normal Windows command shell, then you will
1156 need to either set up the environment to find your compilers and
1157 libraries yourself, or run the ``vcvarsall.bat`` batch script provided
1158 by MSVC (just like sourcing a bash script under Unix).
1159
1160 With the graphical user interface, you will be asked about what
1161 compilers to use at the initial configuration stage, and if you use
1162 the command line they can be set in a similar way as under UNIX.
1163
1164 Unfortunately ``-DGMX_BUILD_OWN_FFTW=ON`` (see `Using FFTW`_) does not
1165 work on Windows, because there is no supported way to build FFTW on
1166 Windows. You can either build FFTW some other way (e.g. MinGW), or
1167 use the built-in fftpack (which may be slow), or `using MKL`_.
1168
1169 For the build, you can either load the generated solutions file into
1170 e.g. Visual Studio, or use the command line with ``cmake --build`` so
1171 the right tools get used.
1172
1173 Building on Cray
1174 ^^^^^^^^^^^^^^^^
1175
1176 |Gromacs| builds mostly out of the box on modern Cray machines, but
1177 you may need to specify the use of static binaries with
1178 ``-DGMX_BUILD_SHARED_EXE=off``, and you may need to set the F77
1179 environmental variable to ``ftn`` when compiling FFTW.
1180 The ARM ThunderX2 Cray XC50 machines differ only in that the recommended
1181 compiler is the ARM HPC Compiler (``armclang``).
1182
1183
1184 Building on Solaris
1185 ^^^^^^^^^^^^^^^^^^^
1186
1187 The built-in |Gromacs| processor detection does not work on Solaris,
1188 so it is strongly recommended that you build |Gromacs| with
1189 ``-DGMX_HWLOC=on`` and ensure that the ``CMAKE_PREFIX_PATH`` includes
1190 the path where the hwloc headers and libraries can be found. At least
1191 version 1.11.8 of hwloc is recommended.
1192
1193 Oracle Developer Studio is not a currently supported compiler (and
1194 does not currently compile |Gromacs| correctly, perhaps because the
1195 thread-MPI atomics are incorrectly implemented in |Gromacs|).
1196
1197 Fujitsu PRIMEHPC
1198 ^^^^^^^^^^^^^^^^
1199
1200 This is the architecture of the K computer, which uses Fujitsu
1201 Sparc64VIIIfx chips. On this platform, |Gromacs| has
1202 accelerated group kernels using the HPC-ACE instructions, no
1203 accelerated Verlet kernels, and a custom build toolchain. Since this
1204 particular chip only does double precision SIMD, the default setup
1205 is to build |Gromacs| in double. Since most users only need single, we have added
1206 an option GMX_RELAXED_DOUBLE_PRECISION to accept single precision square root
1207 accuracy in the group kernels; unless you know that you really need 15 digits
1208 of accuracy in each individual force, we strongly recommend you use this. Note
1209 that all summation and other operations are still done in double.
1210
1211 The recommended configuration is to use
1212
1213 ::
1214
1215     cmake .. -DCMAKE_TOOLCHAIN_FILE=Toolchain-Fujitsu-Sparc64-mpi.cmake \
1216              -DCMAKE_PREFIX_PATH=/your/fftw/installation/prefix \
1217              -DCMAKE_INSTALL_PREFIX=/where/gromacs/should/be/installed \
1218              -DGMX_MPI=ON \
1219              -DGMX_BUILD_MDRUN_ONLY=ON \
1220              -DGMX_RELAXED_DOUBLE_PRECISION=ON
1221     make
1222     make install
1223
1224 Intel Xeon Phi
1225 ^^^^^^^^^^^^^^
1226
1227 Xeon Phi processors, hosted or self-hosted, are supported.
1228 Only symmetric (aka native) mode is supported on Knights Corner. The
1229 performance depends among other factors on the system size, and for
1230 now the performance might not be faster than CPUs. When building for it,
1231 the recommended configuration is
1232
1233 ::
1234
1235     cmake .. -DCMAKE_TOOLCHAIN_FILE=Platform/XeonPhi
1236     make
1237     make install
1238
1239
1240 The Knights Landing-based Xeon Phi processors behave like standard x86 nodes,
1241 but support a special SIMD instruction set. When cross-compiling for such nodes,
1242 use the ``AVX_512_KNL`` SIMD flavor.
1243 Knights Landing processors support so-called "clustering modes" which
1244 allow reconfiguring the memory subsystem for lower latency. |Gromacs| can
1245 benefit from the quadrant or SNC clustering modes.
1246 Care needs to be taken to correctly pin threads. In particular, threads of
1247 an MPI rank should not cross cluster and NUMA boundaries.
1248 In addition to the main DRAM memory, Knights Landing has a high-bandwidth
1249 stacked memory called MCDRAM. Using it offers performance benefits if
1250 it is ensured that ``mdrun`` runs entirely from this memory; to do so
1251 it is recommended that MCDRAM is configured in "Flat mode" and ``mdrun`` is
1252 bound to the appropriate NUMA node (use e.g. ``numactl --membind 1`` with
1253 quadrant clustering mode).
1254
1255
1256 Tested platforms
1257 ----------------
1258
1259 While it is our best belief that |Gromacs| will build and run pretty
1260 much everywhere, it is important that we tell you where we really know
1261 it works because we have tested it. We do test on Linux, Windows, and
1262 Mac with a range of compilers and libraries for a range of our
1263 configuration options. Every commit in our git source code repository
1264 is currently tested on x86 with a number of gcc versions ranging from 5.1
1265 through 8.1, version 19 of the Intel compiler, and Clang
1266 versions 3.6 through 7. For this, we use a variety of GNU/Linux
1267 flavors and versions as well as recent versions of Windows. Under
1268 Windows, we test both MSVC 2017 and version 16 of the Intel compiler.
1269 Other compiler, library, and OS versions are tested less frequently.
1270 For details, you can
1271 have a look at the `continuous integration server used by GROMACS`_,
1272 which runs Jenkins_.
1273
1274 We test irregularly on ARM v7, ARM v8, Cray, Fujitsu
1275 PRIMEHPC, Power8, Google Native Client and other environments, and
1276 with other compilers and compiler versions, too.