src/testutils/testinit.cpp

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 2012,2013,2014,2015,2016 by the GROMACS development team.
   5  * Copyright (c) 2017,2018,2019,2020,2021, by the GROMACS development team, led by
   6  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   7  * and including many others, as listed in the AUTHORS file in the
   8  * top-level source directory and at http://www.gromacs.org.
   9  *
  10  * GROMACS is free software; you can redistribute it and/or
  11  * modify it under the terms of the GNU Lesser General Public License
  12  * as published by the Free Software Foundation; either version 2.1
  13  * of the License, or (at your option) any later version.
  14  *
  15  * GROMACS is distributed in the hope that it will be useful,
  16  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  18  * Lesser General Public License for more details.
  19  *
  20  * You should have received a copy of the GNU Lesser General Public
  21  * License along with GROMACS; if not, see
  22  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  23  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  24  *
  25  * If you want to redistribute modifications to GROMACS, please
  26  * consider that scientific software is very special. Version
  27  * control is crucial - bugs must be traceable. We will be happy to
  28  * consider code for inclusion in the official distribution, but
  29  * derived work must not be called official GROMACS. Details are found
  30  * in the README & COPYING files - if they are missing, get the
  31  * official version at http://www.gromacs.org.
  32  *
  33  * To help us fund GROMACS development, we humbly ask that you cite
  34  * the research papers on the package. Check out http://www.gromacs.org.
  35  */
  36 /*! \internal \file
  37  * \brief
  38  * Implements functions in testinit.h.
  39  *
  40  * \author Teemu Murtola <teemu.murtola@gmail.com>
  41  * \ingroup module_testutils
  42  */
  43 #include "gmxpre.h"
  44
  45 #include "testutils/testinit.h"
  46
  47 #include <cstdio>
  48 #include <cstdlib>
  49
  50 #include <memory>
  51
  52 #include <gmock/gmock.h>
  53
  54 #include "buildinfo.h"
  55 #include "gromacs/commandline/cmdlinehelpcontext.h"
  56 #include "gromacs/commandline/cmdlinehelpwriter.h"
  57 #include "gromacs/commandline/cmdlineinit.h"
  58 #include "gromacs/commandline/cmdlineparser.h"
  59 #include "gromacs/commandline/cmdlineprogramcontext.h"
  60 #include "gromacs/math/utilities.h"
  61 #include "gromacs/options/basicoptions.h"
  62 #include "gromacs/options/options.h"
  63 #include "gromacs/utility/basenetwork.h"
  64 #include "gromacs/utility/exceptions.h"
  65 #include "gromacs/utility/filestream.h"
  66 #include "gromacs/utility/futil.h"
  67 #include "gromacs/utility/path.h"
  68 #include "gromacs/utility/programcontext.h"
  69 #include "gromacs/utility/textwriter.h"
  70
  71 #include "testutils/mpitest.h"
  72 #include "testutils/refdata.h"
  73 #include "testutils/test_hardware_environment.h"
  74 #include "testutils/testfilemanager.h"
  75 #include "testutils/testoptions.h"
  76
  77 #include "mpi_printer.h"
  78
  79 namespace gmx
  80 {
  81 namespace test
  82 {
  83
  84 namespace
  85 {
  86
  87 /*! \brief
  88  * Custom program context for test binaries.
  89  *
  90  * This context overrides the installationPrefix() implementation to always
  91  * load data files from the source directory, as the test binaries are never
  92  * installed.  It also supports overriding the directory through a command-line
  93  * option to the test binary.
  94  *
  95  * \ingroup module_testutils
  96  */
  97 class TestProgramContext : public IProgramContext
  98 {
  99 public:
 100     /*! \brief
 101      * Initializes a test program context.
 102      *
 103      * \param[in] context  Current \Gromacs program context.
 104      */
 105     explicit TestProgramContext(const IProgramContext& context) :
 106         context_(context), dataPath_(CMAKE_SOURCE_DIR)
 107     {
 108     }
 109
 110     /*! \brief
 111      * Sets the source directory root from which to look for data files.
 112      */
 113     void overrideSourceRoot(const std::string& sourceRoot) { dataPath_ = sourceRoot; }
 114
 115     const char*            programName() const override { return context_.programName(); }
 116     const char*            displayName() const override { return context_.displayName(); }
 117     const char*            fullBinaryPath() const override { return context_.fullBinaryPath(); }
 118     InstallationPrefixInfo installationPrefix() const override
 119     {
 120         return InstallationPrefixInfo(dataPath_.c_str(), true);
 121     }
 122     const char* commandLine() const override { return context_.commandLine(); }
 123
 124 private:
 125     const IProgramContext& context_;
 126     std::string            dataPath_;
 127 };
 128
 129 //! Prints the command-line options for the unit test binary.
 130 void printHelp(const Options& options)
 131 {
 132     const std::string& program = getProgramContext().displayName();
 133     std::fprintf(stderr,
 134                  "\nYou can use the following GROMACS-specific command-line flags\n"
 135                  "to control the behavior of the tests:\n\n");
 136     TextWriter             writer(&TextOutputFile::standardError());
 137     CommandLineHelpContext context(&writer, eHelpOutputFormat_Console, nullptr, program);
 138     context.setModuleDisplayName(program);
 139     CommandLineHelpWriter(options).writeHelp(context);
 140 }
 141
 142 //! Global program context instance for test binaries.
 143 // Never releases ownership.
 144 std::unique_ptr<TestProgramContext> g_testContext;
 145
 146 /*! \brief Makes GoogleTest non-failures more verbose
 147  *
 148  * By default, GoogleTest does not echo messages appended to explicit
 149  * assertions of success with SUCCEEDED() e.g.
 150  *
 151  *    GTEST_SKIP() << "reason why";
 152  *
 153  * produces no output. This test listener changes that behavior, so
 154  * that the message is echoed.
 155  *
 156  * When run with multiple ranks, only the master rank should use this
 157  * listener, else the output can be very noisy. */
 158 class SuccessListener : public testing::EmptyTestEventListener
 159 {
 160     void OnTestPartResult(const testing::TestPartResult& result) override
 161     {
 162         if (result.type() == testing::TestPartResult::kSuccess)
 163         {
 164             printf("%s\n", result.message());
 165         }
 166     }
 167 };
 168
 169 } // namespace
 170
 171 //! \cond internal
 172 void initTestUtils(const char* dataPath,
 173                    const char* tempPath,
 174                    bool        usesMpi,
 175                    bool        usesHardwareDetection,
 176                    int*        argc,
 177                    char***     argv)
 178 {
 179     if (gmxShouldEnableFPExceptions())
 180     {
 181         gmx_feenableexcept();
 182     }
 183     const CommandLineProgramContext& context = initForCommandLine(argc, argv);
 184     try
 185     {
 186         if (!usesMpi && gmx_node_num() > 1)
 187         {
 188             // We cannot continue, since some tests might be using
 189             // MPI_COMM_WORLD, which could deadlock if we would only
 190             // continue with the master rank here.
 191             if (gmx_node_rank() == 0)
 192             {
 193                 fprintf(stderr,
 194                         "NOTE: You are running %s on %d MPI ranks, "
 195                         "but it is does not contain MPI-enabled tests. "
 196                         "The test will now exit.\n",
 197                         context.programName(),
 198                         gmx_node_num());
 199             }
 200             finalizeForCommandLine();
 201             std::exit(1);
 202         }
 203         if (usesHardwareDetection)
 204         {
 205             callAddGlobalTestEnvironment();
 206         }
 207         g_testContext = std::make_unique<TestProgramContext>(context);
 208         setProgramContext(g_testContext.get());
 209         // Use the default finder that does not respect GMXLIB, since the tests
 210         // generally can only get confused by a different set of data files.
 211         setLibraryFileFinder(nullptr);
 212         ::testing::InitGoogleMock(argc, *argv);
 213         if (dataPath != nullptr)
 214         {
 215             TestFileManager::setInputDataDirectory(Path::join(CMAKE_SOURCE_DIR, dataPath));
 216         }
 217         if (tempPath != nullptr)
 218         {
 219             TestFileManager::setGlobalOutputTempDirectory(tempPath);
 220         }
 221         TestFileManager::setTestSimulationDatabaseDirectory(GMX_TESTSIMULATIONDATABASE_DIR);
 222
 223         bool        bHelp = false;
 224         std::string sourceRoot;
 225         bool        echoReasons = false;
 226         Options     options;
 227         // TODO: A single option that accepts multiple names would be nicer.
 228         // Also, we recognize -help, but GTest doesn't, which leads to a bit
 229         // unintuitive behavior.
 230         options.addOption(BooleanOption("h").store(&bHelp).description(
 231                 "Print GROMACS-specific unit test options"));
 232         options.addOption(BooleanOption("help").store(&bHelp).hidden());
 233         options.addOption(BooleanOption("?").store(&bHelp).hidden());
 234         // TODO: Make this into a FileNameOption (or a DirectoryNameOption).
 235         options.addOption(
 236                 StringOption("src-root").store(&sourceRoot).description("Override source tree location (for data files)"));
 237         options.addOption(
 238                 BooleanOption("echo-reasons").store(&echoReasons).description("When succeeding or skipping a test, echo the reason"));
 239         // The potential MPI test event listener must be initialized first,
 240         // because it should appear in the start of the event listener list,
 241         // before other event listeners that may generate test failures
 242         // (currently, such an event listener is used by the reference data
 243         // framework).
 244         if (usesMpi)
 245         {
 246             initMPIOutput();
 247         }
 248         // TODO: Consider removing this option from test binaries that do not need it.
 249         initReferenceData(&options);
 250         initTestOptions(&options);
 251         try
 252         {
 253             CommandLineParser(&options).parse(argc, *argv);
 254             options.finish();
 255         }
 256         catch (const UserInputError&)
 257         {
 258             printHelp(options);
 259             throw;
 260         }
 261         if (bHelp)
 262         {
 263             printHelp(options);
 264         }
 265         if (!sourceRoot.empty())
 266         {
 267             g_testContext->overrideSourceRoot(sourceRoot);
 268             TestFileManager::setInputDataDirectory(Path::join(sourceRoot, dataPath));
 269         }
 270         // Echo success messages only from the master MPI rank
 271         if (echoReasons && (gmx_node_rank() == 0))
 272         {
 273             testing::UnitTest::GetInstance()->listeners().Append(new SuccessListener);
 274         }
 275     }
 276     catch (const std::exception& ex)
 277     {
 278         printFatalErrorMessage(stderr, ex);
 279         int retcode = processExceptionAtExitForCommandLine(ex);
 280         // TODO: It could be nice to destroy things in proper order such that
 281         // g_testContext would not contain hanging references at this point,
 282         // but in practice that should not matter.
 283         g_testContext.reset();
 284         std::exit(retcode);
 285     }
 286 }
 287
 288 void finalizeTestUtils()
 289 {
 290     setProgramContext(nullptr);
 291     g_testContext.reset();
 292     finalizeForCommandLine();
 293 }
 294 //! \endcond
 295
 296 } // namespace test
 297 } // namespace gmx