cmake/ThreadMPI.cmake

   1 # This source code file is part of thread_mpi.
   2 # Written by Sander Pronk, Erik Lindahl, and possibly others.
   3 #
   4 # Copyright (c) 2009, Sander Pronk, Erik Lindahl.
   5 # All rights reserved.
   6 #
   7 # Redistribution and use in source and binary forms, with or without
   8 # modification, are permitted provided that the following conditions are met:
   9 # 1) Redistributions of source code must retain the above copyright
  10 # notice, this list of conditions and the following disclaimer.
  11 # 2) Redistributions in binary form must reproduce the above copyright
  12 # notice, this list of conditions and the following disclaimer in the
  13 # documentation and/or other materials provided with the distribution.
  14 # 3) Neither the name of the copyright holders nor the
  15 # names of its contributors may be used to endorse or promote products
  16 # derived from this software without specific prior written permission.
  17 #
  18 # THIS SOFTWARE IS PROVIDED BY US ''AS IS'' AND ANY
  19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  21 # DISCLAIMED. IN NO EVENT SHALL WE BE LIABLE FOR ANY
  22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  27 # SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  28 #
  29 # If you want to redistribute modifications, please consider that
  30 # scientific software is very special. Version control is crucial -
  31 # bugs must be traceable. We will be happy to consider code for
  32 # inclusion in the official distribution, but derived work should not
  33 # be called official thread_mpi. Details are found in the README & COPYING
  34 # files.
  35
  36 include(CheckIncludeFiles)
  37 include(CheckFunctionExists)
  38 include(CheckCSourceCompiles)
  39
  40 # sets TMPI_ATOMICS to 1 if atomic operations are found, unset otherwise
  41 # Options:
  42 # include directory for thread_mpi/atomic.h
  43 MACRO(TMPI_TEST_ATOMICS INCDIR)
  44
  45     if (NOT DEFINED TMPI_ATOMICS)
  46         try_compile(TEST_ATOMICS "${CMAKE_BINARY_DIR}"
  47                 "${CMAKE_SOURCE_DIR}/cmake/TestAtomics.c"
  48                 COMPILE_DEFINITIONS "-I${INCDIR} -DTMPI_ATOMICS")
  49         if (TEST_ATOMICS)
  50             message(STATUS "Atomic operations found")
  51             # If the check fails, we want to be able to check again,
  52             # in case the user has been able to fix this without
  53             # needing to delete the cache. Thus we only cache
  54             # positive results.
  55             set(TMPI_ATOMICS ${TEST_ATOMICS} CACHE INTERNAL "Whether atomic operations are found")
  56             set(TMPI_ATOMICS_INCDIR ${INCDIR} CACHE INTERNAL "Atomic operations check include dir")
  57         else ()
  58             message(STATUS "Atomic operations not found")
  59             unset(TEST_ATOMICS)
  60         endif()
  61     endif()
  62
  63 ENDMACRO(TMPI_TEST_ATOMICS VARIABLE)
  64
  65 try_compile(HAVE_PROCESSOR_NUMBER ${CMAKE_BINARY_DIR} "${CMAKE_SOURCE_DIR}/cmake/TestWinProcNum.c")
  66
  67 include(FindThreads)
  68
  69 if(CMAKE_USE_WIN32_THREADS_INIT AND NOT HAVE_PROCESSOR_NUMBER)
  70     message(WARNING "Incomplete Windows Processor Group API. If you want Gromacs to be able to set thread affinity, choose a Mingw distribution with a complete API (e.g. Mingw-w64).")
  71 endif()
  72
  73 if (CMAKE_USE_WIN32_THREADS_INIT AND HAVE_PROCESSOR_NUMBER)
  74     set(THREAD_WINDOWS 1)
  75     set(THREAD_LIB)
  76 elseif (CMAKE_USE_PTHREADS_INIT)
  77     check_include_files(pthread.h    HAVE_PTHREAD_H)
  78     set(THREAD_PTHREADS 1)
  79     set(THREAD_LIB ${CMAKE_THREAD_LIBS_INIT})
  80 else()
  81     message(FATAL_ERROR "Thread support required")
  82 endif ()
  83
  84 # Turns on thread_mpi core threading functions.
  85 MACRO(TMPI_ENABLE_CORE INCDIR)
  86     TMPI_TEST_ATOMICS(${INCDIR})
  87
  88 # affinity checks
  89     include(CheckFunctionExists)
  90     if (THREAD_PTHREADS)
  91         set(CMAKE_REQUIRED_LIBRARIES ${CMAKE_THREAD_LIBS_INIT})
  92         # check for sched_setaffinity
  93         check_c_source_compiles(
  94             "#define _GNU_SOURCE
  95 #include <pthread.h>
  96 #include <stdlib.h>
  97 #include <stdio.h>
  98 #include <errno.h>
  99     int main(void) { cpu_set_t set;
 100         CPU_ZERO(&set);
 101         CPU_SET(0, &set);
 102         pthread_setaffinity_np(pthread_self(), sizeof(set), &set);
 103         return 0;
 104     }"
 105             PTHREAD_SETAFFINITY
 106         )
 107         if (PTHREAD_SETAFFINITY)
 108             set(HAVE_PTHREAD_SETAFFINITY 1)
 109         endif ()
 110         set(CMAKE_REQUIRED_LIBRARIES)
 111     endif ()
 112
 113
 114 # this runs on POSIX systems
 115     check_include_files(unistd.h        HAVE_UNISTD_H)
 116     check_include_files(sched.h         HAVE_SCHED_H)
 117     check_include_files(sys/time.h      HAVE_SYS_TIME_H)
 118     check_function_exists(sysconf       HAVE_SYSCONF)
 119 # this runs on windows
 120 #check_include_files(windows.h          HAVE_WINDOWS_H)
 121 ENDMACRO(TMPI_ENABLE_CORE)
 122
 123 # enable C++ library build.
 124 MACRO(TMPI_ENABLE_CXX)
 125     set(TMPI_CXX_LIB 1)
 126 ENDMACRO(TMPI_ENABLE_CXX)
 127
 128 # Turns on thread_mpi MPI functions.
 129 MACRO(TMPI_ENABLE)
 130     TMPI_TEST_ATOMICS(TMPI_ATOMICS_INCDIR)
 131     if(NOT DEFINED TMPI_ATOMICS)
 132         message(WARNING "Atomic operations not found for this CPU+compiler combination. Thread support will be unbearably slow: disable threads. Atomic operations should work on all but the most obscure CPU+compiler combinations; if your system is not obscure -- like, for example, x86 with gcc --  please contact the developers.")
 133     endif()
 134
 135     set(TMPI_ENABLED 1)
 136
 137 # the spin-waiting option
 138     option(THREAD_MPI_WAIT_FOR_NO_ONE "Use busy waits without yielding to the OS scheduler. Turning this on might improve performance (very) slightly at the cost of very poor performance if the threads are competing for CPU time." OFF)
 139     mark_as_advanced(THREAD_MPI_WAIT_FOR_NO_ONE)
 140     if (THREAD_MPI_WAIT_FOR_NO_ONE)
 141         set(TMPI_WAIT_FOR_NO_ONE 1)
 142     else ()
 143         set(TMPI_WAIT_FOR_NO_ONE 0)
 144     endif ()
 145
 146 # the copy buffer option
 147     option(THREAD_MPI_COPY_BUFFER "Use an intermediate copy buffer for small message sizes, to allow blocking sends to return quickly. Only useful in programs with relatively uncoupled threads (infrequent MPI communication)" OFF)
 148     mark_as_advanced(THREAD_MPI_COPY_BUFFER)
 149     if (THREAD_MPI_COPY_BUFFER)
 150         set(TMPI_COPY_BUFFER 1)
 151     else ()
 152         set(TMPI_COPY_BUFFER 0)
 153     endif ()
 154
 155 # the profiling option
 156     option(THREAD_MPI_PROFILING "Turn on simple MPI profiling." OFF)
 157     mark_as_advanced(THREAD_MPI_PROFILING)
 158     if (THREAD_MPI_PROFILING)
 159         set(TMPI_PROFILE 1)
 160     else ()
 161         set(TMPI_PROFILE 0)
 162     endif ()
 163
 164 # tmpi warnings for testing
 165     option(THREAD_MPI_WARNINGS "Turn thread_mpi warnings for testing." OFF)
 166     mark_as_advanced(THREAD_MPI_WARNINGS)
 167     if (THREAD_MPI_WARNINGS)
 168         set(TMPI_WARNINGS 1)
 169     else ()
 170         set(TMPI_WARNINGS 0)
 171     endif ()
 172
 173     include(CheckCSourceCompiles)
 174 ENDMACRO(TMPI_ENABLE)
 175
 176
 177 MACRO(TMPI_GET_SOURCE_LIST SRC_VARIABLE SRC_ROOT)
 178     set(${SRC_VARIABLE}
 179         ${SRC_ROOT}/errhandler.c
 180         ${SRC_ROOT}/tmpi_malloc.c
 181         ${SRC_ROOT}/atomic.c
 182         ${SRC_ROOT}/lock.c)
 183
 184     if (THREAD_PTHREADS)
 185         list(APPEND ${SRC_VARIABLE} ${SRC_ROOT}/pthreads.c)
 186     elseif (THREAD_WINDOWS)
 187         list(APPEND ${SRC_VARIABLE} ${SRC_ROOT}/winthreads.c)
 188     endif ()
 189
 190     if (TMPI_CXX_LIB)
 191         list(APPEND ${SRC_VARIABLE} ${SRC_ROOT}/system_error.cpp)
 192     endif ()
 193
 194     if (TMPI_ENABLED)
 195         list(APPEND ${SRC_VARIABLE}
 196              ${SRC_ROOT}/alltoall.c      ${SRC_ROOT}/p2p_protocol.c
 197              ${SRC_ROOT}/barrier.c       ${SRC_ROOT}/p2p_send_recv.c
 198              ${SRC_ROOT}/bcast.c         ${SRC_ROOT}/p2p_wait.c
 199              ${SRC_ROOT}/collective.c    ${SRC_ROOT}/profile.c
 200              ${SRC_ROOT}/comm.c          ${SRC_ROOT}/reduce.c
 201              ${SRC_ROOT}/event.c         ${SRC_ROOT}/reduce_fast.c
 202              ${SRC_ROOT}/gather.c        ${SRC_ROOT}/scatter.c
 203              ${SRC_ROOT}/group.c         ${SRC_ROOT}/tmpi_init.c
 204              ${SRC_ROOT}/topology.c      ${SRC_ROOT}/list.c
 205              ${SRC_ROOT}/type.c          ${SRC_ROOT}/scan.c
 206              ${SRC_ROOT}/numa_malloc.c   ${SRC_ROOT}/once.c)
 207     endif()
 208 ENDMACRO(TMPI_GET_SOURCE_LIST)
 209