src/gromacs/utility/smalloc.c

   1 /*
   2  * This file is part of the GROMACS molecular simulation package.
   3  *
   4  * Copyright (c) 1991-2000, University of Groningen, The Netherlands.
   5  * Copyright (c) 2001-2004, The GROMACS development team.
   6  * Copyright (c) 2013,2014, by the GROMACS development team, led by
   7  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
   8  * and including many others, as listed in the AUTHORS file in the
   9  * top-level source directory and at http://www.gromacs.org.
  10  *
  11  * GROMACS is free software; you can redistribute it and/or
  12  * modify it under the terms of the GNU Lesser General Public License
  13  * as published by the Free Software Foundation; either version 2.1
  14  * of the License, or (at your option) any later version.
  15  *
  16  * GROMACS is distributed in the hope that it will be useful,
  17  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  19  * Lesser General Public License for more details.
  20  *
  21  * You should have received a copy of the GNU Lesser General Public
  22  * License along with GROMACS; if not, see
  23  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
  24  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
  25  *
  26  * If you want to redistribute modifications to GROMACS, please
  27  * consider that scientific software is very special. Version
  28  * control is crucial - bugs must be traceable. We will be happy to
  29  * consider code for inclusion in the official distribution, but
  30  * derived work must not be called official GROMACS. Details are found
  31  * in the README & COPYING files - if they are missing, get the
  32  * official version at http://www.gromacs.org.
  33  *
  34  * To help us fund GROMACS development, we humbly ask that you cite
  35  * the research papers on the package. Check out http://www.gromacs.org.
  36  */
  37 #include "gmxpre.h"
  38
  39 #include "smalloc.h"
  40
  41 #include "config.h"
  42
  43 #include <errno.h>
  44 #include <stdio.h>
  45 #include <stdlib.h>
  46 #include <string.h>
  47
  48 #ifdef WITH_DMALLOC
  49 #include <dmalloc.h>
  50 #endif
  51 #ifdef HAVE__ALIGNED_MALLOC
  52 #include <malloc.h>
  53 #endif
  54
  55 #include "thread_mpi/threads.h"
  56
  57 #include "gromacs/utility/fatalerror.h"
  58 #ifdef PRINT_ALLOC_KB
  59 #include "gromacs/utility/basenetwork.h"
  60 #include "gromacs/utility/gmxmpi.h"
  61 #endif
  62
  63 static gmx_bool            g_bOverAllocDD     = FALSE;
  64 static tMPI_Thread_mutex_t g_over_alloc_mutex = TMPI_THREAD_MUTEX_INITIALIZER;
  65
  66 #ifdef DEBUG
  67 static void log_action(int bMal, const char *what, const char *file, int line,
  68                        int nelem, int size, void *ptr)
  69 {
  70     static int btot = 0;
  71     char      *NN   = "NULL";
  72     int        bytes;
  73
  74     bytes = size*nelem;
  75     if (!bMal)
  76     {
  77         bytes = -bytes;
  78     }
  79
  80     tMPI_Thread_mutex_lock(&gmx_logfile_mtx);
  81
  82     /* This total memory count is not correct, since with realloc
  83      * it adds the whole size again, not just the increment.
  84      */
  85     /* This static variable is protected by the mutex too... */
  86     btot += bytes;
  87
  88     bytes /= 1024;
  89     if (debug && (bytes != 0))
  90     {
  91         fprintf(debug, "%s:%d kB (%7d kB) [%s, line %d, nelem %d, size %d]\n",
  92                 what ? what : NN, bytes, btot/1024,
  93                 file ? file : NN, line, nelem, size);
  94     }
  95     /* Print to stderr for things larger than 1 MB */
  96     if (bytes >= 1024 || bytes <= -1024)
  97     {
  98         char *fname = NULL;
  99         if (file)
 100         {
 101             fname = strrchr(file, DIR_SEPARATOR);
 102             if (fname)
 103             {
 104                 fname++;
 105             }
 106             else
 107             {
 108                 fname = file;
 109             }
 110         }
 111         printf("%s: %.1f MB [%s, line %d, nelem %d, size %d]\n",
 112                what ? what  : NN, bytes/1024.0,
 113                file ? fname : NN, line, nelem, size);
 114     }
 115     tMPI_Thread_mutex_unlock(&gmx_logfile_mtx);
 116 }
 117 #endif
 118
 119 void *save_malloc(const char *name, const char *file, int line, size_t size)
 120 {
 121     void *p;
 122
 123     p = NULL;
 124     if (size == 0)
 125     {
 126         p = NULL;
 127     }
 128     else
 129     {
 130         if ((p = malloc(size)) == NULL)
 131         {
 132             gmx_fatal(errno, __FILE__, __LINE__,
 133                       "Not enough memory. Failed to malloc %"GMX_PRId64 " bytes for %s\n"
 134                       "(called from file %s, line %d)",
 135                       (gmx_int64_t)size, name, file, line);
 136         }
 137         (void) memset(p, 0, size);
 138     }
 139 #ifdef DEBUG
 140     log_action(1, name, file, line, 1, size, p);
 141 #endif
 142     return p;
 143 }
 144
 145 void *save_calloc(const char *name, const char *file, int line,
 146                   size_t nelem, size_t elsize)
 147 {
 148     void *p;
 149
 150     p = NULL;
 151     if ((nelem == 0) || (elsize == 0))
 152     {
 153         p = NULL;
 154     }
 155     else
 156     {
 157 #ifdef PRINT_ALLOC_KB
 158         if (nelem*elsize >= PRINT_ALLOC_KB*1024)
 159         {
 160             int rank = gmx_node_rank();
 161             printf("Allocating %.1f MB for %s (called from file %s, line %d on %d)\n",
 162                    nelem*elsize/1048576.0, name, file, line, rank);
 163         }
 164 #endif
 165 #ifdef GMX_BROKEN_CALLOC
 166         /* emulate calloc(3) with malloc/memset on machines with
 167            a broken calloc, e.g. in -lgmalloc on cray xt3. */
 168         if ((p = malloc((size_t)nelem*(size_t)elsize)) == NULL)
 169         {
 170             gmx_fatal(errno, __FILE__, __LINE__,
 171                       "Not enough memory. Failed to calloc %"GMX_PRId64
 172                       " elements of size %"GMX_PRId64
 173                       " for %s\n(called from file %s, line %d)",
 174                       (gmx_int64_t)nelem, (gmx_int64_t)elsize,
 175                       name, file, line);
 176         }
 177         memset(p, 0, (size_t) (nelem * elsize));
 178 #else
 179         if ((p = calloc((size_t)nelem, (size_t)elsize)) == NULL)
 180         {
 181             gmx_fatal(errno, __FILE__, __LINE__,
 182                       "Not enough memory. Failed to calloc %"GMX_PRId64
 183                       " elements of size %"GMX_PRId64
 184                       " for %s\n(called from file %s, line %d)",
 185                       (gmx_int64_t)nelem, (gmx_int64_t)elsize, name, file, line);
 186         }
 187 #endif
 188     }
 189 #ifdef DEBUG
 190     log_action(1, name, file, line, nelem, elsize, p);
 191 #endif
 192     return p;
 193 }
 194
 195 void *save_realloc(const char *name, const char *file, int line, void *ptr,
 196                    size_t nelem, size_t elsize)
 197 {
 198     void  *p;
 199     size_t size = nelem*elsize;
 200
 201     p = NULL;
 202     if (size == 0)
 203     {
 204         save_free(name, file, line, ptr);
 205     }
 206     else
 207     {
 208 #ifdef PRINT_ALLOC_KB
 209         if (size >= PRINT_ALLOC_KB*1024)
 210         {
 211             int rank = gmx_node_rank();
 212             printf("Reallocating %.1f MB for %s (called from file %s, line %d on %d)\n",
 213                    size/1048576.0, name, file, line, rank);
 214         }
 215 #endif
 216         if (ptr == NULL)
 217         {
 218             p = malloc((size_t)size);
 219         }
 220         else
 221         {
 222             p = realloc(ptr, (size_t)size);
 223         }
 224         if (p == NULL)
 225         {
 226             gmx_fatal(errno, __FILE__, __LINE__,
 227                       "Not enough memory. Failed to realloc %"GMX_PRId64 " bytes for %s, %s=%x\n"
 228                       "(called from file %s, line %d)",
 229                       (gmx_int64_t)size, name, name, ptr, file, line);
 230         }
 231 #ifdef DEBUG
 232         log_action(1, name, file, line, 1, size, p);
 233 #endif
 234     }
 235     return p;
 236 }
 237
 238 void save_free(const char gmx_unused *name, const char gmx_unused *file, int gmx_unused line, void *ptr)
 239 {
 240 #ifdef DEBUG
 241     log_action(0, name, file, line, 0, 0, ptr);
 242 #endif
 243     if (ptr != NULL)
 244     {
 245         free(ptr);
 246     }
 247 }
 248
 249 /* If we don't have useful routines for allocating aligned memory,
 250  * then we have to use the old-style GROMACS approach bitwise-ANDing
 251  * pointers to ensure alignment. We store the pointer to the originally
 252  * allocated region in the space before the returned pointer */
 253
 254 /* we create a positive define for the absence of an system-provided memalign */
 255 #if (!defined HAVE_POSIX_MEMALIGN && !defined HAVE_MEMALIGN && \
 256      !defined HAVE__ALIGNED_MALLOC)
 257 #define GMX_OWN_MEMALIGN
 258 #endif
 259
 260
 261 /* Pointers allocated with this routine should only be freed
 262  * with save_free_aligned, however this will only matter
 263  * on systems that lack posix_memalign() and memalign() when
 264  * freeing memory that needed to be adjusted to achieve
 265  * the necessary alignment. */
 266 void *save_malloc_aligned(const char *name, const char *file, int line,
 267                           size_t nelem, size_t elsize, size_t alignment)
 268 {
 269     void   **aligned  = NULL;
 270     void    *malloced = NULL;
 271     gmx_bool allocate_fail;
 272
 273     if (alignment == 0)
 274     {
 275         gmx_fatal(errno, __FILE__, __LINE__,
 276                   "Cannot allocate aligned memory with alignment of zero!\n(called from file %s, line %d)", file, line);
 277     }
 278
 279
 280     if (nelem == 0 || elsize == 0)
 281     {
 282         aligned  = NULL;
 283     }
 284     else
 285     {
 286 #ifdef PRINT_ALLOC_KB
 287         if (nelem*elsize >= PRINT_ALLOC_KB*1024)
 288         {
 289             int rank = gmx_node_rank();
 290             printf("Allocating %.1f MB for %s (called from file %s, line %d on %d)\n",
 291                    nelem*elsize/1048576.0, name, file, line, rank);
 292         }
 293 #endif
 294
 295 #ifdef HAVE_POSIX_MEMALIGN
 296         allocate_fail = (0 != posix_memalign(&malloced, alignment, nelem*elsize));
 297 #elif defined HAVE_MEMALIGN
 298         allocate_fail = ((malloced = memalign(alignment, nelem*elsize)) == NULL);
 299 #elif defined HAVE__ALIGNED_MALLOC
 300         allocate_fail = ((malloced = _aligned_malloc(nelem*elsize, alignment))
 301                          == NULL);
 302 #else
 303         allocate_fail = ((malloced = malloc(nelem*elsize+alignment+
 304                                             sizeof(void*))) == NULL);
 305 #endif
 306         if (allocate_fail)
 307         {
 308             gmx_fatal(errno, __FILE__, __LINE__,
 309                       "Not enough memory. Failed to allocate %u aligned elements of size %u for %s\n(called from file %s, line %d)", nelem, elsize, name, file, line);
 310         }
 311         /* we start with the original pointer */
 312         aligned = (void**)malloced;
 313
 314 #ifdef GMX_OWN_MEMALIGN
 315         /* Make the aligned pointer, and save the underlying pointer that
 316          * we're allowed to free(). */
 317
 318         /* we first make space to store that underlying pointer: */
 319         aligned = aligned + 1;
 320         /* then we apply a bit mask */
 321         aligned = (void *) (((size_t) aligned + alignment - 1) &
 322                             (~((size_t) (alignment-1))));
 323         /* and we store the original pointer in the area just before the
 324            pointer we're going to return */
 325         aligned[-1] = malloced;
 326 #endif
 327     }
 328     return (void*)aligned;
 329 }
 330
 331 void *save_calloc_aligned(const char *name, const char *file, int line,
 332                           size_t nelem, size_t elsize, size_t alignment)
 333 {
 334     void *aligned = save_malloc_aligned(name, file, line, nelem, elsize, alignment);
 335     if (aligned != NULL)
 336     {
 337         memset(aligned, 0, (size_t)(nelem * elsize));
 338     }
 339     return aligned;
 340 }
 341
 342 /* This routine can NOT be called with any pointer */
 343 void save_free_aligned(const char gmx_unused *name, const char gmx_unused *file, int gmx_unused line, void *ptr)
 344 {
 345     int   i, j;
 346     void *free = ptr;
 347
 348     if (NULL != ptr)
 349     {
 350 #ifdef GMX_OWN_MEMALIGN
 351         /* we get the pointer from just before the memaligned pointer */
 352         free = ((void**)ptr)[-1];
 353 #endif
 354
 355 #ifndef HAVE__ALIGNED_MALLOC
 356         /* (Now) we're allowed to use a normal free() on this pointer. */
 357         save_free(name, file, line, free);
 358 #else
 359         _aligned_free(free);
 360 #endif
 361     }
 362 }
 363
 364 void set_over_alloc_dd(gmx_bool set)
 365 {
 366     tMPI_Thread_mutex_lock(&g_over_alloc_mutex);
 367     /* we just make sure that we don't set this at the same time.
 368        We don't worry too much about reading this rarely-set variable */
 369     g_bOverAllocDD = set;
 370     tMPI_Thread_mutex_unlock(&g_over_alloc_mutex);
 371 }
 372
 373 int over_alloc_dd(int n)
 374 {
 375     if (g_bOverAllocDD)
 376     {
 377         return OVER_ALLOC_FAC*n + 100;
 378     }
 379     else
 380     {
 381         return n;
 382     }
 383 }