src/gromacs/legacyheaders/gmx_x86_avx_128_fma.h

   1 /* -*- mode: c; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 4; c-file-style: "stroustrup"; -*-
   2  *
   3  *
   4  * This file is part of GROMACS.
   5  * Copyright (c) 2012-
   6  *
   7  * Written by the Gromacs development team under coordination of
   8  * David van der Spoel, Berk Hess, and Erik Lindahl.
   9  *
  10  * This library is free software; you can redistribute it and/or
  11  * modify it under the terms of the GNU Lesser General Public License
  12  * as published by the Free Software Foundation; either version 2
  13  * of the License, or (at your option) any later version.
  14  *
  15  * To help us fund GROMACS development, we humbly ask that you cite
  16  * the research papers on the package. Check out http://www.gromacs.org
  17  *
  18  * And Hey:
  19  * Gnomes, ROck Monsters And Chili Sauce
  20  */
  21 #ifndef _gmx_x86_avx_128_fma_h_
  22 #define _gmx_x86_avx_128_fma_h_
  23
  24
  25 #include <immintrin.h>
  26 #ifdef HAVE_X86INTRIN_H
  27 #include <x86intrin.h> /* FMA */
  28 #endif
  29 #ifdef HAVE_INTRIN_H
  30 #include <intrin.h> /* FMA MSVC */
  31 #endif
  32
  33
  34 #include <stdio.h>
  35
  36 #include "types/simple.h"
  37
  38
  39 #define gmx_mm_extract_epi32(x, imm) _mm_cvtsi128_si32(_mm_srli_si128((x), 4 * (imm)))
  40
  41 #define _GMX_MM_BLEND(b3, b2, b1, b0) (((b3) << 3) | ((b2) << 2) | ((b1) << 1) | ((b0)))
  42
  43 #define _GMX_MM_PERMUTE128D(fp1, fp0)         (((fp1) << 1) | ((fp0)))
  44
  45
  46 #define GMX_MM_TRANSPOSE2_PD(row0, row1) {           \
  47         __m128d __gmx_t1 = row0;                         \
  48         row0           = _mm_unpacklo_pd(row0, row1);     \
  49         row1           = _mm_unpackhi_pd(__gmx_t1, row1); \
  50 }
  51
  52
  53 #if (defined (_MSC_VER) || defined(__INTEL_COMPILER))
  54 #  define gmx_mm_castsi128_ps(a) _mm_castsi128_ps(a)
  55 #  define gmx_mm_castps_si128(a) _mm_castps_si128(a)
  56 #  define gmx_mm_castps_ps128(a) (a)
  57 #  define gmx_mm_castsi128_pd(a) _mm_castsi128_pd(a)
  58 #  define gmx_mm_castpd_si128(a) _mm_castpd_si128(a)
  59 #elif defined(__GNUC__)
  60 #  define gmx_mm_castsi128_ps(a) ((__m128)(a))
  61 #  define gmx_mm_castps_si128(a) ((__m128i)(a))
  62 #  define gmx_mm_castps_ps128(a) ((__m128)(a))
  63 #  define gmx_mm_castsi128_pd(a) ((__m128d)(a))
  64 #  define gmx_mm_castpd_si128(a) ((__m128i)(a))
  65 #else
  66 static __m128  gmx_mm_castsi128_ps(__m128i a)
  67 {
  68     return *(__m128 *) &a;
  69 }
  70 static __m128i gmx_mm_castps_si128(__m128 a)
  71 {
  72     return *(__m128i *) &a;
  73 }
  74 static __m128  gmx_mm_castps_ps128(__m128 a)
  75 {
  76     return *(__m128 *) &a;
  77 }
  78 static __m128d gmx_mm_castsi128_pd(__m128i a)
  79 {
  80     return *(__m128d *) &a;
  81 }
  82 static __m128i gmx_mm_castpd_si128(__m128d a)
  83 {
  84     return *(__m128i *) &a;
  85 }
  86 #endif
  87
  88 #if GMX_EMULATE_AMD_FMA
  89 /* Wrapper routines so we can do test builds on non-FMA or non-AMD hardware */
  90 static __m128
  91 _mm_macc_ps(__m128 a, __m128 b, __m128 c)
  92 {
  93     return _mm_add_ps(c, _mm_mul_ps(a, b));
  94 }
  95
  96 static __m128
  97 _mm_nmacc_ps(__m128 a, __m128 b, __m128 c)
  98 {
  99     return _mm_sub_ps(c, _mm_mul_ps(a, b));
 100 }
 101
 102 static __m128
 103 _mm_msub_ps(__m128 a, __m128 b, __m128 c)
 104 {
 105     return _mm_sub_ps(_mm_mul_ps(a, b), c);
 106 }
 107
 108 static __m128d
 109 _mm_macc_pd(__m128d a, __m128d b, __m128d c)
 110 {
 111     return _mm_add_pd(c, _mm_mul_pd(a, b));
 112 }
 113
 114 static __m128d
 115 _mm_nmacc_pd(__m128d a, __m128d b, __m128d c)
 116 {
 117     return _mm_sub_pd(c, _mm_mul_pd(a, b));
 118 }
 119
 120 static __m128d
 121 _mm_msub_pd(__m128d a, __m128d b, __m128d c)
 122 {
 123     return _mm_sub_pd(_mm_mul_pd(a, b), c);
 124 }
 125 #endif /* AMD FMA emulation support */
 126
 127 static void
 128 gmx_mm_printxmm_ps(const char *s, __m128 xmm)
 129 {
 130     float f[4];
 131
 132     _mm_storeu_ps(f, xmm);
 133     printf("%s: %15.10e %15.10e %15.10e %15.10e\n", s, f[0], f[1], f[2], f[3]);
 134 }
 135
 136
 137 static void
 138 gmx_mm_printxmmsum_ps(const char *s, __m128 xmm)
 139 {
 140     float f[4];
 141
 142     _mm_storeu_ps(f, xmm);
 143     printf("%s (sum): %15.10g\n", s, f[0]+f[1]+f[2]+f[3]);
 144 }
 145
 146
 147 static void
 148 gmx_mm_printxmm_pd(const char *s, __m128d xmm)
 149 {
 150     double f[2];
 151
 152     _mm_storeu_pd(f, xmm);
 153     printf("%s: %30.20e %30.20e\n", s, f[0], f[1]);
 154 }
 155
 156 static void
 157 gmx_mm_printxmmsum_pd(const char *s, __m128d xmm)
 158 {
 159     double f[2];
 160
 161     _mm_storeu_pd(f, xmm);
 162     printf("%s (sum): %15.10g\n", s, f[0]+f[1]);
 163 }
 164
 165
 166 static void
 167 gmx_mm_printxmm_epi32(const char *s, __m128i xmmi)
 168 {
 169     int i[4];
 170
 171     _mm_storeu_si128((__m128i *)i, xmmi);
 172     printf("%10s: %2d %2d %2d %2d\n", s, i[0], i[1], i[2], i[3]);
 173 }
 174
 175
 176
 177 static int gmx_mm_check_and_reset_overflow(void)
 178 {
 179     int MXCSR;
 180     int sse_overflow;
 181
 182     MXCSR = _mm_getcsr();
 183     /* The overflow flag is bit 3 in the register */
 184     if (MXCSR & 0x0008)
 185     {
 186         sse_overflow = 1;
 187         /* Set the overflow flag to zero */
 188         MXCSR = MXCSR & 0xFFF7;
 189         _mm_setcsr(MXCSR);
 190     }
 191     else
 192     {
 193         sse_overflow = 0;
 194     }
 195
 196     return sse_overflow;
 197 }
 198
 199 /* Work around gcc bug with wrong type for mask formal parameter to maskload/maskstore */
 200 #ifdef GMX_X86_AVX_GCC_MASKLOAD_BUG
 201 #    define gmx_mm_maskload_ps(mem, mask)       _mm_maskload_ps((mem), _mm_castsi128_ps(mask))
 202 #    define gmx_mm_maskstore_ps(mem, mask, x)    _mm_maskstore_ps((mem), _mm_castsi128_ps(mask), (x))
 203 #    define gmx_mm256_maskload_ps(mem, mask)    _mm256_maskload_ps((mem), _mm256_castsi256_ps(mask))
 204 #    define gmx_mm256_maskstore_ps(mem, mask, x) _mm256_maskstore_ps((mem), _mm256_castsi256_ps(mask), (x))
 205 #else
 206 #    define gmx_mm_maskload_ps(mem, mask)       _mm_maskload_ps((mem), (mask))
 207 #    define gmx_mm_maskstore_ps(mem, mask, x)    _mm_maskstore_ps((mem), (mask), (x))
 208 #    define gmx_mm256_maskload_ps(mem, mask)    _mm256_maskload_ps((mem), (mask))
 209 #    define gmx_mm256_maskstore_ps(mem, mask, x) _mm256_maskstore_ps((mem), (mask), (x))
 210 #endif
 211
 212
 213
 214 #endif /* _gmx_x86_avx_128_fma_h_ */