src/gromacs/legacyheaders/gmx_x86_avx_128_fma.h

   1 /* -*- mode: c; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 4; c-file-style: "stroustrup"; -*-
   2  *
   3  *
   4  * This file is part of GROMACS.
   5  * Copyright (c) 2012-
   6  *
   7  * Written by the Gromacs development team under coordination of
   8  * David van der Spoel, Berk Hess, and Erik Lindahl.
   9  *
  10  * This library is free software; you can redistribute it and/or
  11  * modify it under the terms of the GNU Lesser General Public License
  12  * as published by the Free Software Foundation; either version 2
  13  * of the License, or (at your option) any later version.
  14  *
  15  * To help us fund GROMACS development, we humbly ask that you cite
  16  * the research papers on the package. Check out http://www.gromacs.org
  17  *
  18  * And Hey:
  19  * Gnomes, ROck Monsters And Chili Sauce
  20  */
  21 #ifndef _gmx_x86_avx_128_fma_h_
  22 #define _gmx_x86_avx_128_fma_h_
  23
  24
  25 #include <immintrin.h>
  26 #ifdef HAVE_X86INTRIN_H
  27 #include <x86intrin.h> /* FMA */
  28 #endif
  29
  30 #include <stdio.h>
  31
  32 #include "types/simple.h"
  33
  34
  35 #define gmx_mm_extract_epi32(x, imm) _mm_cvtsi128_si32(_mm_srli_si128((x), 4 * (imm)))
  36
  37 #define _GMX_MM_BLEND(b3,b2,b1,b0) (((b3) << 3) | ((b2) << 2) | ((b1) << 1) | ((b0)))
  38
  39 #define _GMX_MM_PERMUTE128D(fp1,fp0)         (((fp1) << 1) | ((fp0)))
  40
  41
  42 #define GMX_MM_TRANSPOSE2_PD(row0, row1) {           \
  43     __m128d __gmx_t1 = row0;                         \
  44     row0           = _mm_unpacklo_pd(row0,row1);     \
  45     row1           = _mm_unpackhi_pd(__gmx_t1,row1); \
  46 }
  47
  48
  49 #if (defined (_MSC_VER) || defined(__INTEL_COMPILER))
  50 #  define gmx_mm_castsi128_ps(a) _mm_castsi128_ps(a)
  51 #  define gmx_mm_castps_si128(a) _mm_castps_si128(a)
  52 #  define gmx_mm_castps_ps128(a) (a)
  53 #  define gmx_mm_castsi128_pd(a) _mm_castsi128_pd(a)
  54 #  define gmx_mm_castpd_si128(a) _mm_castpd_si128(a)
  55 #elif defined(__GNUC__)
  56 #  define gmx_mm_castsi128_ps(a) ((__m128)(a))
  57 #  define gmx_mm_castps_si128(a) ((__m128i)(a))
  58 #  define gmx_mm_castps_ps128(a) ((__m128)(a))
  59 #  define gmx_mm_castsi128_pd(a) ((__m128d)(a))
  60 #  define gmx_mm_castpd_si128(a) ((__m128i)(a))
  61 #else
  62 static __m128  gmx_mm_castsi128_ps(__m128i a)
  63 {
  64     return *(__m128 *) &a;
  65 }
  66 static __m128i gmx_mm_castps_si128(__m128 a)
  67 {
  68     return *(__m128i *) &a;
  69 }
  70 static __m128  gmx_mm_castps_ps128(__m128 a)
  71 {
  72     return *(__m128 *) &a;
  73 }
  74 static __m128d gmx_mm_castsi128_pd(__m128i a)
  75 {
  76     return *(__m128d *) &a;
  77 }
  78 static __m128i gmx_mm_castpd_si128(__m128d a)
  79 {
  80     return *(__m128i *) &a;
  81 }
  82 #endif
  83
  84 #if GMX_EMULATE_AMD_FMA
  85 /* Wrapper routines so we can do test builds on non-FMA or non-AMD hardware */
  86 static __m128
  87 _mm_macc_ps(__m128 a, __m128 b, __m128 c)
  88 {
  89     return _mm_add_ps(c,_mm_mul_ps(a,b));
  90 }
  91
  92 static __m128
  93 _mm_nmacc_ps(__m128 a, __m128 b, __m128 c)
  94 {
  95     return _mm_sub_ps(c,_mm_mul_ps(a,b));
  96 }
  97
  98 static __m128
  99 _mm_msub_ps(__m128 a, __m128 b, __m128 c)
 100 {
 101     return _mm_sub_ps(_mm_mul_ps(a,b),c);
 102 }
 103
 104 static __m128d
 105 _mm_macc_pd(__m128d a, __m128d b, __m128d c)
 106 {
 107     return _mm_add_pd(c,_mm_mul_pd(a,b));
 108 }
 109
 110 static __m128d
 111 _mm_nmacc_pd(__m128d a, __m128d b, __m128d c)
 112 {
 113     return _mm_sub_pd(c,_mm_mul_pd(a,b));
 114 }
 115
 116 static __m128d
 117 _mm_msub_pd(__m128d a, __m128d b, __m128d c)
 118 {
 119     return _mm_sub_pd(_mm_mul_pd(a,b),c);
 120 }
 121 #endif /* AMD FMA emulation support */
 122
 123 static void
 124 gmx_mm_printxmm_ps(const char *s,__m128 xmm)
 125 {
 126     float f[4];
 127
 128     _mm_storeu_ps(f,xmm);
 129     printf("%s: %15.10e %15.10e %15.10e %15.10e\n",s,f[0],f[1],f[2],f[3]);
 130 }
 131
 132
 133 static void
 134 gmx_mm_printxmmsum_ps(const char *s,__m128 xmm)
 135 {
 136     float f[4];
 137
 138     _mm_storeu_ps(f,xmm);
 139     printf("%s (sum): %15.10g\n",s,f[0]+f[1]+f[2]+f[3]);
 140 }
 141
 142
 143 static void
 144 gmx_mm_printxmm_pd(const char *s,__m128d xmm)
 145 {
 146     double f[2];
 147
 148     _mm_storeu_pd(f,xmm);
 149     printf("%s: %30.20e %30.20e\n",s,f[0],f[1]);
 150 }
 151
 152 static void
 153 gmx_mm_printxmmsum_pd(const char *s,__m128d xmm)
 154 {
 155     double f[2];
 156
 157     _mm_storeu_pd(f,xmm);
 158     printf("%s (sum): %15.10g\n",s,f[0]+f[1]);
 159 }
 160
 161
 162 static void
 163 gmx_mm_printxmm_epi32(const char *s,__m128i xmmi)
 164 {
 165     int i[4];
 166
 167     _mm_storeu_si128((__m128i *)i,xmmi);
 168     printf("%10s: %2d %2d %2d %2d\n",s,i[0],i[1],i[2],i[3]);
 169 }
 170
 171
 172
 173 static int gmx_mm_check_and_reset_overflow(void)
 174 {
 175     int MXCSR;
 176     int sse_overflow;
 177
 178     MXCSR = _mm_getcsr();
 179     /* The overflow flag is bit 3 in the register */
 180     if (MXCSR & 0x0008)
 181     {
 182         sse_overflow = 1;
 183         /* Set the overflow flag to zero */
 184         MXCSR = MXCSR & 0xFFF7;
 185         _mm_setcsr(MXCSR);
 186     }
 187     else
 188     {
 189         sse_overflow = 0;
 190     }
 191
 192     return sse_overflow;
 193 }
 194
 195
 196
 197 #endif /* _gmx_x86_avx_128_fma_h_ */