admin/gitlab-ci/archive.gitlab-ci.yml

   1 # Packages, exported artifacts, and release engineering processes.
   2
   3 prepare-release-version:
   4   extends:
   5     - .variables:default
   6     - .rules:nightly-only-for-release
   7   cache: {}
   8   # Docker image uploaded to dockerhub by user eriklindahl
   9   # TODO: Get DockerFile for admin/dockerfiles
  10   image: biophysics/gcc-gromacs
  11   stage: configure-build
  12
  13   variables:
  14     KUBERNETES_CPU_LIMIT: 1
  15     KUBERNETES_CPU_REQUEST: 1
  16     KUBERNETES_MEMORY_LIMIT: 2Gi
  17   script:
  18     - cmake -P cmake/gmxVersionInfo.cmake &> version.json
  19
  20   artifacts:
  21     paths:
  22       - version.json
  23
  24 # Special job to package regressiontest files and have them available for testing
  25 # Runs during pre-build
  26 # Set up to only fetch the files and prepare everything for merge requests
  27 regressiontests:prepare:
  28   extends:
  29     - .variables:default
  30     - .rules:not-for-release
  31   cache: {}
  32   image: biophysics/gcc-gromacs
  33   stage: configure-build
  34
  35   variables:
  36     KUBERNETES_CPU_LIMIT: 1
  37     KUBERNETES_CPU_REQUEST: 1
  38     KUBERNETES_MEMORY_LIMIT: 2Gi
  39   # Always clone the default version for this branch, master in this case
  40   script:
  41     - export REGTESTBRANCH=master
  42     - if [[ ! -d regressiontests ]] ; then
  43         mkdir regressiontests ;
  44         cd regressiontests ;
  45         git init ;
  46         cd .. ;
  47       fi
  48     - cd regressiontests
  49     - git fetch https://gitlab.com/gromacs/gromacs-regressiontests.git $REGTESTBRANCH
  50     - git checkout -qf FETCH_HEAD
  51     - git clean -ffdxq
  52     - git gc
  53     - git archive -o gmx-regressiontests.tar.gz --prefix regressiontests/ -9 HEAD
  54     - echo "Build regressiontests for branch $REGTESTBRANCH"
  55     - mv gmx-regressiontests.tar.gz ..
  56     - cd ..
  57   artifacts:
  58     paths:
  59       - gmx-regressiontests.tar.gz
  60
  61 regressiontests:package:
  62   extends:
  63     - .variables:default
  64     - .rules:nightly-only-for-release
  65   cache: {}
  66   # Docker image uploaded to dockerhub by user eriklindahl
  67   # TODO: Get DockerFile for admin/dockerfiles
  68   image: biophysics/gcc-gromacs
  69   stage: release-package
  70
  71   variables:
  72     KUBERNETES_CPU_LIMIT: 1
  73     KUBERNETES_CPU_REQUEST: 1
  74     KUBERNETES_MEMORY_LIMIT: 2Gi
  75   needs:
  76     - job: prepare-release-version
  77       artifacts: true
  78   script:
  79     - VERSION=`cat version.json |
  80       python3 -c "import json,sys; print(json.load(sys.stdin)['version'])"`
  81     - REGTESTNAME="regressiontests-"$VERSION
  82     - if [[ $GROMACS_RELEASE != "true" ]] ; then
  83       REGTESTNAME=$REGTESTNAME-dev ;
  84       fi
  85     - export REGTESTBRANCH=master
  86     - if [[ $CI_COMMIT_REF_NAME == "master" || $CI_COMMIT_REF_NAME == "release-20"[1-2][0-9] ]] ; then
  87       export REGTESTBRANCH=$CI_COMMIT_REF_NAME ;
  88       fi
  89     - if [[ ! -d regressiontests ]] ; then
  90       mkdir regressiontests ;
  91       cd regressiontests ;
  92       git init ;
  93       cd .. ;
  94       fi
  95     - cd regressiontests
  96     - git fetch https://gitlab.com/gromacs/gromacs-regressiontests.git $REGTESTBRANCH
  97     - git checkout -qf FETCH_HEAD
  98     - git clean -ffdxq
  99     - git gc
 100     - git archive -o $REGTESTNAME.tar.gz --prefix $REGTESTNAME/ -9 HEAD
 101     - cp $REGTESTNAME.tar.gz gmx-regressiontests.tar.gz
 102     - mv $REGTESTNAME.tar.gz gmx-regressiontests.tar.gz ..
 103     - echo "Build regressiontests for branch  $REGTESTBRANCH"
 104     - cd ..
 105   artifacts:
 106     paths:
 107       - regressiontests-*.tar.gz
 108       - gmx-regressiontests.tar.gz
 109
 110 archive:configure:nightly:
 111   extends:
 112     - .docs:configure
 113     - .rules:nightly-not-for-release
 114   stage: nightly-configure
 115   dependencies: []
 116   variables:
 117     BUILD_DIR: build-package
 118     CMAKE_SIMD_OPTIONS: -DGMX_SIMD=None
 119     CMAKE_EXTRA_OPTIONS: -DGMX_BUILD_HELP=on -DGMX_USE_RDTSCP=OFF
 120     CMAKE_MPI_OPTIONS: -DGMX_THREAD_MPI=OFF -DGMX_OPENMP=OFF
 121
 122 archive:configure:release:
 123   extends:
 124     - .docs:configure
 125     - .rules:nightly-only-for-release
 126   variables:
 127     BUILD_DIR: build-package
 128     CMAKE_SIMD_OPTIONS: -DGMX_SIMD=None
 129     CMAKE_EXTRA_OPTIONS: -DGMX_BUILD_HELP=on -DGMX_USE_RDTSCP=OFF
 130     CMAKE_MPI_OPTIONS: -DGMX_THREAD_MPI=OFF -DGMX_OPENMP=OFF
 131
 132 # Right now we need to use an ugly hack to move the original build directory
 133 # and the ccache files out of the build archive, as it is not possible to use
 134 # the custom build directory due to https://gitlab.com/gitlab-org/gitlab-runner/issues/4203
 135 # As soon as this is resolved we should use the separate build directories instead of
 136 # manually hacking things. TODO: #3361
 137 .archive:build:
 138   extends:
 139     - .gromacs:base:build
 140     - .use-ccache
 141     - .variables:default
 142     - .before_script:default
 143     - .docs:build
 144   # Dockerfiles are from dockerhub, user eriklindahl
 145   image: gromacs/ci-docs-clang:master
 146   variables:
 147     KUBERNETES_CPU_LIMIT: 4
 148     KUBERNETES_CPU_REQUEST: 2
 149     KUBERNETES_MEMORY_LIMIT: 4Gi
 150   script:
 151     - rm -rf gromacs*tar.gz
 152     - cd $BUILD_DIR
 153     - cmake --build . --target gmx -- -j4 2>&1 | tee buildLogFile.log
 154     - cmake --build . --target man -- -j4 2>&1 | tee manBuildLogFile.log
 155     - cmake --build . --target completion -- -j4 2>&1 | tee completionBuildLogFile.log
 156     - cmake --build . --target install-guide -- -j4 2>&1 | tee installGuideBuildLogFile.log
 157     - cmake --build . --target reference_checksum -- -j4 2>&1 | tee checksumBuildLogFile.log
 158     - cmake --build . --target package_source -- -j4 2>&1 | tee packageBuildLogFile.log
 159     - awk '/warning/,/warning.*generated|^$/' buildLogFile.log manBuildLogFile.log
 160       completionBuildLogFile.log installGuideBuildLogFile.log checksumBuildLogFile.log
 161       packageBuildLogFile.log | grep -v "CMake" | tee buildErrors.log || true
 162     - grep "cannot be built" buildLogFile.log manBuildLogFile.log
 163       completionBuildLogFile.log installGuideBuildLogFile.log checksumBuildLogFile.log
 164       packageBuildLogFile.log | tee -a buildErrors.log || true
 165     - if [ -s buildErrors.log ] ; then echo "Found warnings during build"; cat buildErrors.log; exit 1; fi
 166     - mv gromacs*tar.gz ..
 167     - cd ..
 168     # ugly hack begins here
 169     - mkdir tempdir
 170     - SOURCETARBALL=`ls gromacs*tar.gz`
 171     - mv $SOURCETARBALL tempdir
 172     - cd tempdir
 173     - tar -xf $SOURCETARBALL
 174     - rm -rf gromacs-*/$BUILD_DIR
 175     - tar -c --gzip -f $SOURCETARBALL gromacs-*/
 176     - mv $SOURCETARBALL ..
 177     - cd ..
 178     - rm -rf tempdir
 179     # Hack ends here
 180   artifacts:
 181     when: always
 182     expire_in: 1 week
 183     paths:
 184       - $BUILD_DIR/*log
 185       - gromacs*tar.gz
 186
 187 archive:build:
 188   extends:
 189     - .archive:build
 190     - .rules:nightly-not-for-release
 191   stage: nightly-build
 192   needs:
 193     - job: archive:configure:nightly
 194       artifacts: true
 195   variables:
 196     BUILD_DIR: build-package
 197
 198 archive:package:
 199   extends:
 200     - .archive:build
 201     - .rules:nightly-only-for-release
 202   stage: release-package
 203   needs:
 204     - job: archive:configure:release
 205       artifacts: true
 206   variables:
 207     BUILD_DIR: build-package
 208
 209 release-verify:
 210   image: biophysics/gcc-gromacs
 211   stage: release-verify
 212   extends:
 213     - .variables:default
 214     - .rules:nightly-only-for-release
 215   cache: {}
 216
 217   variables:
 218     KUBERNETES_CPU_LIMIT: 1
 219     KUBERNETES_CPU_REQUEST: 1
 220     KUBERNETES_MEMORY_LIMIT: 2Gi
 221   script:
 222     - VERSION=`cat version.json |
 223       python3 -c "import json,sys; print(json.load(sys.stdin)['version'])"`
 224     - if [[ $GROMACS_RELEASE != "true" ]] ; then
 225       VERSION=$VERSION-dev ;
 226       fi
 227     - REGTEST_COMPARE=`cat version.json |
 228       python3 -c "import json,sys; print(json.load(sys.stdin)['regressiontest-md5sum'])"`
 229     - SOURCENAME=gromacs-$VERSION
 230     - SOURCETARBALL=$SOURCENAME.tar.gz
 231     - SOURCE_MD5SUM=`md5sum $SOURCETARBALL | awk '{print $1}'`
 232     - REGTESTNAME=regressiontests-$VERSION
 233     - REGTESTTARBALL=$REGTESTNAME.tar.gz
 234     - REGTEST_MD5SUM=`md5sum $REGTESTTARBALL | awk '{print $1}'`
 235     - echo "$SOURCETARBALL md5sum = $SOURCE_MD5SUM"
 236     - echo "$REGTESTTARBALL md5sum = $REGTEST_MD5SUM"
 237     - echo "$REGTESTTARBALL reference md5sum = $REGTEST_COMPARE"
 238     - if [[ $REGTEST_COMPARE != $REGTEST_MD5SUM && $GROMACS_RELEASE == "true" ]] ; then
 239       echo "Mismatch in regressiontest md5sums";
 240       exit 1;
 241       fi
 242   dependencies:
 243     - archive:package
 244     - regressiontests:package
 245     - prepare-release-version
 246
 247 archive:nightly-webpage:
 248   extends:
 249     - .webpage:build
 250     - .rules:nightly-not-for-release
 251   stage: nightly-deploy
 252   needs:
 253     - job: linkchecker
 254       artifacts: false
 255     - job: webpage:build
 256       artifacts: true
 257   variables:
 258     BUILD_DIR: build-docs
 259   script:
 260     - tar czf webpage.tar.gz $BUILD_DIR/docs/html/
 261   artifacts:
 262     when: always
 263     paths:
 264       - webpage.tar.gz
 265
 266 archive:full-release:
 267   extends:
 268     - .webpage:build
 269     - .rules:nightly-only-for-release
 270   stage: release-deploy
 271   dependencies:
 272     - webpage:build:release
 273     - archive:package
 274     - regressiontests:package
 275   variables:
 276     BUILD_DIR: release-doc-builds
 277   script:
 278     - tar czf webpage.tar.gz $BUILD_DIR/docs/html/
 279   artifacts:
 280     when: always
 281     paths:
 282       - webpage.tar.gz
 283       - gromacs-*tar.gz
 284       - regressiontests-*tar.gz
 285