admin/gitlab-ci/archive.gitlab-ci.yml

   1 # Packages, exported artifacts, and release engineering processes.
   2
   3 prepare-release-version:
   4   extends:
   5     - .variables:default
   6     - .rules:nightly-only-for-release
   7   cache: {}
   8   # Docker image uploaded to dockerhub by user eriklindahl
   9   # TODO: Get DockerFile for admin/dockerfiles
  10   image: biophysics/gcc-gromacs
  11   stage: configure-build
  12
  13   variables:
  14     KUBERNETES_CPU_LIMIT: 1
  15     KUBERNETES_CPU_REQUEST: 1
  16     KUBERNETES_MEMORY_LIMIT: 2Gi
  17   script:
  18     - cmake -P cmake/gmxVersionInfo.cmake &> version.json
  19
  20   artifacts:
  21     paths:
  22       - version.json
  23
  24 # Special job to package regressiontest files and have them available for testing
  25 # Runs during pre-build
  26 # Set up to only fetch the files and prepare everything for merge requests
  27 regressiontests:prepare:
  28   extends:
  29     - .variables:default
  30     - .rules:not-for-release
  31   cache: {}
  32   image: biophysics/gcc-gromacs
  33   stage: configure-build
  34
  35   variables:
  36     KUBERNETES_CPU_LIMIT: 1
  37     KUBERNETES_CPU_REQUEST: 1
  38     KUBERNETES_MEMORY_LIMIT: 2Gi
  39   # Always clone the default version for this branch, master in this case
  40   script:
  41     - export REGTESTBRANCH=master
  42     - if [[ ! -d regressiontests ]] ; then
  43         mkdir regressiontests ;
  44         cd regressiontests ;
  45         git init ;
  46         cd .. ;
  47       fi
  48     - cd regressiontests
  49     - git fetch https://gitlab.com/gromacs/gromacs-regressiontests.git $REGTESTBRANCH
  50     - git checkout -qf FETCH_HEAD
  51     - git clean -ffdxq
  52     - git gc
  53     - git archive -o gmx-regressiontests.tar.gz --prefix regressiontests/ -9 HEAD
  54     - echo "Build regressiontests for branch $REGTESTBRANCH"
  55     - mv gmx-regressiontests.tar.gz ..
  56     - cd ..
  57   artifacts:
  58     paths:
  59       - gmx-regressiontests.tar.gz
  60
  61 regressiontests:package:
  62   extends:
  63     - .variables:default
  64     - .rules:nightly-only-for-release
  65   cache: {}
  66   # Docker image uploaded to dockerhub by user eriklindahl
  67   # TODO: Get DockerFile for admin/dockerfiles
  68   image: biophysics/gcc-gromacs
  69   stage: release-package
  70
  71   variables:
  72     KUBERNETES_CPU_LIMIT: 1
  73     KUBERNETES_CPU_REQUEST: 1
  74     KUBERNETES_MEMORY_LIMIT: 2Gi
  75   needs:
  76     - job: prepare-release-version
  77       artifacts: true
  78   script:
  79     - VERSION=`cat version.json |
  80       python3 -c "import json,sys; print(json.load(sys.stdin)['version'])"`
  81     - REGTESTNAME="regressiontests-"$VERSION
  82     - if [[ $GROMACS_RELEASE != "true" ]] ; then
  83       REGTESTNAME=$REGTESTNAME-dev ;
  84       fi
  85     - export REGTESTBRANCH=master
  86     - if [[ $CI_COMMIT_REF_NAME == "master" || $CI_COMMIT_REF_NAME == "release-20"[1-2][0-9] ]] ; then
  87       export REGTESTBRANCH=$CI_COMMIT_REF_NAME ;
  88       fi
  89     - if [[ ! -d regressiontests ]] ; then
  90       mkdir regressiontests ;
  91       cd regressiontests ;
  92       git init ;
  93       cd .. ;
  94       fi
  95     - cd regressiontests
  96     - git fetch https://gitlab.com/gromacs/gromacs-regressiontests.git $REGTESTBRANCH
  97     - git checkout -qf FETCH_HEAD
  98     - git clean -ffdxq
  99     - git gc
 100     - git archive -o $REGTESTNAME.tar.gz --prefix $REGTESTNAME/ -9 HEAD
 101     - mv $REGTESTNAME.tar.gz ..
 102     - echo "Build regressiontests for branch  $REGTESTBRANCH"
 103     - cd ..
 104   artifacts:
 105     paths:
 106       - regressiontests-*.tar.gz
 107
 108 archive:configure:nightly:
 109   extends:
 110     - .docs:configure
 111     - .rules:nightly-not-for-release
 112   stage: nightly-configure
 113   needs:
 114     - job: simple-build
 115       artifacts: false
 116   variables:
 117     BUILD_DIR: build-package
 118     CMAKE_SIMD_OPTIONS: -DGMX_SIMD=None
 119     CMAKE_EXTRA_OPTIONS: -DGMX_BUILD_HELP=on -DGMX_USE_RDTSCP=OFF
 120     CMAKE_MPI_OPTIONS: -DGMX_THREAD_MPI=OFF -DGMX_OPENMP=OFF
 121
 122 archive:configure:release:
 123   extends:
 124     - .docs:configure
 125     - .rules:nightly-only-for-release
 126   variables:
 127     BUILD_DIR: build-package
 128     CMAKE_SIMD_OPTIONS: -DGMX_SIMD=None
 129     CMAKE_EXTRA_OPTIONS: -DGMX_BUILD_HELP=on -DGMX_USE_RDTSCP=OFF
 130     CMAKE_MPI_OPTIONS: -DGMX_THREAD_MPI=OFF -DGMX_OPENMP=OFF
 131
 132 # Right now we need to use an ugly hack to move the original build directory
 133 # and the ccache files out of the build archive, as it is not possible to use
 134 # the custom build directory due to https://gitlab.com/gitlab-org/gitlab-runner/issues/4203
 135 # As soon as this is resolved we should use the separate build directories instead of
 136 # manually hacking things. TODO: #3361
 137 .archive:build:
 138   extends:
 139     - .gromacs:base:build
 140     - .use-ccache
 141     - .variables:default
 142     - .before_script:default
 143     - .docs:build
 144   # Dockerfiles are from dockerhub, user eriklindahl
 145   image: gromacs/ci-docs-clang:master
 146   variables:
 147     KUBERNETES_CPU_LIMIT: 4
 148     KUBERNETES_CPU_REQUEST: 2
 149     KUBERNETES_MEMORY_LIMIT: 4Gi
 150   script:
 151     - rm -rf gromacs*tar.gz
 152     - cd $BUILD_DIR
 153     - cmake --build . --target gmx -- -j4 2>&1 | tee buildLogFile.log
 154     - cmake --build . --target man -- -j4 2>&1 | tee manBuildLogFile.log
 155     - cmake --build . --target completion -- -j4 2>&1 | tee completionBuildLogFile.log
 156     - cmake --build . --target install-guide -- -j4 2>&1 | tee installGuideBuildLogFile.log
 157     - cmake --build . --target reference_checksum -- -j4 2>&1 | tee checksumBuildLogFile.log
 158     - cmake --build . --target package_source -- -j4 2>&1 | tee packageBuildLogFile.log
 159     - awk '/warning/,/warning.*generated|^$/' buildLogFile.log manBuildLogFile.log
 160       completionBuildLogFile.log installGuideBuildLogFile.log checksumBuildLogFile.log
 161       packageBuildLogFile.log | grep -v "CMake" | tee buildErrors.log || true
 162     - grep "cannot be built" buildLogFile.log manBuildLogFile.log
 163       completionBuildLogFile.log installGuideBuildLogFile.log checksumBuildLogFile.log
 164       packageBuildLogFile.log | tee -a buildErrors.log || true
 165     - if [ -s buildErrors.log ] ; then echo "Found warnings during build"; cat buildErrors.log; exit 1; fi
 166     - mv gromacs*tar.gz ..
 167     - cd ..
 168     # ugly hack begins here
 169     - mkdir tempdir
 170     - SOURCETARBALL=`ls gromacs*tar.gz`
 171     - mv $SOURCETARBALL tempdir
 172     - cd tempdir
 173     - tar -xf $SOURCETARBALL
 174     - rm -rf gromacs-*/$BUILD_DIR
 175     - tar -c --gzip -f $SOURCETARBALL gromacs-*/
 176     - mv $SOURCETARBALL ..
 177     - cd ..
 178     - rm -rf tempdir
 179     # Hack ends here
 180   artifacts:
 181     when: always
 182     expire_in: 1 week
 183     paths:
 184       - $BUILD_DIR/*log
 185       - gromacs*tar.gz
 186
 187 archive:build:
 188   extends:
 189     - .archive:build
 190     - .rules:nightly-not-for-release
 191   stage: nightly-build
 192   needs:
 193     - job: simple-build
 194       artifacts: false
 195     - job: archive:configure:nightly
 196       artifacts: true
 197   variables:
 198     BUILD_DIR: build-package
 199
 200 archive:package:
 201   extends:
 202     - .archive:build
 203     - .rules:nightly-only-for-release
 204   stage: release-package
 205   needs:
 206     - job: archive:configure:release
 207       artifacts: true
 208   variables:
 209     BUILD_DIR: build-package
 210
 211 release-verify:
 212   image: biophysics/gcc-gromacs
 213   stage: release-verify
 214   extends:
 215     - .variables:default
 216     - .rules:nightly-only-for-release
 217   cache: {}
 218
 219   variables:
 220     KUBERNETES_CPU_LIMIT: 1
 221     KUBERNETES_CPU_REQUEST: 1
 222     KUBERNETES_MEMORY_LIMIT: 2Gi
 223   script:
 224     - VERSION=`cat version.json |
 225       python3 -c "import json,sys; print(json.load(sys.stdin)['version'])"`
 226     - if [[ $GROMACS_RELEASE != "true" ]] ; then
 227       VERSION=$VERSION-dev ;
 228       fi
 229     - REGTEST_COMPARE=`cat version.json |
 230       python3 -c "import json,sys; print(json.load(sys.stdin)['regressiontest-md5sum'])"`
 231     - SOURCENAME=gromacs-$VERSION
 232     - SOURCETARBALL=$SOURCENAME.tar.gz
 233     - SOURCE_MD5SUM=`md5sum $SOURCETARBALL | awk '{print $1}'`
 234     - REGTESTNAME=regressiontests-$VERSION
 235     - REGTESTTARBALL=$REGTESTNAME.tar.gz
 236     - REGTEST_MD5SUM=`md5sum $REGTESTTARBALL | awk '{print $1}'`
 237     - echo "$SOURCETARBALL md5sum = $SOURCE_MD5SUM"
 238     - echo "$REGTESTTARBALL md5sum = $REGTEST_MD5SUM"
 239     - echo "$REGTESTTARBALL reference md5sum = $REGTEST_COMPARE"
 240     - if [[ $REGTEST_COMPARE != $REGTEST_MD5SUM && $GROMACS_RELEASE == "true" ]] ; then
 241       echo "Mismatch in regressiontest md5sums";
 242       exit 1;
 243       fi
 244   dependencies:
 245     - archive:package
 246     - regressiontests:package
 247     - prepare-release-version
 248
 249 archive:nightly-webpage:
 250   extends:
 251     - .webpage:build
 252     - .rules:nightly-not-for-release
 253   stage: nightly-deploy
 254   needs:
 255     - job: simple-build
 256       artifacts: false
 257     - job: linkchecker
 258       artifacts: false
 259     - job: webpage:build
 260       artifacts: true
 261   variables:
 262     BUILD_DIR: build-docs
 263   script:
 264     - tar czf webpage.tar.gz $BUILD_DIR/docs/html/
 265   artifacts:
 266     when: always
 267     paths:
 268       - webpage.tar.gz
 269
 270 archive:full-release:
 271   extends:
 272     - .webpage:build
 273     - .rules:nightly-only-for-release
 274   stage: release-deploy
 275   dependencies:
 276     - webpage:build:release
 277     - archive:package
 278     - regressiontests:package
 279   variables:
 280     BUILD_DIR: release-doc-builds
 281   script:
 282     - tar czf webpage.tar.gz $BUILD_DIR/docs/html/
 283   artifacts:
 284     when: always
 285     paths:
 286       - webpage.tar.gz
 287       - gromacs-*tar.gz
 288       - regressiontests-*tar.gz
 289