source: BOL/script_install/check_version.sh @ 5468

Last change on this file since 5468 was 5461, checked in by fhourdin, 11 days ago

Quality control improvements

  • Property svn:executable set to *
  • Property svn:keywords set to Id
File size: 15.4 KB
Line 
1#!/bin/bash
2# $Id: check_version.sh 5461 2024-12-31 11:29:57Z fhourdin $
3
4#set -vx
5
6# AFAIRE
7# On pourrait gerer le justcheck en creant un repertoire
8# avec
9#  if recheck
10#   resubench=./RESUBENCH$$
11#  else
12#   resubench=$RESU_D/$datelmdz$rel_svn
13#On pourrait ainsi utiliser une fonction independante qui genere les messages
14# comme check_version_message
15
16
17
18#########################################################################
19# Verification de a convergence du modele par rapport aux versions
20# precedentes
21# + 1+1=2
22#########################################################################
23
24version_ref=latest
25resolution=48x36x39
26compilo=gfortran
27parallel=mpi_omp
28# Option pour le debug du script check_version lui meme qui consiste a ne
29# pars reexecuter l'installation et les simulations mais a simplement
30# refaire les diff sur des simulations existantes.
31justcheck=0 # just compare results not writing of results in RESUBENCH
32tmpdir=/tmp/`whoami` ; mkdir -p $tmpdir
33tmpdir=/home/lmdz/tmp
34rel_svn=""
35local_d=`pwd`
36
37install=1
38rad=rrtm
39check_1D=1
40check_SP=1
41check_1p1=1
42check_Debug=1
43check_isotopes=1
44check_parallel=1
45check_compile=1
46check_ini=1
47mail_address=lmdz-commit@listes.lmd.ipsl.fr
48MODEL=""
49branche=trunk
50
51#########################################################################
52# Pour aller chercher des fichiers par wget si pas sur le cpte lmdz
53#########################################################################
54
55if [ `whoami` = lmdz ] ; then
56   get="ln -sf /u/lmdz/WWW"
57else
58   get="wget https://www.lmd.jussieu.fr/~lmdz"
59fi
60
61#########################################################################
62# Options du script
63#########################################################################
64
65while (($# > 0))
66  do
67  case $1 in
68      "-h") cat <<fin
69check_version.sh [-h] version [-latest version_ref]
70version is the name of the version of LMDZ to be checked modipsl.version.tar.gz
71version_ref is the version to be compared with.
72Default "latest".
73options:
74  -c compiler : sets the compiler to use
75  -justcheck  : just check results, do not overwrite anything
76  -r svn : revision
77  -latest latest : latest is the date of the last version tested
78  -model_dir : directory where tun run the bench if LMDZ is already installed
79fin
80          exit;;
81
82      "-c") compilo="$2" ; shift ; shift ;;
83      "-justcheck") justcheck=1 ; shift ;;
84      "-r") rel_svn="$2" ; shift ; shift ;;
85      "-latest") version_ref="$2" ; shift ; shift ;;
86      "-model_dir") MODEL="$2" ; shift ; shift ;;
87      *) version="$1" ; shift ;;
88   esac
89done
90
91################################################################################
92# Definition des noms des repertoires à comparer
93################################################################################
94
95# branche=`echo $version | cut -d. -f2`
96if [ "$MODEL" = "" ] ; then
97   MODEL=$tmpdir/LMDZ$version$rel_svn
98   branche=`echo $version |cut -c 10-`
99   datelmdz=`echo $version | cut -d. -f1`
100else
101   #if [ $install = 1 ] ; then echo Use model_dir only if the model is already installed ; exit ; fi
102   install=0
103   if [ "`echo $MODEL | cut -c1`" != "/" ] ; then MODEL=`pwd`/$MODEL ; fi # MODEL transformed in absolute path if not
104   datelmdz=`date +%Y%m%d`$$
105fi
106
107if [ -d $MODEL ] ; then
108   mv $MODEL ${MODEL}_$$
109fi
110
111echo version $version $branche $datelmdz
112RESU_D=~/WWW/RESUBENCH/$branche/$compilo
113if [ $justcheck = 0 ] ; then
114   resubench=$RESU_D/$datelmdz$rel_svn
115   if [ -d $resubench ] ; then mv $resubench $resubench$$ ; fi
116   mkdir -p $resubench
117fi
118latest=$RESU_D/$version_ref
119echo $latest 
120
121# recuperation de la version a laquelle on compare pour le message final :
122comparea=`ls -ld $RESU_D/$version_ref | awk -F/ ' { print $NF } '`
123echo comparea $comparea
124
125################################################################################
126echo 0. Installation du modele
127################################################################################
128
129# Edition de install.sh, install.sh avec bench 48x36x19
130if [ $install = 1 ] ; then
131   cd $tmpdir
132   if [ "$rel_svn" = "" ] ; then opt_svn="" ; else opt_svn="-r $rel_svn" ; fi
133#   \rm -f install_lmdz.sh ; $get/pub/install_lmdz.sh ; chmod +x install_lmdz.sh
134# Le temps de confirmer la bascule
135   \rm -f install_lmdz.sh ; $get/pub/install_lmdz_old.sh ; \mv install_lmdz_old.sh install_lmdz.sh ; chmod +x install_lmdz.sh
136   # On install sans les bench pour que les benchs soient faits à la main
137   # ./install_lmdz.sh -v $version $opt_svn -d $resolution -SCM -parallel $parallel -veget CMIP6
138     ./install_lmdz.sh -unstable -v $version $opt_svn -d $resolution      -parallel $parallel -veget CMIP6 -bench 0
139fi
140
141################################################################################
142echo 1. Sauvegarde du 1D execute automatiquement a l installation
143################################################################################
144
145if [ $check_1D = 1 ] ; then
146   cd $MODEL
147   if [ ! -d 1D ] ; then $get/pub/1D/1D.tar.gz ; tar xvf 1D.tar.gz ; fi     # get 1D model
148   if [ ! -d 1D/EXEC ] ; then mv 1D/EXEC 1D/SAVE_EXEC$$ ; fi
149   cd 1D ; sed -e "s:^listecas=.*$:listecas=ARMCU/REF:" run.sh ; ./run.sh   # run 1D model
150   # Controling outputs for the ARMCU/REF test case
151   outf=$MODEL/1D/EXEC/6AL79/ARMCU/REF/restartphy.nc
152   if [ -f $outf ] ; then
153       if [ $justcheck = 0 ] ; then
154          mkdir -p $resubench/ARMCU/REF
155          cp $outf $resubench/ARMCU/REF/
156       fi
157       cmp -s $outf $latest/ARMCU/REF/restartphy.nc
158       if [ $? = 0 ] ; then converge1D=U ; else converge1D=u ; fi
159   else
160      converge1D=-
161   fi
162fi
163
164
165################################################################################
166echo DEBUT DES TESTS 3D
167################################################################################
168BENCH=BENCH$resolution
169cd $MODEL/modipsl/mod*/LMD*
170LMDZdir=`pwd`
171echo LMDZdir $LMDZdir
172if [ -d $BENCH ] ; then mkdir -p SAVE$$ ; mv BENCH$resolution SAVE$$ ; fi
173$get/pub/3DBenchs/bench_lmdz_$resolution.tar.gz ; tar xvf bench_lmdz_$resolution.tar.gz
174cd $BENCH ; $get/pub/3DBenchs/BENCHCMIP6.tar.gz . ;  tar xvf BENCHCMIP6.tar.gz
175sed -i'' -e "s:VEGET=n:VEGET=y:" config.def
176./compilegcm_fcm.sh  -v orchidee2.0 ; ./bench.sh > out.bench 2>&1
177
178
179if [ -f restartphy.nc ] ; then
180   if [ ! -f gcm.install ] ; then \cp -f gcm.e gcm.install ; fi
181
182#########################################################################
183echo 3. Verification de la convergence avec la version precedente
184echo Physique Standard
185#########################################################################
186
187   # Faite soit sur les restart.nc soit sur une exctraction de ps.nc
188   # Il est arrive qu'on ait convergence meteo sans identite des restart
189   #  (pb d'entete, de traceurs ...)
190   # Aide a l'interpretation de resultats problematiques
191   #    Les resultats de la simu ancienne physique sont directement
192   #      dans BENC*
193   #    Les resultats de la nouvelle physique sont dans SIM1 utilise
194   #      pour 1+1=2
195   #    Les resultats de la simulation debug sont dans SIMD
196
197   # Ici on se contente d'analyser le bench automatique qui vient de tourner
198   if [ $justcheck = 0 ] ; then mkdir -p $resubench/$BENCH; fi
199   if [ -f restartphy.nc ] ; then
200       if [ $justcheck = 0 ] ; then
201           ncks -M -m -h -v ps -O restart.nc $resubench/$BENCH/ps.nc
202           cp restart.nc $resubench/$BENCH/restart.nc
203       fi
204       cmp -s ./restart.nc $latest/$BENCH/restart.nc
205      if [ $? = 0 ] ; then converge=S ; else converge=s ; fi
206   else
207      converge=-
208   fi
209
210   #########################################################################
211   echo 4. Verification de 1+1=2
212   echo Avec la nouvelle physique
213   #########################################################################
214   # On utilse l'executable du bench de base
215
216   if [ $check_1p1 = 1 ] ; then
217      \cp -f gcm.install gcm.e
218      suf=NPv6.0.14splith
219      sed -e 's/VEGET=y/VEGET=n/' config.def_oraer > config.def
220      if [ -f physiq.def_$suf ] ; then \cp -f physiq.def_$suf physiq.def ; fi
221      $get/Distrib/unpun.sh
222      chmod +x unpun.sh ; ./unpun.sh -parallel $parallel
223      cmp -s SIM2/ps_end.nc SIM1+1/ps_end.nc
224      if [ $? = 0 ] ; then
225          unpun=OK
226      else
227          unpun=-
228      fi
229   fi
230
231
232# 2016/06/21 : comparaison des versions nouvelles physique (dans SIM1)
233   cd $LMDZdir/$BENCH
234   if [ -f SIM1/restartphy.nc ] ; then
235       if [ $justcheck = 0 ] ; then
236           ncks -M -m -h -v ps -O SIM1/restart.nc $resubench/$BENCH/ps$suf.nc
237           cp SIM1/restart.nc $resubench/$BENCH/restart$suf.nc
238       fi
239       \rm sechiba_out_2.nc sechiba_history.nc sechiba_rest_out.nc
240       cmp -s SIM1/restart.nc $latest/$BENCH/restart$suf.nc
241      if [ $? = 0 ] ; then convergeNP=N ; else convergeNP=n ; fi
242   else
243      convergeNP=-
244   fi
245
246   #########################################################################
247      echo Verification en mode debug + parallele, compile avec makelmdz
248   #########################################################################
249
250   cd $LMDZdir/$BENCH
251   if [ -f compilegcm_fcm.sh -a $check_compile = 1 ] ; then
252      \rm -f gcm.e
253      ./compilegcm_fcm.sh -debug
254      mkdir SIMD
255      cd SIMD
256      ln -s ../SIM1/start* ../SIM1/limit* ../SIM1/sechiba_rest_in.nc ../SIM1/aer*nc ../SIM1/*def .
257      ../run_local.sh 2 2 ../gcm.e > listing 2>&1
258      cd ../
259      suf=D
260      if [ -f SIMD/restartphy.nc ] ; then
261          if [ $justcheck = 0 ] ; then
262              ncks -M -m -h -v ps -O SIMD/restart.nc $resubench/$BENCH/ps$suf.nc
263              cp SIMD/restart.nc $resubench/$BENCH/restart$suf.nc
264          fi
265          cmp -s SIMD/restart.nc $latest/$BENCH/restart$suf.nc
266          if [ $? = 0 ] ; then convergeD=D ; else convergeD=d ; fi
267      else
268         convergeD=-
269      fi
270   fi
271
272   #########################################################################
273      echo Test en fonction du nombre de processeurs
274   #########################################################################
275
276echo CHECK $parallel $check_parallel
277   if [ "$parallel" = "mpi_omp" -a $check_parallel = 1 ] ; then
278      mkdir -p $LMDZdir/$BENCH/SIM1_41
279      cd $LMDZdir/$BENCH/SIM1_41
280      ln -s ../SIM1/start* ../SIM1/limit* ../SIM1/sechiba_rest_in.nc ../SIM1/aer*nc ../SIM1/*def .
281      ../run_local.sh 4 1 ../gcm.e > listing
282      cd ..
283      echo ON EST AVANT LE CMP
284      cmp -s SIMD/restart.nc SIM1_41/restart.nc
285      if [ $? = 0 ] ; then
286          if [ "$unpun" = "OK" ] ; then
287             unpun=OK2
288          else
289             unpun=-OK
290          fi
291      else
292          unpun=${unpun}-
293      fi
294   fi
295
296   #########################################################################
297      echo Verification des isotopes
298   #########################################################################
299
300   if [ $check_isotopes = 1 ] ; then
301      cd $LMDZdir
302      pwd
303      $get/pub/3DBenchs/bench_lmdz_iso_48x36x39.tar.gz
304      tar xvf bench_lmdz_iso_48x36x39.tar.gz
305      cd BENCHiso48x36x39
306      ./compile.sh
307      exec=../bin/gcm_48x36x39_phylmdiso_${rad}_seq_iso_isoverif.e
308      if [ -f $exec ] ; then
309             $exec > listing 2>&1
310             suf=I
311             if [ -f restartphy.nc ] ; then
312                 if [ $justcheck = 0 ] ; then
313                     cp restart.nc $resubench/$BENCH/restart$suf.nc
314                 fi
315                 cmp -s restart.nc $latest/$BENCH/restart$suf.nc
316                 if [ $? = 0 ] ; then convergeI=I ; else convergeI=i ; fi
317             else
318                 # compiled but failed the isoverif test
319                 convergeI=x
320             fi
321      else
322          # compilation failed; cleaning up for next compilation
323          convergeI=-
324          \rm -f libf/grid/dimensions.h
325          \rm -f .lock
326      fi
327   fi
328
329   #########################################################################
330      echo Verification de initialisation
331   #########################################################################
332
333   if [ $check_ini = 1 ] ; then
334      cd $LMDZdir
335      rm -rf INIT
336      mkdir INIT
337      cp $BENCH/*def INIT
338      cd INIT
339      pwd
340      $get/Distrib/initialisation.sh
341      sed -e 's/grid_resolution=48x36x39/grid_resolution='$resolution'/' \
342          -e 's/makelmdz/makelmdz_fcm -arch $arch/' initialisation.sh > ini_fcm.sh
343      chmod +x ini_fcm.sh ; ./ini_fcm.sh
344      if [ -f limit.nc ] ; then
345         var=Tsoil01srf01
346         if [ $justcheck = 0 ] ; then
347             mkdir -p $resubench/START$resolution
348             ncks -M -m -h -v $var startphy.nc -O  $resubench/START$resolution/$var.nc
349             cp startphy.nc $resubench/START$resolution/
350         fi
351          cmp -s  startphy.nc  $latest/START$resolution/startphy.nc
352         if [ $? = 0 ] ; then
353             init=OK
354         else
355             init=noc
356         fi
357      else
358         init=-
359      fi
360   fi
361
362   ########################################################################
363      echo end of test cases
364   ########################################################################   
365   bench=OK
366else
367   echo PROBLEME : LE BENCH N EST PAS ALLE AU BOUT
368   bench=-
369fi
370
371if [ $justcheck = 0 ] ; then
372    latest=$RESU_D/latest
373    \rm -f $latest
374    ln -sf  $resubench $latest
375fi
376
377
378cd $LMDZdir/..
379LMDZ=`\ls -d LMD*` #Nom du modele LMDZ sur modeles/ : LMDZ4, LMDZ5, LMDZ
380
381svn upgrade # Il faut mettre à jour le svn si la version sur
382            # laquelle le checkout a ete fait est plus ancienne
383            # ce qu'on souhaite par ailleurs pour pouvoir ensuite
384            # commettre depuis une version ancienne de svn (comme celles
385            # des SL du réseau local
386svnrel=`svn info $LMDZ | grep 'Changed Rev' | head -1 | awk ' { print $4 } '`
387#FH 20160822
388if [ "$svnrel" = "" ] ; then
389  svnrel=`svn info $LMDZ | grep vision | head -1 | awk ' { print $2 } '`
390fi
391
392ccc=$converge$convergeNP$convergeD$converge1D$convergeI
393if [ "$ccc" = "SNDUI" ] ; then ccc="OK " 
394        elif [ "$ccc" = "SNDUx" ] ; then
395                ccc="OKx"
396fi
397
398
399
400########################################################################
401# Ectiture du message de bilan
402########################################################################
403
404cd $local_d
405
406echo $version'          '$svnrel'       '$bench'        '$ccc ' '$unpun'        '$init'   (ref:' $comparea ')' > tmp.resu
407cat > tmp.message <<eod
408disponible sur
409https://www.lmd.jussieu.fr/~lmdz/Distrib/modipsl.$version.tar.gz
410
411      Test local LMD network, gfortran, 48x36x19
412      ==========================================
413
414install version         SVN     Bench   Conv.   1+1=2   Init
415                                run     Nnum.      &
416                                        /prev.  mpiXomp
417
418eod
419cat tmp.resu >> tmp.message
420cat >> tmp.message <<eod
421
422
423                                        ||
424                                        \/
425
426S/s/-: 3D standard physics  Converging/runing/not runing
427N/n/-: -  new        -                  -
428D/d/-: new with debug                   -
429U/u/-: unicolonne                       -
430I/i/x/-: isotope            Converging/runing/run failed /compiled failed
431noc: runs but no convergence
432OK <=> SNDUI
433eod
434
435cat tmp.message
436
437if [ $mail_address != "" ] &&  [ $justcheck = 0 ] ; then
438   ssh lmdz@django "mail -s 'Nouvelle version pour install_lmdz.sh' $mail_address < "$local_d"/tmp.message"
439#   ssh lmdz@lmdz-forge "mail -s 'Nouvelle version pour install_lmdz.sh' $mail_address < "$local_d"/tmp.message"
440fi
441
442#
443# clean up of /tmp/lmdz if everything went smoothly
444#
445grep -q 'OK     OK      OK2     OK' tmp.resu
446RET=$?
447if [ ${RET} -eq 0 ] ; then
448  echo "Quality control checks out for version $version"
449  echo "We cleanup $tmpdir/LMDZ$version"
450  echo "\rm -rf $tmpdir/LMDZ$version"
451  \rm -rf $tmpdir/LMDZ$version
452fi
453grep -q 'OK     SNDUx   OK2     OK' tmp.resu
454RET=$?
455if [ ${RET} -eq 0 ] ; then
456  echo "Quality control checks out for version $version"
457  echo "We cleanup $tmpdir/LMDZ$version"
458  echo "\rm -rf $tmpdir/LMDZ$version"
459  \rm -rf $tmpdir/LMDZ$version
460fi
Note: See TracBrowser for help on using the repository browser.