source: BOL/LMDZ_Setup/setup.sh @ 5439

Last change on this file since 5439 was 5439, checked in by fhourdin, 39 hours ago

Bug fix
File size: 31.8 KB
RevLine 
[4615]1#!/bin/bash
[5415]2# This script sets up and launches a (series of) simulation(s).
3# RECOMMENDATION: use main.sh to drive it (do not run it directly)
[4615]4
[5415]5set -eu
[4615]6
[5438]7#---------------------------------------------------------------------------
8function define_expert_options() { # Expert-level choices
9#---------------------------------------------------------------------------
10
11  # optim: either "" or "-debug" to compile in debug mode
12  #       (slower but better diagnosis of segfaults)
[5415]13  optim=""
[4615]14
[5438]15  # "n" or "y". If testmode="y", then simulations run for a single day
16  # per period.
[5415]17  # NOTE: you must set mthend accordingly !
18  testmode="n"
[4615]19
[5415]20  # Radiative code: "oldrad" / "rrtm" / "ecrad"
21  rad="rrtm"
[4615]22
[5438]23  #   !!! STRONG recommendation : experiments with DIFFERENT Orchidee or
24  #   aerosol options should be performed in DIFFERENT LMDZ_Setup folders
[5415]25  #   !!! (especially as they may need different initial files)
[4615]26
[5438]27  # AEROSOLS : "n" (=no)/"clim" (=average 1995-2014) / "spla" (interactive)
28  # (WARNING : if you first run the scripts with aerosols=n, then you want
29  # to change to =clim, you must remove the INIT and LIMIT folders and
30  # rerun main.sh with init=1 in order to create aerosol files
31
[5415]32  aerosols="clim"
[4615]33
[5415]34  # SURFACE/VEGETATION SCHEME
[5438]35  # - "none" : bucket scheme
36  #   CMIP6 : orchidee CMIP6 version
37  #   7983/7994 : orchidee svn release 7983 (orch2.2) and 7994 (last tested)
38  #   If you need other orch versions, and also require XIOS, you'll need
39  #                    to create the appropriate files in DEF/XMLfilesOR...
[5415]40  veget="CMIP6"
[4615]41
[5415]42  # New snow scheme INLANDSIS! "y" / "n"
[5438]43  # Activates INLANDSIS compilation
44  #  to be done : treatment of specific restart and def file
[5415]45  inlandsis="n"
[4615]46
[5415]47  # netcdf: 0 (use existing library) / 1 (recompile netcdf, slow)
48  netcdf=0
[4615]49
[5438]50  # --->>> ALSO PAY ATTENTION TO OUTPUT files, frequency, level ------------
51  #   With IOIPSL : Choose your config.def among versions available in DEF,
[5415]52  #     copy it as config.def (the copy is done automatically for "iso"),
53  #     edit it and set up output files, frequencies and levels.
[5438]54  #     NB : For aerosols=spla, output level minimum 4 is required to outpu
55  #     the specific variables.
56  #     For aerosols=n, aerosol flags will automatically be set to "n".
[5415]57  #   With XIOS : adjust DEF/XMLfiles*/file*xml
58}
[4615]59
60
[5438]61#---------------------------------------------------------------------------
62function enable_platform() {  # Sed platform-specific headers
63#---------------------------------------------------------------------------
[5415]64  local file="$1"
65  local platform
[4615]66
[5415]67  case ${hostname:0:5} in
68    jean-) platform="JZ";;
69    spiri) platform="SP";;
70    adast) platform="ADS";;
71    *) echo "Warning: $hostname is not a known job platform (ignore if running locally)"; return 0;;
72  esac
[4615]73
[5415]74  sed -i'' -e "s/^#@$platform//" "$file"
75}
[4615]76
[5438]77#---------------------------------------------------------------------------
78function load_install_lib() { #Fetch and source install_lmdz.sh to get myget
79#---------------------------------------------------------------------------
[5415]80  if [[ ! -f "install_lmdz.sh" ]]; then
81    wget --no-cache "http://svn.lmd.jussieu.fr/LMDZ/BOL/script_install/install_lmdz.sh"
82  fi
83  # shellcheck disable=SC1090
84  source <(sed 's/function \(.*\) {/function installlmdz_\1 {/g' install_lmdz.sh)  # source with a namespace for functions
85  function myget { installlmdz_myget "$@"; }
[4615]86}
87
[5438]88#---------------------------------------------------------------------------
89function set_default_params() { # Default value of script parameters
90#---------------------------------------------------------------------------
91
[5415]92  SIM=$(basename "$local")CTL  # name
93  phylmd="lmd" #option -p $phylmd for makelmdz
[4615]94
[5415]95  cosp="n"  # COSP
96  xios="n"  #XIOS
[4615]97
[5415]98  # Nudging :
99  ok_guide="n"
100  # With nudging, use real calendar (climato=0) and monthly integrations
101  climato=1
102  freq="mo"  # frequence mensuelle mo ou annuelle yr
[4615]103
[5415]104  # NB : the run stops in the BEGINNING of mthend (test "next=stopsim")
105  mthini=200001
106  mthend=200501
107  resol="144x142x79"
[4615]108
[5415]109  version="20230412.trunk"
110  svn=""
[4615]111
[5415]112  init=1
[4615]113
[5415]114  LIMIT="LIMIT"
[4615]115
[5415]116}
[4615]117
[5438]118#---------------------------------------------------------------------------
[5415]119function read_cmdline_args() {
[5438]120#---------------------------------------------------------------------------
[5415]121  while (($# > 0)); do
122    case $1 in
123      "-h") cat <<........fin
[5428]124       setup.sh can be launched/driven by main.sh
[5415]125             setup.sh [-v version] [-r svn_release] [-init INIT] [-d 96x95x79] [-f mo] [-nudging]
126             -v "version" like 20150828.trunk; see https://lmdz.lmd.jussieu.fr/Distrib/LISMOI.trunk (default <$version>)
[5428]127             -r "svn_release"        either the svn release number or "last" (default <$svn>)
128             -d IMxJMxLM             to run in resolution IM x JM x LM (default <$resol>)
129             -install                pour installer et compiler le modele
130             -f mo/yr                pour tourner en mensuel ou annuel (default <$freq>)
131             -rad RAD                Radiation
132             -netcdf  0/1/DIR        Netcdf installation
133             -aerosols n/clim/spla   Aerosols : none / climatological / interactive with SPLA
134             -veget CMIP6            CMIP6 version of rchidee
135                    7983             orch2.2
136                    7994             trunk
137             "INIT"                  1: creates INIT and LIMIT
138                                     0: reads from INIT and LIMIT
139                                     SIMU: reads from preexisting simulation SIMU and LIMIT (default <$init>)
140             -nudging                to run with nudging. Nudging files must be created independently
141             -p                      the physics to use (default <$phylmd>)
142             -name                   install folder name (default <$SIM>)
[5415]143             Other options available (see "options" section in the script)
[4615]144........fin
[5415]145        exit;;
146      "-v") version="$2"; shift; shift;;
147      "-r") svn=$2; shift; shift;;
148      "-d") resol=$2; shift; shift;;
149      "-f") freq=$2; shift; shift;;
150      "-p") phylmd=$2; shift; shift;;
151      "-name") SIM=$2; shift; shift;;
[5428]152      "-rad") rad=$2; shift; shift;;
153      "-netcdf") netcdf=$2; shift; shift;;
154      "-aerosols") aerosols=$2; shift; shift;;
155      "-veget") veget=$2; shift; shift;;
[5415]156      "-cosp") cosp=y; shift;;
157      "-xios") xios=y; shift;;
158      "-init") init=$2; shift; shift;;
159      "-nudging") ok_guide=y; shift;;
160      "-climato") climato=$2; shift; shift;;
161      "-mthini") mthini=$2; shift; shift;;
162      "-mthend") mthend=$2; shift; shift;;
163      *) echo "unexpected $1"; $0 -h; exit
164    esac
165  done
[4615]166
[5415]167  # Initialisation
168  if [[ $init = 1 || $init = 0 ]]; then
169    INIT="INIT"
170  else
171    INIT=$init
172  fi
[4615]173
[5428]174  case $rad in
175    oldrad) iflag_rrtm=0; NSW=2;;
176    rrtm)   iflag_rrtm=1; NSW=6;;
177    ecrad)  iflag_rrtm=2; NSW=6;;
178  esac
179
[5432]180  im=$(echo "$resol" | cut -dx -f1)
181  jm=$(echo "$resol" | cut -dx -f2)
182  lm=$(echo "$resol" | cut -dx -f3)
183
[5415]184  yearini=$(echo "$mthini" | cut -c-4)
185  if [[ $freq = yr ]]; then stopsim=$(echo "$mthend" | cut -c-4); else stopsim=$mthend; fi
[4615]186
[5415]187  if [[ -d $SIM ]]; then
188     echo "La simulation $SIM existe deja. Il est conseillé d'arrêter et de vérifier."
189     echo "Si vous êtes sûr de vous, vous pouvez la prolonger. Voulez vous la prolonger ? (y/n)"
190     read -r ans
191     if [[ $ans != y ]]; then exit 1; fi
192  fi
[4615]193
[5415]194  ######################################################################
195  # Choix du nombre de processeurs
196  # NOTES :
[5438]197  # omp=8 by default (for Jean-Zay must be a divisor of 40 procs/node)
198  # omp=1 : required for SPLA (omp parallelism not ready)
199  # omp=2 for veget=CMIP6+XIOS beacause of a bug in ORCHIDEE/src_xml/xios_orchidee.f90
[5415]200  ######################################################################
201  (( mpi = ( jm + 1 ) / 2 ))
202  omp=8
203  if [[ $aerosols = "spla" ]]; then omp=1; fi
204  if [[ $veget = "CMIP6" && $xios = "y" ]]; then omp=2; fi
205  if [[ $mpi -gt $NB_MPI_MAX ]]; then mpi=$NB_MPI_MAX; fi
206  if [[ $omp -gt $NB_OMP_MAX ]]; then omp=$NB_OMP_MAX; fi
[4615]207
[5415]208  # Compute how many mpi per node (required e.g. for Adastra)
209  mpi_per_node=0
210  if [[ $NB_CORE_PER_NODE_MAX -gt 0 ]]; then
211    local N_omp_mt=1
212    if [[ $omp -gt 1 ]]; then (( N_omp_mt = omp / N_HYPERTHREADING )); fi  # take into account hyperthreading
213    (( mpi_per_node = NB_CORE_PER_NODE_MAX / N_omp_mt ))
214    if [[ mpi_per_node -gt mpi ]]; then mpi_per_node=$mpi; fi
215  fi
[4615]216
[5415]217  echo "Total MPI=$mpi (PER NODE=$mpi_per_node), OMP=$omp"
218}
[4615]219
[5438]220#---------------------------------------------------------------------------
[5415]221function ensure_correct_option_combinations() {
222  # AVOID COMBINATIONS OF OPTIONS THAT DON'T WORK in user choices
[5438]223#---------------------------------------------------------------------------
[5415]224  if [[ $ok_guide = y && $climato = 1 ]]; then
225     echo "STOP: Running nudged simulations with climatological SSTs is not planned. Change <climato> to <0> or modify the setup (experts)"; exit 1
226  fi
[4615]227
[5415]228  if [[ $climato = 0 && $freq = "yr" ]]; then
229     echo "STOP: Running simulations with interannual SSTs is possible only month by month and a true calendar."
230     echo "Change <climato> to <1> or <freq> to <mo> or modify setup.sh (experts)"; exit 1
231  fi
[4615]232
233
[5415]234  # (Temporary) Constraints for aerosols=spla :
235  # --> resolution 128x88x79 and rad=rrtm
[5438]236  if [[ $aerosols = "spla" && ( ${im}x${jm} != "128x88" || $freq != mo ) ]]; then
237    echo 'STOP: For now, <aerosols=spla> requires <resol=128x88x79>,'
238    echo 'and uses the zoomed grid from gcm.def_zNAfrica_BiJe,'
239    echo 'for which forcing & initial files are available'
[5415]240    echo "Right now resol=<$resol>"
[5438]241    echo 'Should be run in monthly mode'
[5415]242    exit 1
243  fi
[4615]244
[5415]245  if [[ $rad = "ecrad" && $phylmd != "lmd" ]]; then
246    echo "<rad=ecrad> is only supported for <phy=phylmd> here"  # (Amaury) I added this check because we fetch ecrad data from libf/phylmd/ecrad/data only.
247  fi
248}
[4615]249
[5438]250#---------------------------------------------------------------------------
[5415]251function install_model() {
[5438]252#---------------------------------------------------------------------------
[5415]253  mkdir -p "$LMDZD"
[4615]254
[5415]255  local ins_xios ins_cosp ins_aero ins_inlandsis
256  if [[ $xios = "y" ]]; then ins_xios="-xios"; else ins_xios=""; fi
257  if [[ $cosp = "y" ]]; then ins_cosp="-cosp v1"; else ins_cosp=""; fi
258  if [[ $aerosols = "spla" ]]; then ins_aero="-spla"; else ins_aero=""; fi
259  if [[ $inlandsis = "y" ]]; then ins_inlandsis="-inlandsis"; else ins_inlandsis=""; fi
260  if [[ -n $svn ]]; then svnopt="-r $svn"; else svnopt=""; fi
[4615]261
[5415]262  version_name=LMDZ$(echo "$version" | sed -e 's/-v//g' -e 's/-unstable//' -e 's/-r/r/' -e 's/ //g')
263  LMDZname="${version_name}${svn}OR$veget${ins_xios}"
264  MODEL="$LMDZD/$LMDZname/modipsl/modeles/LMDZ"
[4615]265
[5415]266  if [[ -d $MODEL ]]; then echo "Found existing install at MODEL=$MODEL"; fi
267  echo "Installing model"
268  cd "$LMDZD"
269  cp "$local/install_lmdz.sh" .
270  chmod +x install_lmdz.sh
271  local make_j=8
272  # We launch using $MPICMD, except if it's using mpirun (no srun equivalent for bash script) => if supported, the compilation runs in a cluster job
273  jobcmd="\"$RUNBASHCMD $make_j\""
274  if [[ ${hostname:0:5} = "jean-" ]]; then jobcmd="\"$RUNBASHCMD $make_j --partition=compil\""; fi  # On JeanZay: compile on the <compil> partition
275  if [[ $(echo "$RUNBASHCMD" | cut -c -4) = "bash" ]]; then
276     jobcmd="bash"
277  fi
278  echo "./install_lmdz.sh -noclean $optim -v $version $svnopt -d $resol -rad $rad -bench 0 -parallel mpi_omp $ins_cosp $ins_xios $ins_aero $ins_inlandsis -name $LMDZname -veget $veget -netcdf $netcdf -arch $ARCH -make_j $make_j -jobcmd $jobcmd" >> install_lmdz_options.$$.sh
279  chmod +x install_lmdz_options.$$.sh
280  echo "Running install_lmdz_options.$$.sh"
281  set -o pipefail
282    gcm=$MODEL/$(./install_lmdz_options.$$.sh | tee /dev/tty | tail -n 1 | sed -n "s:.* executable is \(.*\.e\).*:\1:p")
283  set +o pipefail
284  mv install_lmdz.sh install_lmdz.$$.sh
285  cd "$local"
286}
[4615]287
[5438]288#---------------------------------------------------------------------------
289function setup_def() {  # modify various .def in ./DEF (+ xios xml )
290#---------------------------------------------------------------------------
[5415]291  cd "$local"
[4615]292
[5415]293  # Utilisation des .def_iso pour LMDZ-ISOtopes
294  if [[ $phylmd = "lmdiso" ]]; then
295    for file_iso in $(ls DEF | grep _iso); do
296      cp DEF/"$file_iso" DEF/"${file_iso%%_iso}"
297    done
298  fi
[4615]299
[5415]300  ######################################################################
301  # Choix de la grille verticale
302  ######################################################################
303  if [ ! -f "DEF/L$lm.def" ]; then
304    echo "STOP: Résolution verticale non prévue - créer un fichier DEF/L$lm.def"; exit 1
305  else
306    sed -i'' -e "s/INCLUDEDEF=L.*.def/INCLUDEDEF=L$lm.def/" DEF/run.def
307  fi
[4615]308
[5415]309  ######################################################################
310  # Changements dans les fichiers DEF/*def
311  # (ils vont se repercuter dans les repertoires de simulation $local/$SIM et de run $SIMRUNDIR)
312  ######################################################################
[4615]313
[5415]314  # Choix du fichier tracer.def coherent avec l'option "aerosols"
315  #  NOTE : Le nouveau tracer.def_nospla par defaut n'inclut pas Rn-Pb;
[5439]316  #  si on les veut, il faut utiliser ci-dessous; a la place, tracer_RN_PB.def
[5415]317  #---------------------------------------------------------------------
318  # NB : Les traceurs absents de start* files sont initialises=0 dans le code
319  if [[ $aerosols = "spla" ]]; then
320    # nouveau tracer.def (remplace "traceur.def")
321    cp DEF/tracer.def_spla DEF/tracer.def
322  elif [[ $phylmd = "lmdiso" ]]; then
323    # déjà copié si 'y'
324    cp DEF/tracer.def_nospla DEF/tracer.def
325  fi
[4615]326
[5415]327  # TEMPORAIREMENT pour spla on force l'utilisation de gcm.def_zNAfrica_BiJe (avec resolution 128x88x79)
328  #----------------------------------------------------------------------
[5438]329  if [[ $aerosols = "spla" ]]; then
330      cp DEF/gcm.def_zNAfrica_BiJe DEF/gcm.def; fi
[4615]331
[5415]332  # Inscription du choix ok_guide dans DEF/guide.def
333  #---------------------------------------------------------------------
334  sed -i'' -e 's/ok_guide=.*.$/ok_guide='$ok_guide'/' DEF/guide.def
[4615]335
[5415]336  # Inscription du type de calendrier (qui est fonction de $climato) dans DEF/run.def
337  #---------------------------------------------------------------------
338  # NB Contrairement a ce qui est ecrit dans les fichiers run.def standard,
339  # dans ce tutorial le choix earth_365d n'est pas disponible, et earth_366d s'appelle gregorian
340  if [[ $climato = 0 ]]; then calend="gregorian"; else calend="earth_360d"; fi
341  sed -i'' -e 's/calend=.*.$/calend='$calend'/' DEF/run.def
[4615]342
[5415]343  # Changements dans config.def (pre-choisi, et regle pour output si utilisation avec IOIPSL)
344  #   cf options veget, aerosols, cosp, xios
345  #---------------------------------------------------------------------
346  if [[ $veget = "none" ]]; then  VEGET="n"; else VEGET="y"; fi
347  sed -i'' -e 's/VEGET=.*.$/VEGET='$VEGET'/' DEF/config.def
[4615]348
[5438]349  ok_cdnc=y ; ok_ade=y ; ok_aie=y ; ok_alw=y
350  case $aerosols in
351    clim) flag_aerosol=6 ;;
352    spla) flag_aerosol=1 ;;
353    n)    flag_aerosol=0 ; ok_cdnc=n ; ok_ade=n ; ok_aie=n ; ok_alw=n ;;
354    *)    echo Option aerosols=$aerosols not available ; exit 1
355  esac
356  sed -i'' -e 's/^ok_cdnc=.*.$/ok_cdnc='$ok_cdnc'/' \
357           -e 's/^ok_ade=.*.$/ok_ade='$ok_ade'/' \
358           -e 's/^ok_aie=.*.$/ok_aie='$ok_aie'/' \
359           -e 's/^ok_alw=.*.$/ok_alw='$ok_alw'/' \
360           -e 's/^flag_aerosol=.*.$/flag_aerosol='$flag_aerosol'/' DEF/config.def
361  pwd
[4615]362
[5415]363  # COSP : ok_cosp desactive COSP si on a compile avec; il ne l'active pas si on a compile sans
364  sed -i'' -e 's/ok_cosp.*.$/ok_cosp='$cosp'/' DEF/config.def
365  if [[ $cosp = "y" ]]; then \cp -f "$MODEL"/DefLists/cosp*.txt "$local"/DEF/; fi
[4615]366
[5415]367  # Sorties LMDZ en fonction de l'option "xios"
368  sed -i'' -e 's/ok_all_xml=.*.$/ok_all_xml='$xios'/' DEF/config.def
[4615]369
[5415]370  # Ajuster physiq.def en fonction de radiative code (default: values for rad=rrtm)
371  #   Pour isotopes=y , mettre iflag_ice_thermo=0 au lieu de 1
372  #---------------------------------------------------------------------
373  sed -i'' -e "s/iflag_rrtm=.*.$/iflag_rrtm=$iflag_rrtm/" -e "s/NSW=.*.$/NSW=$NSW/" DEF/physiq.def
374  sed -i"" -e "s:directory_name.*$:directory_name=\"$MODEL/libf/phylmd/ecrad/data\",:" DEF/namelist_ecrad
[4615]375
[5415]376  if [[ $phylmd = "lmdiso" ]]; then iflag_ice_thermo=0; else iflag_ice_thermo=1; fi
377  sed -i -e 's/iflag_ice_thermo=.*.$/iflag_ice_thermo='$iflag_ice_thermo'/' DEF/physiq.def
[4615]378
[5415]379  # Choix de orchidee.def en fonction de orchidee_rev; modification pour xios
380  #  NOTE separate orchidee_pft.def file for ORCHIDEE trunk post-CMIP6
381  #---------------------------------------------------------------------
382  orchidee_def=orchidee.def_6.1
383  orchidee_pft_def=""
384  if [[ $veget = "7983" ]]; then
385    orchidee_def=orchidee.def_6.2work
386  elif [[ $veget = "7994" ]]; then
387    orchidee_def=orchidee.def_6.4work
388    orchidee_pft_def=orchidee_pft.def_6.4work
389    if ! grep "INCLUDEDEF=orchidee_pft.def" DEF/run.def; then
390      sed -i'' -e 's/INCLUDEDEF=orchidee.def/INCLUDEDEF=orchidee.def\nINCLUDEDEF=orchidee_pft.def/' DEF/run.def; fi
391  fi
392  cp -f DEF/$orchidee_def DEF/orchidee.def
393  if [[ $orchidee_pft_def != "" ]]; then cp -f DEF/$orchidee_pft_def DEF/orchidee_pft.def; fi
[4615]394
[5415]395  # Only for veget=CMIP6 it is still possible to use IOIPSL; newer versions of orchidee.def have XIOS_ORCHIDEE_OK = y
396  sed -i'' -e 's/XIOS_ORCHIDEE_OK =.*.$/XIOS_ORCHIDEE_OK = '$xios'/' DEF/orchidee.def
[4615]397
[5415]398  ######################################################################
399  # Si on tourne avec XIOS, mise a jour des fichiers context et field* dans XMLfilesLMDZ
400  # (ils vont se repercuter dans les repertoires de simulation $local/$SIM et de run $SIMRUNDIR)
401  ######################################################################
402  if [[ $xios = y ]]; then
403    cp -f "$MODEL"/DefLists/context_lmdz.xml "$local"/DEF/XMLfilesLMDZ/.
404    cp -f "$MODEL"/DefLists/field_def_lmdz.xml "$local"/DEF/XMLfilesLMDZ/.
405    if [[ $cosp = y ]]; then cp -f "$MODEL"/DefLists/field_def_cosp1.xml "$local"/DEF/XMLfilesLMDZ/.; fi
406  fi
407}
[4615]408
[5438]409#---------------------------------------------------------------------------
[5415]410function setup_ce0l() { # Verification de l'existance de l'état initial, compilation eventuelle pour sa creation
[5438]411#---------------------------------------------------------------------------
[5415]412  if [[ ! -d $INIT ]]; then
413    if [[ $init = 0 ]]; then
414      echo "STOP: Récuperer les repertoires $INIT ou lancer avec option -init"; exit 1
415    else
416      # Compile ce0l
417      cd "$MODEL"
418      sed -e 's/gcm$/ce0l/' compile.sh > compile_ce0l.sh; chmod +x compile_ce0l.sh
419      echo "Compiling ce0l"
420      if ! ./compile_ce0l.sh &> ce0l.log; then echo "STOP: ce0l compilation failed, see $MODEL/ce0l.log"; exit 1; fi
421      echo "Compiled ce0l"
422      ce0l=${gcm/gcm/ce0l}
[4615]423
[5415]424      cd "$local"
[4615]425    fi
[5415]426  elif [[ $init = 1 ]]; then
427    echo "STOP: Vous essayez d initialiser le modele mais $INIT existe deja"; exit 1
428  fi
429}
[4615]430
[5438]431#---------------------------------------------------------------------------
[5415]432function setup_simu() {
[5438]433#---------------------------------------------------------------------------
[5420]434  #SIMRUNTOPDIR="$SIMRUNBASEDIR/$(basename "$local")"
435  SIMRUNTOPDIR="$SIMRUNBASEDIR"
[5415]436  SIMRUNDIR=$SIMRUNTOPDIR
437  mkdir -p "$SIMRUNDIR"
438  cd "$SIMRUNDIR"
439  echo "La simulation s'exécutera sur $SIMRUNDIR"
[4615]440
[5415]441  #####################################################################
442  # Creation du repertoire $SIM s'il n'existe pas deja
443  #####################################################################
444  if [[ ! -d $local/$SIM ]]; then
445    mkdir "$local/$SIM"
446    cd "$local"
[4615]447
[5415]448    # Edit reb.sh
449    cp reb.sh "$local/$SIM/reb.sh"; chmod +x "$local/$SIM/reb.sh"
450    sed -i'' -e "s:^rebuild=.*.$:rebuild=$LMDZD/$LMDZname/modipsl/bin/rebuild:" "$local/$SIM/reb.sh"
451    enable_platform "$local/$SIM/reb.sh"
[4615]452
[5415]453    # Copy .def
454    cp lmdz_env.sh "$local/$SIM/"
455    mkdir "$local/$SIM/DEF"; cp DEF/*def DEF/namelis* "$local/$SIM/DEF/"
456    #Pour XIOS, respectivement COSP, copier aussi les fichiers *xml / *txt
457    if [[ $cosp = "y" ]]; then cp DEF/cosp*txt "$local/$SIM/DEF/"; fi
458    if [[ $xios = "y" ]]; then
459       cp DEF/XMLfilesLMDZ/*xml "$local/$SIM/DEF/"
460       if [[ $veget != 'none' ]]; then cp DEF/XMLfilesOR$veget/*xml "$local/$SIM/DEF/"; fi
461    fi
462    chmod u+w "$local/$SIM"/DEF/*
[4615]463
[5415]464    # Gestion du calendrier
465    #######################
466    cd "$SIM"
467    sed -i'' -e "s/anneeref=.*.$/anneeref=$yearini/" DEF/run.def
468    if [[ $freq = "yr" ]]; then date=$yearini; else date=$mthini; fi
469    echo "$date a faire" >| etat
[4615]470
[5415]471    # Recuperation des fichiers : executable initiaux et forcages
472    #############################################################
473    echo "date: $date"
474    for f in start startphy; do
475      inf=../$INIT/$f.$date.nc
476      if [[ -f $inf || $init = 1 ]]; then ln -s "$inf" ./; else echo "STOP: $inf missing"; exit ; fi;
477    done
478    for f in sechiba stomate; do
479      if [[ -f ../$INIT/start_$f.$date.nc ]]; then ln -sf "../$INIT/start_$f.$date.nc" .; fi
480    done
481    cp "$gcm" gcm.e
482  fi
483  cd "$local"/..
[4615]484
[5415]485  #####################################################################
486  echo "Modification du script de lancement"
487  #####################################################################
488  local cput
489  if [[ $freq = "yr" ]]; then cput="04:00:00"; else cput="01:00:00"; fi
490  local isotopes="n"
491  if [[ $phylmd = "lmdiso" ]]; then isotopes="y"; fi
492  sed -e "s/NOM_SIMU/$SIM/" \
493  -e "s/time=.*.$/time=$cput/" \
494  -e "s/ntasks=.*.$/ntasks=$mpi/" \
495  -e "s/ntasks-per-node=.*.$/ntasks-per-node=$mpi_per_node/" \
496  -e "s/cpus-per-task=.*.$/cpus-per-task=$omp/" \
497  -e "s/nthreads=.*./nthreads=$omp/" \
498  -e "s/MAINDIR=.*.$/MAINDIR=$(basename "$local")/" \
499  -e "s:STORED=.*.*:STORED=$(dirname "$local"):" \
500  -e "s:SCRATCHD=.*.*:SCRATCHD=$SIMRUNBASEDIR:" \
501  -e "s/stopsim=.*.$/stopsim=$stopsim/" \
502  -e "s/^veget=.*.$/veget=$veget/" \
503  -e "s/^aerosols=.*.$/aerosols=$aerosols/" \
504  -e "s/^isotopes=.*.$/isotopes=$isotopes/" \
505  -e "s/^climato=.*.$/climato=$climato/" \
506  -e "s/^ok_guide=.*.$/ok_guide=$ok_guide/" \
507  "$local/script_SIMU" >| "$SIMRUNDIR/tmp_$SIM"
[4615]508
[5415]509  enable_platform "$SIMRUNDIR/tmp_$SIM"
[4615]510
[5415]511  if [[ $testmode = "y" ]]; then
512    sed -i'' -e "s/time=.*.$/time=00:10:00/" -e "s/#nday=1/nday=1/" -e "s/#@TESTQ//" "$SIMRUNTOPDIR/tmp_$SIM"
513  fi
514}
[4615]515
[5429]516#----------------------------------------------------------------------
[5439]517function list_yrmth() {
518#----------------------------------------------------------------------
519    local liste=""
520    local mthini=$1
521    local mthend=$2
522    local mo_=$mthini
523    while [[ $mo_ != $mthend ]] ; do
524        liste="$liste $mo_"
525        yr__=$( echo $mo_ | cut -c 1-4 )
526        mo__=$( echo $mo_ | cut -c 5-6 )
527        echo YM $yr__ $mo__
528        if [ $(( $mo__ +1 )) == 12 ] ; then
529           yr__=$(( $yr__ + 1 )) ; mo_=$yr__$mo__
530        else
531           mo_=$(( $mo_ + 1 ))
532        fi
533    done
534    echo $liste
535   
536}
537
538#----------------------------------------------------------------------
539increment_month() {
540#----------------------------------------------------------------------
541  local year=$( echo $1 | cut -c 1-4 )
542  local month=$(( $1 - ${year}00 ))
543  if [ $(( $month - 12 )) -eq 0 ]; then
544    year=$((year + 1))
545    month=1
546  else
547    month=$((month + 1))
548  fi
549  if [[ $month -le 9 ]] ; then month=0$month ; fi
550  echo $year$month
551}
552
553#----------------------------------------------------------------------
[5415]554function fetch_simu_init_files() {
[5429]555#----------------------------------------------------------------------
[5415]556  #####################################################################
[5426]557  echo "Recuperation eventuelle de certains fichiers sur http:lmdz.lmd.jussieu.fr/pub"
[5415]558  #####################################################################
[4615]559
[5426]560  #  ORCHIDEE input files
[5429]561  get_input_files wget_pub Orchidee
[5426]562
563  # Files for aerosols and chemistry
[5438]564  if [[ $aerosols = "clim" ]]; then
565       get_input_files wget_pub AerChem ; fi
[5426]566
[5429]567  # Files for SPLA
[5438]568  if [[ $aerosols = "spla" ]]; then
569       get_input_files wget_pub SPLA_WA/emissions
[5439]570       mo_=$mthini
571       while [[ $mo_ != $mthend ]] ; do
572       # Code horrible duplique a cause de 08 (FH)
573           local yr__=$( echo $mo_ | cut -c 1-4 )
574           local mo__=$(( $mo_ - ${yr__}00 ))
575           if [[ $mo__ -le 9 ]] ; then mo__=0$mo__ ; fi
[5438]576           for var in u10m v10m u v ; do
577               echo wget_pub 3DInputData/SPLA_WA/ERA5/$yr__/$mo__ $var.nc
578               wget_pub 3DInputData/SPLA_WA/ERA5/$yr__/$mo__ $var.nc
579           done
[5439]580           mo_=$( increment_month $mo_ )
[5438]581       done
582  fi
[5415]583}
[4615]584
[5429]585#----------------------------------------------------------------------
[5415]586function run_sim_or_init() {
[5429]587#----------------------------------------------------------------------
[5415]588  cd "$local"
[4615]589
[5415]590  if [[ $init = 1 ]]; then
591    #####################################################################
592    echo "Creation de l etat initial"
593    #####################################################################
[4615]594
[5415]595    # Creation du repertoire INIT et mise en place de liens logiques vers les starts
596    # en anticipation de leur création :
597    mkdir "$local/$INIT"; cd "$local/$INIT"
598    for an in $mthini $yearini; do for f in start startphy; do ln -s "$f.nc" "$f.$an.nc"; done; done
[4615]599
[5415]600    # Creation du repertoire INIT temporaire et rapatriement des fichiers necessaires
601    if [[ -d $SIMRUNDIR/$INIT ]]; then mv "$SIMRUNDIR/$INIT" "$SIMRUNDIR/$INIT$$"; fi
602    mkdir "$SIMRUNDIR/$INIT"; cp -r "$local/DEF" "$SIMRUNDIR/$INIT/"
603    cd "$SIMRUNDIR/$INIT"; cp DEF/*.def .; cp "$local/lmdz_env.sh" .
604    if [[ $xios = "y" ]]; then
605      cp DEF/XMLfilesLMDZ/*xml .
606      if [[ $veget != 'none' ]]; then cp DEF/XMLfilesOR$veget/*xml .; fi
607    fi
608    sed -e "s/anneeref=.*.$/anneeref=$yearini/" DEF/run.def >| run.def
[4615]609
[5415]610    #-------------------------------------------------------------------
611    # Fichiers Limit
612    #-------------------------------------------------------------------
613    local yrs suf
614    if [[ $climato = 0 ]]; then
615      # calend est choisi plus haut dans "Changements dans les fichiers DEF/*def" et ecrit dans $MAINDIR/DEF/run.def
616      yrini=$(echo "$mthini" | cut -c-4)
617      yrend=$(echo "$mthend" | cut -c-4)
618      yrs=""; yr=$yrini
619      while [[ $yr -le $yrend ]]; do yrs="$yrs $yr"; (( yr = yr + 1 )); done
620      suf="360x180_"
621    else
622      yrs=2000
623      suf="1x1_clim"
624    fi
[4615]625
[5415]626    liste_get="Albedo.nc Relief.nc Rugos.nc landiceref.nc"
627    for yr in $yrs; do
628       if [[ $climato = 0 ]]; then sufyr=$suf$yr; else sufyr=$suf; fi
629       liste_get="$liste_get amipbc_sic_$sufyr.nc amipbc_sst_$sufyr.nc"
630    done
631    echo LISTEGET "$liste_get"
632    for file in $liste_get; do
[5426]633       wget_pub 3DInputData/Limit $file
634       ln_from_pub  3DInputData/Limit $file
[5415]635    done
636    #-------------------------------------------------------------------
[5426]637    # Initial state ECDYN
[5415]638    #-------------------------------------------------------------------
[5426]639    wget_pub 3DInputData/Init ECDYN.nc
640    ln_from_pub 3DInputData/Init ECDYN.nc
[5415]641    ln -sf ECDYN.nc ECPHY.nc
[4615]642
[5415]643    # Creation du script d'initialisation
644    cat << ...eod >| tmp
[4615]645#!/bin/bash
[5415]646#@JZ#JeanZay
647#@JZ#SBATCH --job-name=Init         # nom du job
648#@JZ#SBATCH --ntasks=1              # Nombre de processus MPI
649#@JZ#SBATCH --cpus-per-task=1      # nombre de threads OpenMP
650#@JZ# /!\ Attention, la ligne suivante est trompeuse mais dans le vocabulaire
651#@JZ# de Slurm "multithread" fait bien référence à l'hyperthreading.
652#@JZ#SBATCH --hint=nomultithread    # 1 thread par coeur physique (pas d'hyperthreading)
653#@JZ#SBATCH --time=00:10:00         # Temps d'exécution maximum demandé (HH:MM:SS)
654#@JZ#SBATCH --output=Init%j.out     # Nom du fichier de sortie
655#@JZ#SBATCH --error=Init%j.out      # Nom du fichier d'erreur (ici commun avec la sortie)
656#@JZ# To submit to dev queue; "time" (above) must be max 2h
657#@JZ#TESTQ#SBATCH --qos=qos_cpu-dev
658#@SP#Spirit
659#@SP#SBATCH --job-name=Init
660#@SP#SBATCH --ntasks=1
661#@SP#SBATCH --cpus-per-task=1
662#@SP#SBATCH --hint=nomultithread
663#@SP#SBATCH --time=00:10:00
664#@SP#SBATCH --output=Init%j.out
665#@SP#SBATCH --error=Init%j.out
666#@ADS#Adastra
667#@ADS#SBATCH --job-name=Init
668#@ADS#SBATCH --ntasks=1
669#@ADS#SBATCH --cpus-per-task=1
670#@ADS#SBATCH --nodes=1
671#@ADS#SBATCH --hint=nomultithread
672#@ADS#SBATCH --time=00:10:00
673#@ADS#SBATCH --output=Init%j.out
674#@ADS#SBATCH --error=Init%j.out
[4615]675
[5415]676set -eu
[4615]677
678# ANCIEN MULTI STEP  case \${LOADL_STEP_NAME} in
679
680# ANCIEN MULTI STEP   init )
681
[5415]682if [ ! -f lmdz_env.sh ]; then echo "manque fichier lmdz_env.sh"; ls; exit 1; fi
683. lmdz_env.sh
684ulimit -s unlimited
685cd $SIMRUNDIR/$INIT
686echo "Executable : $ce0l"
687for yr in $yrs; do
688  if [ $climato = 0 ]; then sufyr=$suf\$yr; else sufyr=$suf; fi
689  ln -sf amipbc_sic_\$sufyr.nc amipbc_sic_1x1.nc
690  ln -sf amipbc_sst_\$sufyr.nc amipbc_sst_1x1.nc
691  sed -e 's/anneeref=.*.$/anneeref='\$yr'/' DEF/run.def >| run.def
692  echo Starting initialisation
[5426]693  # Runing ce0l.e
[5415]694  OMP_NUM_THREADS=1 $MPICMD 1 $ce0l  # ce0l requires MPI=OMP=1
695  if [ $climato = 0 ]; then mv limit.nc limit.\$yr.nc; fi
696done
697# ANCIEN MULTI STEP   ;;
[4615]698
699# ANCIEN MULTI STEP   interp )
[5415]700if [[ $aerosols = clim ]]; then
701  cp $local/interp_aerosols.sh .; chmod +x interp_aerosols.sh
702  # Les aerosols de l'annee 2000 ont été remplacés par "9999" qui pointe vers un fichier moyen sur 1995-2014
703  #for year in 2000 1850; do  ./interp_aerosols.sh \$year; done
704  #mv aerosols.2000.nc aerosols.clim.nc; mv aerosols.1850.nc aerosols.nat.nc
705  for year in 9999 1850; do ./interp_aerosols.sh \$year; done
706  mv aerosols.9999.nc aerosols.clim.nc; mv aerosols.1850.nc aerosols.nat.nc
707fi
[4615]708
[5415]709for f in sta* gri*nc; do cp \$f $local/$INIT/\$f; done
710if [[ $climato = 1 ]]; then cp limit.nc $local/$INIT/limit.nc; fi
711mkdir -p $local/$LIMIT
712for f in limit*.nc ; do cp \$f $local/$LIMIT/\$f; done
713if [ $aerosols = clim ]; then  for f in aerosols[.0-9]*nc; do cp \$f $local/$LIMIT/\$f; done; fi
714#
715cd $SIMRUNDIR
[4615]716...eod
[5415]717    if [[ $ok_guide != "y" ]]; then # Running first simulation automatically except for nudging
718      cat << ...eod >> tmp
719      echo "Submitting job tmp_$SIM"
[5422]720      #echo "\$SUBMITCMD tmp_$SIM"
721      #\$SUBMITCMD tmp_$SIM
[5424]722      echo submitcmd tmp_$SIM
[5422]723      submitcmd tmp_$SIM
[4615]724...eod
[5415]725    fi
726    cat << ...eod >> tmp
727  # ANCIEN MULTI STEP   esac
[4615]728...eod
[5415]729    enable_platform tmp
[5438]730    echo "#################################################################"
[5422]731    #echo "Submitting initialisation job <$SUBMITCMD tmp> from $(pwd)"
732    echo "Submitting initialisation job <submitcmd tmp> from $(pwd)"
[5415]733    chmod +x tmp
[5422]734    #$SUBMITCMD tmp
735    submitcmd tmp
[5438]736    echo "#################################################################"
[4615]737
[5415]738  else #case [ $init != 1 ]
739     cd "$SIMRUNDIR"
[5438]740     echo "################################################################"
[5415]741     echo "Submitting job tmp_$SIM"
[5422]742     #echo "$SUBMITCMD tmp_$SIM"
743     #$SUBMITCMD "tmp_$SIM"
744     echo "submitcmd tmp_$SIM"
745     submitcmd "tmp_$SIM"
[5438]746     echo '################################################################'
[5415]747  fi
748}
[4615]749
[5438]750#---------------------------------------------------------------------------
[5415]751function message_post_submit() {
[5438]752#---------------------------------------------------------------------------
[5415]753  if [[ $ok_guide = "y" && $init = 1 ]]; then
754    cd "$local"
755    enable_platform era2gcm_tuto.sh
756    echo "Once initialisation is finished, you have to create nudging files"
757    echo "Edit era2gcm_tuto.sh and set the desired parameters in section <User choices>"
758    echo "Make sure you have acces to the chosen ERA files, and the required modules are loaded, then run : ./era2gcm_tuto.sh"
759    if [[ $aerosols = "spla" ]]; then
760      echo "Your aerosol choice is <spla>, so you need ERA 10m-winds interpolated on LMDZ grid. Use script era2gcm_uv10m.sh"
761    fi
762  else
763    echo "Si tout se passe bien, vous avez initialisé et lancé automatiquement la simulation."
764    echo "Le job qui a été lancé se trouve sur $SIMRUNTOPDIR/tmp_$SIM"
765  fi
766}
[4615]767
[5438]768#---------------------------------------------------------------------------
[5415]769function setup_and_load_lmdz_env() {
[5438]770#---------------------------------------------------------------------------
[5415]771  if [[ ! -f .lmdz_setup_root_dir ]]; then echo "STOP: setup.sh is not located in the root dir ??!!"; exit 1; fi
772  # sed root_dir in lmdz_env.sh
773  sed -i'' "s<root_dir=.*<root_dir=$local<" lmdz_env.sh
[4615]774
[5415]775  # Set up the appropriate environment
776  source lmdz_env.sh
777}
[4615]778
[5415]779local=$(pwd)
[4615]780
[5415]781setup_and_load_lmdz_env
782load_install_lib
783define_expert_options
784set_default_params
785read_cmdline_args "$@"
786ensure_correct_option_combinations
787install_model
788setup_def
789setup_ce0l
790setup_simu
791fetch_simu_init_files
792run_sim_or_init
[5420]793message_post_submit
Note: See TracBrowser for help on using the repository browser.