Changeset 3694 for BOL/Multi_atlas


Ignore:
Timestamp:
Jun 4, 2020, 11:31:02 AM (5 years ago)
Author:
idelkadi
Message:

Repository under svn of a first version of Multiatlas diagnostics for LMDZ. This version is adapted to be able to run a LMDZ multiatlas on an individual account on the ciclad machine of the IPSL. In this version, the parts to be modified are identified so as to subsequently adapt it to other machines.
Corrections.

Location:
BOL/Multi_atlas
Files:
7 edited

Legend:

Unmodified
Added
Removed

  • BOL/Multi_atlas/Utils/atlas0.sh

    r3684 r3694  
    11local=`pwd -P`
    2 cd $local
    32
    43date
    … …  
    9594
    9695   echo Nettoyage des fichiers corrompus du cache
    97    ~/LMDZ/atlas/clean_cache.sh
     96   $local/clean_cache.sh $DIRATLAS
    9897   echo passage $ipass >> atlas.sh.log
    9998   html=index_example_"$seas"_"$sim".html
    10099   htmlopt=index_${proj}_"$seas"_"$sim".html
    101100   rm -f $html
    102    ###echo python /home/fabric/LMDZ/atlas/$pyatlas --force -v $vars -s `basename $simdir`_$years -t $ref -p $seas -i $simdir/ATM/Analyse/SE
    103101   echo python $local/$pyatlas -v $vars -s `basename $simdir`_$years -t $ref -p $seas --root $simdir/ATM/Analyse/SE
    104    ###python /home/fabric/LMDZ/atlas/$pyatlas --force -v $vars -s `basename $simdir`_$years -t $ref -p $seas -i $simdir/ATM/Analyse/SE
    105102   python $local/$pyatlas -v $vars -s `basename $simdir`_$years -t $ref -p $seas --root $simdir/ATM/Analyse/SE
    106    #python /home/fabric/LMDZ/atlas/$pyatlas -v $vars -s `basename $simdir`_$years -t $ref -p $seas -i $simdir/ATM/Analyse/SE --root XXXX
    107103
    108104   if [ ! -f "$html"  -o "`wc -l $html | awk ' { print $1 } '`" = "0" ] ; then

  • BOL/Multi_atlas/atlas/atlas.sh

    r3684 r3694  
    1414login=aidelkad
    1515DODSDIR=/prodigfs/ipslfs/dods
    16 ###########################################################################
     16########################################################################################################
    1717# Environnement
    1818module list
    1919which python
    2020ulimit -s unlimited
    21 ATLAS_DIR=/prodigfs/ipslfs/dods/aidelkad/lmdz/atlas/Atlas12770 ; mkdir -p
    2221export PYTHONPATH=:/data/aidelkad/climaf:/home/igcmg/prodiguer-client:/home/fabric/users/denvil/climaf
    2322export PATH=/opt/glite/globus/bin:.:/home/sdipsl/CONFIG_MC2/MAKE_CONF:/opt/anaconda/bin:/opt/nco-4.5.2/bin:/opt/netcdf43/gfortran/bin:/opt/ferret-6.7.2/fast:/opt/ferret-6.7.2/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/aidelkad/bin:/home/fabric/users/denvil/climaf/bin
    … …  
    2524if [ ! -d /prodigfs/ipslfs/dods/aidelkad/climafCache ] ; then mkdir -p /prodigfs/ipslfs/dods/aidelkad/climafCache ; fi
    2625export CLIMAF_CACHE=/prodigfs/ipslfs/dods/aidelkad/climafCache
    27 echo CLIMAF_CACHE $CLIMAF_CACHE
    28 MULTIDIR=/prodigfs/ipslfs/dods/ipslfs/dods/aidelkad/lmdz/MultiSimu
    29 ###########################################################################
     26echo CLIMAF_CACHE
     27MULTIDIR=/prodigfs/ipslfs/dods/aidelkad/lmdz/MultiSimu
     28DIRATLAS=/prodigfs/ipslfs/dods/aidelkad/lmdz/atlas
     29ATLAS_DIR=/prodigfs/ipslfs/dods/aidelkad/lmdz/atlas/Atlas56853
     30if [ ! -d /prodigfs/ipslfs/dods/aidelkad/lmdz/atlas/Atlas56853 ] ; then mkdir -p /prodigfs/ipslfs/dods/aidelkad/lmdz/atlas/Atlas56853 ; fi
     31########################################################################################################
     32########################################################################################################
     33# Environnement
     34module list
     35which python
     36ulimit -s unlimited
     37export PYTHONPATH=:/data/aidelkad/climaf:/home/igcmg/prodiguer-client:/home/fabric/users/denvil/climaf
     38export PATH=/opt/glite/globus/bin:.:/home/sdipsl/CONFIG_MC2/MAKE_CONF:/opt/anaconda/bin:/opt/nco-4.5.2/bin:/opt/netcdf43/gfortran/bin:/opt/ferret-6.7.2/fast:/opt/ferret-6.7.2/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/aidelkad/bin:/home/fabric/users/denvil/climaf/bin
     39STORAGE=/prodigfs/ipslfs/dods/aidelkad/lmdz/STORE
     40if [ ! -d /prodigfs/ipslfs/dods/aidelkad/climafCache ] ; then mkdir -p /prodigfs/ipslfs/dods/aidelkad/climafCache ; fi
     41export CLIMAF_CACHE=/prodigfs/ipslfs/dods/aidelkad/climafCache
     42echo CLIMAF_CACHE
     43MULTIDIR=/prodigfs/ipslfs/dods/aidelkad/lmdz/MultiSimu
     44DIRATLAS=/prodigfs/ipslfs/dods/aidelkad/lmdz/atlas
     45ATLAS_DIR=/prodigfs/ipslfs/dods/aidelkad/lmdz/atlas/Atlas64042
     46if [ ! -d /prodigfs/ipslfs/dods/aidelkad/lmdz/atlas/Atlas64042 ] ; then mkdir -p /prodigfs/ipslfs/dods/aidelkad/lmdz/atlas/Atlas64042 ; fi
     47########################################################################################################
    3048local=`pwd -P`
    31 cd $local
    3249
    3350date
    … …  
    124141
    125142   echo Nettoyage des fichiers corrompus du cache
    126    $local/clean_cache.sh
     143   $local/clean_cache.sh $DIRATLAS
    127144   echo passage $ipass >> atlas.sh.log
    128145   html=index_example_"$seas"_"$sim".html
    129146   htmlopt=index_${proj}_"$seas"_"$sim".html
    130147   rm -f $html
    131    ###echo python /home/fabric/LMDZ/atlas/$pyatlas --force -v $vars -s `basename $simdir`_$years -t $ref -p $seas -i $simdir/ATM/Analyse/SE
    132148   echo python $local/$pyatlas -v $vars -s `basename $simdir`_$years -t $ref -p $seas --root $simdir/ATM/Analyse/SE
    133    ###python /home/fabric/LMDZ/atlas/$pyatlas --force -v $vars -s `basename $simdir`_$years -t $ref -p $seas -i $simdir/ATM/Analyse/SE
    134149   python $local/$pyatlas -v $vars -s `basename $simdir`_$years -t $ref -p $seas --root $simdir/ATM/Analyse/SE
    135    #python /home/fabric/LMDZ/atlas/$pyatlas -v $vars -s `basename $simdir`_$years -t $ref -p $seas -i $simdir/ATM/Analyse/SE --root XXXX
    136150
    137151   if [ ! -f "$html"  -o "`wc -l $html | awk ' { print $1 } '`" = "0" ] ; then

  • BOL/Multi_atlas/atlas/clean_cache.sh

    r3684 r3694  
    11#!/bin/bash
    22
     3DIRATLAS=$1
    34
    4 
    5 cd /prodigfs/ipslfs/dods/fabric/lmdz/atlas
     5cd $DIRATLAS
    66
    77i=1

  • BOL/Multi_atlas/install_multi_atlas.sh

    r3684 r3694  
    1111# Definition des coleurs d'affichage
    1212noir='\e[0;30m' gris='\e[1;30m' rougefonce='\e[0;31m' rose='\e[1;31m' vertfonce='\e[0;32m' vertclair='\e[1;32m' orange='\e[0;33m' jaune='\e[1;33m' bleufonce='\e[0;34m' bleuclair='\e[1;34m' violetfonce='\e[0;35m' violetclair='\e[1;35m' cyanfonce='\e[0;36m' cyanclair='\e[1;36m' grisclair='\e[0;37m' blanc='\e[1;37m' neutre='\e[0;m'
     13##
     14##
    1315# AI avril 2020 : A FAIRE :
    14 # A FAIRE
    1516# Utiliser des fonctions entete, ...
    1617# A function pour definir l entete du job en fonction de la machine
    1718#function jobentete { #1er argument doit etre le nom de la machine
    1819
     20#set -x
     21# Nom machine et compte
    1922hostname=`hostname`
    2023login=`whoami`
    2124
     25# Definitions en fonction de la machine
    2226# CICLAD
    2327if [ ${hostname:0:5} = cicla ] ; then
     28# chemin vers le rep dods de base
    2429DODSDIR=/prodigfs/ipslfs/dods
     30# Rep ou sont stockes les multiatlas
     31MULTIDIR=$DODSDIR/$login/lmdz/MultiSimu
     32if [ ! -d $MULTIDIR ] ; then mkdir -p $MULTIDIR ; fi
     33
     34# Def entete des job
    2535cat <<eod >> entete.sh
    2636#PBS -N atlas
    … …  
    4151eod
    4252
     53# Def env atlas
    4354cat <<eod >> defatlasenv.sh
    44 ###########################################################################
     55########################################################################################################
    4556# Environnement
    4657module list
    4758which python
    4859ulimit -s unlimited
    49 ATLAS_DIR=$DODSDIR/$login/lmdz/atlas/Atlas$$ ; mkdir -p $ATLAS_DIR
    5060export PYTHONPATH=$PYTHONPATH:/home/fabric/users/denvil/climaf
    5161export PATH=$PATH:/home/fabric/users/denvil/climaf/bin
    … …  
    5464export CLIMAF_CACHE=$DODSDIR/$login/climafCache
    5565echo CLIMAF_CACHE $CLIMAF_CACHE
    56 MULTIDIR=$DODSDIR/ipslfs/dods/$login/lmdz/MultiSimu
    57 ###########################################################################
     66MULTIDIR=$MULTIDIR
     67DIRATLAS=$DODSDIR/$login/lmdz/atlas
     68ATLAS_DIR=$DODSDIR/$login/lmdz/atlas/Atlas$$
     69if [ ! -d $DODSDIR/$login/lmdz/atlas/Atlas$$ ] ; then mkdir -p $DODSDIR/$login/lmdz/atlas/Atlas$$ ; fi
     70########################################################################################################
    5871eod
    5972
    … …  
    141154# Machines locales lmd
    142155
    143 MULTIDIR=$DODSDIR/ipslfs/dods/$login/lmdz/MultiSimu
    144 if [ ! -d $MULTIDIR ] ; then mkdir -p $MULTIDIR ; fi
    145 
    146156echo -e "${noir}%%%%%%%%%%%%%%%%%%%%%%%%% ${rougefonce} MULTIATLAS LMDZ ${noir}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%"
    147157echo -e "${bleufonce}" To create your multi-atlas you needs :
    148158echo 1.  to create your multiatlas directory "example Multi01" :
    149 echo    - mkdir -p /prodigfs/ipslfs/dods/YourLoginName/lmdz/MultiSimu/Multi01
     159echo    - mkdir -p /prodigfs/ipslfs/dods/$login/lmdz/MultiSimu/Multi01
    150160echo 2.  to define some characeristics of your multi-atlas "names, dates, description of simulations and atlas variables" :
    151 echo    - cp Utils/def.txt  Utils/atlas-def /prodigfs/ipslfs/dods/YourLoginName/lmdz/MultiSimu/Multi01/.
     161echo    - cp Utils/def.txt  Utils/atlas-def /prodigfs/ipslfs/dods/$login/lmdz/MultiSimu/Multi01/.
    152162echo     define "names, date, description" of simulations in file :
    153 echo    - /prodigfs/ipslfs/dods/YourLoginName/lmdz/MultiSimu/Multi01/def.txt
     163echo    - /prodigfs/ipslfs/dods/$login/lmdz/MultiSimu/Multi01/def.txt
    154164echo     define atlas variables in file
    155 echo    - /prodigfs/ipslfs/dods/YourLoginName/lmdz/MultiSimu/Multi01/atlas.def
     165echo    - /prodigfs/ipslfs/dods/$login/lmdz/MultiSimu/Multi01/atlas.def
    156166
    157167rm -f job_multi.sh

  • BOL/Multi_atlas/make_MOY.sh

    r3684 r3694  
    4646MAINDIR=$DODSDIR/$login/lmdz
    4747WRK=$MAINDIR/WORK/biais$$
     48orig=$MAINDIR/$GR/$SEAS
     49if [ ! -d $orig ] ; then mkdir $orig ; fi
    4850
    4951if [ -d $WRK ] ; then WRK=$WRK$$ ; fi
    … …  
    5456cd $orig
    5557for sim in $SIM ; do
    56    if [ $sim = OBS ] ; then
    57       MAINDIR=$DODSDIR/fabric/lmdz
    58    else
    59       MAINDIR=$DODSDIR/$login/lmdz
    60    fi
    61    orig=$MAINDIR/$GR/$SEAS
    6258
    6359   echo $sim
    … …  
    6662   for var in $vars ; do
    6763
    68      echo $orig/$sim/$d
     64     #echo $orig/$sim/$d
    6965     for d in $zone ; do
     66      echo $orig/$sim/$d
    7067        mkdir -p $orig/$sim/$d
    7168        if [ $force_create = 1 ] ; then

  • BOL/Multi_atlas/make_html_libigcm.sh

    r3684 r3694  
    9999ROOTDODS=DODS/pub/$LOGNAME/$CONFIGNAME
    100100ROOTWEB="http://dodsp.idris.fr/$LOGNAME/$EXPNAME"
    101 # http://dods.extra.cea.fr/work/aidel/IGCM_OUT/LMDZOR/DEVT/clim/AR5.0lr/ATM/Analyse/COSP/Calipso/1982-1989
    102 #ROOTWEB_PROD=http://dods.extra.cea.fr/work/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    103 ROOTWEB_PROD=http://esgf.extra.cea.fr/thredds/catalog/work/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    104 ROOTWEB_PROD=https://vesg.ipsl.upmc.fr/thredds/catalog/work/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    105 ROOTWEB_PROD=https://vesg.ipsl.upmc.fr/thredds/catalog/store_thredds/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    106101ROOTWEB_PRODout=https://vesg.ipsl.upmc.fr/thredds/catalog/store_thredds/aidel/LMDZOR/DEVT/clim
    107 #STOREWEB_PROD=http://dods.extra.cea.fr/store/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    108 #STOREWEB_PROD=http://esgf.extra.cea.fr/thredds/catalog/store/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    109102STOREWEB_PROD=http://esgf.extra.cea.fr/thredds/catalog/store_thredds/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    110103STOREWEB_PRODold=http://esgf.extra.cea.fr/thredds/catalog/store/aidel/IGCM_OUT/LMDZOR/DEVT/clim
    111 #ROOTWEBatlas=http://dods.idris.fr/$LOGNAME/$CONFIGNAME/DEVT/clim
    112104if [ "$ROOTWEBORIG" = "" ] ; then
    113105ROOTWEBORIG=ROOTWEBlibigcm
    … …  
    134126longc="" ; i=0 ; while [ $i != $longn ] ; do (( i = $i + 1 )) ; longc="$longc"_ ; done
    135127
    136 htmlfile=$CICLAD/HTML/tmp.html   ; rm -f $htmlfile ; touch $htmlfile
    137 errfile=$CICLAD/HTML/tmphtml$$.err ; rm -f $errfile  ; touch $errfile
     128if [ ! -d $STORAGE/HTML ] ; then mkdir -p $STORAGE/HTML ; fi
     129htmlfile=$STORAGE/HTML/tmp.html   ; rm -f $htmlfile ; touch $htmlfile
     130errfile=$STORAGE/HTML/tmphtml$$.err ; rm -f $errfile  ; touch $errfile
    138131D_work=$ROOTWORK/tmp_makehtml$$ ; rm -rf $D_work ; mkdir -p $D_work
    139132emptyelt='<td> - </td>'
    140 
    141133cat <<eod>| $htmlfile
    142134<table cellpadding="2" cellspacing="2" border="1"
    … …  
    186178    run=`basename $simdir `
    187179    years=`echo $line | awk ' { print $2 } '`
    188 #    years=`grep '^'$run' ' $DEF_FILE | awk ' { print $2 }'`
    189180    yearsb=`echo $years | sed -e 's/_/-/'`
    190181    echo run $run
    … …  
    196187NCFILE=${run}_SE_${years}_1M_histmth.nc
    197188
    198 # AI partie rapat
    199 #$home/Diagnos_v6/dods_publi.sh $EXPNAME/$run/DEBUG
    200 #Mettre les sorties sur dods
    201 #$home/Diagnos_v6/dods_publi.sh $EXPNAME/$run/ATM/Output
    202 #Mettre les sorties sur dods les restart
    203 #$home/Diagnos_v6/dods_publi.sh $EXPNAME/$run/RESTART
    204 
    205 
    206189#--------------------------------------------------------------------------
    207190# Liens vers les fichiers, monitoring et atlas
    208191#--------------------------------------------------------------------------
    209 #    echo "<td><a href=\"$ROOTWEBatlas/"$run"\"> "$run" </a></td>" >> $htmlfile
    210192    echo "<td><a href=\"$ROOTWEB_PRODout/"$run"/catalog.html\"> "$sim" </a></td>" >> $htmlfile
    211193
    … …  
    262244echo OK0
    263245   if [ $glob = 1 ] ; then
    264       echo OK GGGGGGGGGGGGG $glob
    265       listeval=""
    266       echo LISTEVAR $listevar
    267 #      echo NCFILE $NCFILE
    268       for var in $listevar ; do
    269       echo $ROOTWORK/VLR/YEAR/${sim}_$years/METRICS/glob
    270 #          if [ -f "$ROOTSTORAGE/$run/ATM/Analyse/Bilans/$years/${run}_bilans.data" ] ; then
    271 #           if [ -f "$ROOTWORK/VLR/YEAR/${run}_$years/METRICS/glob" ] ; then
    272            if [ -f "$ROOTWORK/VLR/YEAR/${sim}_$years/METRICS/glob" ] ; then
     246     echo OK GGGGGGGGGGGGG $glob
     247     listeval=""
     248     echo LISTEVAR $listevar
     249     for var in $listevar ; do
     250     echo $ROOTWORK/VLR/YEAR/${sim}_$years/METRICS/glob
     251          if [ -f "$ROOTWORK/VLR/YEAR/${sim}_$years/METRICS/glob" ] ; then
    273252              val=`grep "^$var " $ROOTWORK/VLR/YEAR/${sim}_$years/METRICS/glob | awk ' { print $2 }' `
    274253            echo $val
    … …  
    283262echo LISTEVAL $listeval
    284263
    285 
    286264###########################################################################
    287265# FIN DE LA BOUCLE SUR LES SIMULATIONS
    … …  
    327305
    328306mkdir -p $HTML_D
    329 $put $htmlfile $HTML_D/Table_simulations_$comp.html
    330 echo $put $htmlfile $HTML_D/Table_simulations_$comp.html
    331 
    332 #$home/Diagnos_v6/dods_publi.sh $EXPNAME/HTML
     307$put $htmlfile $HTML_D/Table_simulations_${comp}.html
     308echo $put $htmlfile $HTML_D/Table_simulations_${comp}.html
     309

  • BOL/Multi_atlas/multi_atlas.sh

    r3684 r3694  
    136136done
    137137
    138 echo UN NOVEL MULTI ATLAS EST DISPONIBLE SUR http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/lmdz/MultiSimu/$comp
     138echo UN NOVEL MULTI ATLAS EST DISPONIBLE SUR http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/"$login"/lmdz/MultiSimu/"${comp}"/ACCUEIl.html
Note: See TracChangeset for help on using the changeset viewer.