source: BOL/Multi_atlas/HOWTO.html @ 4340

Last change on this file since 4340 was 3684, checked in by idelkadi, 4 years ago

Repository under svn of a first version of Multiatlas diagnostics for LMDZ. This version is adapted to be able to run a LMDZ multiatlas on an individual account on the ciclad machine of the IPSL. In this version, the parts to be modified are identified so as to subsequently adapt it to other machines.
This version is still under development.
File size: 11.6 KB
Line 
1<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
2<html>
3<head>
4        <meta http-equiv="content-type" content="text/html; charset=utf-8">
5        <title></title>
6        <meta name="generator" content="LibreOffice 4.2.8.2 (Linux)">
7        <meta name="created" content="0;0">
8        <meta name="changedby" content="hourdin ">
9        <meta name="changed" content="20160502;180624575801232">
10        <meta name="changedby" content="hourdin ">
11        <meta name="changedby" content="hourdin ">
12        <meta name="changedby" content="hourdin ">
13        <meta name="changedby" content="hourdin ">
14        <meta name="changedby" content="hourdin ">
15        <meta name="changedby" content="hourdin ">
16        <meta name="changedby" content="hourdin ">
17        <meta name="changedby" content="hourdin ">
18        <meta name="changedby" content="hourdin ">
19        <meta name="changedby" content="hourdin ">
20        <meta name="changedby" content="hourdin ">
21        <meta name="changedby" content="hourdin ">
22        <meta name="changedby" content="hourdin ">
23        <style type="text/css">
24        <!--
25                h1 { color: #000000 }
26                p { color: #000000 }
27                h3.cjk { font-family: "Droid Sans Fallback" }
28                h3.ctl { font-family: "FreeSans" }
29                h2 { color: #000000 }
30                h2.cjk { font-family: "Droid Sans Fallback" }
31                h2.ctl { font-family: "FreeSans" }
32        -->
33        </style>
34</head>
35<body lang="fr-FR" text="#000000" dir="ltr" style="background: transparent">
36<h1 style="font-weight: normal"><font face="Arial, sans-serif"><b>Comment
37contribuer aux diagnostics multi-simulation&nbsp;?</b> </font>
38</h1>
39<h3 class="western" style="margin-top: 0.1in; margin-bottom: 0.08in; background: #ffffcc; font-weight: normal">
40<font face="Arial, sans-serif"><font size="3" style="font-size: 12pt">Frédéric
41Hourdin, 2 mai 2016</font></font></h3>
42<h3 class="western" style="margin-top: 0.1in; margin-bottom: 0.08in; background: #ffffcc; font-weight: normal">
43<font face="Arial, sans-serif"><font size="3" style="font-size: 12pt">Cette
44page décrit comment contribuer aux diagnostics multi simulations de
45LMDZ sur ciclad. Plusieurs façon de contribuer : 1/ préparer des
46diagnostics multi-modèles en suivant les lignes ci-dessous et passer
47la main à quequ'un pour finaliser. 2/ Demander un compte sur le
48compte fabric pour contribuer aussi à la finalisation. La
49description ci-dessous permet de comprendre l'organisation de ces
50diagnostics et de mieux s'orienter pour proposer des diagnostics. </font></font>
51</h3>
52<h2 class="western"><font face="Arial, sans-serif">Cycles saisonniers
53moyens :</font></h2>
54<p><font face="Arial, sans-serif">Les cycle saisonniers moyens sont
55disponibles sous 3 formes sur ciclad. Si on prend l'exemple de la
56simulation <b>NPv5.4</b> pour la décennie <b>1982_1989</b></font></p>
57<ul>
58        <li><p><font face="Arial, sans-serif">Les cycles saisonniers moyens
59        en versions &quot;histmth&quot;, au plus près du modèle :
60        <b>/prodigfs/ipslfs/dods/fabric/lmdz/SE/ORIG/NPv5.4_SE_1982_1989_1M_histmth.nc
61        </b></font>
62        </p>
63        <li><p><font face="Arial, sans-serif">Une version Cmorisé des mêmes
64        fichiers, séparés variable par variable dans :
65        <b>/prodigfs/ipslfs/dods/fabric/lmdz/SE/CMOR/NPv5.4_1982_1989/ </b><br>avec
66        les fichiers par exemple : clhcalipso.nc hfls.nc huss.nc rlutcs.nc
67        rsus.nc tauu.nc zg500.nc cllcalipso.nc hfns.nc pr.nc rlut.nc
68        rsutcs.nc tauv.nc clmcalipso.nc hfss.nc psl.nc rsdscs.nc rsut.nc
69        ts.nc cltcalipso.nc hur.nc rldscs.nc rsds.nc sfcWind.nc ua.nc clt.nc
70        hurs.nc rlds.nc rsdt.nc ta.nc va.nc ferret.jnl hus.nc rlus.nc
71        rsuscs.nc tas.nc wap.nc </font>
72        </p>
73        <li><p><font face="Arial, sans-serif">Enfin, une version Cmorisé
74        mais également rapportée à une grille commune et interpolée dans
75        le temps sur :
76        <b>/prodigfs/ipslfs/dods/fabric/lmdz/VLR/YEAR/NPv5.4_1982_1989/NC/</b></font></p>
77</ul>
78<h2 class="western"><font face="Arial, sans-serif">Accéssibilité
79via votre navigateur :</font></h2>
80<p><font face="Arial, sans-serif"><span style="font-weight: normal">La
81zone disque </span></font><font face="Arial, sans-serif"><b>/prodigfs/ipslfs/dods/</b></font><font face="Arial, sans-serif"><span style="font-weight: normal">fabric/lmdz/
82est automatiquement exportée par le protocole</span></font> <font face="Arial, sans-serif"><b>thredds
83</b></font><font face="Arial, sans-serif"><span style="font-weight: normal">et
84les fichiers html sont accessible de l'extérieur, en remplaçant
85</span></font><font face="Arial, sans-serif"><b>/prodigfs/ipslfs/dods</b></font>
86<font face="Arial, sans-serif"><span style="font-weight: normal">par</span></font></p>
87<p><a href="http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/"><font face="Arial, sans-serif"><b>http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/</b></font></a></p>
88<p>et pour les fichiers netcdf par
89</p>
90<p><font face="Arial, sans-serif"><b><a href="http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/">http://vesg.ipsl.upmc.fr/thredds/</a><a href="http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/">dods</a><a href="http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/">C/IPSLFS</a></b></font></p>
91<p><br><br>
92</p>
93<p><font face="Arial, sans-serif"><b>Vous pouvez</b></font> <font face="Arial, sans-serif"><b>attaquer
94directement par ferret ou cdo le fichier
95<a href="http://vesg.ipsl.upmc.fr/thredds/dodsC/IPSLFS/fabric/lmdz/SE/ORIG/NPv5.4_SE_1982_1989_1M_histmth.nc">http://vesg.ipsl.upmc.fr/thredds/</a><a href="http://vesg.ipsl.upmc.fr/thredds/dodsC/IPSLFS/fabric/lmdz/SE/ORIG/NPv5.4_SE_1982_1989_1M_histmth.nc">dodsC/IPSLFS/fabric/lmdz/SE/ORIG/NPv5.4_SE_1982_1989_1M_histmth.nc</a></b></font></p>
96<p>On peut aussi se balader dans l'arborescence&nbsp;:</p>
97<p><a href="https://vesg.ipsl.upmc.fr/thredds/catalog/IPSLFS/fabric/lmdz/catalog.html">https://vesg.ipsl.upmc.fr/thredds/catalog/IPSLFS/fabric/lmdz/catalog.html</a></p>
98<p><br><br>
99</p>
100<h2 class="western"><font face="Arial, sans-serif">Archivage des
101diagnostics par simulation :</font></h2>
102<p style="font-weight: normal"><font face="Arial, sans-serif">pour
103chaque simulation, deux zones sont réservée pour stoker des
104diagnostics spécifiques&nbsp;:</font></p>
105<ul>
106        <li><p style="font-weight: normal"><font face="Arial, sans-serif">Si
107        vous êtes parti des fichiers Cmorisés et déjà interpollés, vous
108        pouvez par cohérence stoker vos diagnostics sur un sous-répertoire
109        de <b>/prodigfs/ipslfs/dods/fabric/lmdz/VLR/YEAR/NPv5.4_1982_1988.
110        </b>On y trouve déjà les répertoires «&nbsp;METRICS&nbsp;» avec
111        des diagnostics intégrés et «&nbsp;ZON&nbsp;» avec des moyennes
112        zonales, stockées en ASCII.</font></p>
113        <li><p><font face="Arial, sans-serif"><span style="font-weight: normal">/prodigfs/ipslfs/dods/fabric/lmdz/STORE/NPV5LRL79/NPv5.4
114        qui reprend plutôt la nomenclature de libigcm (avec EXPNAME=
115        NPV5LRL79 et les sous répertoires ATM, ATLAS). C'est là notamment
116        que sont stockés les atlas créés sous climaf comme
117        /prodigfs/ipslfs/dods/fabric/lmdz/STORE/NPV5LRL79/NPv5.4/ATLAS/SE_1982_1989/ATM/index_example_YEAR_NPv5.4_1982_1989.html,
118        attaquable de l'extérieur sous
119        </span></font><a href="http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/fabric/lmdz/STORE/NPV5LRL79/NPv5.4/ATLAS/SE_1982_1989/ATM/index_example_YEAR_NPv5.4_1982_1989.html"><font face="Arial, sans-serif"><b>http://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS</b></font><font face="Arial, sans-serif"><span style="font-weight: normal">/fabric/lmdz/STORE/NPV5LRL79/NPv5.4/ATLAS/SE_1982_1989/ATM/index_example_YEAR_NPv5.4_1982_1989.html</span></font></a></p>
120</ul>
121<p><br><br>
122</p>
123<h2 class="western"><font face="Arial, sans-serif">Contrôle des
124diagnostics multi-simulations :</font></h2>
125<p><font face="Arial, sans-serif">On peut définir autant de sous
126ensemble de simulations à comparer en créant un fichier
127<b>/prodigfs/ipslfs/dods/fabric/lmdz/MultiSimu/COMP2/def.txt</b>
128avec pour contenu</font></p>
129<p style="margin-bottom: 0.2in; background: #c0c0c0"><font face="Script, cursive"><font size="2" style="font-size: 11pt">NPv5.3
1301982_1989 Runs de l'ete </font></font>
131</p>
132<p style="margin-bottom: 0.2in; background: #c0c0c0"><font face="Script, cursive"><font size="2" style="font-size: 11pt">NPv5.40
1331982_1989 Version 5.4 </font></font>
134</p>
135<p style="margin-bottom: 0.2in; background: #c0c0c0"><font face="Script, cursive"><font size="2" style="font-size: 11pt">NPv5.50berg1
1361982_1989 version 5.5 </font></font>
137</p>
138<p><font face="Arial, sans-serif">Si vous écrivez un script pour
139réaliser des diagnostics multi-simulations, l'idée est donc de le
140faire dépendre de ce fichier, avec comme argument «&nbsp;COMP2&nbsp;»
141qui est le nom de la comparaison en question.</font></p>
142<p><font face="Arial, sans-serif">Typiquement, votre script
143commencera par les lignes contenues dans le script config.sh que vous
144pouvez tester de n'importe où sur ciclad en lançant
145<b>~fabric/LMDZ/UTILS/config.sh COMP2</b></font></p>
146<p style="margin-bottom: 0.2in"><br><br>
147</p>
148<h2 class="western"><font face="Arial, sans-serif">Climaf ou not
149climaf :</font></h2>
150<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">Une
151des grandes nouveautés de ces diagnostics sur ciclad est
152l'utilisation du soft Climaf développé par Stéphane Sénesi et
153Jérôme servonnat dans le cadre de l'ANR convergence. Climaf en
154résumé est une surcouche intelligente et très souple de cdo (pour
155les premiers post-traitements) et ncl (pour les graphiques) écrite
156en python, et qui gère un cache automatique qui stoke tout un tas de
157fichier intermédiaires pour accélérer les opérations quand
158certains bouts ont déjà été réalisés. Climaf est pour le moment
159utilisé dans la logistique uniquement pour générer les atlas (et
160c'est déjà beaucoup). On appelle ici atlas, une ensemble de cartes
161horizontales ou de moyennes verticales réalisé à partir de cycle
162saisonniers moyens.</font></p>
163<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">Si
164vous développez de nouveaux diagnostics vous pouvez soit intégrer
165des scripts à vous de n'importe quelle nature dans la logistiques
166commune, ou essayer de vous mettre plus directement à climaf. Le but
167étant d'avancer le plus efficacement possible. Si ce n'est pas sous
168climaf, c'est de toutes façon très utile d'inclure des diagnistics
169qui peuvent permettre ensuite d'enrichir climaff</font></p>
170<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">Un cas
171où on conseillera peut-être climaf davantage dés le début&nbsp;:
172si il s'agit d'améliorer l'atlas&nbsp;= meilleures climatos,
173projections différentes. Parmis les choses identifiées sur les
174atlas&nbsp;:</font></p>
175<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">1/
176mettre des climatos de flux turbulents sur continents</font></p>
177<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">2/
178inclure les dernières climatos d'Alina sur les océans tropicaux</font></p>
179<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">3/
180mettre des diagnostics plus pertinents des variables de surface dans
181les régions polaires.</font></p>
182<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">4/
183faire des versions des atlas en coordonnées polaire stéréo.</font></p>
184<p style="margin-bottom: 0.2in"><br><br>
185</p>
186<h2 class="western"><font face="Arial, sans-serif">Intégration dans
187la chaîne automatique de génération :</font></h2>
188<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">Le
189script du grand tout s'appelle ~/LMDZ/MultiSimu/job_multi.sh</font></p>
190<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">Je
191peux m'occuper de l'intégration avec vous une fois que les scripts
192attaquent def.txt et génèrent les diagnostics aux bons endroits.</font></p>
193<p style="margin-bottom: 0.2in"><font face="Arial, sans-serif">De
194dont j'ai besoin c'est d'un script qui prenne en entrée le nom de
195l'intercomaraison (par exemple COMP2) et qui stocke des images ou
196pages html sur un sous répertoire de
197<b>/prodigfs/ipslfs/dods/fabric/lmdz/MultiSimu/COMP2/</b></font></p>
198</body>
199</html>
Note: See TracBrowser for help on using the repository browser.