Changes between Version 8 and Version 9 of TuningMixte


Ignore:
Timestamp:
Sep 15, 2020, 12:10:29 PM (4 years ago)
Author:
Sebastien Nguyen
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • TuningMixte

    v8 v9  
    164164
    165165
    166 
     166{{{#!sh
    167167    login=rces982
    168168
    169 
    170 
    171 
    172 
    173169    main=TNAMA
    174170
    175 
    176 
    177 
    178 
    179171    if [ $main = "TNAMA" ] ; then
    180172
    181 
    182 
    183     sims="NPv6.1precliq"
    184 
    185 
    186 
    187 
    188 
    189     min=1
    190 
    191 
    192 
    193     max=200
     173      sims="NPv6.1precliq"
     174
     175      min=1
     176
     177      max=200
     178
     179      wave=8
     180
     181      for nb in $( seq -f "%03g" $min $max) ; do sims="$sims SCM_${wave}-$nb" ; done
     182
     183    elif [ ${main:0:7} = TUNE_II ] ; then
     184
     185      wave=32
     186
     187      sims="NPv6.1 "
     188
     189      sims="CTRL"
     190
     191      for i in `seq -w 1 90` ; do sims="$sims SCM_${wave}-0$i" ; done
     192
     193    else
     194
     195      echo main $main non prevu ; exit
     196
     197    fi
     198
     199    for i in $sims  ; do
     200
     201       ./get.sh $main $i $login
     202
     203       chmod -R a+Xr SN${main}${i}*
     204
     205    done
     206}}}
     207
     208
     209
     210
     211Mon get utilise rsync par le script get.sh pour récupérer les fichier sur jean-zay
     212
     213
     214
     215== 8/ liens symbolique de SCM-8- vers SCM_8- ==
     216
     217Pour pouvoir lancer le multi_atlas il faut remplacer _ par - dans le nom des fichiers.
     218
     219On utilise le script to-.sh
     220
     221
     222
     223    #!/bin/bash
     224
     225
     226
     227
     228
     229    local=`pwd`
    194230
    195231
     
    199235
    200236
    201     for nb in $( seq -f "%03g" $min $max) ; do sims="$sims SCM_${wave}-$nb" ; done
    202 
    203 
    204 
    205 
    206 
    207     elif [ ${main:0:7} = TUNE_II ] ; then
    208 
    209 
    210 
    211     wave=32
    212 
    213 
    214 
    215     sims="NPv6.1 "
    216 
    217 
    218 
    219     sims="CTRL"
    220 
    221 
    222 
    223     for i in `seq -w 1 90` ; do sims="$sims SCM_${wave}-0$i" ; done
    224 
    225 
    226 
    227 
    228 
    229     else
    230 
    231 
    232 
    233       echo main $main non prevu ; exit
    234 
    235 
    236 
    237     fi
    238 
    239 
    240 
    241 
    242 
    243     for i in $sims  ; do
    244 
    245 
    246 
    247        ./get.sh $main $i $login
    248 
    249 
    250 
    251        chmod -R a+Xr SN${main}${i}*
     237
     238
     239    for old in SN*SCM_${wave}* ; do
     240
     241
     242
     243        new=`echo $old | sed -e 's/_/-/g'` ; echo $old $new
     244
     245
     246
     247        for dir in SE TS_DA ; do
     248
     249
     250
     251           if [ -d $local/$old/ATM/Analyse/$dir ] ; then
     252
     253
     254
     255              cd $local/$old/ATM/Analyse/$dir
     256
     257
     258
     259              echo Traitement $local/$old/ATM/Analyse/$dir
     260
     261
     262
     263              mkdir -p $local/$new/ATM/Analyse/$dir
     264
     265
     266
     267              for file in *nc ; do
     268
     269
     270
     271                 cd $local/$new/ATM/Analyse/$dir
     272
     273
     274
     275                 ln -s $local/$old/ATM/Analyse/$dir/$file ./`echo $file | sed -e 's/'$old'/'$new'/'`
     276
     277
     278
     279              done
     280
     281
     282
     283           fi
     284
     285
     286
     287        done
    252288
    253289
     
    259295
    260296
    261 Mon get utilise rsync par le script get.sh pour récupérer les fichier sur jean-zay
    262 
    263 
    264 
    265 == 8/ liens symbolique de SCM-8- vers SCM_8- ==
    266 
    267 Pour pouvoir lancer le multi_atlas il faut remplacer _ par - dans le nom des fichiers.
    268 
    269 On utilise le script to-.sh
    270 
    271 
     297== 9/ Préparation du multi atlas ==
     298
     299Créer un fichier nd.comp avec les simulations voulues pour le multiatlas et
     300
     301les valeurs de paramètres correspondantes en copiant  Par1D_Wave8.asc à partir de
     302
     303WORK/SIMU1D/WAVE8/ dans nd.${main}_W$wave par exemple nd.TNAMA_W8
     304
     305
     306
     307enlever les " de nd.TNAMA_W8 :
     308
     309sed -i 's/"//g' nd.TNAMA_W8
     310
     311
     312
     313remplacer SCM_8 par SCM-8 pour les noms de simulation :
     314
     315sed -i 's/SCM_/SCM-/' nd.TNAMA_W8
     316
     317
     318
     319mettre OK à la fin des lignes contenant les paramètres de simulations :
     320
     321sed -i '2,$ s/$/ OK/' nd.TNAMA_W8
     322
     323
     324
     325mettre nd.TNAMA_W8 sur fabric@ciclad dans le répertoire de lancement de min.sh.
     326
     327
     328
     329Choisir les simulations à traiter dans min.sh :
     330
     331     main=TNAMA
     332
     333     wave=8
     334
     335     comp=${main}_W$wave
     336
     337     multi=/prodigfs/ipslfs/dods/fabric/lmdz/MultiSimu/$comp
     338
     339     years=2011_2011
     340
     341
     342
     343Activer dans min.sh les sorties du multiatlas :
     344
     345    cmor=1
     346
     347    atlas=1
     348
     349    tuning=1
     350
     351    zon=1
     352
     353    axe2=1
     354
     355    html=1
     356
     357
     358
     359Lancer ./min.sh
     360
     361
     362
     363vérifier que les atlas sont terminés :
     364
     365    qstat | grep fabric
     366
     367
     368
     369une fois les atlas terminés relancer ./min.sh
     370
     371
     372
     373== 10/ métriques 3D ==
     374
     375
     376
     377Récupérer les fichiers 3D sur la machine des simulations 1D :
     378
     379
     380
     381Dans un dossier 3D créer un dossier pour la vague 8 : TNAMAW8
     382
     383
     384
     385Récupérer get.sh, to.sh post_scores.sh pp.sh et prepa.sh
     386
     387
     388
     389Modifier get.sh :
    272390
    273391    #!/bin/bash
    274392
    275 
    276 
    277 
    278 
    279     local=`pwd`
    280 
    281 
     393   
    282394
    283395    wave=8
    284396
    285 
    286 
    287 
    288 
    289     for old in SN*SCM_${wave}* ; do
    290 
    291 
    292 
    293         new=`echo $old | sed -e 's/_/-/g'` ; echo $old $new
    294 
    295 
    296 
    297         for dir in SE TS_DA ; do
    298 
    299 
    300 
    301            if [ -d $local/$old/ATM/Analyse/$dir ] ; then
    302 
    303 
    304 
    305               cd $local/$old/ATM/Analyse/$dir
    306 
    307 
    308 
    309               echo Traitement $local/$old/ATM/Analyse/$dir
    310 
    311 
    312 
    313               mkdir -p $local/$new/ATM/Analyse/$dir
    314 
    315 
    316 
    317               for file in *nc ; do
    318 
    319 
    320 
    321                  cd $local/$new/ATM/Analyse/$dir
    322 
    323 
    324 
    325                  ln -s $local/$old/ATM/Analyse/$dir/$file ./`echo $file | sed -e 's/'$old'/'$new'/'`
    326 
    327 
    328 
    329               done
    330 
    331 
    332 
    333            fi
    334 
    335 
    336 
    337         done
    338 
    339 
    340 
    341     done
    342 
    343 
    344 
    345 
    346 
    347 == 9/ Préparation du multi atlas ==
    348 
    349 Créer un fichier nd.comp avec les simulations voulues pour le multiatlas et
    350 
    351 les valeurs de paramètres correspondantes en copiant  Par1D_Wave8.asc à partir de
    352 
    353 WORK/SIMU1D/WAVE8/ dans nd.${main}_W$wave par exemple nd.TNAMA_W8
    354 
    355 
    356 
    357 enlever les " de nd.TNAMA_W8 :
    358 
    359 sed -i 's/"//g' nd.TNAMA_W8
    360 
    361 
    362 
    363 remplacer SCM_8 par SCM-8 pour les noms de simulation :
    364 
    365 sed -i 's/SCM_/SCM-/' nd.TNAMA_W8
    366 
    367 
    368 
    369 mettre OK à la fin des lignes contenant les paramètres de simulations :
    370 
    371 sed -i '2,$ s/$/ OK/' nd.TNAMA_W8
    372 
    373 
    374 
    375 mettre nd.TNAMA_W8 sur fabric@ciclad dans le répertoire de lancement de min.sh.
    376 
    377 
    378 
    379 Choisir les simulations à traiter dans min.sh :
    380 
    381      main=TNAMA
    382 
    383      wave=8
    384 
    385      comp=${main}_W$wave
    386 
    387      multi=/prodigfs/ipslfs/dods/fabric/lmdz/MultiSimu/$comp
    388 
    389      years=2011_2011
    390 
    391 
    392 
    393 Activer dans min.sh les sorties du multiatlas :
    394 
    395     cmor=1
    396 
    397     atlas=1
    398 
    399     tuning=1
    400 
    401     zon=1
    402 
    403     axe2=1
    404 
    405     html=1
    406 
    407 
    408 
    409 Lancer ./min.sh
    410 
    411 
    412 
    413 vérifier que les atlas sont terminés :
    414 
    415     qstat | grep fabric
    416 
    417 
    418 
    419 une fois les atlas terminés relancer ./min.sh
    420 
    421 
    422 
    423 == 10/ métriques 3D ==
    424 
    425 
    426 
    427 Récupérer les fichiers 3D sur la machine des simulations 1D :
    428 
    429 
    430 
    431 Dans un dossier 3D créer un dossier pour la vague 8 : TNAMAW8
    432 
    433 
    434 
    435 Récupérer get.sh, to.sh post_scores.sh pp.sh et prepa.sh
    436 
    437 
    438 
    439 Modifier get.sh :
    440 
    441     #!/bin/bash
    442 
    443    
    444 
    445     wave=8
    446 
    447397    main_multi=TNAMA_W${wave}
    448398