Changeset 4384

Timestamp:

Jan 13, 2023, 4:28:37 PM (16 months ago)

Author:

Sebastien Nguyen

Message:

Modifications to qminimum_loc to allow consistent results in debug with OpenMP(and MPI). Removed some isoverif outputs from phyetat0_mod

Location:

LMDZ6/trunk

Files:

• arch/arch-X64_JEANZAY.env (modified) (1 diff)
• libf/dyn3dmem/qminimum_loc.F (modified) (9 diffs)
• libf/phylmdiso/phyetat0_mod.F90 (modified) (1 diff)

LMDZ6/trunk/arch/arch-X64_JEANZAY.env

@@ -1 @@
-module purge
-module load intel-all/19.0.4
-module load hdf5/1.10.5-mpi
-module load netcdf/4.7.2-mpi
-module load netcdf-fortran/4.5.2-mpi
 
-module load gcc/6.5.0
+##############################################################
+# Gestion des modules
+##############################################################
+
+hostname=jean-zay2
+echo lmdz_env $hostname 0:3 ${hostname:0:3}
+
+case ${hostname:0:5} in
+
+        jean-) ARCH=X64_JEANZAY
+                module purge
+                compilo=19.0.4 # available 2013.0, 2017.2
+                module load intel-compilers/$compilo
+                #module load intel-mpi/$compilo
+                module load intel-mkl/$compilo
+                module load hdf5/1.10.5-mpi
+                module load netcdf/4.7.2-mpi
+                module load netcdf-fortran/4.5.2-mpi
+                module load subversion/1.9.7
+                module load nco
+                module load cdo
+                # Imputation de la consommation sur le groupe (projet) actif par defaut,
+                #   idrproj indique le groupe (projet) actif par defaut
+                #   idrproj -d newproj   redefinit "newproj" en tant que  projet actif, 
+                #        alors $STORE, $WORK etc vont designer les espaces de "newproj")
+                groupe=`idrproj | grep active | awk '{ print $1}'`
+                groupe="nfl"
+                submit="sbatch -A ${groupe}@cpu "
+                run="srun --label -n "
+                # Espaces suivants definis par defaut en fonction du groupe actif,
+                #  par exemple : SCRATCHD=$SCRATCH is /gpfsstore/rech/$groupe/$login
+                #    * On peut aussi ne pas installer les scripts a la racine de STORE, 
+                #        mais dans STORED=$STORE/your_folder
+                STORED=$STORE
+                SCRATCHD=$SCRATCH
+                LMDZD=$WORK
+                nb_mpi_max=2000
+                nb_omp_max=20
+                #LMDZ_Init sur le $STORE du $groupe
+                LMDZ_Init=$STORE/LMDZ_Init ;;
+        *) ARCH=
+                submit=". "
+                run="mpirun -np "
+                SCRATCHD=~/TMP/SCRATCH
+                STORED=~/TMP/
+                LMDZD=~/TMP
+                nb_mpi_max=2
+                nb_omp_max=2
+                LMDZ_Init=~/LMDZ/LMDZ_Init
+esac
+
+
+echo LMDZ_Init dans lmdz_env $LMDZ_Init

LMDZ6/trunk/libf/dyn3dmem/qminimum_loc.F

@@ -55 +55 @@
 c
 
+c$OMP BARRIER
+
       !write(lunout,*) 'qminimum 52: entree'
       IF(first) THEN
@@ -66 +68 @@
       ije=ij_end
 
-      zx_defau_diag(ijb:ije,:,:)=0.0
-      q_follow(ijb:ije,:,1:2)=q(ijb:ije,:,1:2)  
+      DO k = 1, llm
+c$OMP DO SCHEDULE(STATIC)
+        DO i = ijb, ije
+          zx_defau_diag(i,k,1)=0.0
+          zx_defau_diag(i,k,2)=0.0
+          q_follow(i,k,1)=q(i,k,1)
+          q_follow(i,k,2)=q(i,k,2)
+        ENDDO
+c$OMP END DO NOWAIT
+      ENDDO
 
       !write(lunout,*) 'qminimum 57'
-c$OMP DO SCHEDULE(STATIC,OMP_CHUNK)       
       DO 1000 k = 1, llm
+c$OMP DO SCHEDULE(STATIC)       
       DO 1040 i = ijb, ije
             if (seuil_liq - q(i,k,iq_liq) .gt. 0.d0 ) then
@@ -82 +92 @@
             endif
  1040 CONTINUE
+c$OMP END DO NOWAIT
  1000 CONTINUE
-c$OMP END DO NOWAIT
-c$OMP BARRIER
-c --->  SYNCHRO OPENMP ICI
-
 
 c
@@ -113 +120 @@
 c$OMP END DO NOWAIT
       ENDDO
-c$OMP BARRIER
 
 c
@@ -130 +136 @@
          ENDIF
       ENDDO
-c$OMP END DO  
+c$OMP END DO NOWAIT 
 !      pompe = SSUM(ije-ijb+1,zx_pump(ijb),1)
 
@@ -162 +168 @@
         endif !if (zx_pump(i).gt.0.0) then
       enddo !DO i = ijb, ije  
-c$OMP END DO
+c$OMP END DO NOWAIT
 
       ! 2) transfert de vap vers les couches plus hautes
@@ -243 +249 @@
           endif !if (zx_defau_diag(i,k,iq_vap).gt.0.0) then
         enddo !DO i = 1, ip1jmp1        
-c$OMP END DO
+c$OMP END DO NOWAIT
         enddo !do k=2,llm
 
@@ -272 +278 @@
           endif !if (zx_defau_diag(i,k,iq_vap).gt.0.0) then
         enddo !DO i = ijb, ije
-c$OMP END DO        
+c$OMP END DO NOWAIT       
        enddo !do k=2,llm  
 
@@ -279 +285 @@
       endif !if (niso > 0) then
       !write(*,*) 'qminimum 188'
+c$OMP BARRIER
+
 c
       RETURN

LMDZ6/trunk/libf/phylmdiso/phyetat0_mod.F90

@@ -632 +632 @@
   ! Initialize module pbl_surface_mod 
 
-#ifdef ISOVERIF
-        write(*,*) 'phyetat0 572: snow(994,:)=',snow(994,2)
-        write(*,*) 'xtsnow(:,994,2)=',xtsnow(:,994,2)
-#endif
+! 994 est trop grand quand OpenMP est activé : on sort du tableau
+!#ifdef ISOVERIF
+!        write(*,*) 'phyetat0 572: snow(994,:)=',snow(994,2)
+!        write(*,*) 'xtsnow(:,994,2)=',xtsnow(:,994,2)
+!#endif
 
   CALL pbl_surface_init(fder, snow, qsurf, tsoil)