a new function CmiPrintCPUAffinty() that can be called on any processor to print...
authorGengbin Zheng <gzheng@illinois.edu>
Mon, 29 Mar 2010 15:42:05 +0000 (10:42 -0500)
committerGengbin Zheng <gzheng@illinois.edu>
Mon, 29 Mar 2010 15:42:05 +0000 (10:42 -0500)
added a new option:  +showcpuaffinity to print current cpuaffinity after setting cpuaffinity.
support affinity notation of e.g. -1, which means the CmiNumCores()-1, or the last core on a node, similarly for -2, -3, and so on.

src/conv-core/converse.h
src/conv-core/cpuaffinity.c

index 328a93f2afac4d706d1efa8fc1472cb999d4e530..170d743cf0a6eb61827e22858dc500b5bf4f8b67 100644 (file)
@@ -497,6 +497,8 @@ extern void CmiGetPesOnPhysicalNode(int node, int **pelist, int *num);
 extern int CmiGetFirstPeOnPhysicalNode(int node);
 extern int CmiPhysicalRank(int pe);
 
+extern int CmiPrintCPUAffinity();
+
 /** Return 1 if our outgoing message queue 
    for this node is longer than this many bytes. */
 int CmiLongSendQueue(int forNode,int longerThanBytes);
index c71c5a13d6ca0ba7e3e13f681076ef42391d869e..5dc1b138aae22bd0ea8801654ee7a03d112548cf 100644 (file)
@@ -159,7 +159,7 @@ int print_cpu_affinity() {
     return -1;
   }
   
 printf("CPU affinity mask is: %08lx\n", pMask);
CmiPrintf("[%d] CPU affinity mask is: 0x%08lx\n", CmiMype(), pMask);
   
 #elif CMK_HAS_BINDPROCESSOR
   printf("[%d] CPU affinity mask is unknown for AIX. \n", CmiMyPe());
@@ -173,7 +173,7 @@ int print_cpu_affinity() {
     return -1;
   }
 
-  printf("[%d] CPU affinity mask is: %08lx\n", CmiMyPe(), mask);
+  CmiPrintf("[%d] CPU affinity mask is: 0x%08lx\n", CmiMyPe(), mask);
 #endif
   return 0;
 }
@@ -188,12 +188,21 @@ int print_thread_affinity() {
     perror("pthread_setaffinity");
     return -1;
   }
-  printf("[%d] pthread affinity mask is: %08lx\n", CmiMyPe(), mask);
+  CmiPrintf("[%d] %s affinity mask is: 0x%08lx\n", CmiMyPe(), CmiMyPe()>=CmiNumPes()?"communication pthread":"pthread", mask);
 #endif
 #endif
   return 0;
 }
 
+int CmiPrintCPUAffinity()
+{
+#if CMK_SMP
+  print_thread_affinity();
+#else
+  print_cpu_affinity();
+#endif
+}
+
 static int cpuAffinityHandlerIdx;
 static int cpuAffinityRecvHandlerIdx;
 
@@ -278,13 +287,21 @@ static void cpuAffinityHandler(void *m)
   }
 }
 
-static int set_myaffinitity(int myrank)
+static int set_myaffinitity(int mycore)
 {
+  int core = mycore;
+  if (core < 0) {
+    core = CmiNumCores() + core;
+  }
+  if (core < 0) {
+    CmiError("Error: Invalid cpu affinity core number: %d\n", mycore);
+    CmiAbort("set_myaffinitity failed");
+  }
   /* set cpu affinity */
 #if CMK_SMP
-  return set_thread_affinity(myrank);
+  return set_thread_affinity(core);
 #else
-  return set_cpu_affinity(myrank);
+  return set_cpu_affinity(core);
   /* print_cpu_affinity(); */
 #endif
 }
@@ -332,7 +349,7 @@ static int search_pemap(char *pecoremap, int pe)
       int hasdash=0, hascolon=0;
       int start, end, stride=1;
       for (i=0; i<strlen(str); i++) {
-          if (str[i] == '-') hasdash=1;
+          if (str[i] == '-' && i!=0) hasdash=1;
           if (str[i] == ':') hascolon=1;
       }
       if (hasdash) {
@@ -391,6 +408,8 @@ void CmiInitCPUAffinity(char **argv)
   if (pemap!=NULL && (coremap != NULL || excludecount>0))
     CmiAbort("Charm++> +pemap can not be used with either +excludecore or +coremap.");
   CmiGetArgStringDesc(argv, "+commap", &commap, "define comm threads to core mapping");
+  int show_affinity_flag = CmiGetArgFlagDesc(argv,"+showcpuaffinity",
+                                               "print cpu affinity");
 
   cpuAffinityHandlerIdx =
        CmiRegisterHandler((CmiHandler)cpuAffinityHandler);
@@ -401,7 +420,10 @@ void CmiInitCPUAffinity(char **argv)
      affLock = CmiCreateLock();
   }
 
-  if (!affinity_flag) return;
+  if (!affinity_flag) {
+    if (show_affinity_flag) CmiPrintCPUAffinity();
+    return;
+  }
   else if (CmiMyPe() == 0) {
      CmiPrintf("Charm++> cpu affinity enabled. \n");
      if (excludecount > 0) {
@@ -422,6 +444,8 @@ void CmiInitCPUAffinity(char **argv)
     if (commap != NULL) {
       int mycore = search_pemap(commap, CmiMyPe()-CmiNumPes());
       printf("Charm++> set comm %d on node %d to core #%d\n", CmiMyPe()-CmiNumPes(), CmiMyNode(), mycore); 
+      if (-1 == set_myaffinitity(mycore))
+        CmiAbort("set_cpu_affinity abort!");
     }
     else {
     /* if (set_myaffinitity(CmiNumCores()-1) == -1) CmiAbort("set_cpu_affinity abort!"); */
@@ -436,6 +460,7 @@ void CmiInitCPUAffinity(char **argv)
 #endif
     }
     CmiNodeAllBarrier();
+    if (show_affinity_flag) CmiPrintCPUAffinity();
     return;    /* comm thread return */
   }
 
@@ -449,6 +474,7 @@ void CmiInitCPUAffinity(char **argv)
     if (set_myaffinitity(mycore) == -1) CmiAbort("set_cpu_affinity abort!");
     CmiNodeAllBarrier();
     CmiNodeAllBarrier();
+    if (show_affinity_flag) CmiPrintCPUAffinity();
     return;
   }
 
@@ -520,11 +546,18 @@ void CmiInitCPUAffinity(char **argv)
   affinity_doneflag++;
   CmiUnlock(affLock);
   CmiNodeAllBarrier();
+
+  if (show_affinity_flag) CmiPrintCPUAffinity();
 }
 
 #else           /* not supporting affinity */
 
 
+int CmiPrintCPUAffinity()
+{
+  CmiPrintf("Warning: CmiPrintCPUAffinity not supported.\n");
+}
+
 void CmiInitCPUAffinity(char **argv)
 {
   char *pemap = NULL;