Modifying the adaptive lb framework to handle async lb collection of stats without...
authorHarshitha <gplkrsh2@illinois.edu>
Wed, 21 Mar 2012 19:27:24 +0000 (14:27 -0500)
committerHarshitha <gplkrsh2@illinois.edu>
Wed, 21 Mar 2012 19:27:24 +0000 (14:27 -0500)
src/ck-core/cklocation.C
src/ck-core/cklocation.h
src/ck-ldb/LBDBManager.C
src/ck-ldb/LBDBManager.h
src/ck-ldb/LBDatabase.C
src/ck-ldb/LBDatabase.h
src/ck-ldb/LBOM.h
src/ck-ldb/lbdb.C
src/ck-ldb/lbdb.h

index 2a5e501f7d55dedb2905415d61057608cb5f69aa..6308ab5c8cd858abf0448b9a07bd88f8e96754d6 100644 (file)
@@ -55,6 +55,13 @@ static const char *idx2str(const CkArrayMessage *m) {
 #   define DEBUG(x)   /**/
 #endif
 
+enum state {
+  OFF,
+  ON,
+  PAUSE,
+  DECIDED,
+  LOAD_BALANCE
+} local_state;
 
 
 #if CMK_LBDB_ON
@@ -974,6 +981,7 @@ void CkMigratable::commonInit(void) {
        usesAutoMeasure=CmiTrue;
        barrierRegistered=CmiFalse;
   atsync_iteration = -1;
+  local_state = OFF;
        /*
        FAULT_EVAC
        */
@@ -1073,6 +1081,26 @@ double CkMigratable::getObjTime() {
        return myRec->getObjTime();
 }
 
+void CkMigratable::recvLBPeriod(void *data) {
+  int lb_period = *((int *) data);
+  CkPrintf("Received the LB Period %d\n", lb_period);
+  if (local_state == PAUSE) {
+    if (atsync_iteration < lb_period) {
+      local_state = DECIDED;
+      ResumeFromSync();
+      return;
+    }
+    local_state = LOAD_BALANCE;
+
+    local_state = OFF;
+    atsync_iteration = -1;
+
+    myRec->getLBDB()->AtLocalBarrier(ldBarrierHandle);
+    return;
+  }
+  local_state = DECIDED;
+}
+
 void CkMigratable::ckFinishConstruction(void)
 {
 //     if ((!usesAtSync) || barrierRegistered) return;
@@ -1087,6 +1115,7 @@ void CkMigratable::ckFinishConstruction(void)
                (LDBarrierFn)staticResumeFromSync,(void*)(this));
        barrierRegistered=CmiTrue;
 }
+
 void CkMigratable::AtSync(int waitForMigration)
 {
        if (!usesAtSync)
@@ -1097,21 +1126,27 @@ void CkMigratable::AtSync(int waitForMigration)
        myRec->AsyncMigrate(!waitForMigration);
        if (waitForMigration) ReadyMigrate(CmiTrue);
        ckFinishConstruction();
-       DEBL((AA"Element %s going to sync\n"AB,idx2str(thisIndexMax)));
-          // model-based load balancing, ask user to provide cpu load
-        if (usesAutoMeasure == CmiFalse) UserSetLBLoad();
-//     myRec->getLBDB()->AtLocalBarrier(ldBarrierHandle);
+  DEBL((AA"Element %s going to sync\n"AB,idx2str(thisIndexMax)));
+  // model-based load balancing, ask user to provide cpu load
+  if (usesAutoMeasure == CmiFalse) UserSetLBLoad();
+  //   myRec->getLBDB()->AtLocalBarrier(ldBarrierHandle);
   atsync_iteration++;
   myRec->getLBDB()->AddLoad(atsync_iteration, myRec->getObjTime());
-  CkPrintf("atsync_iter %d && predicted period %d\n", atsync_iteration,
-    myRec->getLBDB()->getPredictedLBPeriod());
+  //CkPrintf("atsync_iter %d && predicted period %d state: %d\n", atsync_iteration,
+   //   myRec->getLBDB()->getPredictedLBPeriod(), local_state);
+  // register handle as myRec->getLdHandle()
   if (atsync_iteration < myRec->getLBDB()->getPredictedLBPeriod()) {
     ResumeFromSync();
+  } else if (local_state == DECIDED) {
+    local_state = LOAD_BALANCE;
+    local_state = OFF;
+    atsync_iteration = -1;
+    myRec->getLBDB()->AtLocalBarrier(ldBarrierHandle);
   } else {
-         myRec->getLBDB()->AtLocalBarrier(ldBarrierHandle);
+    local_state = PAUSE;
   }
-
 }
+
 void CkMigratable::ReadyMigrate(CmiBool ready)
 {
        myRec->ReadyMigrate(ready);
@@ -1277,6 +1312,10 @@ void CkLocRec_local::migrateMe(int toPe) //Leaving this processor
        myLocMgr->emigrate(this,toPe);
 }
 
+void CkLocRec_local::informIdealLBPeriod(int lb_ideal_period) {
+  myLocMgr->informLBPeriod(this, lb_ideal_period);
+}
+
 #if CMK_LBDB_ON
 void CkLocRec_local::startTiming(int ignore_running) {
        if (!ignore_running) running=CmiTrue;
@@ -1495,6 +1534,17 @@ CmiBool CkLocRec_local::deliver(CkArrayMessage *msg,CkDeliver_t type,int opts)
 }
 
 #if CMK_LBDB_ON
+
+void CkLocRec_local::staticAdaptResumeSync(LDObjHandle h, int lb_ideal_period) {
+       CkLocRec_local *el=(CkLocRec_local *)LDObjUserData(h);
+       DEBL((AA"Load balancer wants to migrate %s to %d\n"AB,idx2str(el->idx),dest));
+       el->adaptResumeSync(lb_ideal_period);
+}
+
+void CkLocRec_local::adaptResumeSync(int lb_ideal_period) {
+  informIdealLBPeriod(lb_ideal_period);
+}
+
 void CkLocRec_local::staticMigrate(LDObjHandle h, int dest)
 {
        CkLocRec_local *el=(CkLocRec_local *)LDObjUserData(h);
@@ -2543,6 +2593,16 @@ void CkLocMgr::callMethod(CkLocRec_local *rec,CkMigratable_voidfn_t fn)
        }
 }
 
+/// Call this member function on each element of this location:
+void CkLocMgr::callMethod(CkLocRec_local *rec,CkMigratable_voidfn_arg_t fn,     void * data)
+{
+       int localIdx=rec->getLocalIndex();
+       for (ManagerRec *m=firstManager;m!=NULL;m=m->next) {
+               CkMigratable *el=m->element(localIdx);
+               if (el) (el->* fn)(data);
+       }
+}
+
 /// return a list of migratables in this local record
 void CkLocMgr::migratableList(CkLocRec_local *rec, CkVec<CkMigratable *> &list)
 {
@@ -2643,6 +2703,10 @@ void CkLocMgr::emigrate(CkLocRec_local *rec,int toPe)
        CK_MAGICNUMBER_CHECK
 }
 
+void CkLocMgr::informLBPeriod(CkLocRec_local *rec, int lb_ideal_period) {
+       callMethod(rec,&CkMigratable::recvLBPeriod, (void *)&lb_ideal_period);
+}
+
 /**
   Migrating array element is arriving on this processor.
 */
@@ -2932,6 +2996,8 @@ void CkLocMgr::initLB(CkGroupID lbdbID_)
        myCallbacks.migrate = (LDMigrateFn)CkLocRec_local::staticMigrate;
        myCallbacks.setStats = NULL;
        myCallbacks.queryEstLoad = NULL;
+  myCallbacks.adaptResumeSync =
+      (LDAdaptResumeSyncFn)CkLocRec_local::staticAdaptResumeSync;
        myLBHandle = the_lbdb->RegisterOM(myId,this,myCallbacks);
 
        // Tell the lbdb that I'm registering objects
index 142a12cb8fcf206c41fec802ad4ac653963460e4..f8e9fc48004ed80db7b19b7c66f31d7380def655 100644 (file)
@@ -48,6 +48,8 @@ typedef enum {
        CkDeliver_inline=1  //Deliver via a regular call
 } CkDeliver_t;
 
+
+
 #include "CkLocation.decl.h"
 
 /************************** Array Messages ****************************/
@@ -173,6 +175,7 @@ public:
   CkLocRec_local(CkLocMgr *mgr,CmiBool fromMigration,CmiBool ignoreArrival,
        const CkArrayIndex &idx_,int localIdx_);
   void migrateMe(int toPe); //Leave this processor
+  void informIdealLBPeriod(int lb_ideal_period);
   void destroy(void); //User called destructor
   virtual ~CkLocRec_local();
 
@@ -215,6 +218,8 @@ public:
   inline LBDatabase *getLBDB(void) const {return the_lbdb;}
   inline LDObjHandle getLdHandle() const{return ldHandle;}
   static void staticMigrate(LDObjHandle h, int dest);
+  static void staticAdaptResumeSync(LDObjHandle h, int lb_ideal_period);
+  void adaptResumeSync(int lb_ideal_period);
   void recvMigrate(int dest);
   void setMigratable(int migratable);  /// set migratable
   void AsyncMigrate(CmiBool use);
@@ -306,6 +311,8 @@ public:
   virtual void ckAboutToMigrate(void); /*default is empty*/
   virtual void ckJustMigrated(void); /*default is empty*/
 
+  void recvLBPeriod(void *data);
+
   //used for out-of-core emulation
   virtual void ckJustRestored(void); /*default is empty*/
 
@@ -581,6 +588,7 @@ public:
 
        //Migrate us to another processor
        void emigrate(CkLocRec_local *rec,int toPe);
+  void informLBPeriod(CkLocRec_local *rec, int lb_ideal_period);
 
 #if CMK_LBDB_ON
        LBDatabase *getLBDB(void) const { return the_lbdb; }
@@ -672,6 +680,9 @@ private:
        typedef void (CkMigratable::* CkMigratable_voidfn_t)(void);
        void callMethod(CkLocRec_local *rec,CkMigratable_voidfn_t fn);
 
+       typedef void (CkMigratable::* CkMigratable_voidfn_arg_t)(void*);
+       void callMethod(CkLocRec_local *rec,CkMigratable_voidfn_arg_t fn, void*);
+
        CmiBool deliverUnknown(CkArrayMessage *msg,CkDeliver_t type,int opts);
 
        /// Create a new local record at this array index.
index f13d0200768bd84ae8d6a1c9fd420895ac8b8db7..253a262b24e9180fdc19be516c792aa32322a94c 100644 (file)
@@ -324,6 +324,17 @@ int LBDB::Migrate(LDObjHandle h, int dest)
   return 1;
 }
 
+void LBDB::AdaptResumeSync(int lb_ideal_period) {
+  for (int i = 0; i < objs.length(); i++) {
+    LBObj* obj = objs[i];
+    if (obj) {
+      LBOM *om = oms[obj->parentOM().handle];
+      LDObjHandle h = obj->GetLDObjHandle();
+      om->AdaptResumeSync(h, lb_ideal_period);
+    }
+  }
+}
+
 void LBDB::Migrated(LDObjHandle h, int waitBarrier)
 {
   // Object migrated, inform load balancers
@@ -338,6 +349,7 @@ void LBDB::Migrated(LDObjHandle h, int waitBarrier)
   
 }
 
+
 int LBDB::NotifyMigrated(LDMigratedFn fn, void* data)
 {
   // Save migration function
index 5c6236f10c7a048cd9ef067971f54c861e9ad1c9..7870209caacf74b912ab0085dd705afc9232f7e5 100644 (file)
@@ -78,6 +78,8 @@ public:
   void insert(LBOM *om);
 
   LDOMHandle AddOM(LDOMid _userID, void* _userData, LDCallbacks _callbacks);
+  
+
   LDObjHandle AddObj(LDOMHandle _h, LDObjid _id, void *_userData,
                     CmiBool _migratable);
   void UnregisterObj(LDObjHandle _h);
@@ -136,6 +138,7 @@ public:
   inline void GetCommData(LDCommData *data) 
        { if (commTable) commTable->GetCommData(data); };
 
+  void AdaptResumeSync(int lb_ideal_period);
   int  Migrate(LDObjHandle h, int dest);
   void Migrated(LDObjHandle h, int waitBarrier=1);
   int  NotifyMigrated(LDMigratedFn fn, void* data);
index b6147895ecd12a22a1b7889667973804411e2586..b1bd5b2ae471f8eab4711ec8f411e5e83f9e0b53 100644 (file)
@@ -27,14 +27,6 @@ struct AdaptiveLBDatabase {
   std::vector<AdaptiveData> history_data;
 } adaptive_lbdb;
 
-enum state {
-  OFF,
-  ON,
-  PAUSE,
-  DECIDED,
-  LOAD_BALANCE
-} local_state;
-
 struct AdaptiveLBStructure {
   int lb_ideal_period;
   int lb_calculated_period;
@@ -427,7 +419,6 @@ void LBDatabase::init(void)
   adaptive_struct.lb_migration_cost = 0.0;
   adaptive_struct.lb_msg_send_no = 0;
   adaptive_struct.lb_msg_recv_no = 0;
-  local_state = OFF;
 
 }
 
@@ -557,6 +548,23 @@ void LBDatabase::EstObjLoad(const LDObjHandle &_h, double cputime)
 #endif
 }
 
+void LBDatabase::ResumeClients() {
+  // If metabalancer enabled, initialize the variables
+  adaptive_struct.lb_ideal_period =  INT_MAX;
+  adaptive_struct.lb_calculated_period = INT_MAX;
+  adaptive_struct.lb_no_iterations = -1;
+  adaptive_struct.global_max_iter_no = 0;
+  adaptive_struct.global_recv_iter_counter = 0;
+  adaptive_struct.in_progress = false;
+  adaptive_struct.prev_load = 0.0;
+  adaptive_struct.lb_strategy_cost = 0.0;
+  adaptive_struct.lb_migration_cost = 0.0;
+  adaptive_struct.lb_msg_send_no = 0;
+  adaptive_struct.lb_msg_recv_no = 0;
+
+  LDResumeClients(myLDHandle);
+}
+
 bool LBDatabase::AddLoad(int iteration, double load) {
   total_contrib_vec[iteration]++;
 
@@ -774,7 +782,7 @@ void LBDatabase::LoadBalanceDecision(int req_no, int period) {
   }
   //CkPrintf("[%d] Load balance decision made cur iteration: %d period:%d state: %d\n",CkMyPe(), adaptive_struct.lb_no_iterations, period, local_state);
   adaptive_struct.lb_ideal_period = period;
-  local_state = ON;
+  //local_state = ON;
   adaptive_struct.lb_msg_recv_no = req_no;
   thisProxy[0].ReceiveIterationNo(req_no, adaptive_struct.lb_no_iterations);
 }
@@ -783,29 +791,30 @@ void LBDatabase::LoadBalanceDecisionFinal(int req_no, int period) {
   if (req_no < adaptive_struct.lb_msg_recv_no) {
     return;
   }
-  CkPrintf("[%d] Final Load balance decision made cur iteration: %d period:%d state: %d\n",CkMyPe(), adaptive_struct.lb_no_iterations, period, local_state);
+  CkPrintf("[%d] Final Load balance decision made cur iteration: %d period:%d \n",CkMyPe(), adaptive_struct.lb_no_iterations, period);
   adaptive_struct.lb_ideal_period = period;
+  LDOMAdaptResumeSync(myLDHandle, period);
 
-  if (local_state == ON) {
-    local_state = DECIDED;
-    return;
-  }
+//  if (local_state == ON) {
+//    local_state = DECIDED;
+//    return;
+//  }
 
   // If the state is PAUSE, then its waiting for the final decision from central
   // processor. If the decision is that the ideal period is in the future,
   // resume. If the ideal period is now, then carry out load balancing.
-  if (local_state == PAUSE) {
-    if (adaptive_struct.lb_no_iterations < adaptive_struct.lb_ideal_period) {
-      local_state = DECIDED;
-      //SendMinStats();
-      //FIX ME!!! ResumeClients(0);
-    } else {
-      local_state = LOAD_BALANCE;
-      //FIX ME!!! ProcessAtSync();
-    }
-    return;
-  }
-  CkPrintf("Error!!! Final decision received but the state is invalid %d\n", local_state);
+//  if (local_state == PAUSE) {
+//    if (adaptive_struct.lb_no_iterations < adaptive_struct.lb_ideal_period) {
+//      local_state = DECIDED;
+//      //SendMinStats();
+//      //FIX ME!!! ResumeClients(0);
+//    } else {
+//      local_state = LOAD_BALANCE;
+//      //FIX ME!!! ProcessAtSync();
+//    }
+//    return;
+//  }
+//  CkPrintf("Error!!! Final decision received but the state is invalid %d\n", local_state);
 }
 
 
index cb081cbfa8a9f9049fbb94dfb7f256f2f7f0d32d..f2c8cc29036a6b5a910f3129d194cf7423c86f77 100644 (file)
@@ -328,7 +328,9 @@ public:
   inline void ClearLoads(void) { LDClearLoads(myLDHandle); };
   inline int Migrate(LDObjHandle h, int dest) { return LDMigrate(h,dest); };
 
-  inline void Migrated(LDObjHandle h, int waitBarrier=1) { LDMigrated(h, waitBarrier); };
+  inline void Migrated(LDObjHandle h, int waitBarrier=1) {
+    LDMigrated(h, waitBarrier);
+  };
 
   inline LDBarrierClient AddLocalBarrierClient(LDResumeFn fn, void* data) {
     return LDAddLocalBarrierClient(myLDHandle,fn,data);
@@ -349,8 +351,7 @@ public:
   inline void AtLocalBarrier(LDBarrierClient h) { LDAtLocalBarrier(myLDHandle,h); }
   inline void LocalBarrierOn(void) { LDLocalBarrierOn(myLDHandle); };
   inline void LocalBarrierOff(void) { LDLocalBarrierOn(myLDHandle); };
-  inline void ResumeClients() { LDResumeClients(myLDHandle); }
-
+  void ResumeClients();
   inline int ProcessorSpeed() { return LDProcessorSpeed(); };
   inline void SetLBPeriod(double s) { LDSetLBPeriod(myLDHandle, s);}
   inline double GetLBPeriod() { return LDGetLBPeriod(myLDHandle);}
index 478b3aae283b47aeb7d91d23796afd10b83ac906..4d61d5605e755e71d43da9d91339b86405c78981 100644 (file)
@@ -35,6 +35,9 @@ private:
 
   void DepositHandle(LDOMHandle _h) { myhandle = _h; };
   void Migrate(LDObjHandle _h, int dest) { callbacks.migrate(_h,dest); };
+  void AdaptResumeSync(LDObjHandle _h, int lb_ideal_period) {
+    callbacks.adaptResumeSync(_h, lb_ideal_period);
+  }
   CmiBool RegisteringObjs() { return registering_objs; };
   void SetRegisteringObjs(CmiBool _set) { registering_objs = _set; };
 
index ee5e620a1f95b513df7c6664560bea9fb730e031..357241708398852af5b5b00a7ec7c53caebf9f61 100644 (file)
@@ -29,6 +29,11 @@ extern "C" LDOMHandle LDRegisterOM(LDHandle _db, LDOMid _userID,
   return db->AddOM(_userID, _userptr, _callbacks);
 }
 
+extern "C" void LDOMAdaptResumeSync(LDHandle _db, int lb_ideal_period) {
+  LBDB *const db = (LBDB*)(_db.handle);
+  db->AdaptResumeSync(lb_ideal_period);
+}
+
 extern "C" void * LDOMUserData(LDOMHandle &_h)
 {
   LBDB *const db = (LBDB*)(_h.ldb.handle);
index e0d1a6d34e1fdd4a635819a5cb46691573294843..6c1cce5014bcb0f56228851480b3c2007afd0c28 100644 (file)
@@ -219,11 +219,13 @@ void LBCollectStatsOff(void);
 typedef void (*LDMigrateFn)(LDObjHandle handle, int dest);
 typedef void (*LDStatsFn)(LDOMHandle h, int state);
 typedef void (*LDQueryEstLoadFn)(LDOMHandle h);
+typedef void (*LDAdaptResumeSyncFn) (LDObjHandle handle, int lb_ideal_period);
 
 typedef struct {
   LDMigrateFn migrate;
   LDStatsFn setStats;
   LDQueryEstLoadFn queryEstLoad;
+  LDAdaptResumeSyncFn adaptResumeSync;
 } LDCallbacks;
 
 /*
@@ -237,6 +239,8 @@ LDHandle LDCreate(void);
 
 LDOMHandle LDRegisterOM(LDHandle _lbdb, LDOMid userID, 
                        void *userptr, LDCallbacks cb);
+
+void LDOMAdaptResumeSync(LDHandle _h, int lb_ideal_period);
 void * LDOMUserData(LDOMHandle &_h);
 void LDRegisteringObjects(LDOMHandle _h);
 void LDDoneRegisteringObjects(LDOMHandle _h);