fix a bug
[charm.git] / src / ck-core / ckmemcheckpoint.h
1 #ifndef _CK_MEM_CHECKPT_
2 #define _CK_MEM_CHECKPT_
3
4 #include "CkMemCheckpoint.decl.h"
5
6 extern CkGroupID ckCheckPTGroupID;
7
8 class CkArrayCheckPTReqMessage: public CMessage_CkArrayCheckPTReqMessage {
9 public: 
10   CkArrayCheckPTReqMessage()  {}
11 };
12
13 class CkArrayCheckPTMessage: public CMessage_CkArrayCheckPTMessage {
14 public:
15         CkArrayID  aid;
16         CkGroupID  locMgr;
17         CkArrayIndex index;
18         double *packData;
19         int bud1, bud2;
20         int len;
21         int cp_flag;          // 1: from checkpoint 0: from recover
22 };
23
24 class CkCheckPTMessage: public CMessage_CkCheckPTMessage {
25 public:
26         char *packData;
27         int bud1, bud2;
28         int len;
29         int pointer;
30         int cp_flag;          // 1: from checkpoint 0: from recover
31 };
32
33 class CkProcCheckPTMessage: public CMessage_CkProcCheckPTMessage {
34 public:
35         int pe;
36         int reportPe;           // chkpt starter
37         int failedpe;
38         int cur_restart_phase;
39         int len;
40         char *packData;
41 };
42
43 // table entry base class
44 class CkCheckPTInfo {
45    friend class CkMemCheckPT;
46 protected:
47    CkArrayID aid;
48    CkGroupID locMgr;
49    CkArrayIndex index;
50    int pNo;   //another buddy
51 public:
52    CkCheckPTInfo();
53    CkCheckPTInfo(CkArrayID a, CkGroupID loc, CkArrayIndex idx, int pno):
54                   aid(a), locMgr(loc), index(idx), pNo(pno)   {}
55    virtual ~CkCheckPTInfo() {}
56    virtual void updateBuffer(CkArrayCheckPTMessage *data) = 0;
57    virtual CkArrayCheckPTMessage * getCopy() = 0;
58    virtual void updateBuddy(int b1, int b2) = 0;
59    virtual int getSize() = 0;
60 };
61
62 /// memory or disk checkpointing
63 #define CkCheckPoint_inMEM   1
64 #define CkCheckPoint_inDISK  2
65
66 class CkMemCheckPT: public CBase_CkMemCheckPT {
67 public:
68   CkMemCheckPT(int w);
69   CkMemCheckPT(CkMigrateMessage *m):CBase_CkMemCheckPT(m) {};
70   virtual ~CkMemCheckPT();
71   void pup(PUP::er& p);
72   inline int BuddyPE(int pe);
73   void doItNow(int sp, CkCallback &);
74   void restart(int diePe);
75   void removeArrayElements();
76   void createEntry(CkArrayID aid, CkGroupID loc, CkArrayIndex index, int buddy);
77   void recvData(CkArrayCheckPTMessage *);
78   void gotData();
79   void recvProcData(CkProcCheckPTMessage *);
80   void cpFinish();
81   void syncFiles(CkReductionMsg *);
82   void report();
83   void recoverBuddies();
84   void recoverEntry(CkArrayCheckPTMessage *msg);
85   void recoverArrayElements();
86   void quiescence(CkCallback &);
87   void resetReductionMgr();
88   void finishUp();
89   void gotReply();
90   void inmem_restore(CkArrayCheckPTMessage *m);
91   void updateLocations(int n, CkGroupID *g, CkArrayIndex *idx,int nowOnPe);
92   void resetLB(int diepe);
93   int  isFailed(int pe);
94   //void pupAllElements(PUP::er &p);
95   void startArrayCheckpoint();
96   void recvArrayCheckpoint(CkArrayCheckPTMessage *m);
97   void recoverAll(char * msg, CkVec<CkGroupID> * gmap=NULL, CkVec<CkArrayIndex> * imap=NULL);
98   void startCheckpoint();
99   void doneComparison(bool);
100   void doneRComparison(int);
101   void doneBothComparison();
102   void RollBack();
103   void recoverFromSoftFailure();
104   void notifyReplicaDie(int diePe);
105
106   void recvIter(int);
107   void getIter();
108   void recvMaxIter(int);
109   void reachChkpIter();
110   void startChkp();
111
112 public:
113   static CkCallback  cpCallback;
114
115   static int inRestarting;
116   static int inCheckpointing;
117   static int inLoadbalancing;
118   static int replicaAlive;
119   static double startTime;
120   static char*  stage;
121   
122   bool inProgress;
123   bool localDecided;
124   int localMaxIter;
125
126   int notifyReplica;
127 private:
128   CkVec<CkCheckPTInfo *> ckTable;
129   CkArrayCheckPTMessage * chkpTable[2];
130
131   int recvCount, peCount;
132   int expectCount, ackCount;
133     /// the processor who initiate the checkpointing
134   int cpStarter;
135   CkVec<int> failedPes;
136   int thisFailedPe;
137
138   int elemCount;
139
140   int recvIterCount;
141
142   int maxIter;
143     /// to use memory or disk checkpointing
144   int    where;
145 private:
146   inline int isMaster(int pe);
147
148   void failed(int pe);
149   int  totalFailed();
150
151   void sendProcData();
152 };
153
154 // called in initCharm
155 void CkMemRestart(const char *, CkArgMsg *);
156
157 // called by user applications
158 // to start a checkpointing
159 void CkStartMemCheckpoint(CkCallback &cb);
160
161 // true if inside a restarting phase
162 extern "C" int CkInRestarting(); 
163 extern "C" int CkInCheckpointing(); 
164 extern "C" int CkInLdb(); 
165 extern "C" void CkSetInLdb(); 
166 extern "C" void CkResetInLdb();
167 extern "C" int CkReplicaAlive();
168 extern "C" int CkHasCheckpoints();
169
170 extern "C" void CkDieNow();
171
172 #endif