b2e6346f8211fea404be251990059f0b7ee126a9
[charm.git] / src / ck-core / ckmemcheckpoint.h
1 #ifndef _CK_MEM_CHECKPT_
2 #define _CK_MEM_CHECKPT_
3
4 #include "CkMemCheckpoint.decl.h"
5
6 extern CkGroupID ckCheckPTGroupID;
7
8 class CkArrayCheckPTReqMessage: public CMessage_CkArrayCheckPTReqMessage {
9 public: 
10   CkArrayCheckPTReqMessage()  {}
11 };
12
13 class CkArrayCheckPTMessage: public CMessage_CkArrayCheckPTMessage {
14 public:
15         CkArrayID  aid;
16         CkGroupID  locMgr;
17         CkArrayIndex index;
18         double *packData;
19         int bud1, bud2;
20         int len;
21         int cp_flag;          // 1: from checkpoint 0: from recover
22 };
23
24 class CkCheckPTMessage: public CMessage_CkCheckPTMessage {
25 public:
26         char *packData;
27         int bud1, bud2;
28         int len;
29         int pointer;
30         int cp_flag;          // 1: from checkpoint 0: from recover
31 };
32
33 class CkProcCheckPTMessage: public CMessage_CkProcCheckPTMessage {
34 public:
35         int pe;
36         int reportPe;           // chkpt starter
37         int failedpe;
38         int cur_restart_phase;
39         int len;
40         char *packData;
41 };
42
43 // table entry base class
44 class CkCheckPTInfo {
45    friend class CkMemCheckPT;
46 protected:
47    CkArrayID aid;
48    CkGroupID locMgr;
49    CkArrayIndex index;
50    int pNo;   //another buddy
51 public:
52    CkCheckPTInfo();
53    CkCheckPTInfo(CkArrayID a, CkGroupID loc, CkArrayIndex idx, int pno):
54                   aid(a), locMgr(loc), index(idx), pNo(pno)   {}
55    virtual ~CkCheckPTInfo() {}
56    virtual void updateBuffer(CkArrayCheckPTMessage *data) = 0;
57    virtual CkArrayCheckPTMessage * getCopy() = 0;
58    virtual void updateBuddy(int b1, int b2) = 0;
59    virtual int getSize() = 0;
60 };
61
62 /// memory or disk checkpointing
63 #define CkCheckPoint_inMEM   1
64 #define CkCheckPoint_inDISK  2
65
66 class CkMemCheckPT: public CBase_CkMemCheckPT {
67 public:
68   CkMemCheckPT(int w);
69   CkMemCheckPT(CkMigrateMessage *m):CBase_CkMemCheckPT(m) {};
70   virtual ~CkMemCheckPT();
71   void pup(PUP::er& p);
72   inline int BuddyPE(int pe);
73   //void doItNow(int sp, CkCallback &);
74   void doItNow(int sp);
75   void killAfter(double);
76   void chkpLocalStart();
77   void restart(int diePe);
78   void removeArrayElements();
79   void createEntry(CkArrayID aid, CkGroupID loc, CkArrayIndex index, int buddy);
80   void recvData(CkArrayCheckPTMessage *);
81   void gotData();
82   void recvProcData(CkProcCheckPTMessage *);
83   void cpFinish();
84   void syncFiles(CkReductionMsg *);
85   void report();
86   void recoverBuddies();
87   void recoverEntry(CkArrayCheckPTMessage *msg);
88   void recoverArrayElements();
89   void quiescence(CkCallback &);
90   void resetReductionMgr();
91   void finishUp();
92   void gotReply();
93   void inmem_restore(CkArrayCheckPTMessage *m);
94   void updateLocations(int n, CkGroupID *g, CkArrayIndex *idx,int nowOnPe);
95   void generateFailure();
96   void generateSoftFailure();
97   void replicaInjectFailure();
98   
99   void resetLB(int diepe);
100   int  isFailed(int pe);
101   //void pupAllElements(PUP::er &p);
102   void startArrayCheckpoint();
103   void recvArrayCheckpoint(CkArrayCheckPTMessage *m);
104   void recoverAll(char * msg, CkVec<CkGroupID> * gmap=NULL, CkVec<CkArrayIndex> * imap=NULL);
105   void startCheckpoint();
106   void doneComparison(bool);
107   void doneRComparison(int);
108   void doneBothComparison();
109   void RollBack();
110   void recoverFromSoftFailure();
111   void notifyReplicaDie(int diePe);
112
113   void recvIter(int);
114   void getIter();
115   void recvMaxIter(int);
116   void reachChkpIter();
117   void startChkp();
118   
119 public:
120   static CkCallback  cpCallback;
121
122   static int inRestarting;
123   static int inCheckpointing;
124   static int inLoadbalancing;
125   static int replicaAlive;
126   static double startTime;
127   static char*  stage;
128   
129   bool inProgress;
130   bool localDecided;
131   int localMaxIter;
132
133   int notifyReplica;
134   bool softFailureInjected;
135 private:
136   CkVec<CkCheckPTInfo *> ckTable;
137   CkArrayCheckPTMessage * chkpTable[2];
138
139   int recvCount, peCount;
140   int expectCount, ackCount;
141     /// the processor who initiate the checkpointing
142   int cpStarter;
143   CkVec<int> failedPes;
144   int thisFailedPe;
145
146   int elemCount;
147
148   int recvIterCount;
149
150   int maxIter;
151
152   unsigned int localSeed;
153   unsigned int softLocalSeed;
154     /// to use memory or disk checkpointing
155   int    where;
156 private:
157   inline int isMaster(int pe);
158
159   void failed(int pe);
160   int  totalFailed();
161
162   void sendProcData();
163 };
164
165 // called in initCharm
166 void CkMemRestart(const char *, CkArgMsg *);
167
168 // called by user applications
169 // to start a checkpointing
170 void CkStartMemCheckpoint(CkCallback &cb);
171
172 // true if inside a restarting phase
173 extern "C" int CkInRestarting(); 
174 extern "C" int CkInCheckpointing(); 
175 extern "C" int CkInLdb(); 
176 extern "C" void CkSetInLdb(); 
177 extern "C" void CkResetInLdb();
178 extern "C" int CkReplicaAlive();
179 extern "C" int CkHasCheckpoints();
180
181 extern "C" void CkDieNow();
182
183 #endif