a better mempool interface that gets ride of uGNI specific stuff
authorGengbin Zheng <gzheng@illinois.edu>
Thu, 6 Oct 2011 17:26:00 +0000 (10:26 -0700)
committerGengbin Zheng <gzheng@illinois.edu>
Thu, 6 Oct 2011 17:26:00 +0000 (10:26 -0700)
src/arch/gemini_gni/machine.c
src/arch/util/mempool.c
src/arch/util/mempool.h

index 88bd441fc3d9aead9de3590800e7020c392e2f3f..09d7df8ece7d68fe60251e9937c03acab81d0465 100644 (file)
@@ -40,7 +40,7 @@ static void sleep(int secs) {
 #define USE_LRTS_MEMPOOL     1
 
 #if USE_LRTS_MEMPOOL
-static CmiInt8 _mempool_size = 1024ll*1024*32;
+static CmiInt8 _mempool_size = 1024ll*1024*4;
 #endif
 
 #define PRINT_SYH  0
@@ -1653,6 +1653,21 @@ static void _init_DMA_buffer()
     allgather(&DMA_buffer_base_mdh_addr, DMA_buffer_base_mdh_addr_vec, sizeof(mdh_addr_t) );
 }
 
+void *alloc_mempool_block(int size, gni_mem_handle_t *mem_hndl)
+{
+    void *pool = memalign(ALIGNBUF, size);
+    gni_return_t status = MEMORY_REGISTER(onesided_hnd, nic_hndl, pool, size,  mem_hndl, &omdh);
+    GNI_RC_CHECK("Mempool register", status);
+    return pool;
+}
+
+void free_mempool_block(void *ptr, gni_mem_handle_t mem_hndl)
+{
+    gni_return_t status = GNI_MemDeregister(nic_hndl, &mem_hndl);
+    GNI_RC_CHECK("Mempool de-register", status);
+    free(ptr);
+}
+
 static void LrtsInit(int *argc, char ***argv, int *numNodes, int *myNodeID)
 {
     register int            i;
@@ -1770,11 +1785,7 @@ static void LrtsInit(int *argc, char ***argv, int *numNodes, int *myNodeID)
 #if     USE_LRTS_MEMPOOL
     CmiGetArgLong(*argv, "+useMemorypoolSize", &_mempool_size);
     if (myrank==0) printf("Charm++> use memorypool size: %1.fMB\n", _mempool_size/1024.0/1024);
-    void *pool = memalign(ALIGNBUF, _mempool_size);
-    gni_mem_handle_t mem_hndl;
-    status = MEMORY_REGISTER(onesided_hnd, nic_hndl, pool, _mempool_size,  &mem_hndl, &omdh);
-    GNI_RC_CHECK("Mempool register", status);
-    mempool = init_mempool(pool, _mempool_size, mem_hndl);
+    mempool = mempool_init(_mempool_size, alloc_mempool_block, free_mempool_block);
     //init_mempool(Mempool_MaxSize);
 #endif
     //init_mempool(Mempool_MaxSize);
index 46bebaab7e325aa2348836ab60b481872d192767..42ec9ca6a2a6bfe88824bc4e3ebc6777466faa73 100644 (file)
@@ -27,18 +27,19 @@ Generalized by Gengbin Zheng  10/5/2011
 
 static      size_t     expand_mem = 1024ll*1024*16;
 
-#ifndef  ALIGNBUF
-#define ALIGNBUF                64
-#endif
-
-mempool_type *init_mempool(void *pool, size_t pool_size, gni_mem_handle_t mem_hndl)
+mempool_type *mempool_init(size_t pool_size, mempool_newblockfn allocfn, mempool_freeblock freefn)
 {
     mempool_type *mptr;
     mempool_header *header;
+    gni_mem_handle_t  mem_hndl;
 
+    void *pool = allocfn(pool_size, &mem_hndl);
     mptr = (mempool_type*)pool;
+    mptr->newblockfn = allocfn;
+    mptr->freeblockfn = freefn;
     mptr->mempools_head.mempool_ptr = pool;
     mptr->mempools_head.mem_hndl = mem_hndl;
+    mptr->mempools_head.size = pool_size;
     mptr->mempools_head.next = NULL;
     header = (mempool_header *) ((char*)pool+sizeof(mempool_type));
     mptr->freelist_head = sizeof(mempool_type);
@@ -52,19 +53,16 @@ mempool_type *init_mempool(void *pool, size_t pool_size, gni_mem_handle_t mem_hn
 void kill_allmempool(mempool_type *mptr)
 {
     mempool_block *current, *mempools_head;
+    mempool_freeblock   freefn = mptr->freeblockfn;
 
     current = mempools_head = &(mptr->mempools_head);
 
     while(mempools_head!= NULL)
     {
-#if CMK_CONVERSE_GEMINI_UGNI
-        gni_return_t status = GNI_MemDeregister(nic_hndl, &(mempools_head->mem_hndl));
-        GNI_RC_CHECK("Mempool de-register", status);
-#endif
         //printf("[%d] free mempool:%p\n", CmiMyPe(), mempools_head->mempool_ptr);
         current=mempools_head;
         mempools_head = mempools_head->next;
-        free(current->mempool_ptr);
+        freefn(current->mempool_ptr, current->mem_hndl);
     }
 }
 
@@ -120,23 +118,22 @@ void*  mempool_malloc(mempool_type *mptr, int size, int expand)
 
     if(bestfit == NULL)
     {
+        void *pool;
         mempool_block   *expand_pool;
         size_t   expand_size;
-        void *pool;
+        gni_mem_handle_t  mem_hndl;
 
         if (!expand) return NULL;
 
         expand_size = expand_mem>size ? expand_mem:2*size; 
-        pool = memalign(ALIGNBUF, expand_size);
+        pool = mptr->newblockfn(expand_size, &mem_hndl);
         expand_pool = (mempool_block*)pool;
         expand_pool->mempool_ptr = pool;
-        printf("[%d] No memory has such free empty chunck of %d. expanding %p (%d)\n", CmiMyPe(), size, expand_pool->mempool_ptr, expand_size);
-#if CMK_CONVERSE_GEMINI_UGNI
-        gni_return_t  status;
-        status = GNI_MemRegister(nic_hndl, (uint64_t)expand_pool->mempool_ptr, expand_size,  NULL, GNI_MEM_READWRITE, -1, &(expand_pool->mem_hndl));
-        GNI_RC_CHECK("Mempool register", status);
-#endif
+        expand_pool->mem_hndl = mem_hndl;
+        expand_pool->size = expand_size;
         expand_pool->next = NULL;
+        printf("[%d] No memory has such free empty chunck of %d. expanding %p with new size %d\n", CmiMyPe(), size, expand_pool->mempool_ptr, expand_size);
+          // FIXME: go to the end of link list
         while (mempools_head->next != NULL) mempools_head = mempools_head->next;
         mempools_head->next = expand_pool;
 
index 3867e22ebea6d064de766eea9449bf47bc16e492..4471e7b0a48662931a3d880377a20beea533159f 100644 (file)
@@ -5,16 +5,8 @@
 #include "conv-config.h"
 
 #if CMK_CONVERSE_GEMINI_UGNI
-
 #include "gni_pub.h"
 #include "pmi.h"
-extern gni_nic_handle_t      nic_hndl;
-#if CMK_ERROR_CHECKING
-#define GNI_RC_CHECK(msg,rc) do { if(rc != GNI_RC_SUCCESS) {           CmiPrintf("[%d] %s; err=%s\n",CmiMyPe(),msg,gni_err_str[rc]); CmiAbort("GNI_RC_CHECK"); } } while(0)
-#else
-#define GNI_RC_CHECK(msg,rc)
-#endif
-
 #else
   // in uGNI, it is memory handler, other versions, this is an integer
   // a unique integer to represent the memory block
@@ -25,8 +17,9 @@ typedef int    gni_mem_handle_t;
 typedef struct mempool_block_t
 {
     void                *mempool_ptr;
-    struct              mempool_block_t *next;
     gni_mem_handle_t    mem_hndl;
+    int                 size;
+    struct              mempool_block_t *next;
 } mempool_block;
 
 
@@ -37,16 +30,19 @@ typedef struct mempool_header
   size_t            next_free;
 } mempool_header;
 
+typedef void * (* mempool_newblockfn)(int size, gni_mem_handle_t *mem_hndl);
+typedef void (* mempool_freeblock)(void *ptr, gni_mem_handle_t mem_hndl);
 
 // only at beginning of first block of mempool
 typedef struct mempool_type
 {
-  mempool_block   mempools_head;
+  mempool_block      mempools_head;
+  mempool_newblockfn     newblockfn;
+  mempool_freeblock      freeblockfn;
   size_t          freelist_head;
 } mempool_type;
 
-
-mempool_type *init_mempool(void *pool, size_t pool_size, gni_mem_handle_t mem_hndl);
+mempool_type *mempool_init(size_t pool_size, mempool_newblockfn newfn, mempool_freeblock freefn);
 void kill_allmempool(mempool_type *mptr);
 void*  mempool_malloc(mempool_type *mptr, int size, int expand);
 void mempool_free(mempool_type *mptr, void *ptr_free);