incorporating modifications to mempool done by Gengbin
[charm.git] / src / arch / util / mempool.c
index d78dbfb2991f82503c7392d1b675ab45706c5467..d88111e954f65ba5476875ebeb585f46027ec12b 100644 (file)
@@ -4,6 +4,7 @@
 Memory pool implementation , It is only good for Charm++ usage. The first 64 bytes provides additional information. sizeof(int)- size of this block(free or allocated), next gni_mem_handle_t, then void** point to the next available block. 
 
 Written by Yanhua Sun 08-27-2011
 Memory pool implementation , It is only good for Charm++ usage. The first 64 bytes provides additional information. sizeof(int)- size of this block(free or allocated), next gni_mem_handle_t, then void** point to the next available block. 
 
 Written by Yanhua Sun 08-27-2011
+Generalized by Gengbin Zheng  10/5/2011
 
 */
 
 
 */
 
@@ -12,75 +13,60 @@ Written by Yanhua Sun 08-27-2011
 #define POOLS_NUM       2
 #define MAX_INT        2147483647
 
 #define POOLS_NUM       2
 #define MAX_INT        2147483647
 
-static      size_t     expand_mem = 1024ll*1024*16;
+#include "converse.h"
 
 
-#if ! CMK_CONVERSE_GEMINI_UGNI
-  // in uGNI, it is memory handler, other versions, this is an integer
-  // a unique integer to represent the memory block
-typedef int    gni_mem_handle_t;
+#include <stdio.h>
+#include <stdlib.h>
+#include <string.h>
+#if CMK_HAS_MALLOC_H
+#include <malloc.h>
 #endif
 
 #endif
 
-// multiple mempool for different size allocation
-typedef struct mempool_block_t
-{
-    void                *mempool_ptr;
-    struct              mempool_block_t *next;
-    gni_mem_handle_t    mem_hndl;
-} mempool_block;
-
-
-typedef struct mempool_header
-{
-  int size;
-  gni_mem_handle_t  mem_hndl;
-  size_t            next_free;
-} mempool_header;
-
-
-// only at beginning of first block of mempool
-typedef struct mempool_type
-{
-  mempool_block   mempools_head;
-  size_t          freelist_head;
-} mempool_type;
+#include "mempool.h"
 
 
+#if CMK_CONVERSE_GEMINI_UGNI
+static      size_t     expand_mem = 1024ll*1024*16;
+#else
+static      size_t     expand_mem = 1024*16;
+#endif 
 
 
-mempool_type *init_mempool(void *pool, size_t pool_size, gni_mem_handle_t mem_hndl)
+mempool_type *mempool_init(size_t pool_size, mempool_newblockfn allocfn, mempool_freeblock freefn)
 {
     mempool_type *mptr;
     mempool_header *header;
 {
     mempool_type *mptr;
     mempool_header *header;
-    gni_return_t status;
+    gni_mem_handle_t  mem_hndl;
 
 
+    void *pool = allocfn(&pool_size, &mem_hndl);
     mptr = (mempool_type*)pool;
     mptr = (mempool_type*)pool;
+    mptr->newblockfn = allocfn;
+    mptr->freeblockfn = freefn;
     mptr->mempools_head.mempool_ptr = pool;
     mptr->mempools_head.mem_hndl = mem_hndl;
     mptr->mempools_head.mempool_ptr = pool;
     mptr->mempools_head.mem_hndl = mem_hndl;
+    mptr->mempools_head.size = pool_size;
     mptr->mempools_head.next = NULL;
     header = (mempool_header *) ((char*)pool+sizeof(mempool_type));
     mptr->freelist_head = sizeof(mempool_type);
     mptr->mempools_head.next = NULL;
     header = (mempool_header *) ((char*)pool+sizeof(mempool_type));
     mptr->freelist_head = sizeof(mempool_type);
-//printf("[%d] pool: %p  free: %p\n", myrank, pool, header);
     header->size = pool_size-sizeof(mempool_type)-sizeof(mempool_header);
     header->mem_hndl = mem_hndl;
     header->next_free = 0;
     header->size = pool_size-sizeof(mempool_type)-sizeof(mempool_header);
     header->mem_hndl = mem_hndl;
     header->next_free = 0;
+#if MEMPOOL_DEBUG 
+    printf("[%d] Initiated pool of size %lld at %p\n",CmiMyPe(),pool_size,mptr);
+#endif
     return mptr;
 }
 
     return mptr;
 }
 
-void kill_allmempool(mempool_type *mptr)
+void mempool_destroy(mempool_type *mptr)
 {
 {
-    gni_return_t status;
     mempool_block *current, *mempools_head;
     mempool_block *current, *mempools_head;
+    mempool_freeblock   freefn = mptr->freeblockfn;
 
     current = mempools_head = &(mptr->mempools_head);
 
     while(mempools_head!= NULL)
     {
 
     current = mempools_head = &(mptr->mempools_head);
 
     while(mempools_head!= NULL)
     {
-#if CMK_CONVERSE_GEMINI_UGNI
-        status = GNI_MemDeregister(nic_hndl, &(mempools_head->mem_hndl));
-        GNI_RC_CHECK("Mempool de-register", status);
-#endif
-        //printf("[%d] free mempool:%p\n", CmiMyPe(), mempools_head->mempool_ptr);
         current=mempools_head;
         mempools_head = mempools_head->next;
         current=mempools_head;
         mempools_head = mempools_head->next;
-        free(current->mempool_ptr);
+        freefn(current->mempool_ptr, current->mem_hndl);
     }
 }
 
     }
 }
 
@@ -88,7 +74,6 @@ void kill_allmempool(mempool_type *mptr)
 void*  mempool_malloc(mempool_type *mptr, int size, int expand)
 {
     int     bestfit_size = MAX_INT; //most close size 
 void*  mempool_malloc(mempool_type *mptr, int size, int expand)
 {
     int     bestfit_size = MAX_INT; //most close size 
-    gni_return_t    status;
     size_t    *freelist_head = &mptr->freelist_head;
     mempool_header    *freelist_head_ptr = mptr->freelist_head?(mempool_header*)((char*)mptr+mptr->freelist_head):NULL;
     mempool_header    *current = freelist_head_ptr;
     size_t    *freelist_head = &mptr->freelist_head;
     mempool_header    *freelist_head_ptr = mptr->freelist_head?(mempool_header*)((char*)mptr+mptr->freelist_head):NULL;
     mempool_header    *current = freelist_head_ptr;
@@ -96,12 +81,13 @@ void*  mempool_malloc(mempool_type *mptr, int size, int expand)
     mempool_header    *bestfit = NULL;
     mempool_header    *bestfit_previous = NULL;
     mempool_block     *mempools_head = &(mptr->mempools_head);
     mempool_header    *bestfit = NULL;
     mempool_header    *bestfit_previous = NULL;
     mempool_block     *mempools_head = &(mptr->mempools_head);
-    int     expand_size;
 
 #if  MEMPOOL_DEBUG
     CmiPrintf("[%d] request malloc from pool: %p  free_head: %p %d for size %d, \n", CmiMyPe(), mptr, freelist_head_ptr, mptr->freelist_head, size);
 #endif
 
 
 #if  MEMPOOL_DEBUG
     CmiPrintf("[%d] request malloc from pool: %p  free_head: %p %d for size %d, \n", CmiMyPe(), mptr, freelist_head_ptr, mptr->freelist_head, size);
 #endif
 
+    size += sizeof(mempool_header);
+
 #if 1
     while(current!= NULL)     /* best fit */
     {
 #if 1
     while(current!= NULL)     /* best fit */
     {
@@ -138,21 +124,28 @@ void*  mempool_malloc(mempool_type *mptr, int size, int expand)
 
     if(bestfit == NULL)
     {
 
     if(bestfit == NULL)
     {
-        mempool_block   *expand_pool;
+#if MEMPOOL_DEBUG 
+        printf("[%d] Expanding pool %p by %d\n",CmiMyPe(),mptr,CthSelf());
+#endif
         void *pool;
         void *pool;
+        mempool_block   *expand_pool;
+        size_t   expand_size;
+        gni_mem_handle_t  mem_hndl;
 
         if (!expand) return NULL;
 
         expand_size = expand_mem>size ? expand_mem:2*size; 
 
         if (!expand) return NULL;
 
         expand_size = expand_mem>size ? expand_mem:2*size; 
-        pool = memalign(ALIGNBUF, expand_size);
+        pool = mptr->newblockfn(&expand_size, &mem_hndl);
         expand_pool = (mempool_block*)pool;
         expand_pool->mempool_ptr = pool;
         expand_pool = (mempool_block*)pool;
         expand_pool->mempool_ptr = pool;
-        printf("[%d] No memory has such free empty chunck of %d. expanding %p (%d)\n", CmiMyPe(), size, expand_pool->mempool_ptr, expand_size);
-#if CMK_CONVERSE_GEMINI_UGNI
-        status = MEMORY_REGISTER(onesided_hnd, nic_hndl, expand_pool->mempool_ptr, expand_size,  &(expand_pool->mem_hndl), &omdh);
-        GNI_RC_CHECK("Mempool register", status);
-#endif
+        expand_pool->mem_hndl = mem_hndl;
+        expand_pool->size = expand_size;
         expand_pool->next = NULL;
         expand_pool->next = NULL;
+#if  MEMPOOL_DEBUG
+        printf("[%d] No memory has such free empty chunck of %d. expanding %p with new size %d\n", CmiMyPe(), size, expand_pool->mempool_ptr, expand_size);
+#endif
+        // FIXME: go to the end of link list
+        //while (mempools_head->next != NULL && mempools_head < expand_pool) mempools_head = mempools_head->next;
         while (mempools_head->next != NULL) mempools_head = mempools_head->next;
         mempools_head->next = expand_pool;
 
         while (mempools_head->next != NULL) mempools_head = mempools_head->next;
         mempools_head->next = expand_pool;
 
@@ -160,26 +153,28 @@ void*  mempool_malloc(mempool_type *mptr, int size, int expand)
         bestfit->size = expand_size-sizeof(mempool_block);
         bestfit->mem_hndl = expand_pool->mem_hndl;
         bestfit->next_free = 0;
         bestfit->size = expand_size-sizeof(mempool_block);
         bestfit->mem_hndl = expand_pool->mem_hndl;
         bestfit->next_free = 0;
-        bestfit_size = expand_size;
+        bestfit_size = expand_size-sizeof(mempool_block);
 #if 0
 #if 0
-        current = freelist_head;
+        current = freelist_head_ptr;
         while(current!= NULL && current < bestfit )
         {
           previous = current;
         while(current!= NULL && current < bestfit )
         {
           previous = current;
-          current = current->next;
+          current = current->next_free?(mempool_header*)((char *)mptr + current->next_free):NULL;
         }
         }
-#else
+#elif 0
         CmiAssert(bestfit > previous);
 #endif
         bestfit_previous = previous;
         CmiAssert(bestfit > previous);
 #endif
         bestfit_previous = previous;
-        if (previous == NULL)
+        if (previous == NULL) {
            *freelist_head = (char*)bestfit - (char*)mptr;
            *freelist_head = (char*)bestfit - (char*)mptr;
+           freelist_head_ptr =  bestfit;
+        }
         else
            previous->next_free = (char*)bestfit-(char*)mptr;
     }
 
     bestfit->size = size;
         else
            previous->next_free = (char*)bestfit-(char*)mptr;
     }
 
     bestfit->size = size;
-    if(bestfit_size > size) //deduct this entry 
+    if(bestfit_size > size + sizeof(mempool_header)) //deduct this entry 
     {
         mempool_header *ptr = (mempool_header *)((char*)bestfit + size);
         ptr->size = bestfit_size - size;
     {
         mempool_header *ptr = (mempool_header *)((char*)bestfit + size);
         ptr->size = bestfit_size - size;
@@ -192,6 +187,9 @@ void*  mempool_malloc(mempool_type *mptr, int size, int expand)
     }
     else {  
           //delete this free entry
     }
     else {  
           //delete this free entry
+        if (bestfit_size > size) {
+           bestfit->size = bestfit_size;
+        }
         if(bestfit == freelist_head_ptr)
             *freelist_head = freelist_head_ptr->next_free;
         else
         if(bestfit == freelist_head_ptr)
             *freelist_head = freelist_head_ptr->next_free;
         else
@@ -202,7 +200,7 @@ void*  mempool_malloc(mempool_type *mptr, int size, int expand)
 printf("[%d] freelist_head in malloc  offset:%d free_head: %ld %ld %d %d\n", myrank, (char*)bestfit-(char*)mptr, *freelist_head, ((mempool_header*)((char*)mptr+*freelist_head))->next_free, bestfit_size, size);
 #endif
     CmiAssert(*freelist_head >= 0);
 printf("[%d] freelist_head in malloc  offset:%d free_head: %ld %ld %d %d\n", myrank, (char*)bestfit-(char*)mptr, *freelist_head, ((mempool_header*)((char*)mptr+*freelist_head))->next_free, bestfit_size, size);
 #endif
     CmiAssert(*freelist_head >= 0);
-    return (char*)bestfit;
+    return (char*)bestfit + sizeof(mempool_header);
 }
 
 //sorted free_list and merge it if it become continous 
 }
 
 //sorted free_list and merge it if it become continous 
@@ -217,7 +215,9 @@ void mempool_free(mempool_type *mptr, void *ptr_free)
     mempool_header    *freelist_head_ptr;
     mempool_header    *current;
     mempool_header *previous = NULL;
     mempool_header    *freelist_head_ptr;
     mempool_header    *current;
     mempool_header *previous = NULL;
-    mempool_header *to_free = (mempool_header *)ptr_free;
+    mempool_header *to_free;
+
+    to_free = (mempool_header *)((char*)ptr_free - sizeof(mempool_header));
 
     mempools_head = &(mptr->mempools_head);
     freelist_head = &mptr->freelist_head;
 
     mempools_head = &(mptr->mempools_head);
     freelist_head = &mptr->freelist_head;
@@ -225,13 +225,29 @@ void mempool_free(mempool_type *mptr, void *ptr_free)
     current = freelist_head_ptr;
 
     free_size = to_free->size;
     current = freelist_head_ptr;
 
     free_size = to_free->size;
-    free_lastbytes_pos = (char*)ptr_free +free_size;
+    free_lastbytes_pos = (char*)to_free +free_size;
 
 #if  MEMPOOL_DEBUG
 
 #if  MEMPOOL_DEBUG
-    printf("[%d] INSIDE FREE ptr=%p, size=%d freehead=%p mutex: %p\n", CmiMyPe(), ptr_free, free_size, freelist_head, mptr->mutex);
+    printf("[%d] INSIDE FREE ptr=%p, size=%d freehead=%p mutex: %p\n", CmiMyPe(), to_free, free_size, freelist_head, mptr->mutex);
 #endif
     
 #endif
     
-    while(current!= NULL && current < to_free )
+    /*while(current!= NULL && current < to_free )
+    {
+#if  MEMPOOL_DEBUG
+        CmiPrintf("[%d] previous=%p, current=%p size:%d %p\n", CmiMyPe(), previous, current, current->size, (char*)current+current->size);
+#endif
+        previous = current;
+        current = current->next_free?(mempool_header*)((char*)mptr + current->next_free):NULL;
+    }*/
+    while(current!= NULL && memcmp(&current->mem_hndl, &to_free->mem_hndl, sizeof(gni_mem_handle_t))!=0)
+    {
+#if  MEMPOOL_DEBUG
+        CmiPrintf("[%d] previous=%p, current=%p size:%d %p\n", CmiMyPe(), previous, current, current->size, (char*)current+current->size);
+#endif
+        previous = current;
+        current = current->next_free?(mempool_header*)((char*)mptr + current->next_free):NULL;
+    }
+    while(current!= NULL && current < to_free && memcmp(&current->mem_hndl, &to_free->mem_hndl, sizeof(gni_mem_handle_t))==0)
     {
 #if  MEMPOOL_DEBUG
         CmiPrintf("[%d] previous=%p, current=%p size:%d %p\n", CmiMyPe(), previous, current, current->size, (char*)current+current->size);
     {
 #if  MEMPOOL_DEBUG
         CmiPrintf("[%d] previous=%p, current=%p size:%d %p\n", CmiMyPe(), previous, current, current->size, (char*)current+current->size);
@@ -243,7 +259,7 @@ void mempool_free(mempool_type *mptr, void *ptr_free)
     if (current) CmiPrintf("[%d] previous=%p, current=%p size:%d %p\n", CmiMyPe(), previous, current, current->size, free_lastbytes_pos);
 #endif
     //continuos with previous free space 
     if (current) CmiPrintf("[%d] previous=%p, current=%p size:%d %p\n", CmiMyPe(), previous, current, current->size, free_lastbytes_pos);
 #endif
     //continuos with previous free space 
-    if(previous!= NULL && (char*)previous+previous->size == ptr_free &&  memcmp(&previous->mem_hndl, &to_free->mem_hndl, sizeof(gni_mem_handle_t))==0 )
+    if(previous!= NULL && (char*)previous+previous->size == (char*)to_free &&  memcmp(&previous->mem_hndl, &to_free->mem_hndl, sizeof(gni_mem_handle_t))==0 )
     {
         previous->size +=  free_size;
         merged = 1;
     {
         previous->size +=  free_size;
         merged = 1;
@@ -276,7 +292,7 @@ void mempool_free(mempool_type *mptr, void *ptr_free)
             previous->next_free = (char*)to_free - (char*)mptr;
     }
 #if  MEMPOOL_DEBUG
             previous->next_free = (char*)to_free - (char*)mptr;
     }
 #if  MEMPOOL_DEBUG
-    printf("[%d] Memory free done %p, freelist_head=%p\n", CmiMyPe(), ptr_free,  freelist_head);
+    printf("[%d] Memory free done %p, freelist_head=%p\n", CmiMyPe(), to_free,  freelist_head);
 #endif
 
     CmiAssert(*freelist_head >= 0);
 #endif
 
     CmiAssert(*freelist_head >= 0);