d8a38facec58d442c630793638dcfe1ee9384e1b
[charm.git] / doc / charm++ / machineModel.tex
1
2 At its basic level, Charm++ machine model is very simple: Think of
3 each chare as a separate processor by itself. The methods of each
4 chare can access its own instance variables (which are all private, at
5 this level), and any global variables declared as {\em readonly}. It
6 also has access to the names of all other chares (the ``global object
7 space''), but all that it can do with that is to send asynchronous
8 remote method invocations towards other chare objects. (Of course, the
9 instance variables can include as many other regular C++ objects that
10 it ``has''; but no chare objects. It can only have references to other
11 chare objects).
12
13
14 In accordance with this vision, the first part of the manual (up to
15 and including the chapter on load balancing) has almost no mention of
16 entities with physical meanings (cores, nodes, etc.). The runtime
17 system is responsible for the mgic of keeping closely communicating
18 objects on nearby physical locations, and optimizing communications
19 within chares on the same node or core by exploiting the physically
20 available shared memory. The programmer does not have to deal with
21 this at all. The only exception to this pure model in the basic part
22 are the functions used for finding out which ``processor'' an object
23 is running on, and for finding how many total processors are there.
24
25 However, for implementing lower level libraries, and certin optimizations,
26 programmers need to be aware of processors. In any case, it is useful
27 to understand how the Charm++ implementaiton works under the hood. So,
28 we describe the machine model, and some associoated terminology here.
29
30 In terms of physical resources, we assume the parallel machine
31 consists of one or more {\em nodes}, where a node is a largest unit
32 over which cache coherent shared memory is feasible (and therefore,
33 the maximal set of cores pver which a single process {\em can} run.
34 Each node may include one or more processor chip, with shared or
35 private caches between them. Each chip may contain multiple cores, and
36 each core may support multiple hardware threads (SMT for example).
37
38 Charm++ recognizes two logical entities: a ``node'' and a PE
39 (processing element).  In a charm++ program, one may partition a
40 physical node into one or more logical nodes. What Charm++ calls a
41 ``node'' is this logical node. In the implementation, a separate
42 process exists for each logical node. The RTS may optimize
43 communication within a logical node by using shared memory. A PE is a
44 unit of mappiong and scheduling: each PE has a scheduler with an
45 associated pool of messages. Each chare is assumed to reside on one PE
46 at a time. Depending on the runtime command-line parmeters, a PE may
47 be associated with a subset of cores or hardware threads. 
48
49 For example, on a machine with 16 core nodes, where each core has two
50 hardware threads, one may launch charm with 32 PEs per (logical) node,
51 and one logical node per physical node. Alternatively, one can launch
52 it with 12 PEs per logical node, and 1 logical node per physical
53 node. One can also choose to partition the physical node, and launch
54 it with 4 logical nodes per physical node (for example), and 4 PEs per
55 node. zit is usually not a good idea to launch Charm with more PEs
56 than there are hardware threads on each node. More information about
57 these launch time options are provided in [manual for how to run charm
58 apps] and [Chao's section on SMP related primitives in this manual].
59
60  
61
62