05.07 · 2002. 7. 5. · 05.07.2002 3 jr - ra - ss2002 kap. 6 5/14 " ' " 5 % !# g f ⇒ h #! ) $ %...
Transcript of 05.07 · 2002. 7. 5. · 05.07.2002 3 jr - ra - ss2002 kap. 6 5/14 " ' " 5 % !# g f ⇒ h #! ) $ %...
-
05.07.2002
1
JR - RA - SS2002 Kap. 6 5/1
���������
❚ ����������
❙ ����� ��������� ��������� �����������������
❚ �����������������
❚ ���������������
❚ �����������������
❚ ������������
❚ ���������������������� ���
�� ����������������������
��� ���������������������
��� �����������������
��� ������
��� �������������
��� �!"#��"$��%
�� �������������������������
JR - RA - SS2002 Kap. 6 5/4
������� � ��������� ��������� ��������
❚ ������������ �� �������� �� ���� ����
❙ ������������ ���� �� ����������� ����
❙ → ��������� ������� ��� �� ��
❚ ������������ �� ���������������� ���� �� ����
❙ ��������� ��� ���������������������
❙ �� ��������
������ → ������������ �����������!
❚ ����������� ��� "����� �� #�$��$������ �� ��� "��$������� ���%
�� ����
❙ &� '���������� ��� (�������� &������)�����
❙ → ��� ����� ����� !!" ��� #�$��� �%� ������
❚ ������������ �� ���)���������
JR - RA - SS2002 Kap. 6 5/5
������� ��� ����� ���� ��� ���� ��������������
�����
❚ ���������� ������
����� ������� �� ����� �������� ��� �������� ��������
���� ������� �� ��� ����� ������� ����� ������� ���
�������� ������ ��� ���� �������� ���
�������� ����� ���� �!"� !# ����������������
❚ ����������������
����� ������� ���!��� �� ����� �������� �� ��� ���
�������� ������� ���
�� ������� ��� $�����%��� �!���� #��
�� �������� ��������
�������� ����� ��!���&�������' "� ����� �������� ������������
�! �� ������� �����!� "����� $�������������� ���� ����� ��
��%�� (����
JR - RA - SS2002 Kap. 6 5/6
���������� �� �������������������
�������
❚ ������� ��� )����������"�% �� ��%����������
❙ *���!! �! !���� ��%�� ������� ���� �+�����
❙ $�����%��� ���� ������� �� ��������
❙ ���� �����%������ �%����
%���
P1
Cache
M1
P2
Cache
M2
P3
Cache
M3
P4
Cache
M4
Verbindungsnetzwerk
-
05.07.2002
2
JR - RA - SS2002 Kap. 6 5/7
���������� �� �������������������
������� ��
❚ ����������� ,������������ ��,� - ��
�� ����� ���������
❙ �������� ������������ �������
❙ ����� �������� ��� �����%����� ��������� �������
❙ .���%��� �� �����������!!����� ���� ��%�� (����
❙ /, �/�!��&,����& �����&,������
❙ �������� (���&$��0��
❙ ���������� �12 (������' �� �������
P1
Cache
P2
Cache
P3
Cache
P4
Cache Speicher
JR - RA - SS2002 Kap. 6 5/8
���������� �� �������������������
������� ��
❚ )������� �������� ������� ���,-���������� ��
�� ������
❙ ��%�� �������������
❙ �������� ��3��
❙ �/, ���&/�!��&,����& �����&,������
Beispiel�
���� ��
Verbindungsnetzwerk
P1
M1
P2
M2
P3
M3
P4
M4
JR - RA - SS2002 Kap. 6 5/9
���������� �� �������������������
������� ��
❚ )������� �������� ������� ��� ��%��� (���
❙ ��%�� �������������
❙ �������� ��3��
❙ *���!! �� �������� #�� ������������ (���
❙ ��&�/, ����� ������ �/, �
����������
� ����� ���
������ ������
Verbindungsnetzwerk
P1
M1
Cache
P2
M2
Cache
P3
M3
Cache
P4
M4
Cache
JR - RA - SS2002 Kap. 6 5/10
���������� �� �������������������
������� ��
❚ (���&4��&,����& �����&,����� �(4, � ,�����
❙ �� ���� %��� 5����������' ���� � (����������
❙ ������ "����*+������)� ,������� ��� -���� �����(��� "�����
P1
Cache
P2
Cache
P3
Cache
P4
Cache
����������
�� ���
Verbindungsnetzwerk
JR - RA - SS2002 Kap. 6 5/11
��������� �� ������������������
�������
���� ��� ����������� ��������������
❙ ���������� ������� �������� �����������
❙ ���������� ������� ���������� ����������
❙ �������������� ������� ���������� ����������
���� ��� ����������� ��� �����������
❙ �������� ����������� ���� ����������� ���� ����
❙ �������� ����������� ����������� ������ ��� ������������������������
��� ��� ���������� �������� ��������������
❙ ���������� ����������� ��� ����������� ���� ��� ����� !���� ���"���� ������������� �����������
❙ �������������� ����������� �� ��� #������ ��� ������
��� ��� ���������������� ��� �����������
❙ ���� ��������� ����������� �������$ ��� ������������ !������
❙ ��� ��������� ����������� �"��$����� ��� !�����
JR - RA - SS2002 Kap. 6 5/12
����� ��
�� ����� ���
❚ ������� �� ��� !������� �� "�������
❙ #$ %���� #������� ����' ���� $� �����
→ ����� (������
❙ #&$ ����� #������� ����'&������� $� ������→ )�%��
���� ��6� (�&7 �789:�' (�&; �78
-
05.07.2002
3
�� ���
���������������������
JR - RA - SS2002 Kap. 6 5/14
Verbindungsstrukturen
❚ �� "��� ���������� '���� �"����� �� �������� ��� ��� ��
5�����%�� !# ��� G������ ��� �
�����F�������� ��������
⇒ ���� H���� ������ ��� !# �
���������� ��������❚ )��������� $�����%�������%��� ���������� ���� �����������
��� $���� �� ��� G�������
Beispiel:VollständigerVerbindungsgraph
JR - RA - SS2002 Kap. 6 5/15
������������ �� ������������
❚ Die Topologie eines Parallelrechners/Netzwerkeswird durch einen abstrakten Graphen G=(V,E)dargestellt, mit
❙ V = { 1, ... , n } Menge der Knoten, d.h. derProzessoren bzw. Schaltelemente
❙ E ⊆ { {a,b}; a,b ∈ V }, die Menge der Kanten,d.h. der Verbindungen
JR - RA - SS2002 Kap. 6 5/16
��������������� ���� ��������������
❚ ����������� ��� ������������ ������ ��� �� �������� ���! ���� ���� ��!�� ��� �� ��� �� "�������� ����������� ������ ��
❚ �������������
��� #����� ��� ������� �� �� ��!�� �� �������� ���� �� �� #���� !� ���� #���� ������
❚ ������� ��� ���������$�%��� �����! ��� �� #������&���� !���'��!������ ��� �� ��!�� �� �������� �� ����������� ���� ������ �� �(����� ��� �� ���%���� '���)� !������ !�� #�����
JR - RA - SS2002 Kap. 6 5/17
��������������� ���� ��������������
❚ !������"��#��� �� �������� �������$*�� � ��)+� � �������� ������ �)��� ���� ���� ������(��������
❚ ������� $����������$#��! ����� ��)� � ��� �� �������� � ����������� ���!� ���� ���������
❚ ���#������*�� �������� ���! ��+� ���#������%���& ���� ,� ������� �������� !������ �� '��!����� ���!������ �� '��!����� ��� "(����� ����)� � ������� ������� �������� � �� ����� ���� &���
JR - RA - SS2002 Kap. 6 5/18
��������������� ���� ��������������
❚ '�(��������#��� $�����(��!����� &-��� � ��!�� �������� ��� ��� ���������((��� �� ��!�� �� '��!����� ������� ����
❚ �#��������#��� $.)�� &��� �� ��������� *� ������� ���������� ���!� ��� �� ����� � *��-��� ��#����!�� ��!�������
-
05.07.2002
4
JR - RA - SS2002 Kap. 6 5/19
��������������� ���� ��������������
❚ )��%����������* ��� !�����* $�������� � !������ #���� ���� ����� ��� ���� !�������� ��� ��!�� *���� �� ��!�/"��������� ����� �0 ������� *�� �������������! ���� ��� !������ ,�� '
� �� #������������ ��� !����� �������� 1 ������������ *� ������ ��� "2����� �� ������ ��!���#��(����� ���� ��� 3� ��� ���&����������� !������� ��� ��� ��� �������� ������ � ���� ���������� �������� bezeichnet.
JR - RA - SS2002 Kap. 6 5/20
��������������� ���� ��������������
❚ ������* oder +�������������������:Die maximale Übertragungsleistung des Verbindungsnetzesoder einzelner Verbindungen, meist in Megabits proSekunde (MBit/ s).
❚ ����������� ��� ,%���������oder-���%����:die Art, wie der Weg einer Nachricht vom Sender- zumZielknoten berechnet wird. Die Wegefindung sollte einfachsein, um mittels eines schnellen Hardware- Algorithmus injedem Verbindungselement implementierbar zu sein. Zueiner Verbindungsstruktur kann es mehrereWegefindungsalgorithmen geben.Unterscheidungsmerkmale
JR - RA - SS2002 Kap. 6 5/21
��������������� ���� ��������������
❚ Bei �������� .��*� existieren fest installierteVerbindungen zwischen Paaren von Netzknoten.
❚ ������ .��*� enthalten eine Komponente„Schaltnetz“, an die alle Knoten über Ein- und Ausgängeangeschlossen sind. Direkte fest installierte Verbindungenzwischen den Knoten existieren nicht.
JR - RA - SS2002 Kap. 6 5/22
��������������� ���� ��������������
❚ -���(����� .!/ (�0 ���∈ � 1 2���� ��� �3�)����� ������ ��� � ���� �4
❚ .��� .! / (�0 �∈ � 5 1 � ∈ '6 1���4 ∈ 7 4 5❚ ,�)��� ��� $�8����������� '��������� .! / 5 7 5
❚ (���(��� �����������������9���� (�� ��� :��) �� )��� ���������! ������ ���;� #������ , ���� �� ��; ��� ,�)��� ��� +����� � )������� , �� � (���(�� ���� ������ � ��� (���(��� ����������������)�������
❚ -��������������� � / ����� ���� +����� �� , ������ ���� :�������� �� +����� ��� �� (�������
❚ +����������������� + .! /.��� .! ? (�0 -���(����� .!�-��������������� .!!
JR - RA - SS2002 Kap. 6 5/23
����������� ��
���������������������
Netzwerke
statisch dynamisch
Bus Kreuzschiene Schalternetzwerk
einfach
mehrfach
hierarchisch
eindim.
zweidim.
dreidim.
höher dim.
JR - RA - SS2002 Kap. 6 5/24
��������� ���������������� �����
❚ Kette
■ Durchmesser = n-1
■ Grad = 2
■ |Verbindungen| = n-1
■ e = 1
■ d = n
■ K = 2n
Großer Durchmessersehr fehleranfällig
-
05.07.2002
5
JR - RA - SS2002 Kap. 6 5/25
��������� ���������������� ����
❚ ������������� ������� ��������
■ Durchmesser = 1
■ Grad = n-1
■ |Verbindungen| = n(n-1)/2, keine „Kollisionen“
■ e = (n/2)2
■ d = 4/n
■ K = (n-1)*max(1,4/n)=n-1 n>4
Zu teuer wegen dem großen Fanout
JR - RA - SS2002 Kap. 6 5/26
��������� ���������������� ����
❚ ����
■ Durchmesser = 2
■ Grad = n-1
■ |Verbindungen| = n-1
■ e = n/2
■ d = 2
■ K = (n-1)*max(2,2)=2*(n-1)
Zentraler Knoten ist Flaschenhals
JR - RA - SS2002 Kap. 6 5/27
��������� ���������������� ����
❚ !���
■ Durchmesser = n/2
■ Grad = 2
■ |Verbindungen| = n
■ e = 2
■ d = n/2
■ K = 2*max(n/2,n/2)=n
Beispiel für Ring: Token-RingEs kreist ein sogenanntes Token(spezielles Paket).Ein Rechner darf nur dann senden, wenner das Token besitzt.
JR - RA - SS2002 Kap. 6 5/28
�������� � ����������� � �������������
(��������������
❚ Ring-Topologie
❚ Besteht aus zwei gegenläufigen Ringen→ �������������� ���
❚ ��� ������� �� ��� ���������
[Copper / Fiber Distributed Data Interconnect]
JR - RA - SS2002 Kap. 6 5/29
������������� ��� �������������
JR - RA - SS2002 Kap. 6 5/30
��������� ���������������� ����
❚ )$ *�����
■ Durchmesser = a+b-2
■ Grad = 4
■ |Verbindungen| = a(b-1)+b(a-1) = 2ab - a - b
■ e = min(a,b)
■ d = ab/min(a,b)
■ K = 4*(a+b-2) a>1, b>1
a
b
-
05.07.2002
6
JR - RA - SS2002 Kap. 6 5/31
��������� ���������������� ����
❚ &�� �����0������� 1�����
■ Durchmesser = n1/2
■ Grad = 4
■ |Verbindungen| = 2n
■ e = 2n1/2
■ d = n1/2/2
■ K = 4*n1/2
Typischer Vertreter war das Transputer-Netz von INMOS
JR - RA - SS2002 Kap. 6 5/32
��������� ���������������� !����
❚ ����� �� ��&��������� I#!���
■ Durchmesser = log n
■ Grad = log n
■ |Verbindungen| = (n log n) / 2
■ e = n/2
■ d = 2
■ K = (log n)2
JR - RA - SS2002 Kap. 6 5/33
�!�!�!�!""""������������!!!!####������������������������
❚ Die Knotennummern werden als Binärzahlengeschrieben, dadurch unterscheiden sichbenachbarte Knoten in genau einer Stelle, diezudem die Richtung der Verbindung angebenkann.
❚ Eine einfache Wegewahl:die Bits in Start- und Zieladresse werden mittelseiner XOR- Verbindung verknüpft und dasResultat bestimmt die möglichen Wege.
JR - RA - SS2002 Kap. 6 5/34
�!�!�!�!""""������������!!!!####������������������������
❚ 8�� �� ��������� �� ������ ����� �� ��������� ������9�������� ��� #��� :5��(������� �� /#����; #����;0
❚ 5��(��$ � : /?@?0 ��� 5 :/@@@0
000
010 011
001
100 101
111110
010 xor 111 = 101
Y-Achse X-Achse
JR - RA - SS2002 Kap. 6 5/35
��������� ���������������� !����
❚ ( �� (�������� (��� �(((�
■ d = Dimension
■ r = Anzahl Knoten in Ringen
■ häufig: r=d
■ |Knoten| = 2d*r = n
■ Durchmesser = (r/2)*d
■ Grad = 3
■ |Verbindungen| = (d*dd)/2 + 2d*r
■ e = 2d/2
■ d = 2r
■ K = 3*(r/2)*d für d > 4, 6r für d < 4
JR - RA - SS2002 Kap. 6 5/36
"�������� ���������������
❚ � �
■ Ein Bus läßt sich als Stern modellieren, wobei der zentrale Knotenaber kein Prozessor ist, sondern der zentrale Bus.
■ Gleiches „Flaschenhalsproblem“ wie bei Stern.
Topologie versagt bei den heutigen Technologien bei grossem Datentransfer zwischen den Prozessoren
-
05.07.2002
7
JR - RA - SS2002 Kap. 6 5/37
�������� � ���������� �������
(��������������
❚ �����������
❚ �� � ��� ��� � �����
❚ ��
�!"���� �� ��
�"#$� %�� ������� ���
❚ &�'� ���#"��'�"( ��� ����� �� )
❚ *+����, �'��"�
� -�" �� Bridge �� �" .����� %"�����/�� �� &�'�"�'�� ��" ��� %"��"�
Übertragungsvorgang❚ &�'�"�'�� �"�� �� ��
��" +��� �"�� 0�� ��
���
Headerinformation �� ���������� ��� �������������
❚ 0�" �'��" ��"'� �� ��� ��� ������ �� ��
/ �� ��� .�"��
"���
❚ 1������� %�� ��""� ���"� �"�� "�����
❚ 2�� 1������/ ���� ���" "��" ���%"��'�
JR - RA - SS2002 Kap. 6 5/38
$������� � %������������
❚ ���������
❚ 9����������� ��
JR - RA - SS2002 Kap. 6 5/39
"�������� ��������������� ��
❚ Crossbar Switch
meist verwendete Struktur bei Parallelrechnern mit gemeinsamen"nichtverteilten" Speicher
entspricht
CPU 0CPU 1CPU 2CPU 3CPU 4CPU 5CPU 6CPU 7
S0 S1 S2 S3 S4 S5 S6 S7
Verbindung
keineVerbindung
Nachteil: n⋅m Crosspoints
entspricht
JR - RA - SS2002 Kap. 6 5/40
&��������������'����
❚ ������� �� ���� ������� �� #��!������
❚ ��� ��� �� 7���������� /A 7���)�� : @ 5��0$
❚ '��������$ ( *�� )� ���� (���� �� (��� )� ������ /*�� )� ���� (�������0
❚ *������� � �������� ��� ���& &�((�� ��!
❚ > ��)�6��� ��)� '�����������!��&
JR - RA - SS2002 Kap. 6 5/41
&��������������'����
❚ ��������������� '����� ���
��)
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
Perfect shuffle:PS(n) = 2 * n for n < N/2PS(n) = 2 * n - N + 1 for n >= N/2
M(an,...,a1) = an-1, ... , a1,an
JR - RA - SS2002 Kap. 6 5/42
&��������������'����
❚ -���������������
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
K(an,...,a1) = a1, an-1, ... , a2,an
-
05.07.2002
8
JR - RA - SS2002 Kap. 6 5/43
&��������������'����
❚ ���������������
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
T(an,...,a1) = an ,an-1, ... , a2,a1
JR - RA - SS2002 Kap. 6 5/44
&��������������'����
❚ :���������������� '�������)
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
U(an,...,a1) = a1, a2, ... , an-1,an
JR - RA - SS2002 Kap. 6 5/45
"�������� ��������������� ��
❚ Omega Netzwerk ���� ���!� �� ,��������������
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
1A
1B
1C
1D
2A
2B
2C
2D
3A
3B
3C
3D
PROZESSOREN
SPEICHER
... besitzt nur n/2 log n Schalter
JR - RA - SS2002 Kap. 6 5/46
"�������� ��������������� ��
❚ ���� ������
❙ ��� ����� ����� ����� �������� ��� ��� %&�����
❙ ��� ������ ����� ����� �������� ��� ��� '&�����
❙ ��� ������� ��� ����� � ������� ���� ��� �&��� (�� ��� )����������
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
1A
1B
1C
1D
2A
2B
2C
2D
3A
3B
3C
3D
PROZESSOREN
SPEICHER
JR - RA - SS2002 Kap. 6 5/47
"�������� ��������������� ��
❚ ,���� �������
❙ ���� *��� +������$����� ��� ��������� �,���� ��� ���� ����)����������� �������� ���������� ���� -blocking network.
000
001
010
011
100
101
110
111
000
001
010
011
100
101
110
111
1A
1B
1C
1D
2A
2B
2C
2D
3A
3B
3C
3D
PROZESSOREN
SPEICHER
JR - RA - SS2002 Kap. 6 5/48
(���!)���'���
❚ ��� � ����
❚ ��������������
������ �� ����
❚ ������ �� ���� �
��� ��� ���� ��
���������� ��� ��
����� � � ��
�������� ��
��������
❚ ���� �� ���� ���
���������� ��� ��
��� ��� !�"����
000001
010011
100101
110111
-
05.07.2002
9
JR - RA - SS2002 Kap. 6 5/49
%��������!)���'���
❚ ��� � ����
❚ #�$������������
������ �� ����
❚ ������ �� ���� �
��� ��� ���� ��
���������� ��� ��
����� � � ��
�������� ��
��������
❚ ���� �� ���� ���
���������� ��� ��
��� ��� !�"����
000001
010011
100101
110111
JR - RA - SS2002 Kap. 6 5/50
%���!)���'���
❚ %�� � ����
❚ #�$������������
������ �� ����
❚ ������ �� ���� �
��� ��� ���� ��
���������� ��� ��
����� � � ��
�������� ��
��������
❚ ���� �� ���� ��
�������������� ���
�� ��� ���
!�"����
000001
010011
100101
110111
JR - RA - SS2002 Kap. 6 5/51
*���!#������ &�������
0
1 000001
010011
100101
110111
0 1
1
000001
010011
100101
110111
Butterfly Banyan Delta
❚ Zieladresse liefert Wegeinformation
❚ jede Stufe betrachtet das korrespondiesernde Bit derZieladresse
❙ @%A ������� :�������� �� ��� ����� ,�����
❙ @�A ������� :�������� �� ��� ������ ,�����
0
0
1 000001
010011
100101
110111
0
JR - RA - SS2002 Kap. 6 5/52
%���+ )���'���
000001
010011
100101
110111
❚ B ��� � *� =����
❚ &��((�������)� �� )��� ���$������� �������8*:��)������
JR - RA - SS2002 Kap. 6 5/53
�����!"��� �� ��� &%����
❚ (������
❙ B� '�������� &�� &�����&���� ������ ����
❙ ������ $ !�� 5������2���!��& �� "�� �������� ��� *� ������C
❚ "������2
❙ �� '���������� ��� ��� &��(�% ��� ��+����� ������� ����� ����� ����
JR - RA - SS2002 Kap. 6 5/54
��������������
❚ ,�#��01���������� ����������
❙ Nachricht wird in ein oder mehrere Pakete verpackt
❙ Jedes der Pakete enthält die Adresse des Empfängers
❙ Es wird kein Pfad vom Sender zum Empfänger freigeschaltet
❙ Das Paket wird in Abhängigkeit der Empfängeradresse immernur zu einem direkten Nachbarn geschickt.
❚ $������1���������� ����������
❙ Es wird im Netzwerk ein Pfad vom Sender zum Empfängergeschaltet, über den alle Nachrichten geschickt werden ( Bsp:Telefonverbindung)
-
05.07.2002
10
JR - RA - SS2002 Kap. 6 5/55
������������������� ����������
➚ "����� 4���� �� ����� ����� �
➘ �������� '�� ����&��� ��� �������� �
Sender 1
Sender 2
Sender 3
Empfänger 1
Empfänger 2
Empfänger 3
JR - RA - SS2002 Kap. 6 5/56
����������������� ����������
➚ #�� �������� ���� �� ����
➘ 3��������� � �)���� ��� 4���� �� �- ����
Sender 1
Sender 2
Sender 3
Empfänger 1
Empfänger 2
Empfänger 3
JR - RA - SS2002 Kap. 6 5/57
$����������������
❚ zielbasiert / ������������� ������ 0$#�(���� ��� '&�� /��� ��� ��������0 ���� ���
��� �2������ ������ � *�(�)� ���������� �� �� �� 1 ������ �� ,��7��&���� !�� ������ ��� 4���� �� �&��� ���!� ����
❚ quellenbasiert / ����������� ������ 0$'&� ���� ��� ��� D���������� ����� �� ����� 7������&���� !�� *�(�)� � !� �� �� .��,�� 7������&���� ���� �� ���� �� ��!�� �� �������� �� �� '&� ���� �����
JR - RA - SS2002 Kap. 6 5/58
,���'-�
❚ DeterministischeWegewahl:��������� !������ !�� #���� ����� ���� �� ����� 1 ��❙ '������� ��������� ������������
❙ :��������� ���D���� ED��������� ) ������������� E����� ��>������������)�
❚ )�����1� -���(���$�- ����&�� ��� ��� 1 !� �����
❙ :�������� 7���� �D����� #�������*,������
❙ '������� ���������� =������� �� ����������� +����� ����=��������(���� �D���� (������ �������
JR - RA - SS2002 Kap. 6 5/59
���������������������
❚ $�������������� -��������$�� 1�� ����� ;�$�� !����� ��� �����$��������
❚ ���$��������� -���������� ���������� ������� $�� ����������� #��$����/����� �������$����� �����
��
❙ Beispiel: Valiant-Paradigma❘ F��� ) ����� )�������� &��������������
❘ F��� ���� ���� )( &���
JR - RA - SS2002 Kap. 6 5/60
'"� ��� (�����������
❚ Eine Nachricht selbst wird in eine Anzahl von+����������������� / ���� E ������� ������������ E ��� ��� ���� E ���� �������
��� E ����0!�� ��
❚ *�� Phit ��� ��� �� ���(������� �� !� ���7��(��&� !������ !�� #���� ����� � ����&���
❚ 5� �� �������������� �� !������ ������������� "���� ��� *�(�)� �&���� ���� '�����-�� �
-
05.07.2002
11
JR - RA - SS2002 Kap. 6 5/61
'"� ��� (�����������
❚ 5� �� 7�������(������ ���� �� #���� ������� �� ��� ��� '���� ����� ����)����
❚ ��� ������ ����� �� !��)�!���� �����0��������/ ���� ������� 0 !�5� ���
❙ spezielle Leitungen (z. B. ��� - oder �����-Leitung) vomempfangenden (Zwischen-)Knoten zum sendenden (Zwischen-)Knoten
JR - RA - SS2002 Kap. 6 5/62
���������������
❚ �����0��0%��(���03����$�������� ���� �� ,�� 7������&���� �� *�(�� ������ �����)��� !������ �(����� ��� ������� ����� �
JR - RA - SS2002 Kap. 6 5/63
���������������
❚ �������0��0�������03����$
❙ :�������� ���� ��� +���� ��� ����� �����$��������
❙ -�� +�$����� ��� :�������� ������� ��� 7($������������� ��
����((� ��� ���)����������� G���
❙ ��� ,����� ��� ������ ����� �� ����( &������������� ��������� ������ �� ��� �������� +����� ��������������� ����� ������� ������� ���� ����
❙ ,��� ������� ������ ������� ��� �� ����� ��$�����* '����������
❙ ����((���� -���� ������ ��� �& '���������� �( +���������������� )����������$��������
❙ �� H���( +����� ������ ����� ����� ��������� ��� ��� ���(�0�(�� ���;�� :����������$���� )��������$������� �D����
JR - RA - SS2002 Kap. 6 5/64
���������������
❚ -�������0������03����$
❙ ������� ����� I��������������� �������� ����� (�� ���'�����*��*������*E��� ����������
❙ >���� ��� +�$����� ��� :�������� �� ����� +���� ������� ��� ������
����� ���� ���� �� ���������
❙ ,��� ������������� I������������������ ��� :����������������� ���� �������� �� ����� �������������� ��������� ����� ���������� �������� ����
❙ -��� ��� '�������� ������ ��� ����� ������������� +�������� �3� ������� :���������� ���������
JR - RA - SS2002 Kap. 6 5/65
���������������
❚ ��%%���� (������� �������
❙ +�($��(����D��� )������� '�����*��*������* ��G��(����*������*E���
❙ �����)��� ����� )� ,����(� ��������� ������ ���������
❙ ��D;��� ������ ������ �( ��������������� ������� ��(G��(����*������*E��� �� ��� ������ (������� +�����)����������$��������
�� ��.
���������������������/ %��������
-
05.07.2002
12
JR - RA - SS2002 Kap. 6 5/67
0���� &������ &�� 1��
❙ Bis zu 4 Prozessoren
❙ 66 MHz Busverbindung mit
bis zu 528 MB/sek
❙ Koherenz- und
Multiprozessorlogik im
Prozessor integriert
P-Pro bus (64-bit data, 36-bit address, 66 MHz)
CPU
Bus interface
MIU
P-Promodule
P-Promodule
P-Promodule256-KB
L2 $Interruptcontroller
PCIbridge
PCIbridge
Memorycontroller
1-, 2-, or 4-wayinterleaved
DRAM
PC
I bus
PC
I busPCI
I/Ocards
JR - RA - SS2002 Kap. 6 5/68
*2) ����������
❙ Bis zu 16 Einsteckkarten: (bis zu 4) Prozessor + Speicher oder I/O-Karte
❙ 100 MHz Bus mit bis zu 2GB/sek
Gigaplane bus (256 data, 41 address, 83 MHz)
SB
US
SB
US
SB
US
2 F
iber
Cha
nnel
100b
T, S
CS
I
Bus interface
CPU/memcardsP
$2
$
P
$2
$
Mem ctrl
Bus interface/switch
I/O car ds
JR - RA - SS2002 Kap. 6 5/69
"�� 3.�
❙ Bis zu 2048 Prozessoren, 480MB/s Verbindungen
❙ DSM: Memory controller generiert Kommunikationsanforderungen für
nichtlokale Speicherzugriffe
❙ Spitzen-Bisektionsbandbreite: 166GB/sec (512 Prozessoren)
JR - RA - SS2002 Kap. 6 5/70
0%� *&!�
❙ B �� ��B +�����
❙ C���� +����� ��� ���������������� F=J%%%G����������
❙ '�����������)�
❘ 4x4 Crossbars
❘ 8 Crossbars =16x16 Verbindungsnetz
Memory bus
MicroChannel bus
I/O
i860 NI
DMA
DR
AM
IBM SP-2 node
L2 $
Power 2CPU
Memorycontroller
4-wayinterleaved
DRAM
General interconnectionnetwork formed from8-port switches
NIC
JR - RA - SS2002 Kap. 6 5/71
0���� &����
❚ 2D Gitternetzwerk❚ Wormhole routing❚ größtes System mit
1984 Knoten
JR - RA - SS2002 Kap. 6 5/72
"��������� ��-���/ "�4
❚ 32 - 16384 Prozessoren
❚ message-passing, distributed memory
❚ Control-, Data- und Diagnostic-Network
❚ MIMD, SIMD möglich durch Control-Network
Routinginfo, -verfahren IRQ-Vector
-
05.07.2002
13
JR - RA - SS2002 Kap. 6 5/73
0550$" 6 7*0�(8
❚ 1 "control unit" (CU) mit Zugriff auf den Speicher steuert 64Prozessoreinheiten (PUs)
❚ jede PE hat lokalen Speicher
❚ jede PE teilt Speicher mit benachbarten PUs
❚ 2D Gitterstruktur
JR - RA - SS2002 Kap. 6 5/74
��&� �&� 7*0�(8
❚ ��� ) �J�K�L ���)��������(����
❚ C���� +����� ��� (�� ������ � :������ �������
NW N NE
W PE E
SW S SE
�� ��6
5����������'������
JR - RA - SS2002 Kap. 6 5/76
5����������'������
❚ ������ ��� >����� �)+� ���� ���������������������
❙ ,������)���
❘ Zeit für ein Programm.
❙ -������)
❘ Zahl der gleichzeitig verarbeiteten Programme.
❚ "�� ������ ������ ��+ ���� �D'"�
❚ ���� .��� �� ������ ������ ��� �������� �� ����
❙ ���������� ����� ��������� ������((�
❙ �����(����
JR - RA - SS2002 Kap. 6 5/77
5����������'������ ����- �0&*
❚ (������
❙ ��� ������ ��� ����� ���)������� �+�
❚ "������
❙ "������ >���� &-��� ����� � �D'"�7������
❙ �)� � �� 5������! �� >����� ��
❙ "(���� ���� ����� ����&������ ��
❙ 5������2��� ���� ����� ����&������ ��
JR - RA - SS2002 Kap. 6 5/78
5����������'������ ����-
%���-����
❚ *� ���� �� '�� ��� �� �� >�����
�� ������
❚ ������ ���� "(����� D6=� 5������2����F��(���� ��� ����&������ ��
❚ 3� ��� &�)��� �� ���� ����� !� &-��������� �2(���� ������� � � ����� �����
❚ "���� �2(���� ������� � ���� �� 5�����&�!����� �+�$
❙ =�7"*�����(���� �����$����������!
❙ 9�"*�����(����
❙ -�:*�����(����
❙ ���
-
05.07.2002
14
JR - RA - SS2002 Kap. 6 5/79
��������- ������� $��-���������
DEC MIPS IBM SUN PII PII AMD AMD Alpha21262 R10000 PPC750 UltraSparc Klamath Xeon K6 K6-3DTaktfrequenz 667 250 400 333 300 400 300 350
SPECint95 44 14.7 17.6 14.2 11.9 16.5 ? ?
SPECfp95 66 24.5 12.2 16.9 8.6 13.7 ? ?
Transistoren (Mio) 15.2 6.8 6.35 5.4 7.5 7.5 8.8 9.3
Leistungsverbrauch (W) 72 >30 5.7
❙ ��� - *�� �� ����!#���� 4������ �! ,�����������������
❙ C�7� - ��!#�������� �! ,��������������� � �������
❙ C�� - ��!#�������� �! ,����������������� � �������
❚ "(
��( ��� �
/������ ���� ��� 0$
"/�0 :
��� �
���$ '/@0 : G/@0
T(1)T(n)
JR - RA - SS2002 Kap. 6 5/83
)�� �� �� �� ��!"��������*
❚ 9�
������2 �'�) @ +
❚ =����� ����$��2
❙ "/�0 : �
❙ '�� ��� �&���� (��&� ��� �� 7�� ��'��!�����
❚ ����������� ����$��2
❙ "/�0 H �
❙ D�� �� �- ����I
❚ 0�����/� '=��A���� !������)2 + ≤≤≤≤ �'�) ≤≤≤≤ �
JR - RA - SS2002 Kap. 6 5/84
)(T
nSs
=
)1(')(
TnS =
$������� � (�����������
❚ ���������� ��������� ����������� $�� �� ������������������������ �����7��� #��$
❚ ���������� ��������� ����������� $�� �� ���������� !�������� $�� ��������������������������7��� #��$'%�������)
-
05.07.2002
15
JR - RA - SS2002 Kap. 6 5/85
)(
)1()(
nT
TnS =
nt
nt
nT
TnS =≤=
)(
)1()(
�� *������ ���������� ����9
❚ Antwort: Ja und Nein, es hängt von der Definition ab
❚ 1. Antwort: NEIN, Speedup kann nicht superlinear sein!❙ ��� , ��� �
����� ,����� ��� ��������
❙ ��� C�D� ��� *��� �� �� ������ ��� ? �������� �! , �� �+��
❙ ������� ��!������
❙ ���� ' �3 �� �
����� ��������� ��� 2��� ��� ������� �� *���������� �+��
❙ � % �� ������� ������ � � *���������� ����
*�����������?�� �+��
❙ ��� ����� ������� *��� % ���� �+3� ��� �� �
❙ ��� % �� ������� ���� �+3� ��� ��
JR - RA - SS2002 Kap. 6 5/86
)()(
nT
TnS s=
�� *������ ���������� ����9
❚ Antwort 2: Speedup kann superlinear sein!❙ ��� , ��� �
����� ,����� ��� ��������
❙ ��� C�D� ��� *��� �� �� ������ ��� ? �������� �! , �� �+��
❙ ������� ��!������
❙ ��� ������� )���� % ��� 4����� ������ �� ��� �
�����
)����
❘ *�6� -6J( �! �2,� ,����� ��� '6'( ,�����' �����
������!������� ��� ������� ,�����
❘ �������������� ��������' ��6� C��!������ ��� �������
,�����' 6��������� ��� �
�����������
❙ �� "��� �������������� �������� ��������
JR - RA - SS2002 Kap. 6 5/87
:������ ��� *�������
❚ Software Overheadz.B. zusätzliche Indexberechnungen um den Code aufmehrere Prozessoren zu verteilen
❚ Load BalancingKann die Ausgabe gleichmäßig auf mehrere Prozessorenverteilt werden?
❚ Communication OverheadWird Kommunikation vom Prozessor ausgeführt?Wie groß sind die Latenzzeiten?
JR - RA - SS2002 Kap. 6 5/88f
nfnfnf
n
nT(1)f
fT(1)
T(1)nS
nT(1)
ff T(1)T(n)
n
1lim
1)1(1
1)1()(
)1(
=
+−=−+=−+
=
−+=
∞>−
:������ ��� *������
❚ f = Anteil des Programms, der nicht parallelisiert werdenkann
❙ )��� >���)������ �� ���� ������
❚ ������ ���!$
JR - RA - SS2002 Kap. 6 5/89
��������������� ��� ������ ������
❚ ����������� ��� BC ��������� D�$�� #�� ���> ���$�� ��E���� ���������� ����$�� ��� +F!����������?
❙ @J6/@ K /@J E @0L�?M0 : @?
❚ 1�� ���> ��� $�� ��E����� ����$��?
❙ @6?�?M : AN
JR - RA - SS2002 Kap. 6 5/90
$����� 5�������������-���
❚ 7���)���) / �������� '��������� �� ���'�������������������������
❚ F������) / E��������� �( "���! ����������������������
❚ ������������0 / ,�)��� ��� $���������M$��������� $�� &����������
E(n) =S(n)
n1n
≤≤≤≤ E(n) ≤≤≤≤ 1
R(n) =P(n)P(1)
1 ≤≤≤≤ R(n)
I(n) =P(n)T(n)
-
05.07.2002
16
JR - RA - SS2002 Kap. 6 5/91
$����� 5�������������-���
❚ �������� : =(������ (��7������� �� ,�� '��!����
❚ O����)� : P������ �!��������� ���� ���
❚ *� ���
U(n) = I(n)n
Q(n) = S(n)E(n)R(n)
1 ≤≤≤≤ Q(n) ≤≤≤≤ S(n) ≤≤≤≤ I(n) ≤≤≤≤ n
≤≤≤≤ E(n) ≤≤≤≤ U(n) ≤≤≤≤ 11n
�� ��4
"�-�!�-;��������������
'���%����
+������#'�������
,�+-#'�������
JR - RA - SS2002 Kap. 6
��������������!"�-�!�-;����
❚ 7�� "���������� �� #��)��! �� F�� �����(��(���� ��� � �� ���� ��� ������2(��������
❚ !�� '���!�(��$
❙ ��������8 ����� �����(����� 3�� ����� ����� ������� ���� ���� ����� =�����
❘ Nachteil: Kohärenzinformation im Prinzip proportional zur Anzahl
Blöcke im Hauptspeicher
❙ ����$���� �����(����� 3�� ��D��� ������� ���� ��( H�������������� �( H��������� "����� C���� "����*"��������� ������N=���$���N �( ��� ( ) 3��������� ��� (�� ����� $�������
❘ erfordert gemeinsamen Bus
❘ üblich und wird im folgenden diskutiert
JR - RA - SS2002 Kap. 6
*�������!&���������
❚ �#�� ������ $�� ��� ��� 1���� ���������$��2
❙ ���� ������$ ��� �� '��!���� ��� 5���&�)���� ����� ���� � ���� �� ���� #�(������ 5���&� �� ����
❙ ���� �������$ ��� �� Q���� ���� �� )���� 5���& � �� ���� '��!����� �����&�� �� ��� #�(� ��� �� &��������&-���
❙ ��� '����&��� ��� ��� 5����� �� ��� ����
��� �����
JR - RA - SS2002 Kap. 6
.)��#/�!0 �!" '�������
Prinzip:Cache-Block wird beim Ersetzen in den Speicher zurückgeschrieben, falls er, nachdem er in den Cache geschrieben wurde, verändert wurde (=Zustand "Dirty", s.u.)
4 ZuständeInvalid: inkonsistente Cache-KopieValid: Cache-Kopie mit Speicher konsistentReserved: Cache-Kopie mit Speicherkonsistent und einzige Kopie und Daten zum ersten Mal geschriebenDirty: einzige Kopie und Daten mehr als einmal verändert
JR - RA - SS2002 Kap. 6
������$����� %�1 2��� ��!2
3+������#4 '�������
❚ 4�� )� �����❙ 2���� �� =������� ���� H��������� ���)�����
�*F���� �*G����!
❙ ���(���! =$������*2���
-
05.07.2002
17
JR - RA - SS2002 Kap. 6
������$����� %�1 2��� ��!2
3+������#4 '�������
❚ G���� ��� ���$❙ ���� ����� �( "���� ���������� ������
❙ ����� &������3������� ������������
❚ ���� ��� ���$❙ ����� +�$�� �( -���8*&������
❘ 6���% "�� �� ������� ������
❘ *���� - )���
❙ +�$�� �( -���8*&������
❘ "���� (�� -���8*+�$�� ����������� ��; =$������ +�$���������� �� ������� ����� ����� +�$�� )( ������������"����
❘ =$������ ���� ������������ &������ ����� +�$��� /'����
JR - RA - SS2002 Kap. 6
������$����� %�1 2��� ��!2
3+������#4 '�������
❚ ��
�� ���� ��������2
❙ #�(� �� ����2� ��� >����7�����$❘ =������� ���� ����� ��������
❘ ���� &����� / -���8
❙ #�(� �� �����7�����$❘ G����*���������� ���� �����D��
❘ =$������*+�$�� ���� �����������
❘ ���� &����� / F�������
JR - RA - SS2002 Kap. 6
������$����� %�1 2��� ��!2
3+������#4 '�������
❚ ���� ���� ��������2
❙ #�(� &���� �� "(���� ��� �� ���� F����� #�(� �� ����2�7�����
❙ ���� ����� >��D����� �� �-��
❙ "(���� ���� &��������
❙ ��� 7����� : ����2
❚ �������� ����� ����2
❙ 7����&������� �� �� "(���� ���� �� ����2�7�����
❙ ����� &�� �&���� ����������
JR - RA - SS2002 Kap. 6
(����5
Prinzip:Firefly-Protokoll benutzt "copy-back" für private Blöcke und "write-through" für gemeinsame Blöcke, wobei über privat und gemeinsam erst zur Laufzeit entschieden wirdzur Implementierung wird zusätzliche Busleitung "shared" benutzt, die während des Snooping-Mechanismus Schreiber über tatsächliche Existenz weiterer Kopien informiert
3 ZuständeValid-exclusive: einzige Cache-Kopie mit Speicher konsistentShared: Cache-Kopie mit Speicher konsistent und es existieren weitere konsistente KopienDirty: einzige Kopie mit Speicher inkonsistent
JR - RA - SS2002 Kap. 6
������$����� %�1 2(����52 )��#
6���#'�������
❚ 4�� )� �����❙ 2���� �� =������� ���� H��������� ���)�����
�*F���� �*G����!
❙ ���(���! =$������*2���
-
05.07.2002
18
JR - RA - SS2002 Kap. 6
������$����� %�1 2(����52 )��#
6���#'�������
❙ ���� (������ +�$��� �( =�����*&����� �0���������
❘ ����� (���� ���������� M������ �� �����%� ��� $�������%� ��� !������ (���
❘ *���� - ��
��
JR - RA - SS2002 Kap. 6
������$����� %�1 2(����52 )��#
6���#'�������
❚ G���� ��� "������$
❙ "����*+�$�� �( -���8* ���� '����*�0������*&������
❘ ������� % ��%� �!����
❘ ��� *���� - ����
❙ +�$�� �( =�����*&������
❘ I���&/���� %�������� ��� $���� ��������3���� �������
❘ *���� - ��
��
❘ ������ "0��� I���&/���� ��� ��
��&6�������� ����
%���' �� ��
��&*���� ��� ��� ��� �� ��� $�����"������������� ������ "���
• dann gilt: Zustand = Valid-exclusive
JR - RA - SS2002 Kap. 6
������$����� %�1 2(����52 )��#
6���#'�������
❚ ���� ���� ��������2
❙ #�(� &���� �� "(���� ��� �� ���� F��
❘ ����� +�$�� ��( =$������ ��((�� ���� &����� /-���8
❘ ����� +�$�� ��� ������( "���� ��((�� G����*O$��������������� ���� +�$��� ���������;���� =$������� ����&����� / =�����
❚ �������� ����� ����2
❙ 7����&������� �� �� "(���� ���� �� ����2�7�����
❙ ����� &�� �&���� ����������
JR - RA - SS2002 Kap. 6
❚ �������!�������� 7� ���������������������1���������� 6�� 4���E 6�����������
❚ 6��������� �
������ $�� D����D���� �������$�$���� $�> �� ����������������������6�������� #��$
❚ ������� #��$ ���� ���� �������� ����� ����������������
JR - RA - SS2002 Kap. 6
&������!��*0!&��������
❚ ��� ���� ������!���� 1���� =���'����&���
❚ �������$ ��!� F���#�(�� ����� &�������� �����(�(����� ��� ��� ������� ��&�
❚ *%�����$ ��!� F���#�(�� ����� ������!��� ������ &�������� ��� ��(��(����� ��� ��� ���������&�� ������� ����� !� 4�� � ����������7�����
❚ "���$ #�(� �� ���� F���� ��� ��&�� ������������ !� ���������� � ��� ������ �� ����#�(��
❚ D����$ F���5���& ����� ��� ��� ���6"����������� ��3� !�� ������ ��� !�� �� ��)����� ��1����=�� '����$
JR - RA - SS2002 Kap. 6
���&������!��*0!&��������
❙ >� ����$ �- ���� .�� !���)��$❘ =� ����� ����� F���*M��8
❘ =� ����� "�O*G����*9����� ,����� �����
❘ =� ����� +�$�� �� ������( "���� �0�������
❘ E� ����� (�����)����� -���� ������ ��� ������( "������((��� =$������ ���� ����� �����������
❘ 7� �����
❙ 1��� ����$ A �- ����&��� ���&�� "������ ��"(���� ��� ��� D����� ���� #�(�
❘ ���� :�������� ��� "����
❘ (�� ��������(! :�������� ��� "�����G����E��� ����,���������
-
05.07.2002
19
JR - RA - SS2002 Kap. 6
���&������!��*0!&��������
❚ ���/����� �� �E������� ����� 7�
-
05.07.2002
20
JR - RA - SS2002 Kap. 6 5/115
%��!������!&�������
❚ F���*E���
❙ ,�������� ��� -���� ��(P#�(� :���Q $�� .79
❙ "����*2��� �( &����� �������� �����
❙ #�(�*:���
❘ �����%� ��� #��� ���� ��/C�
��
❘ ����� �� ������&6�� ���
!���� $����
❘ ��� *��� �� (���&���
��� ��
��
RequestingNode
HomeNode
GET
PUT
JR - RA - SS2002 Kap. 6 5/116
%��!������!&������� RequestingNode
ModifyingNode
GET
PUT
HomeNode
GET
SWB
❚ .��&,���
❙ !��� �� ��� ���� O5���
����P �� 1�C
❙ (���&G�� �� *���� �����
❙ Home-Node
❘ ������ ������ �� #����"��&���� ������
❙ Modifying-Node
❘ ���$� ��� 3���� �� ��� !�4������&����
❘ ��� ��� �5( -������ �������$. �$�� ��� ��� �$������� 6���&���� ����� 7�������
❙ Home-Node
❘ ����� ��� )������ ��� ������
❘ �$���������� ��� �������&(��
❘ ������� 6���&���� �� ��� ������
JR - RA - SS2002 Kap. 6 5/117
%��!������!&�������
❚ 1���������
❙ �*G�� ���������$��
➔ !�������� ��� 7� ������ ��$ ���������>� �������
❚ D������(����
❙ ,�� 5�� �(�)������ �� F����� �� '��!�����
❙ F����� &�� ����� !�5� �� "�' ��� ����(2�'����&������
-
05.07.2002
21
JR - RA - SS2002 Kap. 6 5/121
(�����!&������!$��������
❚ '��!����� �� �� F������ ���� ���� ���&��� ���� � � �
... ... ............... ... ... ... ...
Hauptspeicher Directory
... ...
Free-ListLink-Store
❚ ����� �2������ ����&���� ��� ��� ��+ "2������ ��� '��!�����
JR - RA - SS2002 Kap. 6 5/122
*����� "�-����� 0�������
❚ "FD ��� ����������� D*** @NSJ�@SSA
❚ �� ��&��� ���� ���� ��� �� #���� ����� �(����� /��((��!� ��0
... ... ............... ... ... ... ...
HauptspeicherDirectory Header
...... ...
Prozessor Pduplicate tags
...... ...
Prozessor Qduplicate tags
memory state Forward pointer B pointer F pointerCache state
JR - RA - SS2002 Kap. 6
*���'��!������� "�-�!
"�-������ ����-���
❚ 9��$#����������7����� ����$� ��� "���#���������������� ���� �����
❚ ���#����8���� $��� D������� ��$������������� ������������ ���������6�2
❙ F�������2 ��&��
❙ F�� F�����2 *��������❘ ��������(������� ������������
❘ >��� =�������� ������������
❘ 9�(����($
JR - RA - SS2002 Kap. 6
�����-������ *���'�� ���-���
❚ D��������� �������2
❙ *������� �� ����� T���(������� �����T /!�5�"����� ���0 �� ��� �� 7� ����
❙ ���)� � �� 7� ���� &�� ����� �� F�� ��������
❙ 5�� 4�� � !������ ���(������� ����� ���� �F���D�������� �!�� "(�����3(��
❙ F��(��� &��6��+$❘ ��($�������� ��� ��������)�����
❘ 98$ ��� &������ ������ ����� -������;����8�� ��(������
JR - RA - SS2002 Kap. 6
���������� ����� *����-����� ��
"�-�
❚ ���� �� 7� ����� /����$ '��!�� �� �����'��!�����0❙ F���*M��8 �3� ������ ����� ���)���� ��������!
❙ F���*M��8 �3� ������ ����� ���)���� �� F���*G���� �3� ����
����� ���)�; �D������� F���*G���� ���)�; ���� '������ ��"���� ������� (; ��� ���� +��������) (�� #�$��$������������������� )��� ���� ����� ������!
❙ F���*G���� �3� ���� ����� ���)�; �������� �� ��$8 ���!
❙ F���*G���� �3� ���� ������� &��� ��� ���)����� ��� ������������ )��� �8$����������� �3� =�(�$���������� �� ������=8��������������$����!
JR - RA - SS2002 Kap. 6
"�-� "�-������ �����������
❚ ������������ ���������$ !������ �� ���(����������� ���� F�� �� ���� ��� � ���� � ��(��(�����3(��� �� ������ ��� �������� G2(� ��������� ���� ������ /����� !� ��(������� ��!� (�����������0
❚ ����� ���������$ ��� ��,�� � F������������ ���)������ D�&�������! �!� � &-��� ������ ����
❚ ������($ �������� �+ F���D���� �� ���� �������� ����� '��!���� �������� /�� ���������� ���(������ �����0 �� ����� �����!� ����