Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12...

31
fakultät für informatik informatik 12 technische universität dortmund Temperaturprobleme der modernen Rechnerarchitekturen Basis: Pagani et al., DATE 2015, CODES+ISSS 2014 Babak Falsafi: Dark Silicon & Its Implications on Server Chip Design, Microsoft Research, Nov. 2010 Siehe auch publications unter http://parsa.epfl.ch/~falsafi/ Hadi Esmaeilzadeh: Dark Silicon and the End of Multicore Scaling, International Symposium on Computer Architecture (ISCA ’11)

Transcript of Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12...

Page 1: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

fakultät für informatikinformatik 12

technische universität dortmund

Temperaturprobleme der modernen Rechnerarchitekturen

Basis:§ Pagani et al., DATE 2015, CODES+ISSS 2014§ Babak Falsafi: Dark Silicon & Its Implications on Server Chip Design, Microsoft Research, Nov. 2010Siehe auch publications unter http://parsa.epfl.ch/~falsafi/

§ Hadi Esmaeilzadeh: Dark Silicon and the End of Multicore Scaling, International Symposium on Computer Architecture (ISCA ’11)

Page 2: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 2 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Prescott: 90 W/cm², 90 nm [c‘t 4/2004]

Kernreaktor

PCs: Leistungsdichte (Power density)steigt!!!!!!

© IntelM. Pollack, Micro-­32

Page 3: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 3 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

PCs: Just adding transistors would have resulted in this:

Reuters: December 9, 2004: Men should keep their laptops off their laps because they could damage fertility, an expert said on Thursday. Laptops, which reach high internal operating temperatures, can heat up the scrotum which could affect the quality and quantity of men’s sperm. “The increase in scrotal temperature is significant enough to cause changes in sperm parameters,” said Dr Yefim Sheynkin, an associate professor of urology at the State University of New York at Stony Brook.

Page 4: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 4 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Wie kochen wir?

Page 5: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 5 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

PCs: Besser als Herdplatte …? Warum nicht?

http://www.phys.ncku.edu.tw/~htsu/humor/fry_egg.html

Strictly speaking, energy is not “consumed”, but converted from electrical energy into heat energy

Page 6: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 6 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Verrückte Kühlungsmethode

• Thermoelektrische Kühlung• Wasserkühlung• Kältekühlung • usw.

Page 7: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 7 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Thermal Modeling: A Single Power Source

§ Thermal conduction

• Fourier’s Law of Cooling: the temperate change is proportional to the different of the chip and the ambient temperature (or the heat sink temperature)• If the chip is hotter, the temperature change drops more

• If the chip is cooler, the temperature change drops less

• Heating generation is proportional to the power consumption • If the power consumption is larger, the temperature change increases more

• If the power consumption is smaller, the temperature change increases less

• Therefore, T’(t) = uP(t) – v(T(t)-Tamb)• T(t) is the temperature of the power source at time t

• P(t) is the power consumption of the power source at time t

• Tamb is the ambient temperature. I will simple use it as 0. Why?

• u and v are both hardware-­dependent constants.

Page 8: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 8 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Solving Ordinary Differential Equation (ODE):T‘(t) = uP(t) – vT(t)

Page 9: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 9 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Different Traces versus Temperature

© Thiele et al. DATE 2011

Page 10: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 10 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Thermal-­Dependent Leakage Power Consumption

Chuan-­Yue Yang, Jian-­Jia Chen, Lothar Thiele, Tei-­Wei Kuo: Energy-­efficient real-­time task scheduling with temperature-­dependent leakage. DATE 2010: 9-­14

Page 11: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 11 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Dynamic Thermal Management (DTM)

§ Avoid possible over heating

• DVFS

• DPM

Page 12: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 12 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Thermal Networks – Multiple Heat Sources

§ Thermal models of applications depend on neighbouring cores.

• A resistance-­capacitance (RC) thermal network is widely used• A set of first order differential equations

• Steady states (the equilibrium temperatures if the power does not change)• Simple linear algebra

• Transient states (temperature profile in time) • Approximate the solution by using fourth-­order Runge-­ Kutta numerical method [HotSpot, Huang et al. 2009]

• Exact solution by using matrix exponential (many approximations are available) methods [MatEx, Pagani et al. to be published in DATE 2015]

[P.-­Y. Huang and Y.-­M. Lee, “Full-­chip thermal analysis for the early design stage via generalized integral transforms,” IEEE Transactions on Very Large Scale Integration (VLSI) Systems, vol. 17, no. 5, pp. 613–626, May 2009. ;;][Santiago Pagani, Muhammad Shafique, Jian-­Jia Chen and Jörg HenkelMatEx: Efficient Transient and Peak Temperature Computation for Compact Thermal Modelsin 18th Design, Automation & Test in Europe (DATE) 2015 ;;]

Page 13: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 13 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Thermal model → System of first-­order differential equations

§ Relates temperature with power values and Tamb

§ For example, RC thermal networks (like HotSpot)

Thermal Model

RC thermal network details

ConstantMatrices

Temperature VectorsConstantVector

Power Vector AmbientTemperature

Page 14: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 14 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Thermal equation with matrix exponentials

Computing Transient Temperatures

Initial Temperatures(at t = 0)

Steady-State Temperatures(where vector T

converges)

Matrix Exponential

RC thermalnetwork

Express withmatrix

exponentials

Solve the matrixexponential

AnalyticalSolution:Tk(t)

Pagani et al., DATE 2015

Page 15: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 15 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Heat Transfer: Impulse Response

Thiele @ ETHZ

Page 16: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 16 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

The Dark Silicon Problem

So far: Constant power density

100 W

Tech. Node A

100 mm2

Tech. Node B

50 mm2

50 WScaling1 W/mm2 = 1 W/mm2

Expected: Power density increases

OK

100 W

Tech. Node A

100 mm2

Tech. Node B

50 mm2

100 WScaling1 W/mm2 < 2 W/mm2

Page 17: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 17 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

The Emerging Dark Silicon Problem

0255075

100

16 nm 11 nm 8 nm

Percen

tage Dark

Silicon

Technology Node16nm 11nm 8nm

025

75100

50

Esmaeilzadeh@ISCA‘11

Henkel, Shafique@DAC‘15

Limited ScalingDevice count S2

Device frequency SDevice power (cap) 1/SDevice power (Vdd) ~1Power Density S2

C C C C C C C C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

22nm 11nm and Beyond

344.9

342.8

340.7

338.6

336.5

334.4

332.3331.0

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

Page 18: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 18 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

DSS=decision support system

Page 19: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 19 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

2

Page 20: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 20 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

2

Page 21: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 21 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

2

Grenze durchverfügbareBandbreite(klein bei

wenig Cache)

Page 22: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 22 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Nur Flächenbeschränkung

Taktung mit 10 GHz

Optimaler Takt

Bandbreiten-grenze

Page 23: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 23 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Page 24: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 24 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Page 25: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 25 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Page 26: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 26 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Power Budget / Power Constraint

§ Abstraction: Not deal directly with temperature.

§ Generally, a power budget (for thermal safety) is a single value:

• For each core (per-­core).

• For the entire chip (per-­chip).

Page 27: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 27 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Highest Temperature: 98.8C

4 active cores

Highest Temperature: 86.3°C

6 active cores

16 cores with area 5.3 mm2

Threshold temperature: 80°CPower budget: 90 W

Per-­Chip / Per-­Core Power Budgets

Highest Temperature: 80.0°C

8 active coresPagani et al., CODES+ISSS 2014

Page 28: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 28 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Highest Temperature: 69.5°C

16 active cores

Highest Temperature: 73.2°C

12 active cores

16 cores with area 5.3 mm2

Threshold temperature: 80°CPower budget: 90 W

Per-­Chip / Per-­Core Power Budgets

Highest Temperature: 80.0°C

8 active coresPagani et al., CODES+ISSS 2014

Page 29: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 29 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

16 cores with area 5.3 mm2

Threshold temperature for DTM: 80°CPower budget: 90 W

Problem with Per-­Chip / Per-­Core Power Budgets

Pagani et al., CODES+ISSS 2014

Page 30: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 30 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Power budget depends on the number of active coresSafe for any ‘m’ active cores => Abstract mapping decisions

Thermal Safe Power (TSP): Power Budget depending on # of activated cores

TSP table:

Pagani et al., CODES+ISSS 2014

Page 31: Temperaturproblemeder modernenRechnerarchitekturen€¦ · fakultätfürinformatik informatik(12 technische(universität(dortmund Temperaturproblemeder modernenRechnerarchitekturen

-­ 31 -­technische universitätdortmund

fakultät für informatik

© j.chen, p. marwedel, informatik 12, 2020

Cooling or Darkening Matters

• Thermoelektrische Kühlung• Wasserkühlung• Kältekühlung • usw.