[컴퓨터 구조] 캐시(Cache) - 캐시 퍼포먼스 측정

CPU time

프로그램이 수행되고 메모리를 기다리는 시간

- CPU time = (CPU execution clock cycles + Memory-stall clock cycles) * Clock cycle time

- Memory-stall clock cycles = Read-stall cycles + Write-stall cycles

• Read-stall cycles = Reads/Program * Read miss rate * Read miss penalty
• Write-stall cycles = Writes/Program * Write miss rate * Write miss penalty + Write buffer stall

- Write miss: 쓰기를 진행하기 전에 블록을 가져와야함

- Write buffer stalls: 버퍼가 꽉 찾을 때 비워지는 것을 기다리는 시간

 

- Memory-stall clock cycles = Memory accesses/Program * miss rate * miss penalty

=> Memory-stall clock cycles = Instructions/Program * Misses/Instructions * Miss penalty

 

예시 문제

명령어 캐시 실패율이 2%이고, 데이터 캐시 실패율이 4%라고 가정하자. 메모리 지연이 없을 때 CPI가 2이고 매 실패마다 실패 손실이 100사이클이다. 실패가 발생하지 않는 완벽한 캐시를 사용한다면 시스템이 얼마나 빨라지는지 계산하라 적재와 저장 명령어의 실행 빈도는 36%라 가정하자

 

명령어 실패 사이클 = I(인스트럭션 수) * 2% * 100 = 2I

데이터 실패 사이클 = I * 36% * 4% * 100 = 1.44I

 

전체 지연 사이클 = 2I + 3.44I =  5.44I

 

완벽한 캐시를 이용하면 메모리로 인한 지연이 없으므로 2I

5.44I / 2I 만큼 빨라진다

 

평균 메모리 접근시간(AMAT, Average Memory Access Time)

퍼포먼스에 있어서 Hit time은 중요하다

AMAT = Hit time + Miss rate * Miss penalty

 

AMAT 예시 문제

클럭 사이클 시간이 1ns이고, 실패 손실이 20클럭, 명령어당 실패율이 0.05, 캐시 적중 검사를 포함한 캐시 접근시간이 1클럭 사이클일 때, 평균 메모리 접근시간을 구하라, 읽기와 쓰기의 실패 손실은 같고 다른 쓰기 지연은 무시한다.

 

AMAT = 1*1ns + 5% * 20 * 1ns = 2ns

 

## 문제 풀이 ##

Assume that an access time to main memory is 100 ns and a clock rate is 4GHz. The miss rate per instruction at the primary cache is 10%, and the local miss rate is 5% at the secondary cache. Hit times for L1 and L2 caches are 0.25 and 5ns, respectively

 

if there is no memory reference instruction. calculate the AMAT and total CPI for this processor when a base CPI is 1.0 without any memory stalls.

 

>>

L1 miss = 0.1 * (5 / 0.25)C.C = 2

L2 miss = 0.1 * 0.05 * (100 / 0.25)C.C = 2

total CPI = 1 + 2 + 2 = 5

 

AMAT = 0.25 + 0.1 * (5 + 0.05 * 100) = 1.25ns