|
벤치마크
툴로서의 적합성이 있는지를 확인하기 위해 각 테스트를 3 회씩 반복한 뒤에 편차가 얼마나 되는지를 알아 보았다.
(CPU/Memory/HDD - 셈프론 2600+, SiS760GX, 768MB DDR400, WDC 40GB
5400RPM, Graphics - Athlon64 3000+@2.4GHz, nForce4 Ultra, Geforce
6600 GT)
| |
CPU |
Memory |
Graphics |
HDD |
|
1st |
2204 |
1693 |
3353 |
3370 |
|
2nd |
2208 |
1676 |
3432 |
3399 |
|
3rd |
2208 |
1746 |
3343 |
3379 |
|
평균 |
2206.7 |
1705 |
3376 |
3382.7 |
표준편차
(오차율) |
1.9 (0.1%) |
29.8 (1.7%) |
39.8 (1.2%) |
12.1 (0.4%) |
3회로는 충분한
샘플이 되지 못하므로 표준편차의 의미가 크지 않지만, 대체적으로 2% 미만의 오차율을 보이는 것을 알 수 있다. 그러나
2%의 오차는 벤치마크 툴로서는 상당히 크다. 메인보드 칩셋의 성능 차이가 1~2%에 불과한 경우도 많기 때문이다. 때문에
오차율이 1%가 넘는 메모리와 그래픽 테스트는 두 테스트 시스템에서 근소한 차이가 발생하는 경우 동급으로 인정해야 할
것이다. 한편, CPU나 HDD 테스트의 편차는 벤치마크 툴로서의 신뢰성을 인정해 줄만 하다.
테스트 항목의
구성은 종합벤치마크 툴로서의 역할에 충실하도록 잘 구성 되어 있다. 애초에 소프트웨어 개발의 기획 목적을 실제 PC 사용
환경을 테스트하는 것에 맞췄기 때문에 테스트 항목을 요소별 비중을 고려해 분배한 것이다.
다만 아쉬운
점은 종합 스코어인 System Test Suite가 여러 시스템의 성능을 비례적으로 비교하기 어렵게 만들어졌다는 점이다.
CPU, Memory, Graphics, HDD로 나뉘어진 각개 테스트 항목은 플랫폼이 다른 PC와 비교하더라도 비교적
성능에 비례하는 스코어를 내주게 되지만, 여러가지 요소가 종합되어 있는 통합 스코어는 체감 성능을 그대로 표현하지 못하는
한계가 있다.
벤치마크는
단순히 숫자놀음으로 그쳐서는 안되며, 실 사용에서의 체감성능을 대변해야 한다. 이러한 관점에서 PCMark 05는 잘
짜여진 소프트웨어이다. 아마도 앞으로 보드나라의 리뷰나 벤치마크에서 PCMark 05 테스트 결과를 자주 보여드리게 될 것
같은데, 단순히 점수를 비교하는 것으로 그치지 않고 각 테스트가 어떤 성능을 대변하는지 한번쯤 생각해보시면 많은 도움이 될
것이다.
|
