긱벤치(Geekbench) 6에서 인텔의 새로운 최적화 기술이 실제 점수에 어떤 영향을 주는지에 대한 분석 결과가 공개되었다.
긱벤치 개발사인 Primate Labs Inc.은 공식 블로그를 통해 인텔이 코어 울트라 200S Plus와 함께 발표한 바이너리 최적화 도구(Intel Binary Optimization Tool, iBOT)에 대한 분석 내용을 공유했다.
테스트 결과 iBOT이 적용 이후 긱벤치 6.3 버전에서는 싱글과 멀티코어 점수가 약 5.5% 상승했으며, 일부 워크로드에서는 최대 30% 수준의 성능 향상이 확인됐다. 그에 반해 공개 예정인 긱벤치 6.7 버전에서는 iBOT 활성화 여부에 상관없이 동일한 수준의 성능을 기록했다.
이는 결과적으로 iBOT이 특정 버전의 긱벤치만 최적화하는 것으로 판단되는 결과로, iBOT 활성화시 시작 지연(Startup delay) 과정을 검토하였을 때, iBOT이 긱벤치 실행파일의 체크섬을 계산하는 것을 확인할 수 있었다.
추가로, 프로그램 실행 중 어떤 명령어가 실행되는지 모니터링하는 개발 도구인 인텔 SED를 활용해 iBOT 여부에 따라 최대 30% 가까운 성능 편차를 보인 HDR 워크로드를 100회 반복 실행 분석했다. 그 결과 전체 명령어는 14%, 스칼라 명령어는 62% 감소한 반면, 벡터 명령어는 1366% 증가해, iBOT이 워크로드 코드의 일부를 벡터화하는 것으로 나타났으며, 이는 단순 코드 재배열보다 훨씬 정교한 변환이라 평가했다.
Primate Labs Inc.은 iBOT이 모든 어플리케이션에서 작동한다면 문제가 없겠지만, 다양한 코드를 특정 프로세서에 최적화된 바이너리로 대체하고, 일반적인 성능이 아닌 최고 성능을 측정함으로써 긱벤치의 설계 원칙을 훼손함은 물론, 특정 어플리케이션만 지원하기 때문에 iBOT 최적화 벤치마크 결과는 실제 CPU 성능을 제대로 반영하지 못한다고 지적했다.
한편, 회사는 현재 긱벤치에 iBOT 적용 여부가 불가능해 인텔 코어 울트라 200S Plus CPU의 결과에 경고(invalid) 표시를 하고 있으며, 이번주 후반에 출시될 긱벤치 6.7에서는 iBOT 실행 여부를 확인해 해당 기능이 활성화된 경우에만 경고를 표시할 예정이라고 알렸다. |
