본문

BEST 펼치기

인텔성능전략팀, 일부러 오해를 일으킬만한 벤치마크 발표



글꼴

오늘 많은 사람이 보지 못했을 일이 있었다. 인텔이 제온 플래티넘 9282가 AMD EPYC 7742를 이긴다는 벤치마크를 연달아 발표한 것이다. 판매사는 자사 제품이 우수하다는 벤치마크를 개시한다. 이번 경우에는 한 가지 차이점이 있는데 우리가 인텔의 작업물을 점검해보니 인텔이 일부러 잠재고객에게 AMD와의 성능비교에서 착각을 일으킬만한 숫자를 발표한 것이다.



배경설명

수년간 서버쪽에서 2017년에 도입된 스카이레이크 제온과 나폴리 에픽이후로도 인텔은 상대적으로 공정했다. 그러나 2018년 말이 되자 인텔은 들리는 바에 따르면 자사 제품의 벤치마크 성능을 검토하는 팀을 꾸렸다. 이제 "Performance at Intel"이라는 블로그로 최고조에 도달했다. 블로그는 다음과 같이 설명되어 있다.


"인텔의 기술과 제품 성능을 적절하고 솔직하게 정보를 공유하는 인텔의 블로그" 그러나 겨우 17번째 포스트에서 모토를 배신하고만다.


명확히 하자면, 나는 인텔의 새 성능전략팀은 물론 연구실 사람들과 알고 지내며 개인적으로 좋아한다. 이번 일은 엄밀히 따지면 2017년 이후 인텔이 부지런해진 때부터 지적해야 할 실수이다.


 

벤치마크와 주석으로 오해

 

먼저 아래는 인텔이 제공한 차트로 AMD보다 우월하다는 이번 야야기의 일부인데 우리는 한 가지를 강조하려고 한다. GROMACS 결과이다.


 

위 값을 강조한 이유는 의심스러웠기 때문이다. 400W 56코어가 20% 빨랐다는 게 이상했다.


우리가 살펴본 주석은 referenced #31로 이어진다. 다음은 테스트 환경이다.

GROMACS 2019.3: Geomean (5 workloads: archer2_small, ion_channel_pme, lignocellulose_rf, water_pme, water_rf):

Intel® Xeon® Platinum 9282 processor: Intel® Compiler 2019u4, Intel® Math Kernel Library (Intel® MKL) 2019u4, Intel MPI 2019u4, AVX-512 build, BIOS: HT ON, Turbo OFF, SNC OFF, 2 threads per core;

AMD EPYC™ 7742: Intel® Compiler 2019u4, Intel® MKL 2019u4, Intel MPI 2019u4, AVX2 build, BIOS: SMT ON, Boost ON, NPS 4, 1 threads per core.

우리는 단락을 세 부분으로 나눠서 첫 부분을 먼저 논의하고 다음 2가지로 넘어갈 것이다.


(양이 너무 많아서 첫번째만 번역하고 나머지는 요약만 했습니다)


 

AMD에 불리한 GROMACS 버전 사용


첫 부분은 혹평이다. 인텔은 GROMACS 2019.3을 이용했다. 엄밀히 따지면 인텔은 같은 버전을 이용한 적이 있으니 타당한 테스트이다. GROMACS 2019.3은 2세대 인텔 제온 Scalable 시리즈 직후인 2019년 6월 14일에 배포되었다. 10월 2일에는 GROMACS 2019.4가 출시되었다. 인텔의 블로그 포스트가 개시되기 1달 전임을 명심하라.

GROMACS 2019.4에서 작지만 인텔이 보여준 비교에 매우 중요한 수정이 있었다. AMD 젠2가 추가된 것이다. 다음과 같이 적혀 있다.

AMD 젠2 아키텍쳐는 젠1과 다르게 분류되며 기본값으로 256bit AVX2 SIMD 명령어를 이용. 또한 non-bonded kernel parameters가 젠2에 맞게 조정. 성능에 큰 영향을 미침.

업계에서 구버전 GROMACS가 이번 새 '로마' 에픽 아키텍쳐를 제대로 지원하지 못하는 점은 잘 알려져 있다. 우리는 해당 이슈를 발견하고 출시 리뷰에서 특별히 언급했다. 결과값이 예상에 미치지 못해서 우리가 개시한 모든 에픽 7002 vs. 제온 차트마다 언급하기까지 했다.




위는 노드 크기치고는 '사소한' 경우라고 할만한 테스트이다.

아마 인텔이 몰랐던 점은 우리에게도 듀얼 EPYC 7002 시스템하에서 GROMACS 2019.4 버전에 맞게 간단한 최적화를 진행할 GROMACS의 리드 개발자 1명이 있었다는 점이다. (최적화가 필요한 곳이) 더 있을 수도 있지만 이것이 최적화가 부족하다고 보인 부분이며 수정하는 데 실제로 도움이 되었다.

인텔은 AMD EPYC 7002이 나오기 1달 이전인 2세대 제온 Scalable GROMACS 버전을 사용해서 값이 왜곡되었는데도 겨우 20% 앞선다.

다시 말하자면 기술적으로 같은 버전을 사용했으므로 타당한 테스트이다. 그러나 인텔은 AMD 젠2 최적화가 진행되기 이전 버전을 특별히 사용했다.


 

(중략)

1. 인텔은 AMD에 불리한 구버전 GROMACS을 사용 (에픽에서는 AVX2 사용 불가)

2. 어떤 이유에서인지 인텔은 에픽 시스템에서 코어당 1스레드로 제한하는 대신 부스트클럭을 킨 반면 제온 시스템은 부스트클럭을 끄고 코어당 2스레드 사용.

3. 에픽 1세대와 같은 시스템을 사용함. 즉, PCIE 4.0을 지원하지 않는 보드 사용.

 3.1. 인텔은 400W CPU를 사용하고 AMD는 240W까지 지원하는 보드를 사용하면서 225W로만 테스트 실시함.

 3.2. AMD에 불리한 구버전 3.10.0-1062.1.1 CentOS/RHEL 커널 사용.


 

결론

인텔이 발표한 벤치마크 하나에 1800개 단어가 사용되었다. 텍스트에 의심할만한 구석이 있다면 나는 개인적으로 인텔쪽에 유리한 해석을 한다. 인텔은 2017년에 잘했기 때문이다. 그러나 이번에는 자기들보다 위에 앉아있는 성능전략팀이 신중한 결정권자라면 봐야 할 실수가 있는 이런 기사들을 발표하고 있다.

누군가는 인텔의 블로그가 사실에 기반한 정보를 발표하기 위한 집단이 아니다라고만 결론내릴 수도 있다. 그러나 블로그는 인텔이 그저 사림들이 기사를 제대로 못 보길 바라며 잘못된 정보를 발표하는 수법일뿐이다. 제대로 보는 사람이 있다면 상황은 곧 진정될 것이다.

인텔이 절차를 발표한다는 사실은 타당한 테스트임을 나타낸다. Performance at Intel 팀이 발표하고 입증하는 테스트는 분명 잠재구매자에게 잘못된 정보를 전달하는 수법이다. 이번 GROMACS 예는 알려진지 거의 4달이 되었으며 상황이 바뀐지 1달이 넘었다. AMD도 같은 마케팅을 하니 늘있는 일이다 (예, AMD EPYC Rome NAMD and the Intel Xeon Response at Computex 2019). 그러니 가장 좋은 방법은 이런 주장을 무시하는 것이다.






댓글 21 | 쓰기
1


BEST
선동과 날조로 승부하자
엘피나 | 223.38.***.*** | 19.11.06 18:40
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.
trueheart | 112.160.***.*** | 19.11.06 18:43
BEST
능력이 안되니까 주작으로 승부하네 ㅋㅋㅋ
SeinStierl | 118.36.***.*** | 19.11.06 18:37
BEST
비겁하게 팩트로 덤비다니... 정정당당히 선동과 날조로 돌파한다!
로와가 | 175.223.***.*** | 19.11.06 18:43
BEST
아직도 인텔빠는 흑우들 없지?
루리웹-2850609326 | 106.128.***.*** | 19.11.06 18:49
BEST

능력이 안되니까 주작으로 승부하네 ㅋㅋㅋ

SeinStierl | 118.36.***.*** | 19.11.06 18:37
BEST

선동과 날조로 승부하자

엘피나 | 223.38.***.*** | 19.11.06 18:40
BEST
댓글 이미지 입니다.
이미지를 보려면 여기를 눌러주세요.

trueheart | 112.160.***.*** | 19.11.06 18:43
trueheart

상식이 있으면 여기 문구들만 읽어봐도 인텔이 얼마나 후달리는지 적날하게 보여주네 ㅋㅋㅋ

RealVictor\'s | 122.32.***.*** | 19.11.06 20:58
BEST

비겁하게 팩트로 덤비다니... 정정당당히 선동과 날조로 돌파한다!

로와가 | 175.223.***.*** | 19.11.06 18:43

이미 서버용 다코어는 암드가 인텔 발른거 아닌가 인텔이 설계를 바꾸지 않는이상

뿌리땡 | 121.132.***.*** | 19.11.06 18:43
BEST

아직도 인텔빠는 흑우들 없지?

루리웹-2850609326 | 106.128.***.*** | 19.11.06 18:49
루리웹-2850609326

많을걸요 오락성능이 훨씬 더 낫다는 편입견에 사로잡힌 이유 하나만으로.

루리웹-6873070263 | 218.52.***.*** | 19.11.06 18:53

갑자기 든 의문이 인텔이 이번 10세대에 10나노 한다는거 같은데 10나노로 스펙이 암드 3천 시리즈랑 비등하면 10나노인데 7나노랑 비슷해 7나노인데 10나노랑 비슷하네 어찌 표현을 해야 할까요?

바나지링크스 | 211.198.***.*** | 19.11.06 19:07
바나지링크스

인텔 10세대 10나노는 모바일 프로세서만이고 일반 PC에 들어가는 CPU는 여전히 14나노 공정입니다.

trueheart | 112.160.***.*** | 19.11.06 19:30
trueheart

쩝 아쉽네요

바나지링크스 | 211.198.***.*** | 19.11.06 19:37
바나지링크스

공정이 7nm라도 디테일하게 파고들면 업체간 차이가 있는걸로 압니다.

무임승차대상 | 218.155.***.*** | 19.11.06 19:57
바나지링크스

프로세스 노드 표기법 같은 경우 현시점 기준에선 인텔이 가장 빡빡합니다(=가장 보수적임) 그래서 14nm 시절에 삼전이랑 TSMC의 14/16보고 뻥구라공정이라고 실컷 디스해댔죠.

류오동 | 117.111.***.*** | 19.11.06 19:58
바나지링크스

그래서 개별 공정끼리 실측을 해 보면 TSMC의 논EUV 7nm는 대충 9.5nm 수준이고 인텔의 10nm는 8.8nm 수준이죠. 너무 기준치를 빡빡하게 잡은 나머지 사실상 9nm나 다름없게 되었습니다.

류오동 | 117.111.***.*** | 19.11.06 20:04
류오동

그래서 인텔의 10nm랑 TSMC의 7nm랑 비교하면 밀도면에선 인텔이 더 좋긴 합니다. 공정 안정회가 너무 안 되어서 스피드게인이 지나치게 구린 게 문제일 뿐이죠. 아직도 실질적인 스윗스팟이 2ghz 내외에 불과한 상황입니다. 이 영역대를 넘어가면 전성비가 심하게 구려져서 14nm보다도 구려지죠. 그래서 코멧레이크가 나오는거.

류오동 | 117.111.***.*** | 19.11.06 20:07
류오동

왜 10나노 만들어놓고 모바일에만 적용하나 했는데 모바일에서밖에 못 쓰는 이유가 있었네요

하늘물총새 | 39.7.***.*** | 19.11.07 00:19
[삭제된 댓글의 댓글입니다.]
류오동

http://www.hwbattle.com/bbs/board.php?bo_table=cpumbram&wr_id=166796&sfl=wr_subject&stx=%EC%95%84%EC%9D%B4%EC%8A%A4%EB%A0%88%EC%9D%B4%ED%81%AC&sop=and 보시면 알겠지만 1.9Ghz밖에 안 되는 상황인데도 불구하고 전세대 공정/2세대 전 아키텍처인 위스키레이크보다 전성비가 더 구립니다. 충격적인 건 이거조차도 작년에 나온 캐논레이크보단 대폭 개선되었다는 것입니다.

류오동 | 222.108.***.*** | 19.11.07 01:09

뭐야 그로막스 하나만 저런게 아니라 전에 namd 벤치마크 할때도 비슷한걸 했단말이야? 허허...

기계루이레 | 27.124.***.*** | 19.11.06 19:44

이래서 경쟁사가 있다는건 좋은것이야 추하다 인텔아

벌레가싫어 | 125.178.***.*** | 19.11.06 20:18

점점 추해지는구나......

insane97 | 119.195.***.*** | 19.11.06 20:43

CPU는 AMD 이거슨 기본 상식!!!!

WINPARA | 14.36.***.*** | 19.11.07 12:39


1
댓글은 로그인 후 이용 가능합니다.
목록보기


위로가기
[RULIWEB] | 날짜 2019.12.14
관리자 | 추천 2 | 조회 8619 | 날짜 2010.06.22
스와로브스키 | 추천 17 | 조회 9674 | 날짜 12:08
스와로브스키 | 추천 14 | 조회 4325 | 날짜 12:04
이햇성 | 추천 0 | 조회 1244 | 날짜 11:47
이햇성 | 추천 0 | 조회 2327 | 날짜 11:46
이햇성 | 추천 0 | 조회 1272 | 날짜 11:43
사쿠라모리 카오리P | 추천 1 | 조회 358 | 날짜 11:35
사쿠라모리 카오리P | 추천 1 | 조회 508 | 날짜 10:44
사쿠라모리 카오리P | 추천 1 | 조회 1087 | 날짜 10:42
사쿠라모리 카오리P | 추천 1 | 조회 1333 | 날짜 08:49
사쿠라모리 카오리P | 추천 11 | 조회 2363 | 날짜 07:55
사쿠라모리 카오리P | 추천 2 | 조회 2170 | 날짜 2019.12.15
야만의파도 | 추천 13 | 조회 7234 | 날짜 2019.12.15
이햇성 | 추천 0 | 조회 1205 | 날짜 2019.12.15
이햇성 | 추천 3 | 조회 4303 | 날짜 2019.12.15
사쿠라모리 카오리P | 추천 6 | 조회 2692 | 날짜 2019.12.15
사쿠라모리 카오리P | 추천 1 | 조회 359 | 날짜 2019.12.15
사쿠라모리 카오리P | 추천 1 | 조회 5449 | 날짜 2019.12.15
사쿠라모리 카오리P | 추천 1 | 조회 1380 | 날짜 2019.12.15
루리웹-9949658347 | 추천 11 | 조회 10380 | 날짜 2019.12.15
루리웹-8324431290 | 추천 7 | 조회 5286 | 날짜 2019.12.14
사쿠라모리 카오리P | 추천 0 | 조회 2253 | 날짜 2019.12.14
340456694 | 추천 19 | 조회 16894 | 날짜 2019.12.14
사쿠라모리 카오리P | 추천 1 | 조회 648 | 날짜 2019.12.14
사쿠라모리 카오리P | 추천 0 | 조회 818 | 날짜 2019.12.14
이햇성 | 추천 1 | 조회 4406 | 날짜 2019.12.14
이햇성 | 추천 4 | 조회 2796 | 날짜 2019.12.14
사쿠라모리 카오리P | 추천 0 | 조회 976 | 날짜 2019.12.14
야만의파도 | 추천 6 | 조회 3381 | 날짜 2019.12.14

1 2 3 4 5




글쓰기
힛갤
오른쪽 BEST