M4 맥 미니가 가성비 대비 성능이 잘 나와서 M4 Mac Mini를 AI 클러스터 사용하는 유저들이 많아지고 있다고 합니다.
Thunderbolt 5 상호 연결(80Gbps)을 사용
4개의 M4 Pro Mac Mini에 분산된 LLM을 실행
Nemotron 70B를 8 tok/초로 실행하고 Llama 405B로 확장된다고 합니다.
M4 맥 미니가 가성비 대비 성능이 잘 나와서 M4 Mac Mini를 AI 클러스터 사용하는 유저들이 많아지고 있다고 합니다.
Thunderbolt 5 상호 연결(80Gbps)을 사용
4개의 M4 Pro Mac Mini에 분산된 LLM을 실행
Nemotron 70B를 8 tok/초로 실행하고 Llama 405B로 확장된다고 합니다.
LLM 쪽으론 맥이 항상 유리했죠. 공유메모리를 사용하니 메모리 큰 GPU 를 안사도 되고.
다음 애플 분기 실적때 맥 실적이 궁금해지는군요 일단 저도 한 대 살건데 한국 정발 언제 해주냐 이놈들아ㅏㅏㅏ
m4가 ps5프로보다 쓸모있는거 아닐까 ㅡㅠ
엔비디아꺼 한개는 5억임 그래서 이런 효율에도 가성비라는 것
m4 pro 맥미니 4대를 사는 것 보다 m3 max 맥북프로 128기가 제품이 가성비가 더 나음. nemotron 70b 모델 돌려도 저 보다 나은 속도가 나오고.
다음 애플 분기 실적때 맥 실적이 궁금해지는군요 일단 저도 한 대 살건데 한국 정발 언제 해주냐 이놈들아ㅏㅏㅏ
LLM 쪽으론 맥이 항상 유리했죠. 공유메모리를 사용하니 메모리 큰 GPU 를 안사도 되고.
m4가 ps5프로보다 쓸모있는거 아닐까 ㅡㅠ
하나는 컴퓨터고 다른 하나는 게임만 할 수 있는 것이니 어쩔 수 없는 것 같네요
사용처가 확연히 달라서 그렇게 비교하기엔 좀 문제가 있겠네요 하나는 배고 하나는 자동차같은 느낌이어서 뭐..
게임기랑 PC를 왜 비교하는겨?ㅋㅋㅋㅋㅋ
비슥한 가격대라 이번에 프로 지른게 후회되서
m4 pro 맥미니 4대를 사는 것 보다 m3 max 맥북프로 128기가 제품이 가성비가 더 나음. nemotron 70b 모델 돌려도 저 보다 나은 속도가 나오고.
학습모델 돌리는거면 맥미니가 나음. 왜냐면 뉴럴엔진이 칩 시리즈 공통으로 16개의 엔진이 들어가기 때문에 m4 max는 16개의 뉴럴엔진으로 128GB의 메모리공간을 가지지만 동일하게 64GB로 확장한 M4 pro칩 맥미니 4개면 64개의 뉴럴엔진으로 256GB의 메모리공간을 가지는거라 가속성능에서 차이가 심할거임
64기가 모델 맥미니면,, 이미 가성비를 논할 수준은 훨씬 넘어가지요. 학습이 목적이면 m4칩은 애초에 고려대상이 아니구요.
가"성"비 성능 상승분이 가격 상승분보다 높기 때문에 여전히 유효한 가성비죠. 당장 가속 성능만 단순 계산으로 4배인데 m칩 max시리즈 128대비해서 4배 가격까진 안나오거든요. m칩 맥스 맥북 프로 128GB -> 14인치 기준 700만 m4 pro 미니 64GB -> 개당 300만
언어모델 학습에 m4칩을 쓰는 경우가 있던가요?? 애플도 ai 학습에 구글 칩셋을 쓰는 걸로 아는데?
본문 내용도 nemotron 70b 모델을 온디바이스로 구동했을시 성능을 말하는 것 아닌가요?
이번에 m4 max칩으로 ai 서버 구축한다고 발표했습니다. 애플 인텔리전스 서버도 m칩으로 돌리구요.
학습을 시키는게 아니라 학습된 모델을 돌리는걸 말하는겁니다.
온디바이스 구동에서 4배 차이가 날 것 같지는 않은데요? nemotron 70b 모델을 m3 max 128기가 모델로 돌려 보면 본문에 적시된 초당 8토큰 속도보다는 잘 나오거든요. m칩 울트라 처럼 칩셋을 결합하는 형태가 아닌데,, 맥미니를 병렬 연결한다고 해서 대역폭까지 올라갈 것 같지도 않구요.
m3 max 128GB 기중 Q8이 4.6toks/s정도 나오는데 본문의 영상의 맥미니 4개짜리는 13.2tok/s가 나오는데요?
본문에서는 8토큰 정도로 적시되어 있는데, 구동 영상에는 10-11토큰 정도로 찍히네요. 128기가 램을 풀로 쓰진 않고 80기가 정도 점유 하면서 처음에는 속도가 꽤 잘 나옵니다. 발열이 생기면서 뒤로 갈 수록 속도는 더 떨어지구요. 그럼에도 메모리 스왑은 없습니다. 제가 느끼기로는 영상에 나오는 속도보다는 더 잘 나옵니다만,, 속도를 체크해 봐야겠네요.
70B 모델이네요 ㄷㄷ
M4 프로 맥미니 4대면 800만원쯤 하지 않던가
슈퍼아르헨틴백브레이커
엔비디아꺼 한개는 5억임 그래서 이런 효율에도 가성비라는 것
그건 소비자한테 팔때만 그러는거라.
왜요. 만대 정도 구입하시게요?
애플이 곧 구축할 애플인텔리전스 서버나 법인에서 대량구매할 때 상정하고 한 얘기인데 이런 댓글을 쓴 의도가 뭐지?
의도를 모르신다면 더 이상 말을 이어갈 이유가 없죠.
설명이 필요한 드립은 실패한 드립이니까 ㅇㅇ
회사서 맥스튜디오 M1 Ultra 64GB 를 사용하고, 집에선 4090 24GB 를 사용하는데.. 집에선 llama3.1 70B 짜리 돌리면 메모리 부족해서 CPU+GPU 같이 돌아가느라 병목이 심각합니다. 맥에선 마음 편하게 바로 70B 실행됨. tok/s 는 느리지만 병목이 없다는게 크네요.
이거죠 아마 실제 사용하지 않아서 그러신지 체감이 확 안오시는듯 합니다...
1u에 m4만 꽂아서 ... 와.. 애플 주식 사야겠네
맥을 사용하면 초당 토큰 처리량이 찐 AI 머신보다는 엄청 느리지만 가격도 저렴함. 돌아가는게 어딘가. 당연히 윈도우 머신에 램 많이 넣어도 이건 못따라감.
M4울트라 맥스튜디오 나오면 어마어마 햐지겠네여