[잡담] 인공지능 집에서 굴릴라면 램이 좀 많이 필요하네

[빅세스코맨김재규]

CPU는 기본이고 GPU도 고성능인 것이 유리하고...

일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)

돈이나 열심히 모아야겠다.

메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...

내가 왜 32로 맞췄을까 후회가 되는군.

다음에 맞출 때는 서버 보드라도 알아봐야겠다.

덧.

아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...

[루리웹-6942682108]

? 뭘 인공지능으로 부르는건지 모르겠지만 신경망기반 모델 얘기면 집컴이 아니라 님 자동차에 있는 칩에서도 굴러가는게 인공지능인데..

[빅세스코맨김재규]

본문에 언급한 메타 라마3 70b

[빅세스코맨김재규]

나
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐.
Copilot
답변 생성 중…

메타 라마3 70B 모델을 사용하려면 실제로 많은 양의 메모리가 필요합니다. 메타의 Llama3 70B Foundation Model을 4bit 양자화를 통해 모델을 로드한다고 하여도 약 42GB VRAM이 필요하다고 합니다1. 따라서, 이를 고려하면 64GB의 RAM이 필요한 것은 충분히 이해할 수 있습니다. 그러나 이는 모델을 로드하고 실행하는 데 필요한 최소한의 요구 사항일 뿐, 실제로는 더 많은 메모리가 필요할 수 있습니다. 이는 사용하는 작업, 데이터의 크기, 그리고 동시에 실행하는 다른 프로세스 등에 따라 달라질 수 있습니다. 따라서, 메타 라마3 70B를 사용하려는 경우에는 충분한 메모리를 갖춘 시스템을 사용하는 것이 중요합니다.

[봄날의우라라]

일반 보드도 램 128G 는 설치 가능합니다. 비싼 메모리는 196G
더 큰 램은, 서버 보드로 가셔야 합니다.

[chakata]

애초에 그 모델은 일반 소비자용이 아니라 서버용이라 vram이 정말 많이 필요한 거지
그걸 돌릴 gpu는 정말 비싸

[빅세스코맨김재규]

그냥 하위 모델로 가야할 것 같음
처음부터 내가 시스템 메모리로 본 것 자체가 잘못된 인지였음;;