CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
CPU는 기본이고 GPU도 고성능인 것이 유리하고...
일단 2025년에 컴퓨터 새로 맞추기로 마음 먹었으니(5년 주기)
돈이나 열심히 모아야겠다.
메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐...
내가 왜 32로 맞췄을까 후회가 되는군.
다음에 맞출 때는 서버 보드라도 알아봐야겠다.
덧.
아니 시스템 메모리도 아니고 VRAM??? 내가 잘못봤구나...하...
|
|
떡GU
추천 0
조회 0
날짜 12:27
|
|
얼큰순두부찌개
추천 0
조회 2
날짜 12:28
|
|
나래여우🦊
추천 0
조회 3
날짜 12:28
|
|
저를막만지셨잖아여
추천 0
조회 3
날짜 12:28
|
|
묻지말아줘요
추천 0
조회 8
날짜 12:27
|
|
오야마 마히로
추천 0
조회 11
날짜 12:27
|
|
나혼자싼다
추천 0
조회 12
날짜 12:27
|
|
카메라를든여자
추천 1
조회 19
날짜 12:27
|
|
아랑_SNK
추천 0
조회 9
날짜 12:27
|
|
깔깔외국유머
추천 3
조회 78
날짜 12:27
|
|
00-,.-00
추천 1
조회 19
날짜 12:27
|
|
동네훈타
추천 0
조회 68
날짜 12:26
|
|
KyrieEleison
추천 3
조회 72
날짜 12:27
|
|
베른카스텔
추천 1
조회 41
날짜 12:26
|
|
NTR의 악마
추천 0
조회 24
날짜 12:26
|
|
잭 그릴리쉬
추천 2
조회 91
날짜 12:26
|
|
여 월
추천 1
조회 36
날짜 12:26
|
|
루리웹-98765432
추천 3
조회 91
날짜 12:26
|
|
스그웬
추천 0
조회 19
날짜 12:26
|
|
Nuka-World
추천 2
조회 65
날짜 12:26
|
|
유리파편
추천 1
조회 54
날짜 12:26
|
|
안경모에교단
추천 1
조회 153
날짜 12:26
|
|
갓트루참얼티밋여신블랑
추천 3
조회 43
날짜 12:26
|
|
rubic
추천 1
조회 15
날짜 12:26
|
|
강등 회원
추천 0
조회 194
날짜 12:26
|
|
마ㅏ
추천 0
조회 91
날짜 12:25
|
|
한예슬
추천 2
조회 110
날짜 12:25
|
|
화화
추천 2
조회 20
날짜 12:25
|
? 뭘 인공지능으로 부르는건지 모르겠지만 신경망기반 모델 얘기면 집컴이 아니라 님 자동차에 있는 칩에서도 굴러가는게 인공지능인데..
본문에 언급한 메타 라마3 70b
나 메타 라마3 70b 돌리려면 램이 64기가 필요하다는거 실화냐. Copilot 답변 생성 중… 메타 라마3 70B 모델을 사용하려면 실제로 많은 양의 메모리가 필요합니다. 메타의 Llama3 70B Foundation Model을 4bit 양자화를 통해 모델을 로드한다고 하여도 약 42GB VRAM이 필요하다고 합니다1. 따라서, 이를 고려하면 64GB의 RAM이 필요한 것은 충분히 이해할 수 있습니다. 그러나 이는 모델을 로드하고 실행하는 데 필요한 최소한의 요구 사항일 뿐, 실제로는 더 많은 메모리가 필요할 수 있습니다. 이는 사용하는 작업, 데이터의 크기, 그리고 동시에 실행하는 다른 프로세스 등에 따라 달라질 수 있습니다. 따라서, 메타 라마3 70B를 사용하려는 경우에는 충분한 메모리를 갖춘 시스템을 사용하는 것이 중요합니다.
일반 보드도 램 128G 는 설치 가능합니다. 비싼 메모리는 196G 더 큰 램은, 서버 보드로 가셔야 합니다.
애초에 그 모델은 일반 소비자용이 아니라 서버용이라 vram이 정말 많이 필요한 거지 그걸 돌릴 gpu는 정말 비싸
그냥 하위 모델로 가야할 것 같음 처음부터 내가 시스템 메모리로 본 것 자체가 잘못된 인지였음;;