Vizualizare wishlist "Build pt AI in local"

Salut!
Pentru a te putea ajuta cu recomandari cat mai corecte, te rog raspunde complet si punctual, la toate intrebarile din acest link: http://www.mygarage.ro/wishlist/105438-im ... forum.html

1. Care este bugetul maxim in care vrei sa te incadrezi?


11500 RON

2. Cand intentionezi sa faci achizitia (te rugam sa aproximezi un numar de zile/saptamani)?



Imediat ce clarific ultimele intrebari


3. Ai vreo preferinta pentru procesor, Intel sau AMD?


INTEL

4. Ai vreo preferinta pentru placa video, nVidia sau AMD?



nVidia


5. In bugetul mentionat la punctul 1, trebuie sa intre si un monitor? Daca deja detii un monitor, te rugam sa ne mentionezi modelul (este inscriptionat pe eticheta spate).


Am deja monitorul - un Assus de 23' tot de la pcgarage!

6. Ce intrebuintari principale o sa aiba sistemul dorit (gaming/editari/etc)? Te rugam sa le mentionezi in ordinea importantei daca sunt mai multe? Daca lucrezi cu programe specifice de editare foto/video sau profesionale, te rugam sa ne spui cum se numesc.


Build AI care sa ruleze urmatoarele profile:
A - educatie :
- Llama 3 8B / 13B
- Mistral 7B
- Stable Diffusion


B - conversatie:


-Llama 3 70B


C - tehnic:
- Code Llama 34B
-ChatGLM3
+ coding etc

7. E necesar sa fie un sistem silentios sau nu este relevant?



Nu este relevant


8. Aspectul general este important? Doresti o anume tema coloristica (ex "totul" alb sau negru)? Doresti ceva minimalist si fara RGB sau doresti elemente RGB?



Nu ma intereseaza aspectul - carcasa va sta in camara...


9. Detii deja alte componente pe care ai vrea sa le folosesti cu acest sistem? Daca da, te rugam sa le mentionezi (modelul exact de pe etichete).

Nu detin decat perifericele


10. Ai nevoie si de periferice (tastatura, mouse, mousepad, boxe, casti)? Daca ai nevoie, te rugam sa ne mentionezi de ce anume ai avea nevoie.

Nu am nevoie d eperiferice


11. In cazul in care achizitionezi un sistem complet, doresti si asamblarea lui? Regasesti mai jos info privind asamblarea.



da doresc asamblare premium cu cable si coolong mngt dar fara nici o instalare de software....

claupreda Salutare! Cred că lista ta se mai poate optimiza. Pentru acea carcasă aș lua o placa de bază ATX. Also, dacă nu pui accent pe aspect nu văd de ce ai cheltui aproape 800 RON pe o carcasă. Tu cred că știi mai bine pentru ceea ce vrei să faci..dar Intel este the way to go? 32GB RAM crezi că sunt suficienți pentru tine? La asamblare te sfătuiesc să mergi pe varianta Gold ca să jonglezi mai bine cu bugetul total. La sursă mai ai variante, nu e musai să fie certificată Platinum iar la RAM se poate merge pe o variantă low-cost, RAM-ul face același lucru indiferent de producător dacă cumperi un kit cu aceleași specificații.

Multumesc pentru raspuns - total de acord ca lista se poate optimiza. As prefera insa sa primesc link-uri / sugestii catre alta carcasa, alt ram etc de pe pcgarageca sa pot actualiza cosul iar PC-ul final sa fie 100% compatibil si bine facut... Am trecut de 50 de ani si a trecut ceva vreme de cand am asamblat un PC - o sa adaug si asamblare GOLD.... asa ca daca ma puteti ajuta va multumesc anticipat.


Nu stiu ce sa zic vis-a-vis de Intel / AMD - sincer nu am nici o preferinta atata timp cat rezultatul va fi un PC extrem de stabil cu un consum mic in idle si cu putere de calcul mare atunci cand trebuie.


Ca idee am deja un 4070 acasa dar o voi instala ca o a doua placa pt low computing..


Multumesc.

Llama 3 70B nu o sa mearga nici pe placa video si nici pe RAM asa cum e configurat acum. Va merge pe 64GB RAM (dar pe procesor, nu pe GPU). Nici daca simplifici:
Llama 3 70B quantized, particularly using 4-bit quantization, requires roughly 35GB of VRAM
Iarasi, din ce vad Code Llama 34B nu o sa mearga pe GPU de 16 decat cu quantization, ca nu are destula memorie altfel.
Restul specificate o sa mearga fara probleme


Pe 5070Ti eu pot rula max Mistral 22B q3m.


Vad ca cineva a facut sa mearga LLama 70B pe 2x nvidia p40 (placi foarte vechi, dar cu 24GB VRAM, pe care daduse 300\$/bucata), deci pe 48GB. Problema e ca placile vechi cu memorie multa se cauta acum, le-au po***rizati youtuberii si reddit, si s-au scumpit (daca le-ai si gasi pe undeva).

Daca vrei modelele alea full, atunci un macbook cu ARM are unified memory si poti merge pe ceva cu 64GB RAM (preturi mult peste buget) si va merge si mai rapid (ca GPU integrat are acces la aceea memorie, mult mai rapid decat orice desktop CPU + RAM).

Cel mai important, nu stiu pe nimeni pe forumul asta care sa iti poata spune exact ce si cum, mai bine te informezi legat de exact ce cauti (model, cuantizare, dezavantaje) prin interneturi. Ca idee, orice serviciu online (gen GPT ori deepseek) daca vorbim de chat, e mult peste ce poti rula in casa (350B parca ori mai mult)

Multumesc CosminO! O analiza pertinenta! Am sa fac un studiu...

Din păcate o placă cu 32 GB de memorie este extrem de scumpă... Și nu am încredere să cumpăr un 3090 de pe o l x...

Revenind totuși la problema noastră aș putea cumva să reduc prețul altor componente ca să mă pot încadra în bugetul respectiv?

După cum a precizat și claudiu_boy940, Aș prefera să reduc prețul la carcasă Și să găsesc alternative la alte componente.... Pentru ca per total să am un build stabil care să stea în cămară cu minima mentenanță...

multumesc!

Mkay, avand in vedere nevoile si scaderea pretului, imi da asa:

128GB 6400 (viteza suportata standard 265K) si combinat cu cei 16GB 5070Ti (mai mult pentru generative, gen Stable Difussion unde e excelenta - eu compar cu 4070Ti). Asta ar trebui sa iti dea destul pentru toate modelele enumerate, chit ca vei folosi si procesorul (altfel nu cred ca vrei sa dai 10k euro pe un RTX PRO 6000 Blackwell 96GB)
Nu as adauga extra complexitate (racire lichid) cand un metal si doua ventilatoare poate face treaba la fel de buna in contextul tau (265K).
Carcasa aerisita, placa de baza full atx cu chipset Z, 4 sloturi M.2, placa retea 5Gb.
Am schimbat unitatea stocare cu alta cu 5 ani garantie si viteza de scriere/citire probabil insesizabil mai mici.
Sursa ATX3.1 cu 10 ani garantie si arhi-suficienta pentru PC chiar daca stai cu CPU si GPU in full load in acelasi timp.
5070TI deja e la un pret mai mare decat ar trebui, nu cred ca vei vedea diferenta de la Ventus la ceva mai ieftin nitel (dar poti pastra si Ventus daca vrei).

5970746

Buna si multumesc mult pentru ajutor.
Am facut un studiu si din pacate trebuie sa optez pentru doua 3090 sau un 5070 si un 3090 in aceeasi carcasa... in rest voi comanda componentele de la voi.


Pentru cine doreste de ce am luat aceasta decizie:


Llama 3 70B în variantă 4-bit quantized necesită ~35GB VRAM, iar RTX 5070 Ti are doar 16GB VRAM, deci nu este suficient.Pentru a rula modelul necuantizat (FP16), este nevoie de 140GB VRAM ceea ce depășește orice GPU consumer. RAM-ul de 32GB este insuficient pentru rularea pe CPU, deoarece Llama 3 70B necesită minim 64GB RAM...

Code Llama 34B necuantizat necesită ~68GB VRAM (FP16), dar cu 4-bit quantization, poate fi rulat pe ~17GB VRAM; RTX 5070 Ti (16GB VRAM) poate rula Code Llama 34B doar cu quantization mai agresiv (ex: 3-bit), dar performanța va fi redusă. Pentru inferență rapidă, recomandarea este un GPU cu 24GB VRAM (ex: RTX 4090)...

2x NVIDIA P40 (48GB VRAM total) pot rula Llama 3 70B în 4-bit quantization dar aceste plăci sunt:
Foarte lente (architectură Pascal, 2016).
Fără suport pentru FP16/INT8 accelerat, ceea ce mărește timpii de inferență.
Incompatibile cu unele framework-uri moderne (ex: nu suportă CUDA cores mai noi).

Alternativa MacBook cu RAM unificată:
MacBook-urile cu M-series și RAM unificată (ex: 64GB) pot rula Llama 3 70B pe CPU/Neural Engine, dar:
Performanța este inferioară unui setup cu GPU dedicat (ex: RTX 4090).
Costul este foarte mare (MacBook cu 64GB RAM costă peste 15.000 RON).
Nu suportă optimizări specifice NVIDIA (ex: Tensor Cores, CUDA).


Multumesc.