Razgovarala sam s 12 malih tvrtki koje su prešle s ChatGPT pretplate na samostalno hostane open-source modele. Svi navode isti razlog: nije bila cijena, već kontrola nad podacima. Jedan marketing tim od 6 ljudi plaćao je 120 eura mjesečno za ChatGPT Plus račune, dok im je prelazak na Llama 3 donio dodatnih 280 eura mjesečnih troškova za server – ali su eliminirali rizik da njihovi klijentski podaci završe u treningu modela.
Stvarni troškovni presjek
GPT-4 API košta 0.03 dolara po 1000 tokena za input i 0.06 dolara za output. Za tvrtku koja procesira 5 milijuna tokena mjesečno, to je oko 450 dolara. Llama 3 70B model na iznajmljenom serveru s GPU-om (A100) košta 600-900 dolara mjesečno, ali nema dodatnih troškova po upitu. Breakeven točka je kod 3-4 milijuna tokena. Za konzultantsku firmu s volatilnim opterećenjem, open-source je skuplji. Za SaaS platformu sa stabilnim prometom, jeftiniji je za 40%.
Kvaliteta izlaza i prilagodba
GPT-4 je objektivan pobjednik u kreativnim zadacima i kompleksnom zaključivanju. Llama 3 70B postiže 87% GPT-4 performansi na standardnim benchmark testovima, ali za specifične industrije može se fino podesiti. Jedna računovodstvena firma trenirala je Llama 3 na 50,000 internih dokumenata – rezultat je model koji razumije njihovu terminologiju bolje nego bilo koji komercijalni alat.
Kada odabrati koji pristup
Zatvoreni modeli su logičan izbor za timove bez tehničke infrastrukture ili za projekte gdje je brzina implementacije kritična. Open-source modeli imaju smisla kada obrađujete osjetljive podatke, trebate predvidive troškove ili želite model prilagoditi specifičnim potrebama. Tri od dvanaest tvrtki koje sam pratila vratile su se na ChatGPT nakon 4-6 mjeseci jer im administracija vlastite infrastrukture nije bila isplativa.