Lokalni LLM ili Claude/OpenAI API: kada se šta isplati

Najčešće pitanje koje čujem od firmi u regionu glasi: "Možemo li da pustimo model na svoj server pa da ne plaćamo API?" Odgovor nije ni da ni ne. Zavisi od količine tokena, osetljivosti podataka i toga koliko vam je bitno da model bude pametan, a ne samo dovoljno dobar. Evo kako ja to računam kad treba da donesem odluku, a ne da pišem prezentaciju.

Prvo pogledaj koliko API zaista košta

Većina razmišljanja "lokalno je jeftinije" polazi od pogrešne pretpostavke o ceni API-ja. Prema agregatorima koji se pozivaju na Anthropicov cenovnik (stanje oktobar 2026), Claude Sonnet 5.5 košta $2 ulaz / $10 izlaz po milion tokena, a Haiku 5.5 samo $0.10 / $0.50. Na istom nivou je i OpenAI: GPT-6.1 Sol je $2 / $10, a Luna $0.10 / $0.50. Pre objave proveri aktuelne cene na stranici sa cenama Claude platforme, jer sam ih čitao sa sekundarnih izvora i menjaju se.

Zaključak je neprijatan za lokalni pristup: list cene su se poklopile, pa se razlika pravi na keširanju, batch popustu i kvalitetu, a ne na ceni po tokenu.

Dva mehanizma menjaju račun više od svega:

• Prompt caching. Prema Anthropicovoj dokumentaciji čitanje iz keša košta 0,1x osnovne cene ulaza, dok upis u keš košta 1,25x (TTL 5 minuta) ili 2x (TTL 1 sat). Ako imate dugačak sistemski prompt ili RAG kontekst koji se ponavlja, najveći deo ulaznog troška praktično nestaje.
• Batch API. Message Batches naplaćuje 50% standardne cene. Popust se može kombinovati sa cachingom, ali su keš pogoci u batch režimu "best-effort".

Za sve što ne mora da bude u realnom vremenu (klasifikacija dokumenata, noćna obrada, enrichment) batch plus caching često obori cenu toliko da lokalni hardver ne može da je stigne.

Kad lokalni model zaista ima smisla

Lokalno ima smisla u tri situacije, i retko u više od jedne istovremeno.

1. Podaci ne smeju da napuste infrastrukturu. Ovo je pravi razlog, ne ušteda. Srpski Zakon o zaštiti podataka o ličnosti ("Sl. glasnik RS", br. 87/2018) u Glavi V uređuje prenos podataka u druge države, počev od člana 63. Prenos bez posebnog odobrenja je dozvoljen ako je utvrđeno da država primalac obezbeđuje primereni nivo zaštite. Ako nije, prenos je moguć uz odgovarajuće mere zaštite, na primer ugovorne odredbe, bez posebnog odobrenja Poverenika. Možeš da pročitaš tekst na zvaničnoj kopiji zakona.

Ja nisam pravnik i ne tvrdim koji se mehanizam primenjuje na kog provajdera. Praktično: ako šalješ zdravstvene podatke, podatke o zaposlenima ili klijentske ugovore američkom API-ju, to je pitanje za pravnika pre nego za inženjera. Lokalni model to pitanje uklanja, jer se podaci ne prenose nigde.

2. Visok, predvidiv i uniforman volumen jednostavnih zadataka. Ekstrakcija polja iz faktura, klasifikacija tiketa, normalizacija adresa. Zadaci su uski, izlaz je strukturiran, a kvalitet 20B modela je dovoljan.

3. Potrebna ti je kontrola nad verzijom modela. Ovo se podcenjuje. API modeli se povlače po rasporedu. Prema jednom pregledu, Claude Sonnet 4.5 je zastareo i povlači se 30. novembra 2026, a zamena je Sonnet 5.5. Svaka migracija znači novo testiranje promptova i evalova. Lokalni model sa fiksnim težinama menja se samo kad ti odlučiš.

Šta lokalno zapravo košta

Ljudi računaju samo cenu GPU-a i zaborave sve ostalo. Evo šta ja uračunavam.

Za orijentir: OpenAI gpt-oss je prvi open-weight model te kuće od GPT-2, izdat 5. avgusta 2025. pod licencom Apache 2.0. Prema opisu modela, gpt-oss-120b radi na jednom GPU-u sa 80 GB, a gpt-oss-20b staje u 16 GB memorije. Potrebna memorija varira po izvoru i konfiguraciji (80 GB, oko 60 GB sa kvantizacijom), pa nemoj uzimati jedan broj kao univerzalan.

Što se kvaliteta tiče, OpenAI tvrdi da je gpt-oss-120b blizu paritetu sa o4-mini na osnovnim benčmarcima rezonovanja, a 20b sa o3-mini. To je tvrdnja vendora koju prenosi Simon Willison, ne nezavisno merenje. Za tvoj slučaj upotrebe merenje moraš da uradiš sam, na svojim podacima.

Iznajmljeni GPU kao primer: kod jednog provajdera (Spheron) H100 SXM5 80 GB košta od $2.20/h u trenutku objave njihovog teksta. To je cena jednog provajdera i menja se.

Ilustrativni račun, jasno označen kao moja procena sa pretpostavkama, ne merenje: ako taj GPU radi non-stop, to je otprilike 24 sata puta 30 dana, dakle oko 720 sati mesečno, što je reda veličine $1.600 mesečno samo za iznajmljenu mašinu. Pretpostavke: mašina radi stalno, jedna instanca, bez redundanse. Na to dodaj:

• inženjersko vreme za deployment, monitoring i ažuriranje (ovo je obično najveća stavka i niko je ne računa),
• redundansu ako ti je bitna dostupnost,
• struju i hlađenje ako je hardver tvoj,
• prostor, zaštitu i amortizaciju ako kupuješ.

Za $1.600 mesečno na Sonnet 5.5 cenama dobiješ veliku količinu tokena. Tačan prag isplativosti zavisi od odnosa ulaza i izlaza, keš pogodaka i veličine promptova, pa ga moraš izračunati za svoj slučaj. Nemam proverene podatke o hardverskim cenama ni struji, pa ti ne dajem univerzalan broj.

Latencija i pouzdanost: ono što tabele ne pokazuju

Ovde ne navodim brojeve, jer nemam sopstvena merenja koja bih mogao da stavim ispod svog imena. Ali ti mogu reći šta merim kad radim ovu procenu.

Latencija. Merim dve stvari odvojeno: vreme do prvog tokena i ukupno vreme do kraja odgovora. Za interaktivne aplikacije (chat, asistent u formi) bitno je prvo. Za pozadinsku obradu bitna je propusnost, a latencija je skoro nebitna, pa tu batch API pobeđuje. Lokalni model na jednom GPU-u sa više istovremenih zahteva brzo se zaguši, dok API provajder taj problem rešava za tebe.

Pouzdanost. Ovde je trade-off dvosmeran:

Moje iskustvo iz sistema koji rade bez nadzora: kad agent radi sam preko noći, ono što najviše boli nije ni cena ni latencija, nego tihi pad kvaliteta nakon promene modela ili infrastrukture. Zato eval skup na tvojim podacima ima veću vrednost od bilo koje tabele sa cenama.

Regulativa koja se meša u račun

Ako radiš za klijente u EU ili sa EU tržištem, AI Act ulazi u priču nezavisno od toga gde model radi. Prema pregledu posle Digital Omnibus uredbe, Uredba (EU) 2026/1744 stupila je na snagu 27. jula 2026, a obaveze za samostalne visokorizične AI sisteme iz Aneksa III pomerene su sa 2. avgusta 2026. na 2. decembar 2027 (izvor). Transparentnost iz člana 50 (obaveštavanje korisnika da komunicira sa AI) važi od 2. avgusta 2026 (izvor).

Poenta za ovaj post: izbor lokalno ili API ne oslobađa te obaveze. Lokalni model rešava pitanje prenosa podataka, ali ne i pitanje transparentnosti prema korisniku. Konkretne obaveze za tvoj slučaj proveri sa pravnikom.

Šta bih ja uradio

Moj podrazumevani redosled, bez dogme:

1. Kreni sa API-jem. Najbrže dobijaš radni prototip i realne brojeve o potrošnji tokena. Bez tih brojeva svaki račun "lokalno vs API" je nagađanje.
2. Izmeri pre nego što optimizuješ. Beleži ulazne i izlazne tokene po zadatku, udeo ponovljenog konteksta i koliko zadataka sme da čeka (batch kandidati).
3. Uključi caching i batch pre nego što pomisliš na GPU. Za većinu SMB radnih opterećenja to je dovoljno da se račun smanji ispod praga na kom bi lokalni hardver imao smisla.
4. Pređi na lokalno samo ako postoji jedan od tri razloga: podaci ne smeju da izađu, volumen je visok i zadaci uniformni, ili ti treba zaključana verzija modela.
5. Hibrid je često pravi odgovor. Osetljive i jednostavne zadatke obrađuje lokalni model, a teško rezonovanje i retke složene slučajeve šalješ API-ju. Jednostavan router po tipu zadatka sa fallback-om pokriva većinu realnih potreba.

Ono što bih izbegao je da kupujem GPU zato što "API skupo košta", a da nikad nisam izmerio šta zaista trošim.

Zatvaranje

Odluka lokalno ili API nije filozofsko pitanje nego tabela sa tvojim brojevima: tokeni, osetljivost podataka, tolerancija na gubitak kvaliteta i spremnost da držiš infrastrukturu. Ako ti treba pomoć da to izračunaš za konkretan sistem ili da izgradiš hibridnu arhitekturu, javi se na lazar-milicevic.com/#contact, rado ću pogledati šta imaš.