Gemini API ofron një sërë mekanizmash optimizimi për të të ndihmuar të balancosh shpejtësinë, koston dhe besueshmërinë bazuar në nevojat e tua specifike të ngarkesës së punës. Pavarësisht nëse po ndërton robotë bisedash në kohë reale apo po ekzekuton kanale të rënda të përpunimit të të dhënave offline, zgjedhja e paradigmës së duhur mund të ulë ndjeshëm kostot ose të rritë performancën.
| Veçoria | Standard | Tregim force | Me përparësi | Paketë | Po ruan memorien e përkohshme |
|---|---|---|---|---|---|
| Çmimet | Çmimi i plotë | 50% zbritje | 75% deri në 100% më shumë se standardi | 50% zbritje | 90% zbritje + Hapësira ruajtëse e kodit të llogaritur proporcionalisht |
| Vonesa | Sekonda në minuta | Minuta (objektivi 1–15 min.) | Sekonda | Deri në 24 orë | Koha më e shpejtë për tokenin e parë |
| Besueshmëria | E lartë / mesatarisht e lartë | Përpjekja më e mirë (e reduktueshme) | E lartë (jo e lëshueshme) | E lartë (për rendiment) | Nuk ka |
| Ndërfaqja | Sinkron | Sinkron | Sinkron | Josinkron | Gjendja e ruajtur |
| Rasti më i mirë i përdorimit | Flukset e përgjithshme të punës të aplikimit | Zinxhirë vijues jo urgjentë | Aplikacionet e prodhimit të drejtuara ndaj përdoruesit | Massive datasets, offline evals | Kërkesa të përsëritura për të njëjtin skedar |
Nivelet e shërbimit të përfundimeve (sinkron)
Mund të kalosh mes trafikut sinkron të optimizuar për besueshmëri dhe atij të optimizuar për kosto
duke kaluar parametrin service_tier në telefonatat e tua standarde të gjenerimit.
Përfundimi standard (parazgjedhja)
Niveli standard është opsioni i parazgjedhur për gjenerimin vijues të përmbajtjeve. Ai ofron kohë normale përgjigjeje pa tarifa shtesë ose radhë të gjata.
- Qëndrueshmëria: Shkallë standarde e rëndësisë
- Çmimi: Çmimi standard.
- Më i miri për: Shumica e aplikacioneve ndërvepruese të përditshme.
Konkluzioni me përparësi (optimizuar për vonesën)
Përpunimi me përparësi i transferon kërkesat e tua te radhët e llogaritjes me kritikshmëri të lartë. Ky trafik është rreptësisht i patransferueshëm (nuk anulohet asnjëherë nga nivelet e tjera) dhe ofron besueshmërinë më të lartë. Nëse i tejkalon kufijtë e "Prioritetit dinamik", sistemi do ta ulë me kujdes nivelin e kërkesës në përpunim standard në vend që të dështojë me një gabim.
- Besueshmëria: Shkalla më e lartë e rëndësisë
- Çmimi: 75% deri në 100% mbi tarifat standarde.
- Më së miri për: robotët e bisedës për klientët, zbulimin e mashtrimeve në kohë reale dhe pilotët ndihmës që janë kritikë për biznesin.
Deduksioni Flex (i optimizuar për kosto)
Përfundimi i Flex ofron një zbritje prej 50% në krahasim me tarifat standarde duke përdorur kapacitetin llogaritës oportunist jashtë orarit të pikut. Kërkesat përpunohen në mënyrë sinkrone, që do të thotë se nuk ke nevojë të rishkruash kodin për të menaxhuar objektet në grup. Për shkak se është trafik "i heqshëm", kërkesat mund të parandalohen nëse sistemi përjeton kulme standarde të trafikut.
- Besueshmëria: Kriticitet i pagarantuar, i heqshëm
- Çmimi: 50% e çmimit standard (faturuar për token).
- Më e mira për: Flukset e punës agjentike me shumë hapa ku telefonata N+1 varet nga rezultati i telefonatës N, përditësimet e CRM-së në sfond dhe vlerësimet offline.
Batch API (në grup, asinkron)
Batch API është projektuar për të përpunuar vëllime të mëdha kërkesash në mënyrë asinkrone me 50% të kostos standarde. Mund të dërgosh kërkesa si fjalorë në rresht ose duke përdorur një skedar hyrës JSONL (deri në 2 GB). Ai i përpunon kërkesat duke përdorur radhët e kapacitetit të prapavijës me një kohë të synuar përfundimi prej 24 orësh.
- Besueshmëria: Mund të hiqet, por me sistem radhitjeje dhe riprovime të automatizuara për 24 orë
- Çmimi: 50% e çmimit standard.
- Më e mira për: Parapërpunimin e grupeve të mëdha të të dhënave, ekzekutimin e paketave periodike të testimit të regresionit dhe gjenerimet e imazheve ose integrimeve në vëllime të mëdha.
Ruajtja në memorien specifike të kontekstit (kursimet e hyrjes)
Ruajtja në memorien specifike të kontekstit përdoret kur një kontekst fillestar i konsiderueshëm referohet në mënyrë të përsëritur nga kërkesa më të shkurtra.
- Ruajtja implicite në memorien specifike: Aktivizohet automatikisht në modelet Gemini 2.5 dhe më të reja. Sistemi kalon kursimet e kostos nëse kërkesa jote arrin te fshehtësitë ekzistuese bazuar në prefikset e zakonshme të kërkesave.
- Ruajtja e qartë në memorien specifike: Mund të krijosh manualisht një objekt të memories specifike me një kohëzgjatje specifike (TTL). Pasi të krijohen, i referohesh kodeve të ruajtura në memorien specifike për kërkesat e mëvonshme për të shmangur kalimin e të njëjtit ngarkesë të korpusit në mënyrë të përsëritur. Ruajtja e qartë në memorien specifike nuk mbështetet për Gemini 4 Argon dhe versionet e mëvonshme.
- Çmimi: Faturuar në bazë të numrit të tokenëve të memories specifike dhe kohëzgjatjes së ruajtjes (TTL).
- Më e mira për: Robotët e bisedës me udhëzime të gjerë të sistemit, analiza të përsëritura të skedarëve të gjatë të videove ose pyetje për grupe të mëdha dokumentesh.
Zvogëlo kostot e hyrjes së videos me përpunimin me agjent
Për përmbajtjet video me metrazh të gjatë (mbi 5-10 minuta) ose kërkesat specifike, përpunimi agjentor mund të zvogëlojë kostot e tokenëve të hyrjes me deri në 88% ndërkohë që përmirëson cilësinë e përgjigjes. Si parazgjedhje, të gjitha modelet (duke përfshirë Gemini 4) përdorin përpunimin statik për të nxjerrë kuadrot në 1 FPS. Me kuptimin e videos nga agjenti, modeli inspekton transkriptin e videos në fillim dhe ngarkon në mënyrë dinamike segmentet vizuale me shpejtësi kuadrosh dhe rezolucione më të larta vetëm aty ku nevojitet. Për klipe të shkurtra (nën 5 minuta) ose përmbledhje të gjera të videove të plota, mbaj modalitetin e parazgjedhur të përpunimit statik
për një kohë më të shpejtë deri te tokeni i parë (TTFT) dhe kosto më të ulët të tokenit. Modaliteti agjentik përfshin arsyetimin e brendshëm (total_thought_tokens) dhe udhëtimet vajtje-ardhje të veglave (total_tool_use_tokens) gjatë navigimit në kronologji.
Për të përdorur përpunimin agjentik me Gemini 4 Argon, 3.8 Flash, 3.6 Flash ose 3.5 Flash Lite,
cakto processing: "agentic" (Interactions API) ose
media_processing: "AGENTIC" (GenerateContent API) në hyrjen e videos sate. Nëse modeli nuk e mbështet përpunimin agjentik, ai do të kthejë një gabim.
Për më shumë informacione, shiko Kuptimi i videove me agjent.