Jev vs LLM: mi az a Jev AI modell, és mikor jobb a nagy nyelvi modellnél?

A Jev AI modell a TypeSafe AI új döntési modellje. Kontextus, kérdés és válaszforma alapján osztályoz, és a kért struktúrában válaszol, szöveget nem generál. A TypeSafe benchmarkjai szerint 40-200-szor gyorsabb egy hasonló teljesítményű nagy nyelvi modellnél (LLM), és a költsége is jóval kisebb. A cikkből megtudod, hogyan működik a Jev, milyen kérdéstípusokat ismer, és mely feladatokban válthatja ki az LLM-et.

A TypeSafe bejelentése első olvasásra furcsán hat: az első "System One" modellként hirdeti a Jevet (ez marketingkifejezés), és 193,6-szor gyorsabbnak, 444,6-szor olcsóbbnak mondja. Ilyen pontos számokat ritkán látni, és az sem világos, mihez mérik őket. Mivel a TypeSafe a frontier LLM-ekkel közös grafikonokon mutatja a Jevet, könnyen azt hihetnéd, hogy ez is egy általános nagy nyelvi modell. A Jev más feladatra készült, a cikk pedig végigvezet azon, hogy melyikre.

System One vs LLM: mi a Jev modell, és hogyan működik?

A Jev modell strukturált döntési feladatokra való: elküldesz neki egy kontextust (state), egy kérdést (instruction) és a várt válasz típusát, például igen/nem értéket. A modell a kért struktúrában válaszol, a Choice és a Score típusnál a válasz helyességére vonatkozó confidence level értékkel együtt.

Így kérdeznél ugyanerről egy általános LLM-et:

• Kaptam egy levelet: „Kedves Gipsz Jakab, meghalt Kwame Mbeki afrikai főherceg, akiről kiderült, hogy a távoli rokonod volt, és rád hagyott 1 millió dollárt. A pénz átutalásához azonban a tranzakciót meg kellene finanszírozni, ezért kérjük, küldj egy kis pénzt ide: [...]".
• Kérdésem: Szerinted ez spam?
• JSON-ban válaszolj igen/nem-mel, és add meg, mennyire vagy biztos a válaszodban.

A várt válasz: {"answer": "yes", "confidence": 0.99}

A Jev esetében a kontextus a "kaptam egy levelet..." rész, a kérdés a "Szerinted ez spam?", a válasz típusa pedig igen/nem jellegű (Noul). Más helyzetben a kontextus más, a kérdés ugyanaz maradhat.

Milyen típusú kérdéseket tehetsz fel a Jev modellnek?

A Jev háromféle kérdéstípust ismer: Noul, Choice és Score. Mindegyik más válaszformátumot ad.

A Score típus pontozásra (scoring) való. A Choice és a Score típusnál a válasz mellé valószínűségek és confidence level is járnak. A confidence level azt jelzi, mennyire biztos a modell a válaszban. Fontos látni, hogy ez nem egy “igazi” valószínűség, tehát ha Jev válasza 80%-os confidence levellel érkezik, az nem jelenti, hogy 5-ből 4-szer igaza lesz és 1-szer téved (nagy elemszám mellett, ld. nagy számok törvénye)

Miért jobb a Jev, ha egy LLM-mel is megoldható ugyanez?

A TypeSafe AI szerint a Jev egy hasonló teljesítményű LLM-nél olcsóbban és gyorsabban dolgozik, a válaszformátumot pedig garantálja. Az ígéret négy részből áll:

1. Nagyon gyors válasz, sokkal kisebb késleltetés.
2. Nagyon alacsony költség egy LLM-hez képest.
3. Ebben a konkrét feladatban olyan jó, mint egy nagy, okos LLM.
4. Garantált válaszformátum.

Az első három pont összefügg. A TypeSafe Jev benchmarkjai szerint a hasonlóan jól teljesítő LLM-hez képest a Jev 40-200-szor gyorsabb, és a költsége is jóval kisebb: a bemeneti token 0,042 USD/MTok, a kimeneti token ingyenes, míg a frontier LLM-eknél a bemeneti token 0,20 és 10 USD/MTok között van, a kimeneti token pedig kb. ötször drágább.

A bevezetőben említett 193,6-szoros gyorsaságot és 444,6-szoros olcsóságot a cég maga is a valós nyereség felső határának tartja.

Összefoglalva: egy nagy, drága és lassú LLM teljesítményét kapod ezekre a feladatokra, a költség és a késleltetés töredékéért.

A két modelltípus más feladatra való. Ha szöveget kell írni, az LLM a megfelelő eszköz. Ha egy kérdésre igen/nem jellegű választ vagy egy opciót vársz, a Jev gyorsabban és olcsóbban oldja meg, és formai hibát sem vét.

Az AI agentekben az LLM-eket gyakran éppen osztályozásra használják: szöveget kategorizálnak, kiválasztják a legvalószínűbb következő lépést vagy a meghívandó eszközt. A Jev ezt gyorsan, olcsón és szintaktikailag helyesen végzi. A TypeSafe saját benchmarkja szerint a teljesítménye ezekben a feladatokban a Sonnet 5 és az Opus 5 között van, a sebesség- és költségelőnyt is ezekhez a frontier LLM-ekhez mérik.

Hol válthatja ki a Jev az LLM-et?

A Jev ott válthatja ki a nagy nyelvi modellt, ahol az LLM osztályozási feladatot végez, és ilyen feladatból sok van:

Az AI guardrails ellenőrzéseknél jól jön a gyors válasz, mert a vizsgálat minden üzenetnél lefuthat.

Determinisztikus a Jev modell? Számít a prompt engineering?

A Jev nem determinisztikus, ugyanarra a bemenetre nem feltétlenül ugyanazt a választ adja. Próbáljuk ki: kérdezzük meg többször ugyanazt, és más confidence értéket fogunk kapni, egyszer 0.88-at, utána 0.87-et. A körülbelüli érték persze ugyanaz lesz. 

A prompt itt is számít. Nem érdemes például azt kérdezni, melyik a kedvenc operád, és erre igen/nem választ várni. Kevésbé triviális példa: ha egy scoring feladat esetén 10 féle szint között kell választani, akkor a 10 féle szintnek különböző az adott feladathoz illeszkedő, egyre jellemzőbb megfogalmazás kell. Ha egy hibajegy szintjét 10-es skálán akarjuk eldönteni, akkor egyáltalán nem triviális a 6-os és a 7-es szinthez megfelelő leírást csatolni, amelyben a 6-osnál a 7-es kicsit jellemzőbb és, amely a modellt megfelelően vezérli.

A modell viszont annyira gyors, hogy ügyes trükkökkel Snake játékot és Super Mariót is vezérelnek vele. Valós idejű alkalmazásokban tehát használható.

Mi az a Probably programozási nyelv, és mit jelent a "determinism is overrated"?

A Probably egy friss mémnyelv, amelynek mottója a "Determinism is overrated", magyarul: a determinisztikusság túlértékelt. Nekem a Probably programozási mémnyelv a kedvencem a Jev körül született ötletek közül. A nyelv az if ... then ... else ... szerkezetet az if ... feels ... with confidence XX% ... otherwise maybe ... alakra cseréli, és minden szerkezetét a Jev működteti:

A vicc mögött használható ötlet van. A koncepció és a sebesség más fejlesztőket is megihletett, így megjelentek nyílt forráskódú alternatívák, például az OpenJev és a Laya. Akadnak olyan vélemények is, hogy a megoldás nem akkora újdonság. Hasonlók korábban is léteztek, de a piac még nem tartott ott, hogy értékelje őket: hiányzott a sok felhasználási eset, ahol az LLM lassúsága és a hibás válaszformátum zavart okozott.

Ha a System One modellek tényleg olyan jól működnek, ahogy a gyártó állítja, feladatok egy egész csoportjában kiválthatják az LLM-eket.

A LogiNetnél jelenleg a StickyPrompts termékben teszteljük Jev-et használatát, mégpedig a smart model routing funkcióban. Ennek lényege, hogy egy felhasználói chat üzenethez automatikusan válasszunk modellt az alapján, hogy Jev mennyire látja nehéznek a feladatot, mekkorának üzleti hatást (nehezebb feladat + nagyobb üzleti hatás -> okosabb model, magasabb effort level), illetve a feladatok elvégzéséhez milyen tool szükséges (ha a feladathoz szükséges képgenerálás → képgenerálásra képes modell szükséges). A feladat tehát a feladat elvégzéséhez képes legolcsóbb modell kiválasztása.

GYIK

• Mi a különbség a Jev és egy LLM között?
  Az LLM általános szöveget generál. A Jev kontextus, kérdés és válaszforma alapján osztályoz vagy dönt, és a kért struktúrában válaszol.
   
• Mit jelent a System One modell?
  Ez marketingkifejezés. A TypeSafe AI az első ilyen modellként mutatja be a Jevet.
   
• Milyen kérdéstípusokat támogat a Jev?
  Háromfélét: a Noul 0 és 1 közötti értéket ad (az igen válasz valószínűségét), a Choice legfeljebb 255 opció közül választ, a Score pontszámot ad vissza 0 és N-1 között.
   
• Mit mutat a confidence level?
  A Choice és a Score típusnál a válasz mellé valószínűségek és confidence level is járnak. A confidence level azt jelzi, mennyire biztos a modell a válaszban. A Noul értéke maga az igen válasz valószínűsége.
   
• Milyen feladatokra érdemes a Jevet használni?
  Olyanokra, ahol egy LLM osztályozást végez: felhasználói szándék felismerésére, tool calling döntésekre, a válasz elfogadhatóságának ellenőrzésére és AI guardrails ellenőrzésekre.
   
• Mennyivel gyorsabb és olcsóbb a Jev?
  A TypeSafe benchmarkjai szerint 40-200-szor gyorsabb egy hasonló teljesítményű LLM-nél, és a költsége is jóval kisebb. A 193,6-szoros és a 444,6-szoros érték a cég szerint a valós nyereség felső határa. Valós időben is használható a Jev?Igen, a modell annyira gyors, hogy Snake játékot és Super Mariót is vezérelnek vele.
   
• Hányszor fut le a Probably nyelv while ciklusa?
  Legfeljebb ötször.
   
• Van nyílt forráskódú alternatívája a Jevnek?
  Igen, például az OpenJev és a Laya.

Linkek

• TypeSafe AI
•  A TypeSafe technikaibb ismertetője
• Dokumentáció
• Jev kipróbálása
• Probably programozási nyelv