Jan Vajdák Výzkumníci z Applu a Ohio State University představili nový model s názvem Few-Step Discrete Flow-Matching (FS-DFM), který dokáže generovat text až 128× rychleji než dosavadní modely. Nový přístup by mohl zásadně změnit způsob, jakým fungují moderní jazykové systémy. Současné jazykové modely, jako je ChatGPT, využívají tzv. autoregresivní přístup. To znamená, že generují text postupně, token po tokenu, přičemž každý nový krok závisí na předchozím kontextu. Tento proces je poměrně přesný, ale také pomalý. Naproti tomu difuzní modely vytvářejí více tokenů současně a následně je v několika krocích postupně zpřesňují. Výsledkem je text, který vzniká paralelně a rychleji.
Mohlo by vás zajímat
Zvláštní kategorií jsou tzv. flow-matching modely, které tento proces zjednodušují. Místo postupného dolaďování dokážou vygenerovat finální výsledek v jediném kroku. Nový model Applu kombinuje výhody obou přístupů. FS-DFM zvládne vytvořit kompletní text po pouhých osmi iteracích, přičemž si zachovává stejnou kvalitu jako modely, které potřebují více než tisíc kroků. Podle studie dosáhl FS-DFM ve srovnání s difuzními modely Dream (7 miliard parametrů) a LLaDA (8 miliard parametrů) nižší perplexity, tedy ukazatele kvality textu, a zároveň stabilnější entropie, což znamená vyvážený poměr mezi jistotou a variabilitou při výběru slov. Navzdory menší velikosti (verze s 1,7 až 0,17 miliardy parametrů) dokázal FS-DFM generovat přirozenější a konzistentnější text než větší modely. Apple a Ohio State University momentálně plánují zveřejnit zdrojový kód i trénované modely, aby umožnili další výzkum a reprodukovatelnost výsledků. Nový model FS-DFM tak může být dalším krokem k efektivnějšímu, přesnějšímu a dostupnějšímu využití jazykových modelů v praxi.
A generuje tento model aj v CZ/SK ? Lebo ak nie tak GPT je potom aj tak lepšie.
To bude pocin. Pouzivam 4 ruzne ai na ruzne ukony. Rycholst geneovat text neni problem. Problem je jeho spravnost. Od apple ocekavam paskvil.