Apple začala takmer bez príkladov v Swift a dosiahla prekvapivé výsledky. Model StarChat-Beta bol posunutý do neprebádaného teritória bez jasných pokynov. Po opakovaných iteráciách vznikol takmer milión funkčných programov v SwiftUI.
Výskumníci spoločnosti Apple nedávno odhalili experiment, v ktorom bol model AI trénovaný na generovanie kódu používateľského rozhrania v SwiftUI, aj keď v pôvodných dátach neboli takmer žiadne príklady SwiftUI.
Štúdia začala s modelom StarChat-Beta, open source modelom určeným na kódovanie. Jeho tréningové zdroje, vrátane TheStack a ďalších zbierok, takmer neobsahovali kód v Swift.
Táto absencia znamenala, že model nemal výhodu existujúcich príkladov, ktoré by usmerňovali jeho odpovede, čo spôsobilo prekvapivé výsledky, keď sa nakoniec objavil silnejší systém.
Riešením tímu bolo vytvorenie cyklu spätnej väzby. Dali modelu StarChat-Beta sadu popisov rozhrania a požiadali ho, aby z týchto podnetov generoval programy v SwiftUI.
Každý vygenerovaný program bol skompilovaný, aby sa zaistilo, že skutočne beží. Funkčné rozhrania boli potom porovnané s pôvodnými popismi pomocou iného modelu, GPT-4V, ktorý posúdil, či výstup zodpovedá požiadavke.
V dátovom súbore zostali iba tie, ktoré prešli oboma fázami. Tento cyklus sa opakoval päťkrát a s každým kolom sa čistejší dátový súbor vracal do ďalšieho modelu.
Na konci procesu mali výskumníci takmer milión funkčných vzoriek SwiftUI a model, ktorý nazvali UICoder.
Model bol potom meraný pomocou automatizovaných testov a hodnotenia ľuďmi, kde výsledky ukázali, že nielenže fungoval lepšie ako jeho základný model, ale dosiahol aj vyššiu úspešnosť kompilácie ako GPT-4.
Jedným z najvýraznejších aspektov štúdie je, že kód Swift bol takmer úplne vylúčený z počiatočných tréningových údajov.
Podľa tímu sa to stalo náhodou, keď bol vytvorený dátový súbor TheStack, pričom zostali iba roztrúsené príklady nájdené na webových stránkach.
Tento preгляд vylučuje myšlienku, že UICoder jednoducho recykloval kód, ktorý už videl – namiesto toho jeho zlepšenie pochádzalo z iteratívneho cyklu generovania, filtrovania a preškolovania na vlastných výstupoch.
Aj keď sa výsledky sústredili na SwiftUI, výskumníci naznačili, že prístup by sa „pravdepodobne dal zovšeobecniť na iné jazyky a sady nástrojov používateľského rozhrania“.
Ak áno, mohlo by to otvoriť cesty pre viac modelov, ktoré by sa dali trénovať v špecializovaných oblastiach, kde sú tréningové dáta obmedzené.
Táto perspektíva vyvoláva otázky o spoľahlivosti, udržateľnosti a o tom, či sa syntetické dátové súbory môžu aj naďalej rozširovať bez toho, aby zaviedli skryté nedostatky.
UICoder bol tiež trénovaný za starostlivo kontrolovaných podmienok a jeho úspech v širších prostrediach nie je zaručený.
