„OpenAI“ pristatė naują dirbtinio intelekto modelį „CriticGPT“, skirtą klaidoms aptikti tiesiogiai „ChatGPT“ sukurtame kode. „CriticGPT“ bus naudojamas kaip algoritminis pagalbininkas testuotojams, kurie tikrina „ChatGPT“ sukurtą programos kodą.
Asociatyvi „Pixabay“ nuotr.
Naujame tyrime „LLM Critics Help Catch LLM Bugs“, kurį paskelbė „OpenAI“, teigiama, kad naujasis „CriticGPT“ modelis sukurtas kaip AI asistentas ekspertams testuotojams, tikrinantiems „ChatGPT“ sukurtą programinės įrangos kodą.
„CriticGPT“, paremtas GPT-4 šeimos didelių kalbos modeliu, analizuoja kodą ir atkreipia dėmesį į galimas klaidas, todėl ekspertams lengviau pastebėti klaidas, kurios kitu atveju dėl žmogiškųjų klaidų gali likti nepastebėtos. Tyrėjai išmokė „CriticGPT“ dirbti su duomenų rinkiniu, kuriame buvo tyčia įvestų klaidų, ir atpažinti, bei pažymėti įvairias klaidas.
Mokslininkai nustatė, kad 63 proc. atvejų, susijusių su natūraliai atsiradusiomis LLM klaidomis, anotatoriai pirmenybę teikė „CriticGPT“ kritikai, o ne žmogaus.
Kuriant automatinį „kritiką“ reikėjo apmokyti modelį pagal didelį kiekį įvesties duomenų su sąmoningai įvestomis klaidomis. Ekspertų buvo paprašyta modifikuoti „ChatGPT“ parašytą kodą įvedant klaidų ir tada pateikti rezultatą su tariamai aptiktomis klaidomis. Šis procesas leido modeliui išmokti nustatyti ir kritikuoti įvairių tipų klaidas kode.
Eksperimentų metu „CriticGPT“ pademonstravo gebėjimą „ChatGPT“ atsakymų rezultatuose aptikti ir įvestas klaidas, ir natūraliai atsiradusias klaidas.
Tyrėjai taip pat sukūrė naują „Force Sampling Beam Search“ (FSBS) metodą, kuris padeda „CriticGPT“ rašyti išsamesnes kodo apžvalgas ir leidžia reguliuoti problemų paieškos išsamumą, kartu kontroliuojant klaidingai teigiamų rezultatų dažnumą.
Įdomu tai, kad „CriticGPT“ galimybės neapsiriboja paprastomis kodo peržiūromis. Eksperimentų metu modelis buvo taikomas daugeliui „ChatGPT“ mokymo duomenų, kuriuos žmonės anksčiau įvertino kaip nepriekaištingus.
Stebina tai, kad „CriticGPT“ 24 % atvejų nustatė klaidas, kurias vėliau patvirtino ekspertai. „OpenAI“ mano, kad tai rodo modelio galimybes ne tik atlikti technines užduotis, bet ir pabrėžia jo gebėjimą pastebėti subtilias klaidas, kurių gali nepastebėti net kruopštus žmogaus patikrinimas.
Nepaisant daug žadančių rezultatų, „CriticGPT“, kaip ir visi dirbtinio intelekto modeliai, turi trūkumų. Modelis buvo apmokytas naudojant palyginti trumpus „CriticGPT“ atsakymus, todėl jis gali būti nevisiškai paruoštas vertinti ilgesnes ir sudėtingesnes užduotis, su kuriomis ateityje gali susidurti dirbtinio intelekto sistemos.
Tyrėjų komanda pripažįsta, kad modelis efektyviausiai aptinka klaidas, kurias galima nustatyti vienoje konkrečioje siauroje kodo vietoje. Tačiau tikrosios dirbtinio intelekto produkcijos klaidos dažnai gali būti išsibarsčiusios keliose atsakymo dalyse. Be to, nors „CriticGPT“ sumažina konfabuliacijų skaičių, jis jų visiškai nepašalina, ir žmogaus ekspertai vis dar gali daryti klaidų, remdamiesi šiomis klaidomis.
