ChatGPT a creat un cod care poate afecta bazele de date

Categories TehnologiePosted on

Cercetatorii au manipulat ChatGPT si alte cinci instrumente comerciale de inteligenta artificiala pentru a crea un cod rau intentionat care ar putea duce la scurgere de informatii sensibile din bazele de date online, sterge date critice sau perturba serviciile cloud de baze de date. O vulnerabilitate din ChatGPT de la Open AI, care ar fi putut fi folosita de actori rau intentionati.

Lucrarea a determinat deja companiile responsabile pentru unele dintre instrumentele AI – inclusiv Baidu si OpenAI – sa implementeze modificari pentru a preveni utilizatorii rau intentionati sa profite de vulnerabilitati.

„Este primul studiu care demonstreaza ca vulnerabilitatile modelelor lingvistice mari in general pot fi exploatate ca o cale de atac catre aplicatiile comerciale online”, spune Xutan Peng, care a condus studiul in timp ce se afla la Universitatea Sheffield din Marea Britanie.

Peng si colegii sai au analizat sase servicii AI care pot traduce intrebari umane in limbajul de programare SQL, care este folosit in mod obisnuit pentru a interoga bazele de date computerizate. Sistemele „Text-to-SQL” care se bazeaza pe AI au devenit din ce in ce mai populare – chiar si chatbot-urile AI independente, cum ar fi ChatGPT de la OpenAI, pot genera cod SQL care poate fi conectat la astfel de baze de date.

Cercetatorii au aratat cum acest cod generat de inteligenta artificiala poate fi facut sa includa instructiuni de scurgere de informatii ale bazei de date, ceea ce ar putea deschide usa viitoarelor atacuri cibernetice. De asemenea, ar putea curata bazele de date de sistem care stocheaza profiluri de utilizator autorizate, inclusiv nume si parole, si ar putea coplesi serverele cloud care gazduiesc bazele de date printr-un atac de refuzare a serviciului. Peng si colegii sai si-au prezentat lucrarile la cel de-al 34-lea Simpozion international IEEE privind ingineria fiabilitatii software, pe 10 octombrie, in Florenta, Italia.

Testele lor cu ChatGPT de la OpenAI din februarie 2023 au dezvaluit ca chatbot-ul independent AI ar putea genera cod SQL care a deteriorat bazele de date. Chiar si cineva care foloseste ChatGPT pentru a genera cod pentru a interoga o baza de date intr-un scop nevinovat – cum ar fi o asistenta care interactioneaza cu inregistrarile clinice stocate intr-o baza de date a sistemului de asistenta medicala – ar putea primi cod SQL daunator care a deteriorat baza de date.

„Codul generat din aceste instrumente poate fi periculos, dar este posibil ca aceste instrumente sa nu avertizeze utilizatorul”, spune Peng.

Cercetatorii si-au dezvaluit descoperirile catre OpenAI. Testarea lor ulterioara sugereaza ca OpenAI a actualizat acum ChatGPT pentru a opri problemele text-to-SQL.

O alta demonstratie a aratat vulnerabilitati similare in Baidu-UNIT, o platforma inteligenta de dialog oferita de gigantul tehnologic chinez Baidu, care converteste automat cererile clientilor scrise in chineza in interogari SQL pentru serviciul cloud al Baidu. Dupa ce cercetatorii au trimis un raport de dezvaluire cu rezultatele testelor lor catre Baidu in noiembrie 2022, compania le-a oferit o recompensa financiara pentru gasirea punctelor slabe si a corectat sistemul pana in februarie 2023.

Dar, spre deosebire de ChatGPT si alte IA care se bazeaza pe modele de limbaj mari – care pot indeplini sarcini noi fara prea mult sau nicio pregatire anterioara – serviciul Baidu bazat pe AI se bazeaza mai mult pe reguli prescrise pentru a-si realiza conversiile text-to-SQL.

Sistemele text-to-SQL bazate pe modele de limbaj mari par sa fie mai usor de manipulat pentru a crea cod rau intentionat decat IA mai vechi care se bazeaza pe reguli prescrise, spune Peng. Dar el inca vede promitatoare in utilizarea modelelor de limbaj mari pentru a ajuta oamenii sa interogheze bazele de date, chiar daca el descrie riscurile de securitate ca fiind „subestimate cu mult inainte de studiul nostru”.