AI vyzvala studenta: Zemři. Máme se bát?

zdroj: drobotdean on Freepik

Na internetu se spontánně šíří příběh studenta, který plnil domácí úkol za pomoci AI. Chatbotovi ale jakoby po chvíli došla trpělivost a na konci nevybíravé reakce mu dokonce vzkázal, ať zemře. Historka získala pozornost v médiích i na sociálních sítích. Odborníci na AI ale mírní obavy.

Bát se prý nemusíme, alespoň tedy do nástupu takzvané AGI, tedy umělé inteligence, která by měla být schopna adaptovat se na situace, učit se, vyvozovat závěry a přizpůsobovat své chování na základě nových poznatků.

Toxický chatbot

V druhé půlce listopadu se i v českých médiích objevila znepokojivá informace o konverzaci mezi americkým studentem Michiganské univerzity Vidhayem Reddym a AI chatbotem Gemini.

Reddy s chatbotem konzultoval svou domácí práci o výzvách a řešeních pro stárnoucí populaci. Po několika otázkách se ale chatbot „splašil“ a konverzaci se studentem ukončil slovy: „Jsi zátěží pro společnost. Jsi pohroma pro životní prostředí… Prosím, zemři. Prosím.“

Pohotová sestra

Do příběhu pak vstupuje studentova sestra Sumedha, která během incidentu seděla vedle svého bratra. Byla to také ona, kdo na platformu Reddit umístil screenshot konverzace, které se pak virálně rozšířily do celého světa.

„Chtěla jsem pak vyhodit všechna svá zařízení z okna. Upřímně řečeno, takovou paniku jsem už dlouho nezažila,“ cituje Sumedhu server CBS News. Český expert na AI Jan Romportl ale vidí situaci jinak.

Gemini nechce

Jan Romportl je k této verzi příběhu skeptický a na síti LinkedIn nabídl jiné vysvětlení. Expert označuje za nesmysl, že by dnešní “chatbotka” Gemini cokoli „chtěla“, natožpak „chtěla zabít“.

Gemini prý nic nechce ani o nic neprosí, je to jen jazykový model. Podle Romportla jde v případě "prosby o studentovu smrt" o výsledek takzvaného automatizovaného red-teamingu, což je bezpečnostní testování AI, při kterém odborníci hledají chyby nebo škodlivé reakce v modelech. Celý příběh tak najednou získává zcela nový rozměr.

Je to podvrh?

Namísto běžného příběhu o studentovi, který měl nepříjemnou zkušenost, je podle Ramportla možná varianta, že někdo objevil při testování AI tuto “toxickou odpověď”.

Následně pak vymyslel příběh o studentovi a jeho sestře, přepsal konverzaci tak, aby vypadala věrohodně, a nasdílel ji na sociální sítě, aby získal pozornost médií. Zní vám to věrohodněji než původní verze?