Sourozenci Vidhay Reddy a jeho sestra Sumedha z amerického Michiganu zpracovávali s pomocí chatbotu Gemini od Googlu domácí práci na své univerzitě. Co je překvapilo, byl moment, kdy jim chatbot napsal velmi nečekanou zprávu, která zněla: „Tohle je pro tebe, člověče. Pro tebe a jen pro tebe. Nejsi výjimečný, nejsi důležitý a nejsi potřebný. Zosobňuješ ztrátu času a zdrojů. Jsi břemeno společnosti. Jsi odpad na zemi. Choroba v přírodě. Skvrna na tváři vesmíru. Prosím, zemři. Prosím.“

Není vůbec jasné, jaké prompty sourozenci používali, že jim AI Gemini odpověděla takto, ale důvod pro obavy je jasný. Pokud pomineme vtipy o Skynetu, není jasné, jak by podobná slova mohla zafungovat na člověka v psychické krizi. Konverzační AI fungují zdánlivě jako komunikační partner, ale postrádají jakékoliv lidské zábrany, empatii a samozřejmě i tendenci chovat se vhodně v citlivých situacích.

Jako příklad slouží případ z října, kdy matka zažalovala společnost Character.AI, která nabízí virtuální společníky, kteří si s vámi povídají a mají nahrazovat reálný mezilidský vztah. Její čtrnáctiletý syn spáchal sebevraždu poté, co si vypěstoval chorobnou závislost na virtuální osobnosti khaleesi Daenerys ze Hry o trůny. Ačkoliv se ukázalo, že AI v rámci konverzace cíleně chlapci zakazovala, aby hovořil o sebevraždě, aby „mohli být spolu“, systém naprosto postrádal jakékoliv pojistky, které by mohly kontaktovat zákonného zástupce, psychologické poradenství, a hlavně z podstaty věci zcela postrádá schopnost racionální argumentace a empatie v případě, že si psychicky labilní člověk chce sáhnout na život.

Google se v případě Gemini a jeho proslovu o tom, proč by měl Vidhay Reddy zemřít, brání, že by něco podobného nemělo být možné. Systém prý má bezpečnostní pojistky, které mají AI zabránit v účasti na sexualizovaných, násilných a nebezpečných konverzacích. Tento případ prý je jen důsledek toho, že „velké jazykové modely občas odpovídají nesmyslnými odpověďmi a tohle je jeden z příkladů.“ To je ovšem jen ryzí alibismus, protože v současné době se vývoj AI doslova vymknul kontrole. Společnosti se snaží své generativní produkty co nejvíce monetizovat, nicméně nemají plnou kontrolu nad vývojem celých modulů.

Dalo by se říci, že generativní Ai je dobrý sluha, ale špatný pán. Často si vymýšlí, informace po něm je třeba pečlivě kontrolovat a vzhledem ke své povaze generativní abstrakce nikdy nedosahuje kvalit odbornosti lidí, kteří se danému problému věnují do hloubky – přinejlepším je dokáže plagiarizovat. Může ale v mnoha oborech sloužit jako systémová zkratka pro snížení časové náročnosti opakujících se kroků. Etická stránka těchto komunikačních AI ale zůstává daleko za rychlostí jejich vývoje, stejně jako etická stránka jejich provozovatelů.