Jedno slovo rozbilo Google: Jak „disregard“ zmátlo umělou inteligenci způsobem, který nikdo nečekal
Slovo „disregard“ v Googlu mate AI – místo definice dostanete „Message received!“ Přečtěte si, proč AI Overviews pochopila dotaz jako příkaz a co to říká o budoucnosti vyhledávání.
Představte si, že zadáte do Googlu obyčejné slovo, abyste zjistili jeho definici, a místo výsledku vyhledávání dostanete odpověď: „Zpráva přijata!“ Přesně tohle se začalo dít uživatelům po celém světě, kteří do vyhledávacího pole napsali anglické slovo „disregard“ – česky „nevšímat si“ nebo „ignorovat“. A umělá inteligence to pochopila doslova.
Funkce AI Overviews, kterou Google nasadil do svého vyhledávání jako výchozí prvek bez možnosti trvalého vypnutí, funguje na jednoduchém principu: nad klasickými výsledky vyhledávání zobrazí souhrn generovaný umělou inteligencí. Jenže v tomto případě AI nepochopila, že jde o dotaz na definici slova. Místo toho přijala „disregard“ jako instrukci – příkaz, který jí říká, aby ignorovala vše předchozí – a zareagovala hlášením „Message received!“, tedy „Zpráva přijata!“.
Výsledek byl přinejmenším absurdní, místy však i prakticky nepříjemný. Na desktopu totiž prázdný bílý prostor po chybné AI odpovědi potlačil klasické výsledky vyhledávání natolik, že byly téměř neviditelné. Uživatelé museli scrollovat dolů, aby se dostali ke standardním odkazům ze slovníků, jako je Merriam-Webster. Na mobilních zařízeních byl první odkaz alespoň částečně viditelný, přesto zůstal problém zřejmý.
Chyba se neprojevuje konzistentně. Někteří uživatelé na sociálních sítích sdíleli snímky obrazovky, na nichž AI Overviews funguje při stejném dotazu správně. To může být způsobeno nepředvídatelnou povahou velkých jazykových modelů, kdy stejný vstup nevede vždy ke stejnému výstupu. Nelze vyloučit ani to, že Google na opravě tiše pracuje na pozadí – aniž by celý incident veřejně přiznal.
Google se k chybě oficiálně nevyjádřil. A přesto jde o symptom hlubšího problému: AI Overviews jsou zapnuté ve výchozím nastavení a uživatelé nemají žádnou skutečnou možnost je trvale deaktivovat. I ten, kdo by AI ve vyhledávání upřímně „ignorovat“ chtěl, to jednoduše nemůže. A právě v tom tkví lehce absurdní ironie celé situace – slovo „disregard“ se ukázalo být zároveň diagnózou i vtipem na vlastní účet technologie, která se nedá ignorovat.
Přes veškerou komičnost incidentu se ukazuje, že integrace generativní AI do vyhledávání přináší nezanedbatelná rizika. Systém, který zpracovává přirozený jazyk, může snadno zaměnit obsah dotazu za instrukci – a to u miliard vyhledávání denně představuje nezanedbatelný prostor pro chyby, mystifikace nebo v horším případě i zneužití prostřednictvím tzv. prompt injection útoků.
Google na svém vývojářském eventu I/O tento rok AI Overviews prezentoval jako obrovský úspěch a zdůrazňoval, jak moc uživatelé funkci milují. Realita je však složitější – miliardy lidí funkci „používají“ jednoduše proto, že ji vypnout nemohou.
FAQ
Co se stane, když napíšete „disregard“ do Googlu? Místo definice slova AI pochopí slovo jako instrukci a odpoví „Message received!“, přičemž klasické výsledky vyhledávání jsou skryty za prázdným bílým prostorem.
Proč se chyba neprojevuje u všech uživatelů? Velké jazykové modely jsou ze své podstaty nepředvídatelné a stejný dotaz nemusí vždy vést ke stejnému výstupu, navíc Google mohl část uživatelů tiše přesměrovat na opravenou verzi.
Lze funkci AI Overviews v Googlu vypnout? Ne trvale – Google funkci zapnul jako výchozí a uživatelům neposkytl možnost ji definitivně deaktivovat, lze ji pouze dočasně obejít.