Chyba poukazuje na největší problém používání AI chatbotů k nahrazení vyhledávačů – vymýšlejí si věci.
V pondělí Google oznámil svého AI chatbota Bard – soupeře ChatGPT od OpenAI, který se má v nadcházejících týdnech stát „veřejněji dostupným“. Bot však nezačíná skvěle, protože odborníci poznamenali, že Bard udělal ve svém prvním demu faktickou chybu.
GIF sdílený společností Google ukazuje Barda, jak odpovídá na otázku: „O jakých nových objevech z vesmírného teleskopu Jamese Webba mohu svému devítiletému dítěti říct?“ Bard na oplátku nabízí tři odrážky, včetně jedné, která uvádí, že dalekohled „pořídil úplně první snímky planety mimo naši vlastní sluneční soustavu“.
Řada astronomů na Twitteru však poukázala na to, že je to nesprávné a že první snímek exoplanety byl pořízen v roce 2004 – jak je uvedeno zde na webových stránkách NASA.
„Nebýt ~no, vlastně~ hlupák, a jsem si jistý, že Bard bude působivý, ale pro pořádek: JWST nepořídil ‚úplně první snímek planety mimo naši sluneční soustavu‘,“ napsal na Twitteru astrofyzik Grant Tremblay. .
Na chybu upozornil i Bruce Macintosh, ředitel University of California Observatories na UC Santa Cruz. „Když mluvím jako někdo, kdo zobrazil exoplanetu 14 let před vypuštěním JWST, mám pocit, že byste měli najít lepší příklad?“ tweetoval.
V následném tweetu Tremblay dodal: „Miluji a oceňuji, že jedna z nejmocnějších společností na planetě používá vyhledávání JWST k propagaci své LLM. Skvělý! Ale ChatGPT atd., i když jsou strašidelně působivé, se často velmi sebevědomě mýlí. Bude zajímavé vidět budoucnost, kde LLM kontrolují vlastní chyby.“
Jak poznamenává Tremblay, hlavním problémem AI chatbotů, jako jsou ChatGPT a Bard, je jejich tendence s jistotou uvádět nesprávné informace jako fakt. Systémy často „halucinují“ – tedy tvoří si informace – protože jsou to v podstatě systémy s automatickým doplňováním.
Namísto dotazování na databázi ověřených faktů, aby odpovídali na otázky, jsou trénováni na obrovských textových korpusech a analyzují vzory, aby určili, které slovo následuje za dalším v dané větě. Jinými slovy, jsou pravděpodobnostní, nikoli deterministické – tato vlastnost vedla jednoho prominentního profesora umělé inteligence k tomu, aby je označil za „generátory keců“.
Samozřejmě, že internet je již plný nepravdivých a zavádějících informací, ale problém je umocněn snahou Microsoftu a Googlu používat tyto nástroje jako vyhledávače. Tam odpovědi chatbotů přebírají autoritu rádoby vševědoucího stroje.
Společnost Microsoft, která včera představila svůj nový vyhledávač Bing s umělou inteligencí, se snažila těmto problémům předcházet tím, že na uživatele klade odpovědnost. „Bing je poháněn umělou inteligencí, takže jsou možná překvapení a chyby,“ uvádí prohlášení společnosti. „Nezapomeňte zkontrolovat fakta a sdílet zpětnou vazbu, abychom se mohli učit a zlepšovat!“
Mluvčí společnosti Google, Jane Park, poskytla The Verge toto prohlášení: „To zdůrazňuje důležitost přísného testovacího procesu, něco, co tento týden zahajujeme naším programem Trusted Tester. Zkombinujeme externí zpětnou vazbu s vlastním interním testováním, abychom zajistili, že Bardovy odpovědi splňují vysokou laťku kvality, bezpečnosti a zakotvenosti v informacích z reálného světa.“