Výzkum umělé inteligence je pod přísným dohledem; autor tvrdí, že publikoval více než 100 článků o AI, přičemž jeden odborník je označil za „katastrofu“.
Kevin Zhu tvrdí, že během letošního roku byl zapojen do vytvoření 113 akademických prací o umělé inteligenci, z nichž 89 bude tento týden prezentováno na jedné z nejprestižnějších světových konferencí zaměřených na AI a strojové učení. Tato statistika vyvolala mezi počítačovými vědci otázky o kvalitě a stavu současného výzkumu v oboru.
Zhu nedávno dokončil bakalářský program v informatice na Kalifornské univerzitě v Berkeley a nyní vede společnost Algoverse, která poskytuje mentoring a výzkumné programy v oblasti AI pro středoškoláky – mnozí z nich jsou jeho spoluautory článků. Sám Zhu ukončil střední školu teprve v roce 2018.
Jeho práce, publikované za poslední dva roky, se zabývají širokým spektrem témat, od využití AI k mapování kočovných komunit v subsaharské Africe přes hodnocení kožních lézí až po překlady indonéských dialektů. Na LinkedInu se Zhu chlubí tím, že za minulý rok publikoval „více než 100 špičkových konferenčních příspěvků“, které byly citovány institucemi jako OpenAI, Microsoft, Google, Stanford, MIT a Oxford. Profesor Hany Farid z Berkeley však jeho příspěvky označil za „katastrofu“ a tvrdí, že jde spíše o tzv. „vibrační kódování“, tedy použití AI k automatickému generování softwaru.
Farid upozornil na Zhuovu produktivitu v nedávném příspěvku na LinkedIn, který vyvolal debatu o rostoucí záplavě nekvalitních článků v oblasti AI, poháněné tlakem na vysoký počet publikací a v některých případech i využíváním nástrojů umělé inteligence.
Zhu v rozhovoru pro Guardian uvedl, že dohlížel na 131 článků, které vznikly jako „týmové úsilí“ pod jeho společností Algoverse. Společnost nabízí selektivní 12týdenní online mentoringový program pro středoškoláky a bakalářské studenty, jehož cena činí 3 325 dolarů a zahrnuje podporu při přípravě článků pro prezentaci na konferencích. Podle Zhu pomáhá s metodologií, experimentálním designem a poskytuje komentáře k návrhům článků, přičemž týmy mají k dispozici odborné mentory. Nástroje jako správci referencí, kontrola pravopisu a jazykové modely byly využity pro úpravu textu a zlepšení srozumitelnosti, nikoli k samotnému psaní článků.
Zhuův případ odhaluje širší problém v oblasti AI: standardy recenzního řízení konferencí v oboru se liší od tradičních vědeckých disciplín, jako je chemie nebo biologie. Články jsou často publikovány na konferencích, například NeurIPS, bez přísného peer-review, což umožňuje rychlejší, ale méně důkladné hodnocení. NeurIPS letos obdržela 21 575 příspěvků, oproti méně než 10 000 v roce 2020, a ICLR hlásí nárůst o 70 % oproti loňskému roku, což zvýšilo počet prezentovaných prací na téměř 20 000.
Recenzenti si stěžují na nízkou kvalitu příspěvků a občas mají podezření, že články byly generovány AI. Pod tlakem na množství publikací je pro studenty i akademiky obtížné držet krok, a vyprodukovat desítky či stovky kvalitních článků ročně je extrémně neobvyklé. Farid dodává, že někteří studenti používají metodu „vibrování“ článků, aby uměle zvýšili počet publikací, a upozorňuje, že současná „mánie“ kolem AI vede k velkému množství nekvalitní práce.
Recenzní proces na konferencích jako NeurIPS je rychlý a méně přísný než tradiční peer-review, což znamená, že recenzenti často posuzují desítky článků ve velmi krátkém čase, s minimálními revizemi. Jeffrey Walling z Virginia Tech souhlasí s Faridem, že publikační tlak upřednostňuje kvantitu před kvalitou a podporuje mýtus „superproduktivních“ akademiků.
Na stránce Algoverse se uvádí, že účast v programu může zlepšit šance uchazečů na vysoké školy nebo posílit životopis, zejména pokud je jejich výzkum přijat na prestižní konferenci. Farid však nyní radí studentům, aby se nepouštěli do výzkumu AI kvůli chaosu v oboru a záplavě nekvalitní práce, která vzniká spíše z touhy po rychlém kariérním postupu než z reálného vědeckého zájmu.