Nasazení sledovacích dodávek během pěti měsíců vedlo k devíti falešným poplachům a kontaktu policie se 146 registrovanými sexuálními delikventy.
Západní Austrálie během pětiměsíčního testování technologie pro rozpoznávání obličejů v reálném čase naskenovala tváře více než milionu lidí. Policie díky tomu provedla 122 zatčení, systém však zároveň vygeneroval devět chybných upozornění.
Policie Západní Austrálie uvedla, že během zkušebního provozu, který skončil v sobotu, technologie zaznamenala celkem 1 380 882 tváří. Skenování probíhalo při 100 nasazeních na 43 různých místech, a to jak v městských oblastech, tak v regionech.
Kromě 122 zatčení vedla upozornění systému také k tomu, že policisté kontaktovali 146 registrovaných sexuálních delikventů a vypátrali 10 lidí, u nichž bylo nutné prověřit jejich situaci nebo bezpečnost.
Součástí testování byly rovněž tři operace na veletrhu Perth Royal Show, během nichž systém naskenoval 223 749 tváří. Policie při nich zaznamenala 15 upozornění, která vedla ke třem zatčením a sedmi „interakcím“ s registrovanými sexuálními delikventy.
Policejní mluvčí potvrdil, že z celkových 1,38 milionu skenů vygenerovala technologie devět chybných upozornění. Podle policie tak míra chybovosti dosáhla 0,00065 %.
Policejní komisař Západní Austrálie Col Blanch se k chybným identifikacím vyjádřil na nedělní tiskové konferenci. Potvrdil, že ve všech těchto případech policisté kontaktovali osoby, které systém nesprávně označil.
„Chci se k těm chybným upozorněním vyjádřit zcela jasně. Nikdo nebyl zatčen. Nikdo nepodal stížnost. V každém případě však došlo ke kontaktu s danou osobou a položení příslušných otázek,“ uvedl.
„Je to velmi, velmi, velmi nízké číslo. Není to nula a samozřejmě bychom si přáli, aby to nula byla. Podstatné pro nás ale je, že s lidmi komunikujeme stejně, jako bychom postupovali v situaci, kdy by policista pojal podezření, že před ním stojí hledaná osoba.“
Blanch připustil, že technologie „není dokonalá“ a že úřady si jejích nedostatků byly „vědomy již před zahájením tohoto zkušebního provozu“. Zdůraznil však, že policisté na upozornění reagovali stejně, jako by postupovali v případě, že by jim podezřelou osobu nahlásil některý z občanů.
Způsob, jakým policie v Západní Austrálii prezentovala míru chybovosti, se však stal terčem kritiky organizací na ochranu občanských svobod.
Bill Rowlings, výkonný ředitel organizace Civil Liberties Australia, uvedl, že policie situaci „značně přikrášluje“, když tvrdí, že podíl chybných upozornění činí pouhých 0,00065 %. Podle něj by se přesnost systému měla posuzovat spíše podle toho, kolik ze 122 zatčených osob bude nakonec skutečně odsouzeno.
„Skutečnou míru chybovosti zjistíme teprve tehdy, až se oněch 122 zatčených osob postaví před soud,“ uvedl.
„Pokud polovina ze 122 zatčených nebude odsouzena, bude míra ‚chybovosti‘ činit 50 %,“ prohlásil v písemném vyjádření. Zároveň upozornil, že policie provedla téměř 1,4 milionu skenů, aniž by k tomu měla v jednotlivých případech jakékoli důvodné podezření.
Sarah Schwartzová, právní ředitelka organizace Human Rights Law Centre, upozornila, že za každou chybnou identifikací stojí konkrétní člověk, který může být zastaven, vyslýchán nebo vyšetřován pouze proto, že se algoritmus spletl.
„Tyto chyby mají pro obyvatele Západní Austrálie zcela reálné následky,“ uvedla.
Zpochybnila také, zda je v demokratické společnosti přiměřené provádět biometrické sledování v tak mimořádném rozsahu, kdy jsou skenovány tváře více než milionu lidí. Zvláštní obavy v ní vyvolalo používání sledovacích dodávek během veřejných demonstrací.
Když bylo zahájení zkušebního provozu oznámeno, nezávislý státní orgán dohlížející na ochranu soukromí, Úřad komisaře pro informace Západní Austrálie (OIC WA), uvedl, že se na jeho realizaci nepodílí. Ve svém prohlášení zároveň varoval před „kolektivním narušením soukromí“. Úřad byl následně požádán o další vyjádření.
Policejní dodávka s označením upozorňujícím na používání technologie pro rozpoznávání obličejů.
Policejní sledovací dodávky byly nyní staženy z veřejného provozu, dokud nebude dokončeno vyhodnocení zkušebního projektu.
Blanch v neděli uvedl, že cílem testování bylo „zodpovědné využívání moderních technologií k identifikaci osob, které představují riziko, a zároveň umožnění drtivé většině lidí žít svůj den bez jakéhokoli dopadu“.
Podle pravidel zkušebního provozu kamery umístěné na označených policejních vozidlech nebo v jejich bezprostřední blízkosti snímaly tváře lidí ve vymezených veřejných prostorách. Následně je porovnávaly se seznamem osob sestaveným na základě policejních databází.
Policie uvedla, že snímky lidí, kteří se na seznamu nenacházeli, byly v reálném čase rozpixelovány a okamžitě odstraněny, aniž by byly uloženy.
Zkušební provoz se již dříve setkal s odporem kvůli obavám o ochranu soukromí a možnému zkreslení algoritmů. Odborníci upozorňují, že technologie může nepřiměřeně zasahovat do života marginalizovaných skupin, které jsou již nyní nadměrně zastoupeny v policejních databázích. Systémy pro rozpoznávání obličejů navíc v minulosti vykazovaly vyšší míru falešných shod u lidí s tmavším odstínem pleti.
Schwartzová rovněž upozornila, že pravidla pro používání této technologie zůstávají neprůhledná.
„Policie Západní Austrálie poskytla pozoruhodně málo informací o zárukách, které mají používání této technologie regulovat,“ uvedla. Podle ní se zdá, že některé části pravidel vycházejí převážně ze zahraničních modelů, zatímco zásadní otázky týkající se možného zneužití, algoritmické zaujatosti a odpovědnosti zůstávají bez odpovědi.
Sledovací dodávky byly mezitím staženy z veřejného nasazení. Policie nyní provádí interní hodnocení fungování technologie v terénu i jejího dopadu na místní komunitu. Součástí přezkumu je také posouzení zavedených ochranných opatření a ověření, zda byly splněny všechny stanovené požadavky.