Proč stroje někdy vypadají, jako by měly ducha

Muž na obrazovce byl duch. Prchavý obraz zachycený bezpečnostní kamerou, jeho tvář částečně zakrytá kšiltovkou a zrnitým rozlišením záznamu. Pro algoritmus rozpoznávání obličeje to však byla shoda. Pozitivní identifikace, která uvede do pohybu řetězec událostí s ničivými následky. To je realita moderního dohledu, svět, kde jsou naše tváře našimi novými otisky prstů, naše identity zredukované na řetězec datových bodů v obrovské digitální databázi. Technologie rozpoznávání obličeje se rychle stává součástí našeho každodenního života, od odemykání našich chytrých telefonů po označování našich přátel na fotografiích. S jejím rozšiřujícím se používáním však rostou i obavy o její přesnost, spravedlnost a potenciál zneužití. Jádrem problému je samotný algoritmus, složitý soubor pravidel a instrukcí, který umožňuje počítači 'vidět' a 'rozpoznat' obličej. Tyto algoritmy jsou trénovány na masivních souborech dat obrázků, učí se identifikovat jedinečné vzory a rysy, které činí každý obličej odlišným. Tyto soubory dat jsou však často zkreslené a odrážejí demografii lidí, kteří je vytvořili. V důsledku toho mohou být algoritmy méně přesné při identifikaci barevných lidí, žen a dalších nedostatečně zastoupených skupin. To může mít vážné důsledky v reálném světě. V trestním soudnictví může například falešně pozitivní výsledek systému rozpoznávání obličeje vést k neoprávněnému zatčení, zdlouhavému právnímu boji a zničenému životu. I když se technologie používá k benignějším účelům, jako je cílená reklama, potenciál poškození stále existuje. Data shromážděná těmito systémy lze použít k vytváření podrobných profilů našich životů, našich zvyků a našich averzí, a to vše bez našeho vědomí nebo souhlasu. Debata o rozpoznávání obličeje není jen o technologii. Jde o moc, kontrolu a samotnou podstatu soukromí v digitálním věku. Je to debata, která se odehrává v soudních síních, legislativních komorách a na veřejných fórech po celém světě. Na jedné straně jsou ti, kteří tvrdí, že technologie je cenným nástrojem pro vymáhání práva a národní bezpečnost, způsob, jak udržet naše komunity v bezpečí a postavit zločince před soud. Na druhé straně jsou ti, kteří varují před nebezpečím společnosti dohledu, světa, kde je každý náš krok sledován a každá naše akce je podrobována zkoumání. Jak se technologie bude dále vyvíjet, sázky budou jen vyšší. Duch ve stroji bude sofistikovanější, výkonnější a všudypřítomnější. Otázka, kterou si musíme položit, není, zda dokážeme vybudovat svět, kde je každá tvář rozpoznána, ale zda bychom měli.

Praktická zkouška zní jednoduše: bude systém spolehlivý i tam, kde jsou podmínky nepořádné, rozpočty omezené a lidé ho potřebují bez odborníka po ruce?

Výraz proslavil Gilbert Ryle v roce 1949 kritikou dualismu těla a mysli, ale technici potkávají skromnějšího ducha každý týden: zařízení, které funguje při kontrole a selže po návratu do provozu. V údržbě letadel, nemocničních přístrojích i průmyslových velínech jde často o přerušovanou kombinaci teploty, vibrací, časování a lidského vstupu. NASA, Boeing i U.S. Food and Drug Administration proto trvají na záznamech, opakování závady a nezávislé kontrole.

Mechanismus je vrstvená příčinnost. Senzor změří hodnotu, software ji vyfiltruje, regulátor vyšle příkaz, motor změní fyzický svět a nový stav ovlivní další měření. Když se hodiny rozejdou o 20 milisekund, uvolní se stínění kabelu nebo databázový pokus dorazí dvakrát, může stroj vypadat, jako by měl úmysl. Nemá ho. Zpětné vazby vytvářejí chování, které je skutečné, aniž by bylo vědomé.

Omezení je důležité v době umělé inteligence. Velký jazykový model píše plynule a robot může reagovat společensky, ale zdání není důkaz vnitřního prožívání. Zároveň není bezpečné odmítnout každou závadu jako chybu uživatele. Dobrá praxe bere ducha jako diagnostickou stopu: sebrat data, otestovat hraniční stav, pojmenovat poruchový režim a upravit rozhraní.