Medicína a AI, část 5: férovost, soukromí a správa, která si zaslouží důvěru
Důvěryhodnost zdravotnické AI nevzniká jen z přesnosti modelu. Rozhoduje férovost dat, ochrana soukromí, lidská odpovědnost a sledování po nasazení, aby systém pomáhal pacientům a neskrýval nová rizika.
Elena Moss ·
Důvěryhodná zdravotnická AI nevzniká hlavně při slavnostním uvedení produktu. Vzniká ve chvíli, kdy se nemocnice ptá, zda byl model trénován na pacientech podobných jejím vlastním, kdy pracovník pro ochranu soukromí kontroluje, jaká data opouštějí klinický systém, kdy sestry mohou zpochybnit upozornění a kdy se výkon měří i po nasazení, ne jen při nákupu. Etická doporučení Světové zdravotnické organizace pro umělou inteligenci ve zdravotnictví říkají totéž: technický příslib musí být spojen s autonomií, bezpečností, transparentností, odpovědností, rovností a veřejným zájmem.
Prvním mechanismem je férovost. Model může mít vysokou průměrnou přesnost a přesto fungovat hůř pro skupinu, která byla v trénovacích datech málo zastoupena nebo byla v systému péče zapisována jinak. Barva kůže, věk, pohlaví, postižení, jazyk, místo bydliště, příjem, těhotenství nebo vzácné diagnózy mohou měnit to, jak data vznikají a jak se nástroj chová. Dobrá správa se proto neptá jen „funguje to?“, ale také „pro koho, v jakém prostředí a ve srovnání s jakou dosavadní péčí?“.
Druhým mechanismem je soukromí. Zdravotní údaje nejsou běžná spotřebitelská data: diagnózy, léky, snímky, genetické stopy i historie návštěv mohou ovlivnit důstojnost, práci, pojištění, rodinný život a důvěru v péči. Ochrana soukromí začíná omezením dat na nezbytné minimum a jasným účelem. Teprve potom přicházejí přístupová práva, auditní záznamy, kyberbezpečnost, smlouvy s dodavateli a pravidla pro druhotné využití. Anonymizace pomáhá, ale není kouzelná; bohaté zdravotní soubory lze někdy znovu propojit s konkrétní osobou, zvlášť v kombinaci s jinými údaji.
Regulátoři a standardizační instituce stále častěji popisují zdravotnickou AI jako problém celého životního cyklu. Principy dobré praxe strojového učení u americké FDA, rámec NIST pro řízení rizik AI, evropský Akt o umělé inteligenci i národní pravidla pro zdravotní data míří stejným směrem: popsat zamýšlené použití, ověřit model v cílové populaci, řídit změny, sledovat zkreslení a ponechat lidem možnost zasáhnout. Nástroj bezpečný v jedné nemocnici může časem ztratit spolehlivost, když se změní přístroje, kódy v dokumentaci nebo skladba pacientů.
Bezpečnostní hranice je zásadní. Tento text není zdravotní rada a výstup algoritmu není diagnóza, podle níž by měl čtenář sám jednat. V klinické péči má algoritmus podporovat kvalifikovaného profesionála, ne nahrazovat souhlas, vyšetření, znalost souvislostí nebo přivolání pomoci, když něco nesedí. Ani metriky férovosti nevyřeší všechny etické otázky: nástroj může být statisticky vyvážený, ale pacienti jej nemusí chtít, personál mu nemusí rozumět nebo klinika nemusí mít kapacitu reagovat na jeho upozornění.
Nadějná část je praktická, ne kouzelná. Důvěryhodná AI nepotřebuje předstírat, že modely jsou bezchybné. Potřebuje pomalejší návyky: reprezentativní ověřování, srozumitelnou komunikaci s pacienty, hlášení incidentů, standardy pro nákup, nezávislý audit a odvahu vypnout nástroj, který už nefunguje podle záměru. Ve zdravotnictví není správa brzdou inovace. Je to tiché inženýrství, díky němuž užitečná inovace obstojí v kontaktu se skutečnými pacienty.