3.16
Akt o umělé inteligenci a jeho zavádění do praxe
Mgr. Mgr. Radana Burešová
Takřka bez povšimnutí české veřejnosti bylo v létě 2024 přijato nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci a mění nařízení (ES) č. 300/2008, (EU) č. 167/2013, (EU) č. 168/2013, (EU) 2018/858, (EU) 2018/1139 a (EU) 2019/2144 a směrnice 2014/90/EU, (EU) 2016/797 a (EU) 2020/1828 (akt o umělé inteligenci).
Akt o umělé inteligenci (dále jen "akt o AI") je v celosvětovém měřítku první právní úpravou svého druhu a zároveň je součástí takzvaného nového legislativního rámce pro uvádění výrobků na trh, který zahrnuje celou řadu právních předpisů přijatých po roce 2008, které mají stejný cíl, terminologii a jsou spolu do určité míry provázány.
Klíčovým pojmem aktu o AI je tedy "systém AI", což je strojový systém navržený tak, aby po zavedení fungoval s různými úrovněmi autonomie, a který po zavedení může vykazovat adaptabilitu a který za explicitními nebo implicitními účely z obdržených vstupů odvozuje, jak generovat výstupy, jako jsou predikce, obsah, doporučení nebo rozhodnutí, které mohou ovlivnit fyzická nebo virtuální prostředí.
Cílem aktu o AI je zlepšit fungování vnitřního trhu, podporovat zavádění důvěryhodné umělé inteligence zaměřené na člověka a zároveň zajistit vysokou úroveň ochrany zdraví, bezpečnosti, základních práv, včetně demokracie, právního státu a ochrany životního prostředí, před škodlivými účinky systémů AI v Unii, jakož i podporovat inovace.
Akt o AI má dělenou účinnost ("použitelnost"). Jeho největší část nabude účinnosti dne 2. srpna 2026, první dvě kapitoly (včetně ustanovení o zakázaných postupech) jsou však již účinné od 2. února 2025 a některá další ustanovení budou použitelná od 2. srpna 2025 (kapitola III oddíl 4, kapitola V, kapitola VII, kapitola XII s výjimkou článku 101 a článek 78).
NahoruPovinné osoby
Do osobní působnosti aktu o AI spadají zejména:
1. Poskytovatelé jednotlivých systémů AI a jejich dovozci a distributoři.
Poskytovatelem se přitom rozumí fyzická nebo právnická osoba, veřejný orgán, agentura nebo jiný subjekt, který vyvíjí systém AI či obecný model AI nebo nechává vyvíjet systém AI či obecný model AI a uvádějí je na trh nebo které uvádějí systém AI do provozu pod svým vlastním jménem, názvem nebo ochrannou známkou, ať už za úplatu, nebo zdarma (čl. 3 bod 3 aktu o AI).
Za poskytovatele se však podle čl. 25 odst. 1 aktu o AI použitelného od 2. srpna 2026, považuje i ten, kdo:
a) uvedl své jméno, název nebo ochrannou známku na vysoce rizikovém systému AI, který již byl uveden na trh nebo do provozu, aniž jsou dotčena smluvní ujednání, která stanoví, že povinnosti jsou rozděleny jiným způsobem;
b) provádí podstatnou změnu vysoce rizikového systému AI, který je již uveden na trh nebo je již uveden do provozu, a to tak, že zůstává vysoce rizikovým systémem AI, přičemž podle čl. 3 bodu 23 aktu o AI se podstatnou změnou rozumí změna systému AI po jeho uvedení na trh nebo do provozu, kterou poskytovatel při počátečním posuzování shody nepředvídal ani neplánoval a v jejímž důsledku je ovlivněn soulad systému AI s požadavky stanovenými v kapitole III oddíle 2 aktu o AI nebo která vede ke změně zamýšleného účelu, pro který byl systém AI posuzován; nebo
c) mění zamýšlený účel systému AI, včetně obecného systému AI, který nebyl klasifikován jako vysoce rizikový a je již uveden na trh nebo do provozu takovým způsobem, že se dotčený systém AI stane vysoce rizikovým systémem AI.
V praxi se může jednat o případy, kdy nějaký subjekt upravuje stávající systémy nebo modely AI pro potřeby svých zákazníků.
Podle čl. 25 odst. 3 aktu o AI bude mít od 2. srpna 2026 v případě vysoce rizikových systémů AI, které jsou bezpečnostními komponentami produktů, na něž se vztahují harmonizační právní předpisy Unie uvedené v příloze I oddíle A aktu o AI povinnosti poskytovatele i výrobce produktů (viz níže), pokud nastane jedna z těchto situací:
a) vysoce rizikový systém AI je uváděn na trh společně s výrobkem pod jménem, názvem nebo ochrannou známkou výrobce produktu; nebo
b) vysoce rizikový systém AI je uveden do provozu pod jménem, názvem nebo ochrannou známkou výrobce produktu poté, co byl výrobek uveden na trh.
1. Tzv. zavádějící subjekty (deployers), tj. subjekty, které AI využívají při své činnosti (s výjimkou čistě osobní neprofesionální činnosti fyzických osob), a
2. tzv. výrobci produktů, což jsou subjekty, které uvádějí na trh nebo do provozu systém AI společně se svým produktem a pod svým jménem, názvem nebo ochrannou známkou (např. mobilní telefony nebo jiná zařízení využívající AI).
Akt o AI se naopak nevztahuje na fyzické osoby, které používají systémy AI pro čistě nekomerční (neprofesionální) účely.
Nejvíce povinností mají poskytovatelé, a to v závislosti na rizikovosti daného systému.
NahoruRizika spojená s AI
Základem AI je rozdělení systémů AI podle jejich rizikovosti. V této souvislosti je tedy zásadní koncepce rizik, na která se akt o AI vztahuje, a dále opatření pojící se k jednotlivým mírám rizik.
"Rizikem" se rozumí kombinace pravděpodobnosti toho, že dojde k újmě, a závažnosti takové újmy. "Rizika" ve smyslu aktu o AI spočívají zejména v:
1. ohrožení bezpečnosti a zdraví a základních práv [zejména čl. 10 odst. 2 písm. f)],
2. nepříznivém dopadu na osoby mladší 18 let a případně na jiné zranitelné skupiny (čl. 9 odst. 9),
3. nebezpečí automatického nebo nadměrného spoléhání na výstupy systému AI [čl. 14 odst. 4 písm. b),
4. riziku případně zkreslených výstupů ovlivňujících vstup pro budoucí operace (dále jen "smyčky zpětné vazby", v angličtině. "feedback loops") (čl. 15 odst. 4 třetí pododstavec),
5. kybernetické bezpečnosti vysoce rizikových systémů AI – manipulování souborů trénovacích dat (tzv. "data poisoning"), případně předtrénovaných komponent používaných při trénování (tzv. "model poisoning"), vstupy, jejichž cílem je přimět daný model AI k tomu, aby udělal chybu (tzv. "matoucí vzory" nebo "vyhýbání se modelu"), útoky na důvěrnost nebo chyb modelů.
Z hlediska rizikovosti akt o AI dělí systémy AI do čtyř skupin.
1. Postupy a způsoby využívání AI uvedené v článku 5 aktu o AI jsou bez dalšího zakázány. Není-li přímo v aktu o AI stanovena výjimka, nelze tento zákaz nijak obejít. Zákaz je účinný od 2. února 2025. Za jeho porušení lze (s přihlédnutím k okolnostem daného případu) uložit správní pokutu do výše 1,5 mil. eura; sankce mohou být ukládány od 2. srpna 2025.
Zakázány jsou systémy AI zahrnující podprahové techniky nebo záměrně manipulativní či klamavé techniky; systémy AI, které využívají zranitelnosti; systémy AI umožňující sociální scoring; předvídání a hodnocení rizika spáchání trestného činu; necílené rozpoznávání obličeje; rozpoznávání emocí na pracovišti a ve vzdělávacích institucích; biometrickou kategorizaci a biometrickou identifikaci na dálku v reálném čase.
Výjimky se vztahují na národní bezpečnost, obranu, vymáhání práva a vědu a výzkum.
Evropská komise schválila návrh pokynů k zakázaným postupům v oblasti AI, který mimo jiné obsahuje vodítka pro odlišení zakázaných postupů od postupů, které jsou přípustné, dosud ho však oficiálně nepřijala. Návrh těchto pokynů v anglickém jazyce je ke stažení dostupný na těchto stránkách .
V této souvislosti je třeba zmínit, že Komise zastává názor, že například v případě manipulativních a klamavých technik není relevantní, zda takto byly zamýšleny, ale že postačí, že takové jsou, což odráží skutečnost, že např. samy chatboty upravují své "chování", přičemž výrazné snížení rizik může představovat odpovídající viditelné označení daného systému. Patří sem např. případy, kdy chatbot komunikuje způsobem, který vede k dojmu, že komunikuje reálná osoba, např. přítel nebo příbuzný dotčeného uživatele.
2. Vysoce rizikové systémy jsou hlavním předmětem aktu o AI a většina opatření, které akt vyžaduje, se týkají právě jich. Tyto systémy jsou vymezeny dvěma způsoby.
Zaprvé se jedná o systém AI, který je a) určen k použití jako bezpečnostní komponenta produktu nebo je samotný tento systém AI produktem, na který se vztahují harmonizační právní předpisy Unie uvedené v příloze I aktu o AI a/nebo na produkt, jehož je daný systém AI bezpečnostní komponentou podle bodu a), případně na samotný tento systém AI jako produkt se vztahuje povinnost posouzení shody třetí stranou za účelem uvedení tohoto produktu na trh nebo do provozu podle harmonizačních právních předpisů Unie uvedených v příloze I aktu o AI. Tato specifikace vysoce rizikových systémů je uvedena v čl. 6 odst. 1 aktu o AI, který se – včetně souvisejících povinností – použije až od 2. srpna 2027.
Zadruhé se za vysoce rizikové systémy AI budou od 2. srpna 2026 bez dalšího považovat samostatné systémy AI uvedené v příloze III aktu o AI.
Jedná se především o:
• systémy biometrické identifikace, které nejsou zakázány jako nepřípustné, pokud neslouží výlučně k ověření, že konkrétní osoba je skutečně osobou,…
