Od nynějška budou texty vytvořené ChatGPT a Codexem v Evropské unii označovány neviditelnou stopou, i když ji běžný uživatel na obrazovce neuvidí. Pro většinu lidí bude změna nepostřehnutelná, ale může rozhodnout o tom, jak půjde později ověřit původ obsahu.
Pokud si někdo v EU požádá ChatGPT o e-mail, poznámku nebo krátké shrnutí, výsledek má od nynějška zanechávat skrytý otisk. OpenAI zavádí neviditelné vodoznaky pro texty generované ChatGPT i pro vývojářský nástroj Codex a toto řešení se vztahuje na území Evropské unie.
Pro běžného čtenáře takový znak nebude pouhým okem viditelný. Smysl této změny je jiný: má pomáhat odlišovat obsah napsaný člověkem od toho, který vznikl za účasti jazykového modelu. Myšlenka však není ani jednoduchá na použití, ani na posouzení.
Co se přesně mění pro uživatele
U všech předplatitelských plánů v EU má označování textů fungovat ve výchozím nastavení. Jinak to vypadá v API, které používají tvůrci softwaru: tam bude vodoznak dostupný jako možnost opt-in, a tedy bude nutné jej zapnout ručně.
Není to první takový krok v oboru. O dva měsíce dříve se konkurenční společnost Anthropic rozhodla pro označování textů generovaných modelem Claude. Toto řešení bylo spuštěno celosvětově, zatímco OpenAI omezuje start pouze na jurisdikci EU. O změně informoval TechCrunch.
Jak má taková stopa v textu vypadat
U obrázků nebo bankovek je vodoznak snadné si představit. V čistém textu je to mnohem těžší, protože pouhé kopírování a vkládání dokáže odstranit metadata či formátování. Proto OpenAI použilo systém s názvem textGrain, který nepřidává žádnou viditelnou značku, ale řídí výběr dalších slov.
Mechanismus funguje statisticky. Při generování věty model dělí možné tokeny do dvou skupin, běžně popisovaných jako „zelená“ a „červená“, a využívá přitom tajný kryptografický klíč a předchozí část výroku. Poté upřednostňuje token z privilegované množiny, pokud tím nepoškodí smysl ani plynulost. Pro člověka text stále zní přirozeně, ale detektor, který zná tentýž klíč, má odhalovat nepřirozené nahromadění slov z jedné skupiny.
Proč to není spolehlivý důkaz
Společnost otevřeně přiznává, že takovou stopu lze ztratit. Samotná absence označení tedy nerozhoduje o tom, že autorem byl člověk. Značka může zmizet nebo přestat být čitelná, když je text příliš krátký, někdo jej přepracuje nebo jej nechá projít jiným modelem a požádá o shrnutí či přepsání vlastními slovy.
Právě proto OpenAI nezpřístupňuje veřejný detektor. Jak bylo zdůrazněno, přístup k němu mají zatím získat pouze schválení výzkumníci a expertní organizace, které mají pomoci posoudit spolehlivost takového nástroje a prověřit jeho odpovědné použití.
Firma se obává mimo jiné falešných obvinění ve školách a na úřadech. Upozorňuje také, že příliš snadný přístup k analýze by mohl pomoci při vytváření skriptů sloužících k odstranění signatury, tedy ke spoofingu.
Spor o autorství, který nezmizí
Nové označování je přímým důsledkem předpisů unijního Aktu o umělé inteligenci (EU AI Act). Článek 50 ukládá poskytovatelům systémů AI povinnost označovat syntetický obsah strojově čitelným způsobem.
Problém je v tom, že taková povinnost naráží na každodenní způsob práce mnoha lidí. Když Anthropic zavedl podobné řešení v modelu Claude, objevila se v oboru značná kritika. Uživatelé namítali, že právě oni dodávají kontext, nápad a věcná rozhodnutí, zatímco model je jen nástroj, podobně jako textový editor nebo kalkulačka.
OpenAI také nepředstírá, že vodoznak odpovídá na všechny otázky. Firma zdůrazňuje, že takové razítko může ukázat, že systém OpenAI vygeneroval nebo zpracoval část textu, ale neprozradí, kolik v něm bylo lidské redakce, úsudku nebo kreativity. To je obzvlášť důležité tehdy, když někdo používá AI jen ke uhlazení stylu vlastního textu nebo k jeho překladu do jiného jazyka — pak může algoritmus stále považovat obsah za pocházející od OpenAI.
Ve výsledku tak obyvatelé EU dostávají další nástroj ke zjišťování původu textu, ale ne nástroj neomylný. V případě slov zůstává hranice mezi prací člověka a prací modelu proměnlivá a neviditelný znak tento spor jednou provždy neřeší.
