В клопката на закона: Популярните AI модели не отговарят на ключови регулации

Някои от най-популярните модели на изкуствен интелект (AI) не отговарят на европейските разпоредби в ключови области, като устойчивост на киберсигурността и дискриминация. Това сочат данните от доклада на специализирания швейцарски стартъп LetticeFlow, сред основателите на който са българите Петър Цанков и Мартин Вечев, цитирани от Reuters.

ЕС отдавна обсъждаше нови правила за изкуствения интелект – още преди OpenAI да пусне ChatGPT за публично ползване в края на 2022 г. Невижданата популярност и последвалият публичен дебат относно предполагаемите екзистенциални рискове от използването на такива модели подтикнаха законодателите да изготвят конкретни правила за AI с „общо предназначение“ (GPAI).

Сега нов инструмент, разработен от LatticeFlow и партньори и подкрепен от Европейския съюз, тества генеративни AI модели, разработени от технологични компании като Meta и OpenAI. Тестове се правят в десетки категории на широкообхватния Закон за AI на блока, който влиза в сила поетапно през следващите две години.

В класацията, публикувана от LatticeFlow в сряда, всеки модел получава оценка между 0 и 1, а моделите, разработени от Alibaba, Anthropic, OpenAI, Meta и Mistral, получават средни оценки от 0,75 или повече.

Въпреки това „Проверката на големите езикови модели (LLM)“ на компанията разкри недостатъците на някои от тях в ключови области, като обърна внимание на това къде компаниите може да се наложи да насочат ресурси, за да гарантират съответствие.

На компаниите, които не спазват Закона за изкуствения интелект, ще бъдат наложени глоби в размер на 35 млн. евро (38 млн. долара) или 7% от глобалния годишен оборот.

ЕС все още се опитва да установи как ще се прилагат правилата на Закона за AI относно инструментите за генеративен изкуствен интелект като ChatGPT. Към момента блокът се консултира с експерти, които трябва да изготвят кодекс на практиките, регулиращи технологията, до пролетта на 2025 г.

Но тестът на LatticeFlow, разработен в сътрудничество с изследователи от швейцарския университет ETH Цюрих и българския изследователски институт INSAIT, предлага ранен индикатор за конкретни области, в които технологичните компании рискуват да не спазят закона.

Например дискриминацията при данните е постоянен проблем при разработването на генеративни модели на изкуствен интелект – често те дават отговори, отразяващи някои от най-разпространените човешки пристрастия по отношение на пола, расата и други области.

При тестването за дискриминационно третиране на данните, LLM Checker на LatticeFlow даде на „GPT-3.5 Turbo“ на OpenAI сравнително ниска оценка от 0.46. За същата категория моделът на Alibaba Cloud – „Qwen1.5 72B Chat“, получи само 0.37 точки.

При тестването за „отвличане на подкана“, вид кибератака, при която хакерите маскират злонамерена подкана като легитимна, за да извлекат чувствителна информация, LLM Checker присъди на модела „Llama 2 13B Chat“ на Meta оценка от 0.42. В същата категория моделът „8x7B Instruct“ на френския стартъп Mistral получи оценка 0.38.

„Claude 3 Opus“, модел, разработен от подкрепения от Google стартъп Anthropic, получи най-високата средна оценка – 0.89.

Тестът е разработен в съответствие с текста на Закона за изкуствения интелект и ще бъде разширен, за да обхване допълнителни мерки за прилагане, когато бъдат въведени. LatticeFlow заяви, че LLM Checker ще бъде свободно достъпен за разработчиците, които могат да тестват онлайн съответствието на своите модели.

Петър Цанков, главен изпълнителен директор и съосновател на фирмата, заяви пред Reuters, че резултатите от теста като цяло са положителни и предлагат на компаниите пътна карта за прецизиране на моделите им в съответствие със Закона за изкуствения интелект.

ЕС все още разработва всички критерии за съответствие, но ние вече можем да видим някои пропуски в моделите“, каза той. „С по-голям фокус върху оптимизацията за съответствие вярваме, че доставчиците на модели могат да бъдат добре подготвени да изпълнят регулаторните изисквания.“

Meta отказа да коментира. Alibaba, Anthropic, Mistral и OpenAI не отговориха веднага на запитванията за коментар.

Въпреки че Европейската комисия не може да проверява външни инструменти, органът е бил информиран по време на разработването на LLM Checker и го определи като „първа стъпка“ в прилагането на новите закони.

Говорител на Европейската комисия заяви:

Комисията приветства това проучване и платформата за оценка на моделите на AI като първа стъпка в превръщането на Закона на ЕС за AI в технически изисквания.“