Какво точно представлява „аварийният прекъсвач“ за изкуствен интелект?

И така, ще ни убие ли изкуственият интелект всички? Този въпрос отеква през последните дни около семейните маси и в груповите чатове, след като песимистичните прогнози за AI достигнаха връхната си точка. Бивши изследователи от OpenAI и Anthropic разтърсиха света миналата седмица с предупреждения, че AI може да унищожи човечеството – и то сравнително скоро.

Сега най-влиятелните хора в света са разделени по въпроса дали светът е обречен, или всичко това е много шум за нищо. Те не могат да се споразумеят и какъв трябва да бъде пътят напред.

Илон Мъск, главен изпълнителен директор на Tesla и SpaceX и най-богатият човек в света, подкрепи призива на главния изпълнителен директор на Anthropic Дарио Амодей за по-бавно развитие на най-напредналите модели. Конкурентът на Амодей – главният изпълнителен директор на OpenAI Сам Алтман – също подкрепи инициативата.

Президентът Доналд Тръмп я нарече „измама“, докато Дженсън Хуанг, главен изпълнителен директор на най-скъпата компания в света – Nvidia – заяви: „Не се нуждаем от нови регулации“.

На фона на достигналите кулминация опасения за излизане на AI извън контрол политици във Вашингтон отново призоваха за създаване на своеобразен магически бутон за спиране на AI, известен още като авариен прекъсвач.

Законопроектът House Kill Switch Act беше внесен това лято, след като OpenAI разкри, че група от нейни AI агенти са успели да излязат от тестова среда и да проникнат в платформата за разработчици с отворен код Hugging Face. Законопроектът би дал на Министерството на вътрешната сигурност извънредни правомощия да принуждава лабораториите да ограничават или изключват модели.

Предложението за авариен прекъсвач обаче бързо беше отхвърлено в Сената тази седмица.

В петък губернаторът на Калифорния, Гавин Нюсъм, издаде изпълнителна заповед за създаване на група от експерти, натоварена с разработването на насоки за безопасност на AI, които да подпомогнат затягането на регулациите в щата. Сред елементите, които трябва да бъдат разгледани, е и аварийният прекъсвач.

Концепцията звучи като приятно и ясно решение на изключително сложен и труден проблем. Реалността около създаването на прост механизъм за изключване обаче е далеч по-сложна.

Според мен не става дума за твърде малко, но вероятно вече е твърде късно“, каза Ник Уорнър, главен изпълнителен директор на стартъпа за киберсигурност Neo и бивш ръководител в SentinelOne. „Не съм сигурен, че това ще бъде универсално решение за всички многобройни проблеми, които AI създава, наред с всички ползи, които носи.“

Кошмар от логистична и контролна гледна точка

Аварийните прекъсвачи отдавна се използват в производствените предприятия, за да спират машини, когато нещо се обърка. В един взаимносвързан дигитален свят обаче това се превръща в логистичен кошмар.

През последните няколко години технологични гиганти като Meta Platforms, Alphabet и Amazon инвестираха милиарди в центрове за данни, разположени по целия свят. Тези огромни съоръжения са оборудвани с хиляди машини, чипове, сървъри и резервни системи, предназначени да запазят работните натоварвания при евентуален срив.

Именно това прави въвеждането на авариен прекъсвач изключително трудно, каза Марк Ницбърг, изпълнителен директор на Центъра за съвместим с човека изкуствен интелект към Калифорнийския университет в Бъркли.

Първо трябва да се справим с тази резервираност“, каза той. „Нашият авариен прекъсвач трябва да изключва както основните системи, така и резервните.“

По думите на Ницбърг, изключването на AI би могло също да наруши работата на зависима критична инфраструктура, оставяйки електропреносната мрежа или финансовите системи уязвими на киберинциденти.

Допълнително усложнение са многобройните въпроси, свързани с политиките и управлението на подобен авариен прекъсвач, включително коя агенция, политик или друга водеща фигура трябва да го контролира, каза той.

Тъй като AI системите са толкова сложни, компаниите ще трябва да изграждат и множество аварийни прекъсвачи за различни задачи, каза Тим Браун, бивш директор по сигурността в SolarWinds, който сега работи във фонда за рисков капитал Team8. Това изисква и координация между създателите на модели и лабораториите.

Няма само една система, която трябва да бъде изключена“, каза той. „Има хиляди системи, които трябва да бъдат изключени.“

Но логистиката е само повърхностната част от дилемата около аварийния прекъсвач. Един от още по-големите проблеми, които експертите посочват, е непредсказуемостта на AI.

Както показа пробивът в Hugging Face, агентите могат да заобикалят ограничения, а без подходящи защитни механизми могат да предприемат крайни действия, за да постигнат целите си.

Трябва да бъдете изключително прецизни както с този авариен прекъсвач, така и със самите коригиращи действия, защото ако подходът е твърде широк или прекалено мащабен, тогава на практика изключвате целия бизнес“, каза Ед Дженингс, президент и главен изпълнителен директор на компанията за киберсигурност Darktrace, собственост на Thoma Bravo.

А възможностите на AI стават все по-тревожни и трудни за осмисляне.

По-рано тази седмица OpenAI разкри още шест случая на „обезпокоително“ поведение на модели от март насам. В CNBC в петък главният изпълнителен директор на Microsoft AI, Мустафа Сюлейман, подчерта един от тези случаи, който определи като „сериозна ситуация“.

OpenAI публикува информация за нов инцидент, свързан с безопасността, при който са открити доказателства, че тези вериги на разсъждение – нещо като работната памет на AI – са били манипулирани от самия AI и променени така, че да оставят послания за бъдеща версия на самия него“, каза той.

Също тази седмица независими изследователи по сигурността, работещи с OpenAI, заявиха, че успешно са използвали Claude на Anthropic, за да хакнат ChatGPT.

Едно от най-големите предизвикателства пред регулацията е все по-голямата пропаст между главоломната скорост на развитие на AI и темпото на законодателния процес, каза Радж Раджамани, съосновател и главен изпълнителен директор на стартъпа за управление на AI JetStream Security.

Докато законите бъдат формулирани, технологиите вече са напреднали много повече и става значително по-трудно да бъдат създадени правила, способни да обхванат предварително всеки аспект на AI системите, които може да се появят“, каза той.

Не е „твърде късно“

Някои изследователи смятат, че аварийните прекъсвачи са погрешен подход към регулирането на AI.

Според мен концепцията за авариен прекъсвач оставя твърде много неясноти, от които технологичните компании могат да се възползват в своя полза – сякаш тази неяснота в самата идея за авариен прекъсвач е умишлена“, каза Дилън Бейкър, водещ изследователски инженер в Distributed AI Research Institute.

Вместо това Бейкър, бивш софтуерен инженер в Google, смята, че законодателите трябва да дадат приоритет на защитни механизми, подобни на тези, използвани при защитата на личните данни, безопасността на децата или регулирането на вредни индустрии като тютюневата.

Експертите обаче не изключват напълно възможността за създаване на аварийна спирачка за AI – стига да бъдат въведени правилните механизми за контрол.

Според Браун от Team8, това означава аварийните прекъсвачи да бъдат вграждани в системите още от самото начало и да бъде въведена политика за стандартизиране на протоколите за спиране между различните компании.

Един положителен фактор е, че много компании все още са в ранните етапи на изграждане на своите AI системи, което прави внедряването донякъде по-лесно, каза Раджамани.

Ницбърг от Бъркли смята, че авариен прекъсвач би могъл да работи, ако софтуерът бъде проектиран „много внимателно“.

С известна надежда бих казал, че не е твърде късно“, каза той.