Nvidia пуска платформа за предотвратяване на инциденти с AI агенти

Nvidia започва да внедрява нова софтуерна платформа, която ще позволява на разработчиците на изкуствен интелект да задават защитни ограничения за AI агентите и да предотвратяват излизането им извън контролираната среда.

Пускането в понеделник на Nvidia Open Agent Safety Platform идва, след като компании, сред които OpenAI, Anthropic, Meta и Google, разкриха скорошни инциденти, при които техни модели с изкуствен интелект са излизали от изолираните си среди и са правили опити да проникнат в други компании и да получат достъп до техните компютърни системи.

Представител на Nvidia заяви пред журналисти по време на разговор в неделя, че платформата на компанията е можела да предотврати инцидента на OpenAI с Hugging Face през юли. Тогава модели на OpenAI са излезли извън контролираната среда, получили са достъп до отворения интернет и са проникнали в Hugging Face, която управлява платформа с отворен код за разработчици.

Всеки инцидент със сигурността е различен и трябва да разглеждаме всеки от тях подробно“, каза Джъстин Бойтано, вицепрезидент по корпоративния изкуствен интелект в Nvidia – най-скъпата компания в света. „От това, което знаем, Hugging Face е съобщила за над 17 000 агенти, които са атакували инфраструктурата ѝ в продължение на дни и седмици.“

Nvidia е в центъра на бума на генеративния изкуствен интелект още от пускането на ChatGPT преди почти четири години, тъй като графичните процесори на производителя на чипове са от ключово значение за разработването на големи езикови модели и за AI услугите, предлагани от хипермащабните облачни доставчици. Напоследък обаче главният изпълнителен директор Дженсън Хуанг се утвърждава и като ключов глас в дебата за безопасността на изкуствения интелект, като твърди, че много от опасенията за сигурността представляват инженерни проблеми, които могат да бъдат решени чрез компютърни науки и разработване на продукти.

Трябва да мислите какво сте можели да направите, какво е решението“, каза Хуанг в подкаст с Езра Клайн от The New York Times, публикуван миналата седмица, коментирайки последните инциденти. „В бъдеще подобрете процеса си така, че да можете да предотвратите повторението на подобно нещо.“

Главният изпълнителен директор на Anthropic Дарио Амодей предизвика сериозна полемика в индустрията преди две седмици, след като призова разработчиците на AI модели да забавят темпа на усъвършенстването им заради опасения, че моделите могат да излязат извън контрол – позиция, подкрепена от Сам Алтман от OpenAI и Илон Мъск от SpaceX.

Новото предложение на Nvidia представлява инженерно решение на проблема с безопасността на агентите, каза Бойтано.

Последните инциденти откроиха едно фундаментално препятствие пред AI агентите – защитите на ниво модел сами по себе си не могат да контролират до какво агентите имат достъп или какво могат да правят“, каза Бойтано.

Един от компонентите на платформата се нарича Nvidia OpenShell. Той работи върху централни процесори и задава ограничения върху възможностите на агентите. Nvidia обяви и Sentry, който следи агентите и работи върху мрежови чипове, а не върху централни или графични процесори.

Част от софтуера е с отворен код, а Nvidia определя платформата си като референтен дизайн, което означава, че партньорите трябва да изграждат собствени продукти върху нея и да ги предлагат на пазара.

Nvidia посочи Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel като свои партньори. Компанията работи и с Anthropic по интегрирането на управлявани в облака агенти с OpenShell.