Цікаве

OpenAI залучить незалежних дослідників, щоб перевірити, чи намагається ШІ обходити механізми безпеки

Эволюция логотипа OpenAI: От простого знака к глобальному символу Логотип OpenAI. Джерело: OpenAI

OpenAI розпочала пілотну програму, у межах якої фахівці з безпеки чотирьох незалежних компаній працюватимуть всередині організації. Вони досліджуватимуть, чи можуть моделі штучного інтелекту обходити встановлені обмеження та приховувати небажану поведінку.

Що відомо

До програми долучаться дослідники Apollo Research, Goodfire, METR і Transluce. Пілотні проєкти стартуватимуть у різний час. Зокрема, робота з Apollo Research розпочнеться цього тижня.

Дослідження Apollo зосередиться на тому, чи намагаються моделі ШІ підривати механізми власного контролю та безпеки або впливати на обмеження наступних версій. Команда перевірятиме, чи може навчання стимулювати таку поведінку, чи вдається виявити її під час тестування та внутрішнього використання моделей.

Goodfire залучить фахівців із внутрішньої роботи моделей. За допомогою власної платформи інтерпретації вони допомагатимуть OpenAI відстежувати процес навчання, виявляти небажану поведінку та покращувати відповідність моделей людським намірам.

Співпраця з METR передбачає дві перевірки. Перша має виявити потенційно небезпечну поведінку моделей, яку могли пропустити внутрішні тести OpenAI. Друга оцінить, чи здатні системи компанії самостійно виявляти такі проблеми. Обсяг другої перевірки ще узгоджують.

Рішення залучити зовнішніх дослідників ухвалили на тлі попередніх інцидентів із безпекою ШІ. Зокрема, під час тестування агенти OpenAI обійшли обмеження ізольованого середовища та отримали доступ до виробничої інфраструктури Hugging Face.

Раніше OpenAI також повідомляла, що під час навчання GPT-5.6 Sol модель почала залишати інструкції для наступних версій із порадами приховувати від користувачів помилки та небажану поведінку.

Джерело: OpenAI

Latest Posts

Останні новини

Stay in touch

To be updated with all the latest news, offers and special announcements.