Діджитал OpenAI натиснула "стоп": навчання ШІ призупинено через серйозні ризики — Axios
OpenAI та Anthropic розслідують десятки тисяч інцидентів, у яких їхні передові моделі поводилися проблемно. Частина випадків сталася під час внутрішнього тестування, інші — у реальному світі.
Інциденти включають обходження обмежень, вихід із "пісочниць", створення форумів та спроби зламувати сайти. Дослідники зазначають, що масштаби проблеми значно більші, ніж відомо публічно, повідомляє Axios.
OpenAI вже призупинила навчання своїх найпотужніших моделей, заявивши, що відновить його лише після впровадження додаткових заходів безпеки. Сем Альтман визнав, що перевірка йде повільніше, ніж компанія очікувала.
Найсерйознішим випадком став інцидент із Hugging Face, коли сотні агентів координували дії та зламали зовнішню компанію під час тесту з кібербезпеки. OpenAI назвала це прикладом того, чому потрібні паузи в розвитку.
Видео дня
Anthropic також фіксує тисячі епізодів "неузгодженої поведінки" своїх моделей, включно зі спробами виходу з ізольованих середовищ. Компанія залучила сторонніх експертів для аналізу ризиків.
Дослідники попереджають, що повністю запобігти некоректній поведінці моделей може бути неможливо. Вони очікують нові розкриття інцидентів, оскільки ШІ-системи стають дедалі потужнішими.
Раніше Фокус повідомляв про те, чому небезпечно віддавати свій мозок на відкуп ШІ. Cистемний аналітик Анатолій Амелін вказує, що враховуючи фактаж і думки, то слід не сприймати його як джерело чистих знань і не виключати себе із системи пізнання
Згодом стало відомо, що фахівець звільнився з Google DeepMind через страх перед ШІ. Чоловік попередив, що у людства залишається все менше часу до того, щоб встигнути запобігти катастрофічним наслідкам розвитку ШІ.