Anthropic може невдовзі досягти порогу самовдосконалення ШІ — TechCrunch
Компанія Anthropic в оновленій заявці S-1/A повідомила, що може найближчим часом досягти власного порогу «різко прискореного прогресу, зумовленого ШІ». Йдеться про внутрішню оцінку компанії щодо майбутніх моделей, а не про її нинішні системи. Про це повідомляє TechCrunch.
Внутрішній поріг Anthropic
Anthropic зазначила, що використовує системи штучного інтелекту для прискорення досліджень і розробки. Водночас компанія попередила, що це може прискорити розвиток моделей швидше, ніж вона зможе розробити, перевірити та запровадити відповідні заходи безпеки, узгодженості та захисту.
Компанія також визнала, що в минулому не завжди одразу виявляла істотне прискорення темпів розробки моделей і може не розпізнати його своєчасно надалі. Anthropic наголосила, що жодну з її чинних моделей поки не визначили як таку, що перевищила цей поріг, а оцінювання даних триває.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Рекурсивне самовдосконалення
Процес, за якого ШІ настільки ефективно допомагає навчати й удосконалювати наступні системи, що це різко прискорює розвиток його можливостей, називають рекурсивним самовдосконаленням, або RSI. Anthropic вважає використання ШІ для створення потужніших моделей одночасно перспективою та суттєвим ризиком для безпеки.
Компанія заявила, що наразі не очікує можливості безпечно використовувати Claude для повністю автономного проєктування й створення наступних поколінь передових моделей без змістовного людського нагляду або розуміння процесу. Anthropic розглядає оновлення своєї політики відповідального масштабування, щоб зберегти людський контроль над розробкою передових моделей.
