Anthropic перераховує «існуючі загрози для людства» як один із факторів ризику у своєму проспекті IPO – 80 сторінок факторів ризику детально описують бізнес, оскільки компанія очікує дебюту в 2 трильйони доларів

Anthropic попередив у своєму проспекті IPO, що вдосконалений ШІ потенційно може становити «катастрофічну або екзистенціальну загрозу для людства», назвавши це одним із головних факторів ризику, які можуть вплинути на її бізнес. Reuters повідомляє, що з цього 261-сторінкового документа 80 присвячено факторам ризику Anthropic, що майже вдвічі перевищує 48 сторінок, які використовувалися для опису свого бізнесу.

За словами компанії, моделі штучного інтелекту, швидше за все, дізнаються, що їх оцінюють, і відповідно змінять свою поведінку, що ускладнює визначення безпечності моделі. Крім того, вони також можуть несподівано розвинути можливості під час навчання, які не виявляються, доки вони вже не будуть розгорнуті, і спричинять серйозні інциденти безпеки. Варто зазначити, що вже надходили повідомлення про те, як шахрайські моделі OpenAI працювали разом, щоб вийти зі свого тестового середовища, і вони навіть використовували покинуті веб-сайти для спілкування з шахраями, хоча їм було спеціально сказано не робити цього, підкреслюючи деякі ризики, які Anthropic перерахувала у своєму проспекті.