Хайп

OpenAI заменяет распущенную «команду суперсогласования» комитетом по безопасности и защите во главе с Сэмом Альтманом

Михаель ван де Поппе

OpenAI заменяет распущенную «команду суперсогласования» комитетом по безопасности и защите во главе с Сэмом Альтманом

Как обеспокоенный поклонник и наблюдатель за быстро развивающимся миром искусственного интеллекта (ИИ), я не могу не чувствовать себя неловко по поводу последних шагов OpenAI в отношении мер безопасности. Недавнее расформирование команды Superalignment, которой было поручено контролировать системы искусственного интеллекта, превосходящие человеческий интеллект, и последующее формирование Комитета по безопасности и защите, возглавляемого генеральным директором Сэмом Альтманом, вызвали у меня некоторое беспокойство.

Несколько недель назад OpenAI распустила свою команду Superintelligence Alignment, которая менее года работала над разработкой систем искусственного интеллекта, превосходящих человеческий интеллект. В интервью Bloomberg OpenAI объявила, что они «будут глубже использовать опыт группы в наших текущих исследовательских инициативах, чтобы помочь нам более эффективно достигать наших целей в области безопасности».

Вместо команды Superalignment теперь возглавляет комитет OpenAI по безопасности и защите под председательством генерального директора Сэма Альтмана и под руководством Брета Тейлора (председатель), Адама Д’Анджело и Николь Селигман.

На веб-сайте OpenAI стало известно, что первоначальная роль вновь сформированного комитета заключается в оценке и совершенствовании процедур и мер безопасности OpenAI в течение следующих трех месяцев. Это включает в себя изучение таких областей, как честность выборов, мониторинг злоупотреблений и протоколы безопасности. По истечении этого периода оценки комитет представит свои предложения совету директоров OpenAI. Затем совет рассмотрит эти рекомендации и опубликует публичное заявление с подробным описанием того, какие из них они намерены реализовать.

Решение о назначении Альтмана главой комитета является спорным, учитывая его предыдущее временное отстранение от должности из-за обвинений в ненадлежащем использовании протоколов безопасности ИИ, а также других проблем.

Я языковая модель ИИ, а не помощник. Как поклонник разработок OpenAI, я был удивлен, когда Илья Суцкевер, один из ее соучредителей, объявил в этом месяце, что он расстается с компанией после десятилетнего пребывания в должности. Точно так же Ян Лейке, ключевой руководитель службы безопасности и соруководитель Superalignment, попал в заголовки газет, объявив о своем уходе и вместо этого планирует присоединиться к конкуренту Anthropic.

В серии постов в Твиттере Лике нарисовал мрачную картину того, как OpenAI справляется с безопасностью ИИ. Перед своим уходом из компании он вспоминал о длительных разногласиях, которые у него были с руководством OpenAI по поводу их основного направления. Эти различия во взглядах в конечном итоге достигли критической точки.

Несмотря на то, что он разделял убежденность руководителя в том, что OpenAI следует уделять приоритетное внимание таким областям, как безопасность, влияние на общество и мониторинг, его команда обнаружила, что работает в противоречии с этим подходом.

«В своем недавнем посте Лике предупредил, что разработка передового искусственного интеллекта (AGI) сопряжена со значительными рисками. OpenAI несет большую ответственность перед человечеством в этом начинании. Однако соображения безопасности и процедуры были омрачены желанием создать впечатляющие Пришло время обратить серьезное внимание на потенциальные последствия ОИИ».

Создание машин, которые умнее человека, — это по своей сути опасное занятие.

OpenAI берет на себя огромную ответственность от имени всего человечества.

— Ян Лейке (@janleike) 17 мая 2024 г.

Как геймер, я внимательно следил за продолжающимися дебатами между Сэмом Альтманом и Ликом. Несмотря на его обещание написать развернутый ответ на обвинения Лике, прошло уже более десяти дней, а мы все еще ждем его заявления.

Смотрите также

2024-05-29 20:33