Что, черт возьми, происходит в OpenAI?

Как опытный геймер, ставший свидетелем взлета и падения бесчисленных виртуальных королевств, я не могу не испытывать чувства дежавю, читая о трансформации OpenAI из благородной некоммерческой организации в коммерческую организацию. Истории об амбициозных лидерах, раздвигающих границы, и о неизбежных последствиях, которые за этим следуют, слишком знакомы как в Силиконовой долине, так и в моем игровом мире.

В Кремниевой долине нет ничего более примечательного, чем продолжающийся успех, но постоянный поток увольнений определенно привлекает внимание.

Уход Миры Мурати, технического директора OpenAI, 25 сентября вызвал в Кремниевой долине слухи о том, что дела в Альтманланде, возможно, идут не гладко, учитывая сообщения о том, что она ушла из-за растущего разочарования в попытках реформировать или контролировать компанию изнутри. Примечательно, что Мурати был не единственной высокопоставленной фигурой, покинувшей успешную технологическую фирму; исследователь Баррет Зоф и главный научный сотрудник Боб МакГрю также ушли. На данный момент остается неясным, куда они направляются дальше.

Пьеса глубоко углубляется в личный опыт и более широкие философские вопросы, проливая свет на то, как может развернуться эра искусственного интеллекта.

Ситуация началась в ноябре, когда опасения по поводу нетрадиционного лидерского подхода Сэма Альтмана и сомнения в безопасности, связанные с тайным проектом, известным как Q* (позже переименованным в Strawberry и публично запущенным как o1 в прошлом месяце), побудили некоторых членов совета директоров попытаться отстранить соучредителя от его позиция. Однако их усилия оказались недолгими: Альтману удалось вернуть себе контроль над своей популярной компанией в области искусственного интеллекта в течение нескольких дней. Существенным фактором в этом развороте стало нежелание Microsoft Сатьи Наделлы, владеющей 49% акций OpenAI, позволить Альтману уйти в отставку.

Совет директоров был перетасован, чтобы он стал более дружелюбным к Альтману, и несколько директоров, выступавших против него, были изгнаны. Соучредитель и главный научный сотрудник OpenAI Илья Суцкевер, опасающийся его мотивов, также в конечном итоге уйдет. Сам Суцкевер был обеспокоен «акселерационизмом» Альтмана — идеей продвижения вперед в развитии ИИ любой ценой. Суцкевер ушел из компании в мае, хотя человек, который его знает, рассказал The Hollywood Reporter, что он фактически прекратил сотрудничество с фирмой после неудавшегося ноябрьского переворота. (Суцкевер более чем встал на ноги — он только что собрал 1 миллиард долларов для новой компании по безопасности ИИ.)

Будучи ярым последователем, я был частью команды «сверхсогласования», возглавляемой Суцкевером и Яном Лейке, которой было поручено прогнозировать потенциальные опасности и обеспечивать безопасность. Как и Суцкевер, Лейке ушел в то же время, ознаменовав конец нашей команды. Как и другие члены команды, Лейке с тех пор решил присоединиться к Anthropic, компании, которую часто считают более бдительной в вопросах безопасности, как и конкурента OpenAI.

Мурати, МакГрю и Зоф стали последними примерами обеспокоенности по поводу безопасности при разработке ИИ. Безопасность в этом контексте относится к потенциальным непосредственным проблемам, таким как непреднамеренные предубеждения и долгосрочные опасности, такие как сценарии, подобные Скайнету, которые требуют тщательного изучения перед реализацией. Учитывая, что общий искусственный интеллект (AGI), способность машин решать проблемы на человеческом уровне, может быть достигнут в течение 1-2 лет, эти проблемы безопасности имеют важное значение.

Однако, в отличие от Суцкевера, после ноябрьской драмы Мурати решил остаться в компании, пытаясь уравновесить инициативы Альтмана и президента Грега Брокмана по быстрому продвижению изнутри, как предположил источник, близкий к OpenAI, который предпочел остаться анонимным, поскольку они не были разрешено обсуждать этот вопрос публично.

Неизвестно, что именно подтолкнуло Мурати к такому решению, но запуск продукта o1 в прошлом месяце мог сыграть свою роль. Этот инновационный инструмент предназначен не только для обработки информации, как это делают многие существующие большие языковые модели (например, перезапись адреса Геттисберга в песню Тейлора Свифта), но также для решения математических задач и проблем кодирования человеческим способом. Те, кто выступает за безопасность ИИ, подчеркивают необходимость тщательного тестирования и мер безопасности, прежде чем такие продукты станут доступны широкой публике.

Запуск блестящего продукта совпадает и в некоторой степени является следствием трансформации OpenAI в корпорацию, ориентированную на прибыль. Это изменение, которое включает в себя прекращение надзора за некоммерческими организациями и появление такого генерального директора, как Альтман, который владеет акциями, как и другие основатели, вызвало обеспокоенность среди уходящих руководителей, таких как Мурати.

Мурати сказал в посте X, что «сейчас кажется правильным» уйти.

Масштабы обеспокоенности возросли до такой степени, что некоторые бывшие сотрудники поднимают тревогу на высокопоставленных общественных площадках. Например, в прошлом месяце Уильям Сондерс, бывший технический сотрудник OpenAI, предстал перед Юридическим комитетом Сената и заявил, что он ушел из компании, поскольку предчувствовал катастрофические последствия, если OpenAI продолжит двигаться по своей нынешней траектории.

Он объяснил законодателям, что общий искусственный интеллект (AGI) может привести к глубоким изменениям в обществе, существенно повлияв на экономику и занятость. Кроме того, существует потенциальный риск катастрофического ущерба из-за того, что системы AGI автономно выполняют кибератаки или помогают в разработке опасного биологического оружия. Однако никто не нашел способа гарантировать безопасность и контроль этих передовых систем искусственного интеллекта. OpenAI может заявлять, что добилась прогресса, но те, кто ушел в отставку, выражают сомнения в своей готовности вовремя.

Созданная как некоммерческая организация в 2015 году, OpenAI ясно дала понять, что будет свободно сотрудничать с различными учреждениями и взаимодействовать с компаниями для исследования и внедрения новых технологий. Однако до недавнего времени компанией управлял совет некоммерческого фонда. Недавнее решение отказаться от надзора за некоммерческими организациями дает компании большую автономию и мотивацию для быстрой разработки новых продуктов, а также делает ее более привлекательной для потенциальных инвесторов.

И инвестиции имеют решающее значение: в отчете New York Times говорится, что OpenAI может потерять в этом году 5 миллиардов долларов. (Стоимость обоих чипов и мощности, необходимой для их работы, чрезвычайно высока.) В среду компания объявила о новом раунде привлечения капитала от сторон, включая Microsoft и производителя чипов Nvidia, на общую сумму около 6,6 миллиардов долларов.

OpenAI сталкивается с необходимостью заключать дорогостоящие соглашения с издателями из-за продолжающихся юридических проблем, например, с Times, которые ограничивают ее свободу использовать контент этих издателей для обучения своих моделей без ограничений.

Отраслевые наблюдатели обеспокоены действиями OpenAI. Когда организация превратилась в компанию, ориентированную на получение прибыли, это подтвердило то, что многие подозревали: большая часть разговоров о безопасности, возможно, была простой риторикой. Гэри Маркус, опытный эксперт по искусственному интеллекту и автор недавно опубликованной книги Укрощение Кремниевой долины: как мы можем гарантировать, что искусственный интеллект работает на нас, разделяет это мнение с THR. Он подчеркивает, что основной задачей OpenAI является получение дохода без какого-либо надзора со стороны регулирующих органов, гарантирующего его безопасность.

OpenAI имеет тенденцию представлять продукты раньше, чем их оптимальная готовность воспринимается в отрасли. Появление ChatGPT в ноябре 2022 года застало мир технологий врасплох; конкуренты из Google, разрабатывавшие аналогичный продукт, полагали, что новейшие модели изучения языка (LLM) еще не совсем готовы к основной сцене.

Неясно, сможет ли OpenAI продолжать внедрять инновации так же быстро после недавней утечки кадров, поскольку это зависит от их способности адаптироваться и находить новые решения.

Возможно, чтобы отвлечь внимание от продолжающегося хаоса и убедить скептиков, Альтман недавно опубликовал личный пост в блоге, в котором высказывается предположение, что «сверхинтеллект» — концепция, согласно которой машины могут в чрезвычайной степени превосходить человеческие способности — может материализоваться уже в 2030-х годах. Он заявил: «Удивительные достижения, такие как решение проблемы изменения климата, создание космической колонии и раскрытие всей физики, в конечном итоге станут обычным явлением». Интересно, что, возможно, именно такая дискуссия привела к отставке Суцкевера и Мурати.

Смотрите также

2024-10-04 20:25