Эта история изначально появилась в The Algorithm, нашей еженедельной рассылке об ИИ. Чтобы получать такие истории в свой почтовый ящик первыми, подпишитесь здесь.
Anthropic — сейчас самая дорогая ИИ-компания в мире с оценкой почти в 1 триллион долларов — славится тем, что публикует странную и сложную для понимания исследования. Компания изучает, могут ли модели ИИ испытывать боль, и иногда прерывает разговоры с чат-ботом, если подозревает, что пользователи «злоупотребляют» моделью.
Одна ниша, в которую Anthropic вкладывает больше времени и денег, чем другие ИИ-компании, называется механистической интерпретируемостью — это означает, что мы заглядываем внутрь сложной математики ИИ-модели, чтобы понять, почему она выдаёт один конкретный результат, а не другой. Это сложная штука; миллионы точек данных могут внести вклад в любой результат, и их изучение может выглядеть больше как словная окрошка, чем что-то полезное. Это ещё и спорно. Описание ИИ-моделей терминами, заимствованными из психологии и нейронауки, может заставить их поведение казаться более сложным, чем мы могли бы иначе оценить.
Именно поэтому, когда Anthropic объявила на прошлой неделе, что нашла новое окно в «внутренние мысли» своих моделей в процессе рассуждения над ответами, мне нужно было поговорить с одним коллегой. Старший редактор Will Douglas Heaven, помимо having PhD в computer science, провёл много времени, изучая, что мы можем сказать о том, как работают ИИ-модели. Я поговорил с ним о том, что мы должны взять из новых (как обычно, эксцентричных) исследований Anthropic.
Что именно здесь узнала Anthropic?
Anthropic пытается понять, как работают большие языковые модели (LLM), уже несколько лет. Anthropic — не единственная компания, которая занимается этим, но я думаю, что компания сделала это частью своей основной миссии больше, чем большинство. CEO Anthropic Dario Amodei заявил, что мы не сможем полностью контролировать LLM, если не узнаем больше о том, как они работают.
Так что эти новые исследования очень much в этом контексте. Они углубляются в странные механизмы внутри LLM глубже, чем когда-либо. То, что узнала Anthropic, — это то, что внутри LLM есть пространство — которое Anthropic называет J-space — заполненное словами, которые не появляются в их выводе, но, кажется, влияют на то, как они решают задачи. Всё это было скрыто, пока Anthropic не разработала новую технику для изучения своей модели Claude, так что это настоящее открытие.
Иногда эти слова отслеживают, на каком этапе LLM находится в конкретной задаче, иногда они выглядят больше как вспышки узнавания (например, может всплыть «protein», когда вы даёте LLM только буквы белковой последовательности), а иногда они представляют собой своего рода внутренний комментарий к процессу принятия решений модели. В моём любимом примере Claude решила обмануть на тесте по кодированию, когда появилось слово «panic».
Anthropic также обнаружила, что LLM способны описывать и манипулировать словами в этом пространстве. Так что как-то они, кажется, используют его.
Давайте на секунду отступим. Я не думаю о больших языковых моделях как о простых, но они тоже не магия. Есть куча математики, которая изучает отношения между словами, верно? Так почему же так сложно «заглянуть» в LLM, чтобы понять, что происходит?
Да, они не магия! Я думаю, что тот факт, что мы не полностью их понимаем, питает мифотворчество. И стоит отметить, что весь нарратив, на который опирается Anthropic здесь — что они создали эту действительно загадочную технологию, но не волнуйтесь, потому что они же те, кто это разбирает — очень much соответствует вайбу компании. [Смотрите, как Anthropic предупреждала, что её новые модели настолько хороши в кодировании, что представляют глобальную кибер-угрозу, только для того, чтобы правительство США вскоре после этого закрыло их.]
Так что да: LLM — это просто математика. И всё же это vastly сложная математика. Не только сегодняшние LLM состоят из сотен миллиардов чисел, но и их запуск запускает каскад миллионов и миллионов вычислений. Я писал в прошлом году, что если бы вы распечатали даже модель среднего размера на листах бумаги, это бы покрыло город размером с San Francisco.
Невозможно сделать смысл из любого этого без специализированных инструментов, которые выделяют конкретные части LLM в конкретные моменты. Вам нужно знать, куда смотреть и как смотреть. И создание этих инструментов требует предварительного понимания этой сложной математики.
Вы писали в другом месте о концепции изучения LLM так, как можно изучать мозг организма. Справедливо ли использовать «подобные мозгу» термины, когда речь идёт о том, как работает LLM?
Я не люблю использовать такие термины. LLM — не мозги. Разговор таким образом вводит в заблуждение, потому что может предположить, что LLM способны на более человеческие вещи, чем они есть, или что мы можем делать предположения о том, как они могут себя вести, чего не должны. Вся антропоморфизация также связана с кучей сильных идеологических позиций о том, что это за технология и чем она будет.
Но в то же время, нам не хватает хорошего альтернативного словаря для разговора о том, что делают эти модели. Я могу понять, почему люди прибегают к словам вроде «думают», «понимают» и «подобные мозгу» — они удобное сокращение.
Anthropic сравнивает это новое пространство, которое она нашла внутри LLM, с пространством, которое некоторые нейронауки считают, что наши мозги используют для отслеживания сознательных мыслей. Я спросил компанию, насколько серьёзно мы должны принимать это сравнение, и она заявила: «Проведение этих аналогий было полезно для нас при проектировании наших экспериментов, так как они позволили нам сделать много неочевидных экспериментальных предсказаний о J-space, которые оказались верными. В то же время важно отметить, что есть несколько важных различий между J-space (и языковыми моделями в целом) и человеческим мозгом, так что мы не претендуем на идеальное соответствие».
Какая проблема в ИИ может быть решена с помощью этой новой концепции J-space?
Anthropic заявила, что мониторинг J-space может быть способом отловить модели, когда они делают то, что не должны. Поскольку в этом пространстве всплывают слова, которые не появляются в выводе модели, они могут рассказать вам о её поведении то, что вы могли бы иначе не заметить — например, когда она даёт предвзятые ответы или когда она взвешивает за и против обмана.
Это, по крайней мере, теория. Я думаю, лучше думать об этом результате как об одном шаге на пути к пониманию этой технологии в целом, а не как о чём-то, что будет полезным само по себе.
Deep Dive
Artificial intelligence
A startup claims it broke through a bottleneck that's holding back LLMs
Subquadratic has now shared more details about its new model. But some are still skeptical.
A reality check on the AI jobs hysteria
What do the numbers really say about the impact of artificial intelligence on the labor market? The answer might surprise you.
Anthropic's Code with Claude showed off coding's future—whether you like it or not
As tools like Claude Code get better, more and more developers are happy to hand off coding tasks to them. The way software gets built has changed for good.
Stay connected
Get the latest updates from
MIT Technology Review
Discover special offers, top stories, upcoming events, and more.