📰 IT Дайджест

Это серия из двух частей, посвященная тому, что, на мой взгляд, является, пожалуй, наименее понятным предстоящим сдвигом в экономике ИИ. Если вам понравится этот текст и вы хотите получить уведомление о второй части, не стесняйтесь подписаться на мою рассылку.

Настоящий момент DeepSeek уже наступил

Кажется, что это было десятилетия назад, но рынки содрогнулись из-за модели DeepSeek R1. Суть теории заключалась в том, что, если базовую модель V3, по сообщениям, обучили менее чем за $6m, то рынок решил, что огромные инвестиции в capex на обучение моделей закончились, и, следовательно, цена акций Nvidia и прочих рухнула за одну ночь.

Конечно, это было крайне неверное понимание того, где на самом деле лежат затраты в AI. Обучение — хотя, безусловно, капиталоемкое — это фиксированная, авансовая стоимость. Вы тратите сотни миллионов на обучение модели, а затем «заканчиваете».[1]

Inference, с другой стороны, масштабируется вместе со спросом. У него есть подлинные предельные издержки. Я подробно писал об этом в течение последнего года или около того. И снова распространенное понимание этого — будто API-затраты, которые взимают провайдеры, и есть их реальные затраты — ошибочно.

Действительно, когда Anthropic/OpenAI берут $25/MTok за inference, мои грубые прикидки показывают, что это, вероятно, что-то вроде 90% gross margin относительно стоимости compute по сравнению с прайс-листом. Это может быть немного выше или немного ниже (утекшая финансовая отчетность OpenAI указывает на ~60% gross margin по выручке, но туда, без сомнения, входит много других расходов, таких как поддержка, обработка платежей и другие услуги, которые они предоставляют), но вся бизнес-модель frontier AI labs в том, чтобы потратить большую сумму денег на зарплаты и compute для обучения модели, а затем амортизировать эту стоимость на очень большой объем крайне прибыльного inference. Если вы сможете амортизировать эту стоимость на достаточно большом объеме inference, вы перейдете из состояния прибыльности на уровне COGS к... по-настоящему прибыльному.

Последние пару недель я экспериментировал с GLM5.2 от Z.ai. Я считаю, что GLM5.2 — первая модель, которая достигает «планки» настоящего конкурента с open weights для Opus и GPT (на момент написания последняя версия GPT — 5.5 — будущие модели, без сомнения, превзойдут ее).

Она действительно очень хороша, и мне трудно отличить ее от Opus — моего повседневного инструмента.

Я заметил, что она медленная из-за того, сколько reasoning она, как правило, делает. Для неинтерактивных agentic задач (например, проверки PR в фоновом режиме), где время не критично, это не проблема, но для интерактивного использования она определенно чуть слишком медленная, чтобы удерживать мое внимание. Это также в некоторой степени снижает ее cost effectiveness (больше thinking означает больше tokens, а значит — рост затрат).

У нее также нет поддержки vision. Забавно, как быстро я перешел от почти полного нежелания использовать vision (потому что оно было настолько неточным, что я часто ставил сессии на паузу, когда замечал, что модель использует vision) к тому, что использую его постоянно — с тех пор как Opus 4.7 представил гораздо более высокое разрешение vision-возможностей. Действительно раздражает то, что она не может читать PDF на основе изображений, скриншоты и design files. Я уверен, что у них в разработке более multimodal модель, но это серьезная слабость по сравнению с frontier labs.

Во-вторых, и это то, чего я совсем не ожидал как blocker, — отсутствие / плохие возможности web search. Оказывается, почти каждая agentic сессия делает много web searching для поиска различных items. Z.ai предоставляет заменяющий MCP для web search, но он довольно ужасен и медленен. Fireworks не предоставляет ничего, хотя мне дали очень расплывчатый ответ, сказав, что они всегда ищут способы улучшать продукты. Лично я бы воспринял это как отсутствие планов, но посмотрим.

Мне удалось частично обойти это, сказав агенту использовать CLI-based web search, например ddgr, но сейчас это реальная слабость. Я очень bullish в отношении потенциала сторонних web search APIs. На самом деле это огромный пробел в том, что могут предложить провайдеры моделей с open weights, и, как выяснилось, отличные возможности web search необходимы для многих agentic задач. В любом случае, без сомнения, со временем это будет решено — многие люди строят web search indexes, и здесь просто нужны правильные партнерства и готовая plumbing-инфраструктура.

Drop in replacement

Самое пугающее для frontier labs — это то, насколько легко мигрировать на модели с open weights. И Z.ai, и Fireworks предлагают endpoint, совместимый и с OpenAI, и с Anthropic. Это делает использование с Claude Code и Codex абсолютно тривиальным. Достаточно указать base URL на вашего inference provider, дать API key и сказать ему использовать GLM5.2.

Учитывая, что Anthropic недавно объявила (а затем взяла это назад) о взимании API rates за неинтерактивное agentic использование claude -p, вы обнаружите, что для многих/большинства таких сценариев можно просто заменить его на GLM. А для интерактивного использования, за исключением отсутствия vision и более медленной скорости[2], мне было действительно почти невозможно понять, что я не использую Opus в Claude Code.

Это не lock in уровня Microsoft или Salesforce, где нужно годами планировать миграцию. Стоимость переключения невероятно низка, и я бы даже сказал, что она на самом деле гораздо ниже, чем попытки поспевать за всеми изменениями policy и terms, с которыми frontier lab models постоянно носятся. Возможно, Claude Code усложнит использование сторонних providers, но существует множество хороших open source вариантов (таких как сам Codex и OpenCode, среди десятков других).

Одна из проблем, о которой я часто слышу от enterprise, — это privacy и security данных. Нет сомнений, что использование официального API и subscription от Z.ai почти наверняка не вариант: условия у них в лучшем случае слабые, плюс глубокая связь с Mainland China. Но, разумеется, поскольку open weights открыты, на рынке есть множество других providers, многие из которых имеют надлежащие contractual provisions. И, если этого недостаточно, вы, конечно, можете разместить все у себя on premises, что на самом деле открывает еще более sensitive data — ту, которую нельзя отправлять никакой третьей стороне, — для agentic workflows уровня Opus.

Экономия затрат

Текущая цена GLM5.2, похоже, находится примерно на уровне $4.40/MTok. Это менее 20% retail price Opus и ~15% стоимости GPT5.5. Однако, учитывая, что для одной и той же задачи он использует больше tokens, это не совсем корректное сравнение apples to apples. Но я был бы очень удивлен, если бы для почти всех workflows он не оказался более чем на 50% дешевле при очень похожем уровне качества.

Что касается subscriptions, Z.ai предлагает «coding plan» subscription, который повторяет планы, которые вы увидите у Anthropic и OpenAI, но с более высоким заявленным лимитом использования. Я ожидаю, что для большинства профессиональных сценариев очень мягкие условия вокруг training и data retention сделают это труднопродаваемым предложением, но если frontier labs попытаются существенно повысить цены, я могу представить, что это станет убедительным вариантом для тех, кто внимательно следит за бюджетом.

Я ожидаю, что эти costs для GLM5.2 тоже значительно снизятся в ближайшие месяцы, по мере дальнейшей оптимизации serving stack(ов). Wafer написал интересный обзор своих попыток запускать его на AMD hardware. По их оценке, inference на AMD обходится в 2.75x дешевле за token, чем на Nvidia Blackwell.

Во второй части я расскажу, почему это становится интересным — что на самом деле делает collapse in inference margins с индустрией и кто, вероятнее всего, выиграет и проиграет. Я бы держал в голове знаменитую фразу Безоса: «your margin is my opportunity». Если вы хотите, чтобы я отправил это вам в inbox в момент выхода, подпишитесь на newsletter — или возьмите RSS feed, если вам так удобнее.

Disclosure — Fireworks любезно предоставили мне немного бесплатного credit, чтобы поэкспериментировать с GLM и помочь написать эту статью.

---

Это упрощение — frontier labs фактически постоянно обучают новые модели, чтобы оставаться конкурентоспособными, так что это скорее rolling cost, чем истинный разовый расход. Но ключевое различие остается: в отличие от inference, эта стоимость не масштабируется вместе с тем, как именно customers фактически используют продукт. ↩︎

Справедливости ради, медлительность в основном связана с тем, что модель много думает, а не с самим serving — Fireworks запустила GLM5.2 с действительно высокой speed в tokens/sec, что было огромным улучшением и за этим определенно стоит следить, хотя на практике я обнаружил, что она немного непостоянна в том, насколько быстро она реально работает. ↩︎