Cerebras ответила на вопрос, который ей задают чаще всего: как крутить frontier-модель на пластине, если на чипе 44 ГБ памяти, а веса занимают терабайты. В посте от 22 октября компания разбирает раскладку на примере открытой Kimi K3 — около 3 трлн параметров — и обещает 1000–2000+ токенов в секунду.
Как поместить слои на пластину
Kimi K3 в их схеме — 69 слоёв линейного внимания и 24 плотных. Веса считают в 4 битах, как в Hugging Face, KV-кэш — в 8. Три триллиона параметров дают примерно 16 ГБ на слой. На пластине WSE-3T 44 ГБ SRAM: два линейных слоя встают рядом, плотный слой сажают по одному и оставляют остаток под KV-кэш. Итого 35 плюс 24 — 59 пластин.
Компилятор кладёт слои на пластины, рантайм гоняет активации по RDMA over Ethernet — около двух микросекунд на прыжок. Веса в типичном случае не ездят: слой целиком сидит в SRAM, между пластинами идут только активации.
Конвейер, а не один запрос
Каждая пластина — ступень сборочной линии. Пока третья крутит токен запроса A, вторая уже занята B, первая — C. Ступень может брать микробатч. Потолок одновременных запросов задаёт место под KV-кэш на плотных пластинах, не «батч как на GPU». Cerebras отдельно пишет: смотреть нужно токены в секунду на мегаватт при той же скорости генерации, а не размер батча.
Как смотреть
Это инженерный разбор своей стойки, не независимый бенчмарк. Цифры Terminal-Bench и BrowseComp у Kimi K3 в тексте — таблица рядом с GPT-5.6 Sol, не ваш прод. Имеет смысл тем, кто уже сравнивает wafer-scale с GPU-кластером и упирается в перенос весов. Остальным достаточно запомнить связку «слой на пластине, активации по Ethernet, конвейер из запросов».
