Производителят на AI чипове Cerebras Systems представи CS-4, нова AI система с размер на рак, насочена към пазара на GPU сървъри на Nvidia и работни натоварвания за инференция на големи езикови модели. Според компанията, CS-4 може да генерира токени с до 30 пъти по-бързо темпо в сравнение с конвенционалните GPU сървъри, когато всички ресурсите на системата са присвоени на един единствен потребител.
Важно е да се отбележи, че фигурата се основава на вътрешни тестове на Cerebras и измерва скоростта на генериране на текст, когато един потребител има ексклузивен достъп до изчислителните ресурси на системата. Тя не представлява агрегатната производителност на системата при обслужване на множество потребители едновременно.
На събитие в Сан Франциско Cerebras заяви, че CS-4 включва три процесора WSE-3 Turbo с размер на вафла. Според компанията, всеки процесор интегрира приблизително 4 трилиона транзистора, което го прави един от най-големите публично обявени AI процесори до момента. За разлика от многочиповите архитектури, обикновено използвани от Nvidia и AMD, Cerebras използва монолитен, цялостен дизай на вафлата, който съкращава пътищата за пренос на данни на чипа.
CS-4 е проектирана за AI инференция, а не за обучение на модели. Архитектурата на паметта му използва статична памет с произволен достъп, или SRAM, вместо динамична памет с произволен достъп, или DRAM, които обикновено се използват в индустрията. SRAM предлага значително по-бързи скорости на четене и запис в сравнение с DRAM, но по-сложната му структура и по-високата цена на единица капацитет обикновено затрудняват интеграцията му в процесори с ограничена площ на чипа. WSE-3 Turbo е приблизително с размера на чиния за вечеря, осигурявайки достатъчно физическо пространство за директно вграждане на SRAM върху процесора.
Cerebras позиционира бързото генериране на текст като основно конкурентно предимство на CS-4. Компанията заяви, че нейният процессор с размер на вафла може да съхранява всички параметри на стойностите, необходими на AI модел, директно на чипа, което премахва необходимостта да се извличат данни от външни паметови чипове и намалява времето за латентност, свързано с преместването на данни.
Според Cerebras, проби на CS-4 в момента са налични за ограничен брой клиенти, като по-широка наличност е планирана за по-късно през третото тримесечие на тази година.