Машины-монстры: Процессор-рекордсмен Cerebras значительно "прибавил в весе", плюс 1.4 триллиона транзисторов

Процессор Cerebras WSE 2


Пару лет назад мы уже рассказывали нашим читателям о монстрообразном процессоре Cerebras WSE, который на момент его появления стал самым большим в мире процессором. На кристалле этого процессора, площадью 46 225 квадратных миллиметров, размещалось 1,4 триллиона транзисторов, формирующих 400 тысяч вычислительных ядер и 18 гигабайт общей памяти. И недавно, представители компании Cerebras, штат которой увеличился более чем в два раза за прошедшее время, объявили о создании чипа следующего поколения, процессора Wafer Scale Engine 2 (WSE 2), производство которого начнется уже в третьем квартале этого года.

Процессор WSE 2 имеет те же самые физические размеры, что и его предшественник, но все его базовые показатели, включая производительность, увеличились в два и более раз. Целью создания процессора WSE 2 является обеспечение возможности реализации новых технологий глубинного машинного самообучения, обучения и работы нейронных сетей, размеры которых растут пропорционально сложности решаемых ими задач.

Напомним нашим читателям, что процессоры серии WSE создавались для решения проблемы с крайне медленным процессом обучения нейронных сетей. Такая медлительность этого процесса была обусловлена наличием узкого места в традиционной компьютерной архитектуре, в шине между процессором и внешней DRAM-памятью, по которой постоянно курсируют данные в обоих направлениях, буквально съедая процессорное время и энергию. Изобретатели архитектуры WSE решили, что им требуется сделать чип процессора достаточно большим для того, чтобы на нем помещалось такое количество вычислительных ядер и объем памяти, которых будет достаточно для выполнения сложных задач по обработке естественного языка, распознаванию объектов на видео и изображениях и т.п.

Ключевым моментом, который позволил увеличить все показатели процессора, WSE 2 стал переход с 16-нанометровой технологии сразу на 7-нанометровую технологию компании TSMC, минуя этап в 10 нанометров. Это позволило увеличить количество транзисторов на кристалле с 1.2 на 2.6 триллиона, объем памяти увеличился с 18 до 40 гигабайт, а количество вычислительных ядер увеличилось с 400 до 850 тысяч. Кроме этого, переход на новый техпроцесс позволил добиться 40-процентного увеличения производительности в пересчете на одно вычислительное ядро и 60-процентного снижения количества потребляемой энергии.

Вычислительная система CS-2


Кроме этого, инженеры компании Cerebras провели достаточно большую работу по улучшению микроархитектуры вычислительных ядер, которые, помимо улучшений существующих функций, приобрели массу новых возможностей.

Как уже упоминалось выше, чипы WSE и WSE 2 имеют одинаковый размер и внешний вид квадратной пластины со стороной в 300 миллиметров, визуально разделенной сеткой 7 на 12 ячеек, что связано с особенностями процесса производства. Кроме этого, внешне практически не изменилась компьютерная система Cerebras CS-2, которая, как и прежде, занимает треть стандартной серверной стойки и использует систему жидкостного охлаждения. Новая система потребляет около 20 кВт, что на 5 кВт больше чем у предшественника, часть этой энергии расходуется на обеспечение работы более миллиона электрических проводников, которые связывают чип процессора со всей остальной периферией.

Некоторые изменения коснулись и компилятора программ для системы WSE 2, который использует стандартные структуры данных, подготовленные распространенными программами, такими, как PyTorch и TensorFlow. Теперь этот компилятор самостоятельно и более качественно решает проблемы оптимизации, располагая слои нейронных сетей в памяти так, что перемещение данных по внутренней сети происходит практически без задержек, а в обработке этих данных в равной мере принимают участие все 850 тысяч вычислительных ядер.

Машины-монстры - все о самых исключительных машинах, механизмах и устройствах в мире, от громадных средств уничтожения себе подобных до крошечных точнейших устройств, механизмов и всего того, что находится в промежутке между ними.




Ключевые слова:
Машины, Монстры, Cerebras, Процессор, Чип, Транзистор, WSE, Технологический, Процесс

Первоисточник

Другие новости по теме:
  • Система искусственного интеллекта разнесла в пух и прах суперкомпьютер на з ...
  • Машины-монстры: Cerebras - самый большой в мире процессор, предназначенный ...
  • Компания Nvidia представляет новый графический процессор Tesla V100 Volta, ...
  • Принстонские исследователи создали 25-ядерный процессор, способный объедини ...
  • Машины-монстры: KiloCore - первый в мире чип, на кристалле которого находит ...




  • 27 апреля 2021 22:09
    #1 Написал: beany85

    Публикаций: 0
    Комментариев: 1088
    Да, 20 КВт, Карл! Ты не расслышал? Именно 20!
    А кроме шуток - молодцы разрабы, по сути, серверную стойку заменили одной системой на чипе. То что память рядом с ядрами разместили - несомненно огромный плюс. Сюда ещё не хватает ранее не раз упомянутых на этом сайте неких супер-пупер конденсаторов, которые в теории могут преобразовывать тепло в электричество.


    --------------------
        

    Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.