Ampere представляет 192-ядерный процессор, спорные тесты

На этой неделе компания Ampere представила свои процессоры AmpereOne для облачных центров обработки данных, которые стали первыми в отрасли процессорами общего назначения с числом процессоров до 132, которые можно использовать для вывода ИИ. Новые чипы потребляют больше энергии, чем их предшественники — Ampere Altra (которые останутся в конюшне Ampere как минимум некоторое время), —

но компания утверждает, что, несмотря на более высокое энергопотребление, ее процессоры с числом ядер до 192 обеспечивают более высокую вычислительную плотность, чем центральные процессоры. от АМД и Интел. Некоторые из этих заявлений о производительности могут быть спорными. 192 собственных облачных ядра Процессоры Ampere AmpereOne имеют от 136 до 192 ядер (по сравнению с 32–128 ядрами у Ampere Altra), работающие на частоте до 3,0 ГГц. Они основаны на собственной реализации архитектуры набора инструкций Armv8.6+ (с двумя 128-битными векторными процессорами). устройства, поддерживающие форматы FP16, BF16, INT16 и INT8), которые оснащены 2 МБ кэш-памяти L2 с 8-канальной ассоциативностью на ядро (по сравнению с 1 МБ) и связаны между собой с помощью механической сети с 64 домашними узлами и отслеживанием на основе каталогов. фильтр. В дополнение к кешам L1 и L2 SoC также имеет 64 МБ кеша системного уровня. Новые процессоры рассчитаны на 200–350 Вт в зависимости от конкретного SKU, по сравнению с 40–180 Вт для Ampere Altra. Компания утверждает, что ее новые ядра дополнительно оптимизированы для облачных рабочих нагрузок и рабочих нагрузок искусственного интеллекта, а также обеспечивают увеличение производительности и эффективности инструкций за такт (IPC), что, вероятно, означает более высокий IPC (по сравнению с Neoverse N1 от Arm, используемым для Altra) без ощутимого увеличения. по энергопотреблению и площади кристалла. Говоря о площади кристалла, Ampere не раскрывает ее, но говорит, что AmpereOne производится на одном из техпроцессов TSMC класса 5 нм.

(Изображение предоставлено Ампером)

Хотя Ampere не раскрывает всех подробностей о своем ядре AmpereOne, в нем говорится, что они оснащены высокоточным устройством предварительной выборки данных L1 (уменьшает задержку, гарантирует, что ЦП тратит меньше времени на ожидание данных, и снижает энергопотребление системы за счет минимизации доступа к памяти). усовершенствованное восстановление ошибочного предсказания ветвления (чем раньше ЦП сможет обнаружить неверное предсказание ветвления и восстановиться, это уменьшит задержку и будет тратить меньше энергии) и сложное устранение неоднозначности памяти (увеличивает IPC, сводит к минимуму остановки конвейера, максимизирует неупорядоченное выполнение, снижает задержки и улучшает обработку нескольких запросов на чтение/запись в виртуализированных средах). Хотя список улучшений архитектуры ядра AmpereOne на бумаге не кажется слишком длинным, эти вещи действительно могут значительно повысить производительность, и они требуют проведения большого количества исследований (например, какие вещи больше всего замедляют производительность процессора облачного центра обработки данных?) и много работы по их эффективной реализации. Расширенная безопасность и ввод-вывод Поскольку SoC AmpereOne нацелен на облачные центры обработки данных, он оснащен соответствующим вводом-выводом, который включает в себя восемь каналов DDR5 для 16 модулей с поддержкой до 8 ТБ памяти на сокет, 128 линий PCIe Gen5 с 32 контроллерами и разветвление x4. Центры обработки данных также требуют определенных функций надежности, доступности, удобства обслуживания (RAS) и безопасности. С этой целью SoC полностью поддерживает память ECC, шифрование памяти с одним ключом, тегирование памяти, безопасную виртуализацию и вложенную виртуализацию, и это лишь некоторые из них. Кроме того, AmpereOne обладает многочисленными возможностями безопасности, такими как криптографические и энтропийные ускорители, защита от спекулятивных атак по побочным каналам, защита от атак ROP/JOP и так далее. Любопытные результаты тестов Без всяких сомнений AmpereOne SoC от Ampere представляет собой впечатляющий элемент кремния, предназначенный для обработки облачных рабочих нагрузок и впервые в отрасли включающий 192 ядра общего назначения. Тем не менее, чтобы доказать свою точку зрения, Ampere использует довольно любопытные результаты тестов. Ampere считает вычислительную плотность своего AmpereOne своим главным преимуществом. Компания утверждает, что одна стойка 42U мощностью 16,5 кВт, заполненная 192-ядерными машинами 1S на базе AmpereOne SoC, может поддерживать до 7926 виртуальных машин, тогда как стойка на базе 96-ядерного процессора AMD EPYC 9654 «Genoa» может поддерживать 2496 виртуальных машин, а стойка с питанием 56-ядерные процессоры Intel Xeon Scalable 8480+ 'Sapphire Rapids' могут обрабатывать 1680 виртуальных машин.

Это сравнение имеет большой смысл при бюджете мощности 16,5 кВт. Но плотность мощности в стойке 42U растет, и такие экзаскейлеры, как AWS, Google и Microsoft, готовы к этому, особенно для своих ресурсоемких рабочих нагрузок. Основываясь на опросе UpTimeInstitute в 2020 году, мы можем сказать, что 16% компаний развернули типовые стойки 42U с плотностью мощности от 20 кВт до более 50 кВт. К настоящему времени количество типичных развертываний со стойками мощностью 20 кВт увеличилось, а не уменьшилось, поскольку процессоры AMD последнего и предыдущего поколения увеличили свои TDP по сравнению со своими предшественниками.

Что касается производительности, Ampere демонстрирует преимущества своей 160-ядерной системы на базе AmpereOne с 512 ГБ памяти, работающей с генеративным ИИ (стабильная диффузия) и AI Recommenders (DLRM), по сравнению с системами на базе 96-ядерного процессора AMD EPYC 9654 с 256 ГБ памяти. памяти (имеется в виду, что она работала в восьмиканальном режиме, а не в 12-канальном, который поддерживает Genoa). Машины на базе Ampere производили в 2,3 раза больше кадров/с для генеративного ИИ и более чем в 2 раза больше запросов/с для рекомендаций ИИ. В этом случае Ampere сравнила производительность своих систем, обрабатывающих данные, с точностью FP16, тогда как машины на базе AMD вычислили с точностью FP32, что не является сравнением яблок с яблоками. Кроме того, многие рабочие нагрузки FP16 теперь выполняются на графических процессорах, а не на центральных процессорах, а массивно-параллельные графические процессоры, как правило, предлагают впечатляющие результаты с рабочими нагрузками генеративного ИИ и рекомендаций ИИ. Краткое содержание AmpereOne от Ampere — это первые в отрасли процессоры общего назначения с числом ядер до 192, которые, безусловно, заслуживают большого уважения. Эти ЦП также обладают надежными возможностями ввода-вывода, расширенными функциями безопасности и обещают улучшенный прирост инструкций за такт (IPC). Кроме того, они могут выполнять рабочие нагрузки ИИ с точностью FP16, BF16, FP8 и INT8. Но компания решила использовать довольно противоречивые методы, чтобы доказать свою точку зрения, когда дело доходит до результатов тестов, что бросает тень на ее достижения. Тем не менее, будет особенно интересно увидеть результаты независимых тестов серверов на базе AmpereOne.