Про железо

Многие пользуются чатами с ИИ. Решил сравнить чипы на чём это работает, сколько стоит. Дальше будут слайды.

Это 1 чип H200. Его скорость работы 1 ответ GPT-4o за ~1 секунду или 2 квадрилионов операций в секунду FP16. В чипе 141GB памяти.

Это по 1 ускорителю фирм N и A и они потребляют 700 и 750 Вт соответственно.

Это сервер и в нём 8 ускорителей. Стоит он, наверное, $280 и $100K соответственно для фирм N и A. Его скорость работы ~8 и ~5 ответов GPT-4o в секунду. И потребляет он ~7 кВт.

Это серверная стойка (5 racks) на 32 ИИ сервера или 256 ускорителей. Её скорость работы ~263 ответа GPT-4o в секунду. 36TB памяти HBM3e. И потребляет она 211 кВт. (Блоки питания на 600 кВт на сайте откуда картинка.) Стоит такая, наверное, от $10 млн.

Сравнивал для себя, выложил для всех. Данные для таблички искал ИИ. Если есть ошибки поправляйте как надо правильно.

FP16 в табличке - довольно точные вычисления, используются для обучения. Для запуски ИИ достаточно 8 bit, а это работает в 2 раза быстрее на всех ускорителях, кроме Intel.

Сравнивал не чтобы показать, что лучший суперкомпьютер МГУ медленнее и раз в 5 дороже шкафа от корпорации на букву I. Суперкомпьютеры умеют считать данные с повышенной точностью и у них бывают на порядок больше размеры дисков и другие возможности.
Например, у H200 скорость вычислений с точностью 16 бит - 2000 трлн оп/сек, 8 бит вдвое быстрее, а 32 бит в 30 раз медленнее и 64 бит в 60 раз медленнее. Возможно, что тест МГУ-270 был не в FP16. И цены 3 года назад были выше, а ускорители за 3 года сделали шаг вперёд.

Пруфы закреплю в комменте.

Может кому интересно/важно будет при выборе, что HP ProBook 465 G11 (P/N A40XMPT#AB1) на проце AMD Ryzen 5 7535U тянет 64Гб ОЗУ в виде двух модулей по 32Гб, хотя в оф спеке заявлено макс 32Гб. Модель для корейского рынка, но с высокой долей вероятности актуально и для других рынков.

Так же стоит иметь ввиду что ядро (не помню версию) из дистриба Kubuntu 25.04 не поддерживает спящий режим и регулировку яркости экрана на данной модели, лечится обновлением ядра из реп. Компилять не надо.

вывод lshw:

description: Notebook
product: HP ProBook 465 16 inch G11 Notebook PC (A40XMPT#AB1)
vendor: HP
version: SBKPF,SBKPFV2
serial: 5CD4522098
width: 64 bits
capabilities: smbios-3.4.0 dmi-3.4.0 smp vsyscall32
configuration: administrator_password=disabled boot=normal chassis=notebook family=103C_5336AN HP ProBook frontpanel_password=disabled keyboard_password=disabled power-on_password=disabled sku=A40XMPT#AB1 uuid=f35df6ce-9ead-4e14-b5d
f-e4e3db17abe8
*-core
description: Motherboard
product: 8C79
vendor: HP
physical id: 0
version: KBC Version 06.27.00
serial: PTXLU048JKE08Z

*-memory
description: System Memory
physical id: 5
slot: System board or motherboard
size: 64GiB
*-bank:0
description: SODIMM Synchronous Unbuffered (Unregistered) 5600 MHz (0,2 ns)
product: CT32G56C46S5.M16B2
vendor: Micron
physical id: 0
serial: EB14D286
slot: Bottom-Slot 1(left)
size: 32GiB
width: 64 bits
clock: 1305MHz (0.8ns)
*-bank:1
description: SODIMM Synchronous Unbuffered (Unregistered) 5600 MHz (0,2 ns)
product: CT32G56C46S5.M16B2
vendor: Micron
physical id: 1
serial: EB14D42F
slot: Bottom-Slot 2(right)
size: 32GiB
width: 64 bits
clock: 1305MHz (0.8ns)