После очереди == 4, нагрузка не растет, около 90k IOPS

2 Влияние числа тредов и числа файлов в работе на общий IOPS

Примечание: для 2 и 3 файлов – один файл был размещен на другом логическом диске

Тут тоже была таблица, но мне лень вставлять ее даже картинкой. На картинке опечатка, везде k, тысячи IOPS.

Затем общий IOPS не рос.

До 10 тредов IOPS на поток падало – с 40 тысяч при 1 треде на каждый файл.
При соотношении 2 файла \ 3 треда, всего 6 тредов, и 3 файла \ 2 треда – выйдя на примерно 40k IOPS на поток, при 4 тредах и 3 файлах просев до 33-35 k IOPS на поток

На 14 (7\2) и 15 (5\3) тредах начинает падать IOPS\thread – с 35 до 17.
На 14 – 10 по 35k, 4 по 17k
на 15 – 9 треда по 35k, 3 треда по 17k.
Что отлично укладывается в логику 12 тредов CPU, из которых 9 работают на один тред, генерируя по 35k, и 3 CPU потока обрабатывают по 2 дисковых треда по 17k.
На 24 тредах (2 файла \ 12 тредов и 3 файла \ 8 тредов)  картинка та же – все треды примерно по 17.5 IOPS
На 26 тредах (2\13 и 3\12) -4-6 потоков падают до 10k IOPS \ thread. Суммарно те же 40k

И для записи, пиковое значение было получено при 2 тредах на каждый их 3 файлов, 240k IOPS итого, по 40k IOPS на тред. Затем было только хуже –

Например, на казалось бы ПОЧТИ то же самое, 3 треда на два файла – производительность упала до 20k на тред, 120k IOPS.

На 4 потоках на файл, 12 файлах – производительность вроде бы была 210k, но есть разброс – от 15 до 20k IOPS на тред, перемерять надо.

На этом обзор физики можно и закончить, с выводами:
AMD потоки работают интереснее, чем у Intel, в именно этой реализации.
Максимальная производительность по чтению по дисковым операциям на физическом хосте достигается на числе потоков данных = числу потоков CPU
Производительность на чтение от очереди зависит достаточно слабо, то есть на очереди 8 выжало не 430, а 440k IOPS, на очереди 16 и 32 – 450k IOPS.

Внезапно, наловил ошибок – удалил старые файлы тестов, а новые, с тем же именем, не создаются!
There has been an error during threads execution
Error generating I/O requests
Оказалось, в какой-то момент в середине ночи удалил параметр с размером файлов.  Случайно. И даже не заметил. Поправил и завелось.

И, наконец, влияние read-modify-write для любителей дисков потолще.

Показать не удалось, потому что:
Картина на файле 10 гигабайт и длительности записи 10 секунд и прогреве W=10

Картина приплыли на файле 200 гигабайт при прогреве W=2

До этого прогрев был W=10. И, в таблице ниже, 3.5k это не опечатка, 3500 IOPS

Как бы так сказать, что при таком разбросе данных, это не тестирование, а полная и беспросветная лажа?

Потому что ничего не понятно, кроме того, что не зря замерял при разных параметрах. Получить лажу и увидеть ее полезно.

Перейдем к SQLsim.
Для опытов был взят Microsoft® SQL Server® 2019 Express,
Будете ставить – не забывайте сразу качать SQL Server Management Studio, пригодится.

файл отдельно не качается (я не нашел), поэтому скачал, поставил и вот -
C:\Program Files\Microsoft SQL Server\MSSQLXX.<InstanceName>\MSSQL\Binn

В GUI варианте теста «по умолчанию» ничего сложного – размеры файлов, размещение, число циклов, длина теста. Просто, наглядно.

Одна проблема – по умолчанию на 1 цикл поставлено 600 секунд (10 минут), и 12 циклов – то есть базовый тест – это два часа.

В конце теста генерируется sqliosim.log.xml.

Вторая проблема: тест не выдает в итоге каких-то цифр, типа «вы молодец, давайте дальше» - только таблицу

Display Monitor ********** Final Summary for file sqliosim.ldx ********** CLogicalFile::OutputSummary fileio.cpp

Display Monitor File Attributes: Compression = No, Encryption = No, Sparse = No CLogicalFile::OutputSummary fileio.cpp

Display Monitor Target IO Duration (ms) = 100, Running Average IO Duration (ms) = 0, Number of times IO throttled = NN, IO request blocks = NN CLogicalFile::OutputSummary fileio.cpp

Display Monitor Reads = NN, Scatter Reads = 0, Writes = NN, Gather Writes = 0, Total IO Time (ms) = NN CLogicalFile::OutputSummary fileio.cpp

Display Monitor DRIVE LEVEL: Sector size = 512, Cylinders = NN, Media type = NN, Sectors per track = 63, Tracks per Cylinders = 255 CLogicalFile::OutputSummary fileio.cpp

Display Monitor DRIVE LEVEL: Read cache enabled = Yes, Write cache enabled = Yes CLogicalFile::OutputSummary fileio.cpp

Display Monitor DRIVE LEVEL: Read count = BB, Read time = BB, Write count = BB, Write time = NN, Idle time = NN, Bytes read = NN, Bytes written = NN, Split IO Count = 0, Storage number = NN, Storage manager name = VOLMGR  CLogicalFile::OutputSummary fileio.cpp

Я молодец, ок, а дальше что?

Конечно, если вы молодец (как я), то будете смотреть не только в окно самой программы, а запустите resmon и будете смотреть нагрузку по дискам, очереди, задержки, etc.

Перейду к hammerdb .. но это уже другая история.

В следующих сериях, теперь уже точно!
Опыты на виртуальной машине на 3 ядра.

CPU affinity
Опыты на Debian внутри Hyper-V, опыты с Proxmox nested. Stay tuned!

Литература

Performance benchmark test recommendations for Azure NetApp Files
Azure NetApp Files regular volume performance benchmarks for Linux
Hidden Treasure Part 1: Additional Performance Insights in DISKSPD XML
Hidden Treasure Part 2: Mining Additional Insights

Command line and parameters
Customizing tests
Use an XML file to provide DiskSpd parameters
Use the SQLIOSim utility to simulate SQL Server activity on a disk subsystem

SQL Server I/O Basics, Chapter 2
Use the SQLIOSim utility to simulate SQL Server activity on a disk subsystem on Linux
SQLIOSim Create a realistic I/O load for stress-testing SQL Server 2005

about_Comparison_Operators
about_Assignment_Operators

hammerdb Documentation

PS

И немного powershell.

Часть 1, которую вы уже видели

$pciStats = (Get-WMIObject Win32_Bus -Filter 'DeviceID like "PCI%"').GetRelated('Win32_PnPEntity') |

foreach {

# request connection properties from wmi

[pscustomobject][ordered]@{

Name = $_.Name

ExpressSpecVersion=$_.GetDeviceProperties('DEVPKEY_PciDevice_ExpressSpecVersion').deviceProperties.data

MaxLinkSpeed  =$_.GetDeviceProperties('DEVPKEY_PciDevice_MaxLinkSpeed'  ).deviceProperties.data

MaxLinkWidth  =$_.GetDeviceProperties('DEVPKEY_PciDevice_MaxLinkWidth'  ).deviceProperties.data

CurrentLinkSpeed  =$_.GetDeviceProperties('DEVPKEY_PciDevice_CurrentLinkSpeed'  ).deviceProperties.data

CurrentLinkWidth  =$_.GetDeviceProperties('DEVPKEY_PciDevice_CurrentLinkWidth'  ).deviceProperties.data

} |

# only keep devices with PCI connections

Where MaxLinkSpeed

}

$pciStats | Format-Table -AutoSize

Get-CimInstance -ClassName Win32_Volume | Select-Object DriveLetter, FileSystem, BlockSize| Format-Table -AutoSize

$Path001 = 'C:\DiskSpd\amd64\'

$Sp = $Path001 + "diskspd.exe"

cd $Path001

$Rn = Get-Random -Minimum 1 -Maximum 10

$Version = "070_" + $Rn

$Drives = @("C")

$FilesTemp = "Data4del"

$File001 = "deleteme_01a.dm"

$File002 = "deleteme_02a.dm"

$File003 = "deleteme_03a.dm"

$Out021 = $Drives[0] + ':\' + $FilesTemp + '\' + $File001

$Out022 = $Drives[0] + ':\' + $FilesTemp + '\' + $File002

$Out023 = "D" + ':\' + $FilesTemp + '\' + $File003

# $OutsFilesAA = @("$Out021", "$Out023", "$Out021 $Out022","$Out021 $Out023","$Out021 $Out022 $Out023") - не работает вот так и все.

$OutsFilesAA = @( "$Out022")

$Logs = @()

$Threads = @("-t1","-t2", "-t3", "-t4","-t5","-t6","-t7","-t8","-t9","-t10","-t11","-t12","-t13","-t14","-t15")

# $Threads = @("-t1")

# $Write = ("-w0","-w30", "-w100")

$Write = @("-w100")

#$BlockSize = ("-b4k","-b8k")

$BlockSize = @("-b4k")

# $Outstanding = @("-o2","-o4","-o8","-o16","-o32")

$Outstanding = @("-o2")

$Size = "-c200G"

$Time = "-d10"

foreach ($OutFilesGr in $OutsFilesAA){

foreach ($Drv in $Drives){

foreach ($Bl in $BlockSize) {

foreach ($Wr in $Write) {

foreach ($Outs in $Outstanding){

foreach ($T1 in $Threads){

$TimeNow = get-date -UFormat "-%d-%m-%Y-%R" | ForEach-Object {$_ -replace ":","-"}

Write-Host "TT " $TimeNow

$Out001 = $Drv + ':\' + $FilesTemp + '\' + $File001

$Out002 = $Drv + ':\' + $FilesTemp + '\' + $File002

$Out003 = "D" + ':\' + $FilesTemp + '\' + $File003

$Stat1 = $Drv + ':\' + $FilesTemp + '\' + $Version + $TimeNow + "_" + $T1 + $Drv + $Outs + $T1 +'_1.log'

$Stat2 = $Drv + ':\' + $FilesTemp + '\' + $Version + $TimeNow + "_" + $T1 + $Drv + $Outs + $T1 +'_2.log'

$Stat3 = $Drv + ':\' + $FilesTemp + '\' + $Version + $TimeNow + "_" + $T1 + $Drv + $Outs + $T1 +'_3.log'

$Logs += $Stat1

Write-Host "testing mode " $T1 $Wr $Bl $Outs 'time' $Time # "GR" $OutFilesGr

# &$Sp $T1 $Wr $Bl -W10 $Outs $Time -Suw -D -L $Size $Out021 $Out022 > $Stat1

&$Sp $T1 $Wr $Bl -W10 $Outs $Time -Suw -D -L $Size $Out021 > $Stat1

}}}}}}

И часть 2

$FilesTempDir = "c:\Data4del\"

$StatFiles = "069"

$StatFilesList = Get-ChildItem -Path $FilesTempDir | Where-Object {$_.Name -like ($StatFiles + '*') | Sort-Object -Property CreationTime  }

foreach ($MyFile in $StatFilesList){

$TempData1 = Get-Content $MyFile.FullName  | Where-Object {$_ -like "Command Line*"}

$TempData1

$TempData2 = Get-Content $MyFile.FullName  | Where-Object {$_ -like "total:*"}

$TempData2

}

Их характеристики существенно превосходят показатели чипов прошлого поколения. Процессоры из предшествующей линейки Zhaoxin KH-4000 имели до 32 физических ядер без SMT, до 64 МБ кэш-памяти и тактовую частоту до 2,5 ГГц. Также они могли похвастаться наличием 128 линий PCIe 4.0 и поддержкой 8-канальной памяти стандарта DDR4.

А их прямые преемники из линейки Zhaoxin KH-5000 получили до 96 физических ядер, до 384 МБ кэш-памяти, тактовую частоту до 3 ГГц, 128 линий PCIe 5.0 и поддержку 12-канальной оперативной памяти стандарта DDR5 с коррекцией ошибок (ECC).

Помимо этого новинки будут использовать новое межсоединение ZPI 5.0, позволяющее создавать системы с четырьмя CPU. Благодаря этому пользователи смогут установить в одну материнскую плату до 384 процессорных ядер. Производитель пока не раскрывает цены и дату старта продаж процессоров серии KH-5000. Точные характеристики младших моделей семейства также держатся в секрете.

Кроме того, Zhaoxin представила потребительские процессоры линейки KX-7000N, отличающиеся от уже существующих чипов KX-7000 за счет наличия нейронного блока (NPU).

Не много о х86-процессоре KaiXian KX-7000

В последнее время Китай делает уверенные шаги к созданию конкурентоспособных процессоров на архитектуре х86. Однако до революции в этой области Поднебесной еще далеко. Новый чип KaiXian KX-7000 от Zhaoxin оказался перспективным, но он пока не в состоянии соревноваться с актуальными процессорами Intel и AMD. Разберем, почему.

Тесты, которые все покажут

KaiXian KX-7000 — детище компании Zhaoxin, основанной при поддержке властей Шанхая и фирмы Via. Когда-то Via считалась серьезным конкурентом Intel и AMD, но сегодня угрозы для них уже не представляет.

Процессор KaiXian KX-7000 был анонсирован еще в конце 2023 года. Ожидалось, что он сможет конкурировать с чипами Intel Core и AMD Ryzen. Но как показали первые тесты, опубликованные на портале PC Watch, чип лишь приблизился к уровням производительности четырехлетнего Ryzen 5 5600G и семилетнего Core i3-8100.

Несмотря на использование новой архитектуры, KX-7000 не смог справиться с соперниками. Даже увеличение числа ядер до восьми не помогло, так как процессор не поддерживает HyperThreading, что существенно ограничивает его возможности. Каждое из восьми ядер обрабатывает только один поток, и общее количество одновременно выполняемых потоков равно восьми. Это может ограничивать производительность в задачах, требующих высокой степени параллелизма.

Характеристики KaiXian

• Архитектура: x86 «Century Avenue»

• Техпроцесс: 16 нм

• Количество ядер/потоков: 8 ядер / 8 потоков

• Тактовая частота: базовая 3,2 ГГц, максимальная 3,7 ГГц

• Кэш-память:

  • Уровень L2: 4 МБ

  • Уровень L3: 32 МБ

• Поддержка оперативной памяти: DDR4-3200 и DDR5-4800, двухканальный режим

• Интерфейсы ввода-вывода:

  • 24 линии PCIe 4.0

  • 2 порта USB4

  • 4 порта USB 3.2 Gen2

  • 2 порта USB 2.0

  • 3 порта SATA III

• Интегрированная графика: ZX-C1190, поддержка DirectX 12, OpenGL 4.6, OpenCL 1.2

• Мультимедийные возможности: аппаратное декодирование и кодирование H.265/H.264 до 4K

• Поддержка дисплеев: интерфейсы DisplayPort, HDMI, D-Sub/VGA

• Поддержка инструкций: SSE4.2, AVX, AVX2

• Аппаратное ускорение шифрования: поддержка китайских стандартов SM2 и SM3

• Тип корпуса: BGA и LGA (LGA1700)

В проведенных тестах KaiXian KX-7000 смог приблизиться к четырехлетнему Ryzen 5 5600G и семилетнему Core i3-8100. Даже несмотря на использование новой архитектуры, процессор продемонстрировал явное отставание. Это особенно заметно, если учесть, что KX-7000 имеет восемь ядер, тогда как у Core i3-8100 их всего четыре, а у Ryzen 5 5600G — шесть. Однако отсутствие поддержки HyperThreading свело на нет это преимущество.

Почему отставание так заметно?

Результаты тестов продемонстрировали, что KX-7000 пока уступает в производительности. Особенно заметным это было в играх, где китайский чип с интегрированной графикой проигрывал как Ryzen 5 5600G, так и Core i3-8100. Например, в Dragon Quest X KX-7000 набрал в полтора раза меньше баллов, чем Core i3-8100, и в пять раз меньше, чем Ryzen.

С использованием дискретной видеокарты AMD Radeon RX 6400 отставание уменьшилось. В бенчмарке 3DMark Time Spy китайский процессор приблизился к конкурентам, что указывает на слабость именно встроенной графической подсистемы.

По мнению аналитиков Tom’s Hardware, недостатки встроенной графики KX-7000 настолько очевидны, что ее производительность даже не стоит обсуждать. Но проблема не только в графике. Архитектура Zhaoxin значительно уступает решениям AMD и Intel в плане однопоточной производительности, которая критически важна для многих приложений.

Отдельное внимание следует уделить энергоэффективности. В ряде тестов KaiXian KX-7000 потреблял вдвое больше энергии, чем Core i3-8100, что указывает на недостатки дизайна процессора.

Будущее китайских процессоров: надежда или миф?

Создание KaiXian KX-7000 — это значительный шаг вперед для китайской индустрии. Однако пока что процессоры Zhaoxin сильно отстают от западных аналогов. Им не хватает мощности, энергоэффективности и продвинутой графики, чтобы стать конкурентоспособными на глобальном рынке.

Тем не менее, с учетом государственной поддержки и амбициозных планов китайских разработчиков нельзя исключать, что в ближайшие годы ситуация изменится. Пока же Intel и AMD могут быть спокойны: революции на рынке х86-процессоров пока ещё не произошло.

Третья часть:

Gemini-cli. Часть 3. Интеграция с vs code

Релиз gemini-cli 0.1.14

Этот релиз включает в себя множество улучшений, исправлений и новых функций. Основные изменения можно сгруппировать по следующим направлениям:

🚀 Главные нововведения:

• Интеграция с IDE: Это самое крупное изменение. Представлено сопутствующее расширение для VS Code и добавлена интеграция с редактором Zed. Появились специальные команды (/ide status, /ide install) и множество улучшений для режима [ide-mode], позволяющего CLI взаимодействовать с редактором кода.

• Новая архитектура команд: Многие слэш-команды (такие как /auth, /docs, /stats, /tools и другие) были переведены на новую, более стабильную архитектуру.

• Обнаружение циклов: Добавлен сервис, который умеет обнаруживать и прерывать простые зацикливания в коде.

✨ Ключевые улучшения:

• Отключение баннера: Добавлена настройка hideBanner для отключения приветственного баннера при запуске.

• Безопасность: API-ключ теперь передается в заголовке запроса, а не в URL.

• Улучшения UX: Внесены различные улучшения в пользовательский интерфейс, такие как улучшение цветовых тем, логика автодополнения и управление курсором.

• Новые команды: Добавлена команда /copy для копирования вывода в буфер обмена.

🔧 Исправления и стабильность:

• Совместимость с Windows: Внесено множество исправлений, чтобы инструмент корректно работал в среде Windows.

• Исправление ошибок: Устранено множество багов, включая проблемы с сериализацией JSON, сбои при обработке ANSI-кодов и некорректную работу с проектами без Git-репозитория.

• Обновление зависимостей: Обновлены ключевые пакеты, включая yargs до v18.

Ссылка на github

Удачи 🚀

В силу основной трудовой деятельности представления о разработке Web сервиса в лице корпоративного мессенжера у меня имелось. Поэтому в буквальном смысле за первые 2 недели у меня уже был базовый и простой скелет приложения, которое я назвал EchoTalk. На текущий момент вся разработка условно разделена на 8 модулей:

1. Пользователи (основные операции с моделью пользака)

2. Друзья (взаимодействия между несколькими пользователя)

3. Серверы (как тематическое простраство для коммуникации)

4. Комнаты (текстовые и голосовые чаты в контексте того или иного сервера)

5. Сообщения (классический обмен сообщениями в текстовых и личных чатах/комнатах)

6. Voice / Голосовая связь

7. Кастомизация (как отдельная фича всего интерфейса)

8. Внешние интеграции

По каждому модулю разработки у меня накиданы основные функциональные возможности системы с статусами реализации. Получается своего рода встроенный road map. На текущий момент бОльная часть реализована, однако ни один из модулей не протестирован должным образом на большой публике. Я как разработчик тестирую реализованые функции, но опять же мой подход к этому может отличаться от действий реальных пользоватей.

Систему на текущий момент юзают мои друзья для совестных игр и общения.

🔹 Пользователи и безопасность

• Регистрация, вход, подтверждение почты

• Загрузка аватарок

• 2FA аутентификация.

• Управление профилем — сменить аву, имя, статус и тд.

🔹 Друзья и соц. часть

• Поиск пользователей — нашёл, отправил запрос, получил друга (или игнор). Надо взял и удалил из друзей :)

• Списки друзей — можно группировать, отмечать «близких».

• Статусы (онлайн, отошел, занят, невидимка).

🔹 Серверы и комнаты

• Создание серверов — публичных и приватных.

• Озеро серверов — типа Discovery в Discord. Это поиск публичных серверов. Можно искать также в виде графа, а-ля поиск в солнечной системе.

• Приглашения — по ссылке на сервер.

• Комнаты — текстовые и голосовые, с переключением между ними без разрыва связи.

• Кастомизация фона чата из 22 предложенных прессетов с возможностю наложения градиента и прозрачности, а-ля телеграм.

🔹 Сообщения

• Текстовые сообщения и эмодзи.

• Стикеры и GIF импортированные из вашего телеграмма посредством привязки вашего профиля телеги через официальный виджет.

• Анимированные реакции, ответы, редактирование.

• Закреплённые сообщений.

🔹 Voice chat и видео

• Аудио-видео звонки, трансляция экрана.

• Контроль громкости — можно убавить собеседника.

• Поднятие руки — для порядку в дискуссиях.

• Трансляция экрана

🔹 Кастомизация

• Выбор темы оформления (8 прессетов с возможностью настройки каждой темы под себя).

• Фоны текстовых чатов с настройкой цветовых градиентов и прозрачности.

🔹 Допы

• Telegram-стикеры — синхронизация через бота. Привязав свой профиль телеграма через официальный виджет ТГ вы можете синхронизировать ваши стикеры и гифки из ТГ в EchoTalk.

• Кастомные темы — 8 тем на выбор либо возможность скорректировать выбранную тему под свои цвета.

Что в процессе

• Чёрный список — чтобы блокировать.

• Управление сессиями пользователя.

• Еще большая геймификация через систему достижений и бейжды

• Расширенные настройки профиля пользователя для уведомлений, приватности и прочего

• Ролевая модель — поверх всего функционала с возможностью настройки ролей для администраторов серверов

• Журнал аудита — кто что сделал на сервере.

• Бекапирование сервера как сущности с описанием всей структуры и участников для последующего импорта и разворавичания в пару кликов

• Интеграционные сценарии с другими системами

• API Gateway для создания собственных ботов + дока поверх всего этого.

В общем, к чему это я все. Называться "убийцей" Discord'а я не собираюсь. На полную замену в качестве равносильного аналога, реализуя сервис в соло, тоже глупо.

Но у вас есть абсолюбтно бесплатная возможность принять участие в тестировании системы и формировании обратной связи. 
Никаких подписок, донатов и прочего на текущий момент нет и не будет до финала всей реализации. И то, я планирую систему по принципу телеграма и того же Discord'а, где базово весь функционал будет доступен бесплатно, а уже разного рода плюшки и расширения будут по подписке.

Ссылку на сервис я отсавлю тут: https://echotalk.ru/ если есть желание можете потестить с друзьями вечерком под катку в CS или Доту :D

P.s. Напоминаю, сервис находится в активной стадии разработке, переодически я обновляю сервер и клиент, в эти момент система может быть недоступна. Обычно это от 5 до 30 минут.

Кроме этого в телеги я веду свой канал. В нем я в расширенной форме анонсирую новый функционал который приезжает с новым патчем. Кому интересно отсавлю ссылку в комменты.