Говорят, что для этого нужен VT-D. У меня в биосе есть только опция "Virtualization Technology" (включена). Хост: Ноут HP Pavilion Gaming Laptop 15 Windows 10 Intel Core i5-8300H NVIDIA GeForce 1060 MaxQ 1 ТБ HDD+256 ГБ SSD 12 ГБ ОЗУ Плата HP 8478 (U3E1) с БИОС версии F.11 На виртуалках установлены Windows 98, XP и 7.
Для лиги лени: про бывшую VMware, теперь VMware by Broadcom. Чего было и чего ждать
Часть 1. Чего и почему ждать.
Часть 2. Fast start. Литература и сайты для тех, кто вляпается в это легаси.
Часть 3. Прочее.
1.1 Пока переписывалась статья, вышло обновление- 8.0 Update 3e 24674464 , с обещаниями снова выдавать ESXi free, еще более урезанную. Спасибо конечно, и на том.
1. 2 Не дописанное из первой части
Продукты фирмы VMware не были как-то особо популярны в РФ. Так, по мелочи. Пара мелких банков, какие-то сотовые и небольшие телеком операторы, разорившаяся авиакомпания, пара фирм по розничным продажа бытовой химии, облачные провайдеры, итд. Короче, все те, кто не мог себе позволить купить нормальный Azure Stack (Azure Stack HCI, сейчас Azure Local), или сидел на таком дремучем легаси, что виртуализация у них была уже, конечно, не механическая, и не ламповая, но серверы приходилось или ставить краном, или возить на специальном лифте. Оборот и прибыль VMware в РФ (от мировой) была в районе статистической погрешности, от 0.1 до 1%, поэтому ее уход из РФ заметили только те, кто работал (скорее, не работал) в облаке МТС в 2024 году. Такие, во всех отношениях отсталые продукты, как: VMware NSX Omnissa Horizon (ранее Horizon View, VMware VDI, VMware View) VMware Cloud Director VMware Cloud Foundation
Могут быть легко и почти безболезненно заменены. Наверняка, те немногие их, зачем-то, использовавшие, облачные и сотовые операторы, уже давно провели замену. А то, что они про это молчат, так исключительно из скромности.
Ит отдел готовится к безболезненному уходу от VMware, и внедрению в критическую
Если же они этого не сделали, то возникает интересный тройной юридический казус. Во первых, по лицензионному соглашению, заказчик имеет право на обновления только в период действия подписки на поддержку. Срок подписки обычно был три года, вся подписка из 2021 закончилась в 2024, а местами и в 2022, поэтому вопрос законности покажет любой аудит. Во вторых, и это гораздо интереснее, очень много сотовых операторов , банков и так далее «в целом» отнесены к КИИ. Соответственно, в их системах должны быть установлены обновления безопасности, скачанные с официального сайта, и проверенные соответствующими органами. В частности: Обновление VMware Tools, Идентификатор обновления: TO1965, Вендор: VMware Inc., ПО: VMware Tools . С вендором ошибка, до ФСТЕК за 2 года не дошло, что это теперь Broadcom, фирмы VMware Inc больше нет. Там, на сайте, и с обновлениями самого ESXi проблема, последнее протестированное обновление 8.0b-21203435 для 8.0 из 2023. Но уязвимости описаны, BDU:2024-01809 или BDU:2025-02354, вместе с советами «выкручивайтесь сами», то есть, конечно, не так, цитата:
Установка обновлений из доверенных источников. В связи со сложившейся обстановкой и введенными санкциями против Российской Федерации рекомендуется устанавливать обновления программного обеспечения только после оценки всех сопутствующих рисков.
Интересно, что когда зарубежная проприетарщина много лет поставляет в РФ проверенные и годные продукты это одно, а захват ядра, базы из баз , практически всего опенсорса кликой сумасшедшего финна из агрессивного блока НАТО, это другое. Ну да ладно, а то так окажется, что исходники Windows 20 лет назад отдали, кому положено, и что Windows с 1996 до 2004 года неплохо работал в системе управления вооружением USS Yorktown (DDG-48/CG-48, программа Navy's Smart Ship program - на 2*27 Pentium Pro)
И в третьих, это рекомендации «переходить на российское шифрование и не использовать то, о чем говорить нельзя, из трех букв». Как использовать российское этцамое для обновления по https, если с той стороны не в курсе про ГОСТ, и как не использовать этцамое, если с той стороны и обновление, и документация, закрыты для РФ?
Вы находитесь здесь
Но, к теме.
Fast start. Литература и сайты для тех, кто вляпается в это легаси.
Сразу скажу: если вы унаследовали «это», то можете забыть про какую-то литературу на русском.
По теме выходило ровно 3(три) книги на русском, от 1 (одного) автора.
Михаил Михеев: Администрирование VMware vSphere из 2010 года. Михаил Михеев: Администрирование VMware vSphere 4.1 из 2011 года. Михаил Михеев: Администрирование VMware vSphere 5 из 2012 года.
В обязательном порядке должна быть прочитана книга по сетям. Не какой-то там курс от «аналоговнетных русских курсов и русских авторов», а только родная Cisco. И только такая: Cisco CCENT/CCNA ICND1 100-101 Official Cert Guide Academic Edition - by WENDELL ODOM, CCIE NO. Если в каком-то сообществе, группе, все равно где, вам предлагают читать Олиферов вместо Cisco Press - БЕГИТЕ ГЛУПЦЫ. После того, как вы прочитаете все вышеперечисленное, можно идти сюда за второй порцией литературы и статей.
Добавляются сети. Придется биться насмерть с сетевиками, и с любителями русской сетевой литературы, где LAG считается третьим лучшим изобретением человечества, сразу после описанного в Бытие 38:9 и Левит (18:22). Читать заметку: John Nicholson - As I lay in bed I can’t help but think…. LAG/LACP/MLAG/Bonding links to hosts is a bad idea for anything you care about that much. (A thread) – тут могла быть ссылка на вроде еще запрещенных в РФ любителей 140 знаков, и вот эту статью - LACP and vSphere (ESXi) hosts: not a very good marriage.
Подводя итог. Как легко прочитать в интернете, ESXi и прочие продукты VMware вокруг него – это жалкое проприетарное подобие Linux \ KVM \ XEN \ CEPH \ OVN, и еще сотни «замещающих» продуктов, по непонятным причинам совокупно (с учетом стоимости людей и требований к оборудованию) стоящее дешевле в пересчете на 3 года. Исключение - если у вас люди бесплатные, помещение бесплатное, и никаких требований к SLA нет. Давно списанное оборудование на балконе, например, которое может упасть только вместе с балконом, а зимой греет весь подъезд всеми 8 ядрами на сокет (единственный). Учиться работать с этим, конечно, не стоит. Рынок труда для этих продуктов уже ограничен «золотой тысячей кровавого энтерпрайза», то есть, суммарный платежеспособный спрос будет падать и падать. Всегда останутся организации, в поисках высококвалифицированных низкооплачиваемых кадров, почему-то не могущие найти кадры на открытом рынке. Да и учиться там особо нечему – как большая часть проприетарных продуктов, он еще недавно был сделан так, чтобы, в основном, работать. Если не работает, что бывало, то дать возможность собрать огромный дамп логов для техподдержки. Конечно, и тут все нехорошо. Последние лет 5 и в эту разработку прокрались криворукие, вместе с идеей «давайте тестировать новый код на пользователях». Хуже всего в VMware в РФ – это отсутствие комьюнити. Два русских сообщества, входящие в Virtual maining user group, причем на треть состава сидящие в третьем сообществе, по нелицензионным версиям VMware. Одно мертвое сообщество по NSX, такое же мертвое по Amazon Elastic VMware Service. Одно более-менее живое сообщество по vSAN, и просто ужас под названием «Сообщество по Азии». Помогут, в лучшем случае, в группе по vSAN. Вместо остальных достаточно бота с случайными сообщениями «гуглить пробовали», «это все есть в документации», или "что в логах".
Как же хорошо, что есть Reddit, LLM и форумы самого Broadcom.
PS. Как мне напомнили рецензенты, есть один крохотнейший плюс - то, что vGate умер на линейке 7. Это снизило глобальное потепление в России на 0.1 градуса, и уровень смога в Москве на 0.2%.
После того как я прикупил себе RAID контроллер Adaptec 71605
и решил заново установить на Dell OptiPlex 990 SFF гипервизор ESXi, что-то пошло не так, а именно сборка образов и прочая чёрная магия в течение нескольких дней не принесли ожидаемого результата, то установщик не узнаёт мой сетевой адаптер:
то не видит RAID контроллер, то все вместе, а то вдруг все видит, но на этапе установки ругается на мои вшитые в образ VIB с драйверами ссылаясь на какие-то зависимости:
Этот момент мне несколько поднадоел и решил я в качестве эксперимента накатить последнюю версию Proxmox, вот как есть, без каких-либо изменений и она без проблем установилась на текущую конфигурацию, увидела и RAID контроллер и сетевую карту, да всё настолько легко прошло, что я решил перенести на неё все мои виртуалки. Собственно сам перенос из файла .ovf выполняется одной единственной командой qm importovf 103 /home/Win11/Win11.ovf local-lvm:
qm importovf 103 /home/Win11/Win11.ovf local-lvm
103 - идентификатор VM, /home/Win11/Win11.ovf - путь к файлу .ovf, local-lvm - путь к хранилищу на гипервизоре proxmox
В случае с Windows импорт я делал прямо из .ovf файла который получил путем экспорта с ESXi, там было достаточно заменить scsi0 на sata0 в конфигурационном файле /etc/pve/qemu-server/103.conf и добавить сетевой адаптер.
В итоге ОС запускается и работает без проблем:
А вот в случае, когда я переносил машину Debian с Home Assistant, первоначально у меня она была перенесена из .ovf в VMware Workstation, поскольку, пока я копался с настройкой Proxmox, надо было чтобы HA продолжал работать, затем когда всё готово было к переносу, я сделал экспорт Debian с HA и затем экспорт уже на Proxmox, всё завелось с полпинка, даже после проброса USB ZigBee Sonoff 3.0 dongle - не пришлось колдовать с Zigbee2MQTT, он заработал сразу. На волне успеха побежал импортировать свою виртуалку с Debian, которая с такой же лёгкостью не поднялась, а дело было в том, что на VM с HA у меня был BIOS, а на второй UEFI, тут то и зарылась проблема, понял я это не сразу и даже потратил немного времени, перенес виртуалку сначала в VMware Workstation, оттуда сделал экспорт, затем импорт в Proxmox и ничего не заработало, но оно и не удивительно. Теперь конкретнее, что необходимо было сделать если вы переносите таким способом VM Debian UEFI. После выполнения импорта на гипервизор в настройках виртуалки:
в разделе hardware поправим BIOS на UEFI и SCSI Controller меняем на VirtIO SCSI
в options => boot order отмечаем первым пунктом наш диск
Сетевой адаптер добавить не забываем, они всегда слетают после импорта.
Далее необходимо запустить виртуалку и в консоли сразу же нажать ESC чтобы попасть в настройки UEFI, пройти по пути:
Boot Maintenance Manager =>
Boot Options =>
Add Boot Option =>
выбрать диск с EFI загрузчиком (он там будет единственный в большинстве случаев)
Далее пройти по пути до самого загрузчика:
(в случае с Debian - это shimx64.efi) выбрать его
зайти в меню Input the description вписать любое название для загрузчика
например debian
подтвердить нажатием Commit Changes and Exit
Далее изменить загрузку по умолчанию:
зайдя в меню Change Boot Order
там нажимаем Enter и плюсиком перемещаем debian на первый пункт и нажимаем Enter
подтвердить нажатием Commit Changes and Exit
нажимаем Reset
виртуалка перезагрузится
и вы должны будете увидеть Grub и успешно загрузиться в Debian
Кому интересна тематика умного дома, прошу в мой телеграмм канал, там регулярно пишу о своих идеях, сценариях, реализациях и прочих темах DIY, IoT, CS.
ESXi670-202503001 | 04 MAR 2025 | Build 24514018 RN
Традиционно, на портале https://support.broadcom.com опять все сломали. Через Okta логин не работает, все не так, все не то.
Если пройти по прямой ссылке на скачивание, VMware-ESXi-8.0U3c-24414501-depot, то кнопки download пока нет. Или опять что-то поменялось в политике партии, или просто еще не выложили. Скачивание через vSphere Lifecycle Manager (vLCM) не проверял. Подождем. В пиратке пока тоже ничего нет
Когда-то давно, то есть года два назад, еще до окончательной победы Linux, существовала такая фирма – VMware. Больше не существует. Одним из простых, дешевых и надежных продуктов VMware была операционная система ESXi, которая почти ничего не умела, особенно после того, как из нее удалили остаток Linux, и возможность загружать в ядро ОС – какие попало драйвера. Но это уже другая история. А так, ESXi – это гипервизор, чуть лучше чем MS Hyper-V, но резко отстающий от KVM, в том числе по причине чудовищно переусложненного в работе планировщика использования ядра, по сравнению с CFS, и тем более, EEVDF. Кому это вообще надо, прибивать гвоздями VM к 1,2, и 20 ядрам?
Одной из функций этой ОС было обеспечение высокой доступности виртуальных машин. Функция работала крайне просто – в группе физических хостов выбирался мастер, который следил за доступностью остальных хостов. Если какой-то хост переставал отвечать на запросы, считалось что он вышел из строя, и дальше отрабатывал механизм обработки отказа. Сначала это был Automated Availability Manager, затем Fault Domain Manager (FDM) .
Почитать про эту древность 15 летней давности можно тута , а посмотреть как это работает теперь – здеся, в лабораторной работе vSphere High Availability , или почитать в книжке vSphere Availability VMware vSphere 7.0 Update 3
vSphere Clustering Service (vCLS)
В VMware vSphere 7 U1 был презентован дополнительный механизм наблюдения за доступностью - vSphere Clustering Service (vCLS), представляющий из себя три очень маленькие служебные виртуальные машины на хост, обслуживающие vCLS Control Plane. https://vm-guru.com/news/vmware-vsphere-clustering-services
Механизм работал плохо, и работает очень плохо. Настолько плохо, что кнопку «отключить эту поделку» перенесли из служебных настроек кластера в главное меню, и написали огромную статью - How to Disable vCLS on a Cluster via Retreat Mode
При этом, разбираться «почему так» и писать какой-то deep dive никто не стал.
Между тем, немногочисленные оставшиеся программисты все же написали (наконец-то!) нормальное логирование, и теперь, иногда, можно в hostd.log увидеть строку infra/vCLS .. Power On message: Feature 'cpuid.mwait' was 0, but must be 0x1.
Проблема в том, что у разных производителей материнских плат – разное понимание, нужно ли это вообще, и в какой раздел конфигурации это положить. Или же, вообще поставить режим работы «Auto», но что это значит в конкретных задачах – понять можно далеко не всегда. Но, как выясняется, спустя 4 года проблем - надо ставить 1. Что значит включено.
The below three situations are possible when Monitor/MWAIT is disabled:
Cluster-wide EVC issues prevent enabling EVC
VM-based EVC settings (introduced with vSphere 6.7) prevent turning as well as moving VMs
vCLS (vSphere Cluster Services) introduced with vCenter 7.0 U1 prevents to start vCLS VMs
Устроился на работу "Windows администратором", однако в виде расширения обязанностей при наличии "горящих глаз" и желания познать больше, мне было выдано задание развернуть центр сертификации и перевести VMware VCenter на "свои" сертификаты.
Система для меня новая, опыта с Линукс мало. В процессе подкидывания новых сертификатов все шесть кластеров встали колом с ошибкой 500, кажется, и ссылкой на ошибку работы джава машины в логах. Сами виртуальные серверы продолжали работать, esxi ноды работали, но общее управление лежало две недели.
По итогу в устранение включались виртуализаторы, начальник, главный по IT в конторе, пытались разрулить всё изнутри линуксовой начинки, а выяснилось, совершенно случайно, в процессе дикого гугления на дальние страницы, каким-то комментарием на форуме глубоко за шестую страницу обсуждений, что вмваре не способна сожрать больше 20 сертификатов и старые надо удалять в обязательном порядке, так как сама она этого делать не будет. Даже в базе знаний нашлась статья с описанием типа "да есть такое, причина не известна, устранять не будем".
Это было моё первое задание после испытательного срока. Думал что станет последним. До сих пор припоминают этот факап.