
Лига Сисадминов
Российский ИТ сектор. Не озвучиваемые проблемы февраля 2025
Для ЛЛ. Как бы кадровый голод, но на деле - поголовное жлобство, откат в СССР как он был (а не как его помнят люди 1989 года рождения), и попытки не говорить и не думать про обезьяну.
Сейчас я накрою Джафара этим одеялом и прочту молитву. А все вы, и Джафар в том числе, должны, закрыв глаза, повторять эту молитву за мной. И когда я сниму одеяло, Джафар будет уже исцелен. Но я должен предупредить вас об одном необычайно важном условии, и если кто-нибудь нарушит это условие, то Джафар останется не исцеленным. Слушайте внимательно и запоминайте.
Родственники молчали, готовые слушать и запоминать.
— Когда вы будете повторять за мною слова молитвы, — раздельно и громко сказал Ходжа Насреддин, — ни один из вас, ни тем более сам Джафар, не должен думать об обезьяне! Если кто-нибудь из вас начнет думать о ней или, что еще хуже, представлять ее себе в своем воображении — с хвостом, красным задом, отвратительной мордой и желтыми клыками — тогда, конечно, никакого исцеления не будет и не может быть, ибо свершение благочестивого дела несовместимо с мыслями о столь гнусном существе, как обезьяна. Вы поняли меня?
Леонид Соловьёв. Возмутитель спокойствия (издание 1956 года)
Февраль 2025 заканчивается, лично у меня, прекрасными новостями – в январе одна бывшая коллега, наконец, получила вид на жительство в ЕС, не буду уточнять страну. С чем ее и поздравляю. Помните, может, тут была волна постов, что возвращайтесь, мы вам броню дадим?
Процент вернувшихся настолько мал, что про него даже перестали говорить по российским новостям. Никакие крики про сокращения в Abbyy и загнивание в США, не мешают уехавшим жить и работать. Ну да, Европа загнивает, парады всякие идут по Берлину, то одни парады, то другие. Или весь центр перекроют в связи с высадкой Лунохода-2021*.
Из вернувшегося в родную гавань можно отметить только Телеграм – еще в 2020 резко перешедший из состояния «враждебный мессенджер темных сил» в статус «официальный мессенджер правительства, прокуратуры и всех патриотов».
Нет нет, конечно никаких ключей не передавали, просто так вышло.
Особенно интересно получение «поуехавшими» ВНЖ выглядит на фоне начавшихся сокращений в российском ИТ, в сочетании с скрытой и не скрытой инфляцией - и денег, и знаний.
Сокращения были анонсированы еще в августе-сентябре 2024, теперь проведены.
Ожидается, что вот-вот уже на рынке будут сеньоры, готовые работать за еду, но что-то у коллег, оставшихся в РФ, никакого оптимизма нет.
Показали мне парочку анкет таких «сокращенных», со словами «не, ну ты посмотри». Я посмотрел. Пошел отпиваться водой и цыкать зубом, до того было страшно. Таких людей до рубки дров, и даже до работы кондуктором в трамвае нельзя пускать, а уж тем более к написанию кода. Но числится как мидл.
Так что, качество людей на открытом рынке РФ здорово упало.
Но кого бы это еще волновало в руководстве выше? Наверх идут доклады про успех, потому что иначе премию не дадут. Сверху эти отчеты подписывают, не читая – потому что иначе премию не дадут уже им.
Новое поколение в ИТ.
ИТ немного разное, с разными представлениями, чего нельзя и почему, для разных секторов. В одних секторах рынка за суточный простой поругают. В других за час простоя (без предупреждения, при плановых работах даже на опорной сети можно и часа 4 лежать) последует вызов генерального директора в контролирующие организации. В третьих могут и людей с калькуляторами прислать.
Но тому, что можно в разных видах организаций, что нельзя, в ВУЗ не учат. И получаем поколение людей с инициативой, но без понимания, что табличка «береги прод смолоду» не просто так на шкафу висит, и что остановка всех трех radius серверов для обновления в середине рабочего дня – идея не очень хорошая.
В ответ, по описанию, «пустые глаза и А ЧО Я СДЕЛАЛ ТО».
Лучше всего было бы такое сделать в день зарплаты.
То есть, в ИТ массово вкатились люди, понимающие, что для обновления чего-то нажать кнопку «обновить», но не понимающие, что переключение кластера может и не пройти, и лучше бы сделать copy-only бекап и руками переключить кластер утром, до начала рабочего дня.
Неплохо идут и истории вида:
- мы купили всю комплектуху на рынке, подешевле, а то ваш список совместимости какой-то очень дорогой,
- собрали и настроили систему так, как считали правильным, а не так, как пишет производитель в дизайн гайде и нетворк дизайн гайде, то есть: отдали диски через raid, а не напрямую, сделали LACP вместо Active-active, не стали обновлять микрокод, хотя производитель прямо пишет какая версия микрокода нужна тут и там,
- вместо одного виртуального коммутатора сделали по виртуальному коммутатору на каждую виртуальную машину
- ничего после установки не обновляли, ну и что, что вышло 5 патчей.
Так вот вопрос, почему у нас все тормозит, и вся панель управления в алертах, как их выключить.
Спустя неделю: помните, вы сказали что мы дураки и не лечимся, так вот, мы сами нашли, как выключить алерты, так что идите в жопу, токсики.
Спустя месяц: ой, а вы знаете, у нас почему-то все сломалось. Что теперь делать то? Почему вы не помогаете?
Спустя месяц и день: мы прочитали ваш совет, но сделали как считали нужным, и это не помогло, только теперь еще пишет про ошибку целостности системы связности репликации, как так?
У них месяц упрямая машина тоже продолжала себя, как умела и как могла, но такого не перенесла даже она.
Возврат в СССР.
Затихли разговоры «эй вы там, все в ИТ, вот вам скидка на ипотеку». Условия ИТ-ипотеки и до лета 2024 больше напоминали учебник истории для средней школы, глава «Отмена Юрьева дня и крепостное право», новые условия кому-то интересны, кому-то нет. Теперь главной угрозой стала низкая рождаемость, и обсуждают выдачу ипотеки под обещание родить ребеночка за два года. Не очень понятно, как это сочетается с обещаниями:
Блокировка счетов вкладчиков — не только нарушение прав граждан и компаний, но еще и шаг, подрывающий финансовую стабильность страны, поэтому идея о заморозке вкладов абсурдна. Об этом заявили в Центробанке России. Источник – Домклик, В ЦБ развеяли опасения о заморозке вкладов, и Москва 24 (Центробанк России назвал идею заморозки вкладов абсурдной)
причем развеяли и в январе (по ссылкам выше -13 января). Если кто-то не поверил, то 14 февраля - Набиуллина заявила об отсутствии у ЦБ полномочий на заморозку вкладов
Это бы все было очень хорошо, если бы 6 сентября 2024 года не был продлен указ:
Банк России продлил еще на полгода, до 9 марта 2025 года, ограничения на снятие наличной иностранной валюты.
Для граждан, чей валютный счет или вклад был открыт до 9 марта 2022 года, сохраняется лимит на снятие валюты в сумме остатка денежных средств на 00:00 по московскому времени указанной даты, но не более 10 тыс. долларов США или эквивалентной суммы в евро
источник – сайт ЦБ РФ.
ЭТО ДРУГОЕ, это не блокировка счетов и не заморозка выдачи, в рублях то получить можно. Вывозить вот только нельзя больше 10к, но не всем. Но это другое.
Ряд вопросов не благословлен к появлению в информационном поле в РФ – как там прошло импортозамещение в гос.органах, и насколько лицензированы те ИТ продукты, которые импортозаместить нельзя. Касается это не только ИТ, а всего. Вопросы «как там, сколько выпущено МС-21?» или «как там, перестали ввозить AMG и пересели на Аурусы?» признаны неприятными и неудобными. В любой отрасли то же самое – восторгаться достижения можно, уточнять детали нельзя. Как с той вакциной – которая в новостях лечит все, а по отчету «вкололи одному пациенту, сразу не умер – уже успех». Или как сейчас пошла реклама "Тирзетта" (тирзепатид). Только Tirzepatide - это Eli Lilly and Company, препарат 2016 года, одобрен FDA в 2022.
В ИТ то же самое, ИТ не отделимо от экономики в целом, поэтому в новостях в РФ будет про Росатого:
В России построен первый коммерческий дата-центр Tier IV. Общая мощность ЦОДа составляет более 36 МВт. Четыре машинных зала, рассчитанных на 910 ИТ-стоек каждый. Cnews
Посчитаем. 910*4 = 3640 стоек. 36000 киловатт / 3640 – до 10 киловатт на стойку? Но нет, открываем официальный сайт, все те же унылые 5 киловатт на стойку. Проблем нет, но NVIDIA DGX B200 потребляет 14.3 киловатта (в пике), так что поставить туда ее будет сложно.
Но, и это не самое интересное. Трамп и не только поддержали инициативу «Звездные врата», теперь стоит вопрос, где брать мощности под новые ЦОД с AI. Рост обещают с текущих 55-60 мегават до 170-200 к 2030 году, значит надо строить новые реакторы – при такой мощности ни о какой зеленой энергетике речь не идет.
Статьи по теме:
AI Power Needs May Strain US Grid as Stargate Project Grows
AI power: Expanding data center capacity to meet growing demand
Power generation challenges could overshadow Stargate AI initiative
Trump’s AI Push: Understanding The $500 Billion Stargate Initiative
OpenAI’s $500B ‘Stargate Project’ could aid Pentagon’s own AI efforts, official says
Что там у ведущих российских аналитиков, каникулы уже кончились и уже можно смотреть, чем ответит, кого заявляли в лидеры отрасли, Т-банк ? Кроме новых серых галочек на сером фоне «я согласен на передачу биометрии и установку зонда или зондов, орально и не только»?
Чем ответит МТС, кроме новой аварии на неделю-другую, скрытой подписки гаражных ворот на анекдоты и списаний по тарифу «как в роуминге» при использовании VPN? А, точно – тарифом «мы починили сломанное оборудование гугля» и парой статей на Хабре.
Про жлобство.
Рассказы оставшихся в РФ коллег можно разделить на четыре группы – у одних все хорошо, у остальных не очень. Корреляция есть.
Первая группа: те, у кого все хорошо. Они работают в той части ИТ, которое не принадлежит государству, но где государство достало глобус и показало на сове, что будет с генеральным директором при проблемах. Не с линейным персоналом и безответственными менеджерами по вождению руками, а именно с генеральным директором. Сразу же (не сразу, за год-два) нашлись деньги на железо, лицензии, обучение и ставки на вменяемых профессионалов. Бардак никуда не делся, очень многие вещи пришлось переделывать почти с ноля, но за 2-3 года проблемы, так или иначе, разобрали. Денег потрачено – караул. Суммарно времени ушло 3-4 года. Но зато интересная работа, случайные деньги, и, как следствие, хороший характер и прекрасный аппетит.
Вторая группа: тоже все ничего. Это разного рода частные структуры, которые не находятся под пристальным вниманием государства. Этакие пузыри в общей структуре. Там, в целом, все неплохо. Они не включены в производственные цепочки гос.структур, не попали под санкции, не попали под определение КИИ, и относительно свободны в методах. Но таких мест крайне мало.
Отдельно в этой группе надо отметить такое явление как «Сбербанк и прикупленные». Оттуда с уже год начинают доноситься крики «как страшно жить». Не из головной организации, там все хорошо. Из прикупленных. Туда начали вводить длинные, толстые, поросшие мхом Сберпроцессы, СберАджайл, и хоровое пение по утрам. Людям больно – процессы уже начали вводить, но разминочные и закупочные мероприятия (смазочных материалов) провести не успели, так что вводят как в известном ролике с Эдди Мерфи и Девидом Духовны. С криками «режьте ногу».
Третья группа: те, у кого ну так себе. Это все гос. структуры. Просто – «все». Менеджмент там как был «поскольку поскольку», бюджеты как были «ну какие-то», так все и осталось. Где-то лучше, где-то хуже, но глобально «еще не караул, но рядом, хотя скорее караул». Стек технологий находится в диапазоне от «легаси, но жить можно» до «консервированные костыли в солидоле». Отдельно на них влияет адская смесь 44 ФЗ и 223 ФЗ с одной стороны, и мнения руководства, что «надо вертеться» с другой. В итоге победитель тендера зачастую не имеет представления, с чем связался, и что это за буквы в документации, IOPS и RTO. Поставить или построить такой победитель ничего не может, но до выяснения этого проходит полгода, год. Схемки мутятся, деньги крутятся.
Четвертая группа – SMB / SOHO. Вот там стал совсем караул. Денег нет, или нет совсем, крутитесь как хотите. Бывшие коллеги по недомыслию сходили в такой бизнес «поговорить», вернулись, пересказывали и плакали. Бюджетов нет, процессов нет, ввязались в какие-то проекты из третьей группы. Проекты надо закрывать, акты подписывать, системы внедрять, а некому и нечем и никак. Апатичная организация. Ни капли не жаль!
Про новую политику информационной безопасности.
Практически везде, где есть деньги, и особенно в КИИ и около-гос, пришли новые указания «все защитить, внедрить хорошее, плохое не внедрять». Проблему с кадрами помните? Так вот, там где руководство организации было поумнее и беспокоилось за свое место и карьеру, в инфобез на руководство пригласили людей с опытом работы с людьми, и очень рекомендовали ИБ и ИТ сесть и решить сразу, что будет, и как будет и почему надо вот так. Построение процесса сверху, и позитивная мотивация к совместной работе.
Там же, где руководство все равно не сместить, и где ИТ находится настолько на дне в иерархии, что с ними и не обсуждают ничего, но есть указ, дали ИБ доступ к управлению. И они раз в квартал, просто стабильно, кладут системы на сутки-двое. Просто потому, что образованные кадры в ИБ и так были дефицитом, а стало еще хуже. До смешного доходит, на уровне вписать первой строкой в FW
deny any;
И потом удивляться, почему все упало, и неужели тупая железка не могла прочитать следующую строку ?
Неплохо работает, в системах чуть сложнее калькулятора,
sudo apt update && sudo apt upgrade –y;
Очень хорошо работает в кластерах БД.
Отдельно коллеги отмечают, что техподдержка касперского и веба раз за разом пробивает дно в случаях сложнее «кажется, у нас кончились лицензии». Коллеги с тем и другим столько поели, что надо лопатой подавать.
Объективные материальные сложности
Есть такое явление – системы хранения данных, и к ним, конечно, запчасти. В первую очередь жесткие диски (HDD и SSD), затем аккумуляторы и сами контроллеры.
СХД начального уровня, Synology как пример, имеет список совместимых жестких дисков.
СХД А брендов используют только «свои» жесткие диски.
Что значит «свои»? Это все тот же жесткий диск от WD \ Seagate (механика) или Samsung или своя сборка на основе каких-то серийных чипов, но:
из партии, где может использоваться набор чуть других элементов на плате,
из партии с другими требованиями по уровню брака, вибрациям, итд
и, главное, со своим микрокодом контроллера диска.
Можно ли взять диск из серии «для дома» или «просто серверный» и сменить на нем наклейку и прошивку? Конечно можно.
Будет ли такой диск ощутимо дешевле? Конечно, будет.
Можно ли взять диск БУ, с наработкой года три, сбросить на нем счетчик наработанных часов и число ошибок? Конечно, можно.
Получаем на российском рынке тонны дисков «не бит не крашен, даже мама пасьянс не раскладывала, аптайм 10 часов, прямо с завода».
Только серийные номера не бьются по сайту производителя, наклеечки какие-то не те – не тот год стоит, WWN другой почему-то здоровье диска (SSD) endurance 70%, и диски почему-то спустя неделю начинают отключаться от СХД.
Это не считая тех случаев, когда поставщик не читал требования к тендеру, и вместо дисков для СХД, присылает диски для серверов. Диск-диск, фрукт-фрукт, что такого. Ну и что, что это P19907-B21, а не K2Q91A, сейчас салазки пришлем, наш инженер сказал все дело в салазках.
С контроллерами все еще хуже. Контроллер в СХД – это сервер в сборе, с своим ПО, разных релизов. Замена контроллера процедура не очень сложная – если есть голова на плечах, доступ к техподдержке и немного специального ПО. Можно и без специального ПО, просто долго.
Праздник начинается, если контроллер приходит сразу мертвый, и хорошо, когда просто мертвый.
Потому что у вас на замену контроллера есть 5-15 минут. Потом второй еще живой контроллер решает, что творится полный караул, надо спасать данные, поэтому выключаем буфера, включаем прямую запись на диск, роняем производительность в пол, все счастливы.
То же самое касается восстановленного сетевого оборудования, там просто караул.
Про качество импортозамещения говорить вообще не приходится – его нет.
То есть, постгрю переделкой в панголин не испортить, как и бобкат русификацией и нескучными обоями, но любое железо – слышен вой от каждой новой партии.
* Перед прилетом Брежнева в Германию в аэропорту выстроился почетный караул, оркестр, члены правительства и т. д. , все ждут. Подлетает самолет, Брежнев спускается по трапу, ни слова не говоря подходит к ближайшей клумбе, зачерпывает руками горсть земли и так же молча поднимается обратно в самолет, который тут же улетает. Все немцы в непонятках. На следующий день поступило разъяснение советского МИДа:
- извините, произошла досадная ошибка, вместо Программы Мира мы заложили в Леонида Ильича программу Лунохода...
Камень-ножницы-бумага! Раз-два-три!
Приглашаем вспомнить детство, а заодно проверить свою удачу. Победителям — промокод на скидку и награда в профиль.