Пожалуй, начну первым, и расскажу пару историй:
1. В одной крупной коммерческой компании, где я на тот момен работал, АХОшникам потребовалось проверить пожарную сигнализацию. А тут стоит сделать отступление, сигнализация была газовая.
С просьбой допустть их в серверную, они обратились ко мне. Я, согласовав это со своим рукоdодителем, отвел их туда, и пока они ковырялись в самой сигнализации, работал с KVM в серверной. В один прекрасный момент я слышу слово "включай". Видимо, они считали что отключили саму систему пожаротушения от блока управления. Но, как говорится, что-то пошло не так.
Я, честно говоря, не подозревал в себе спсобности столь быстро бегать. С дикими матами я выбежал из серверной, но впереди меня были они, те самые АХОшники. Причем, предчувствуя мое желание выдать им живительный пиздюль за покушение на убийство - они куда-то забились и не отсвечивали весь оставшийся день. До следующего дня запал перегорел и максимум, что они от меня услышали - мое мнение об их умственных способностях, и их неестественных половых партнерах.
Итог истории - несколько часов простоя склада на несколько тысяч квадратных метров площади, из-за того что при срабатывании пожарной сигнализации обеточилась линия идущая в серверную, в которой был WMS сервер и вышедшие из строя несколько дисков в серверах. А так же моя подгоревшая жопа, и кумулятивный пиздюль от генерального директора, который набирал силу, спускаясь ниже по цепочке, т.к. убытки от простоя были чуть меньше миллиона.
2.В один прекрасный момент в ЦОДе, на колокейшене, где распологались сервера компании с бизнес-критичными сервисами, ни у и в целом большинство ВМ в организации - исчезла сеть.
Начал разбираться в причинах и выяснилось, что по распоряжению работавшго на тот момент в компании архитектора, в серверном и менеджмент сегменте сети [Хотя сегментов по сути не было, все торчало голой жопой в общую сеть, без какого-либо ограничения доступа] использовался DHCP, что является грубейшим нарушением Best Practiсes. Но и это было еще не всё. DHCP сервер был один, на физическом сервере, причем гипервизоре. В мониторинге его не было. DHCP не был развернут в HA-режиме, бэкапов не было. Да и в документации тоже ничего про него не было сказано.
А сеть потерялась потому, что немногим ранее вышел из строя тот самый гипервизор, на котором был развернут злопоучный DHCP сервер. Сервер списали, а про расположение DHCP просто никто не знал. Там вообще все было грустно с документацией, до моего прихода.
И не только с документацией.
В один прекрасный день просто истекла аренда, и 200+ ВМ потеряло сеть. Единственное, что повезло с менеджмент-интерфейсами, аренда которых еще не истекла. Решение проблемы обошлось мне в бессонную ночь.
3. Компания, где я на тот момент работал, только что переехала в новое, построенное специально для нее здание. Вместе с ней прошел переезд с кучи старых сервисов, на их новые версии, например, с Novel Netware на Windows Server 2012 R2. Это в принципе отдельная песня, но ее я затрагивать не буду.
Так вот, здание построили с нуля. Серверную, соответственно, тоже. Но немного проебались при закупке серверного оборудования. ИБП, если быть точным. Было куплено несколько 8 киловаттных APC. Но из-за проеба в планировании - не выдерживалось регламентированное время работы от них. Было принято решение использовать старые ИБП, которые в результате и помогли распределить нагрузку. Но возникла сложность. 8 киловаттные ИБП были заведены прямо в распределительный щит в серверной. А обычные, 2 киловаттные ИБП, требовали подключения их в розетки. Которых просто не было в стойкке.
Вернее, они были, но блок розеток подключался в эти самые восьмикиловаттники.
Чтобы решиь эту проблему - наняли подрядчика, который должен был протянуть кабель в стойки, где расположились бы ИБП.
И вот тут то начинается самая мякотка. Я, договорившись с руководством, свалил на вендорское мероприятие. Пока я отсутствовал - пришел подрядчик, и это самое руководство допустило его в серверную. Кабель из щитка он протянул. А вот что был дальше, история умалчивает.
В самый разгар мероприятия, мне звонит руководство, и требует чтобы я приехал на работу, соглашаясь на оплату такси, т.к. компания не может работать.
Приехав, я вижу картину развалившегося Hyper-V кластера. Причина развала - оказалась в том, что SAN-свитчи Brocade, равно как и коммутаторы Catalyst, наглухо повисли. Дальше - мои предположения, разве что. Видимо, при подключении кабеля, сотрудник подрядчика случайно устроил КЗ с корпусом стоек, и коммутаторы решили в таких условиях не работать, и дружно повисли.
Единственное, что сотруднику подрядчика повезло в том, что ни одна железка не сгорела от столь не почтительного к себе отношения. Он, этот сотрудник, закончил монтаж силовых кабелей, и забился в комнату охраны.
В общем, обошлоь все малой кровью, но сама история запомнилась.
А у вас есть что рассказать?
