Профилактики: лучше меньше, да лучше

Профилактики: лучше меньше, да лучше

Понятно, что работа любого оборудования «на износ», без профилактик, планово-предупредительных работ (ППР) ни к чему хорошему не приводит. Это относится не только производственному оборудованию, но и к программно-аппаратным комплексам.

«Детские» болезни типа несоразмерной нагрузки или ошибок программирования лечатся достаточно просто. Сложнее с обслуживанием серверов, сетевого оборудования, линий связи. Их нужно обновлять, обслуживать, вносить изменения в настройки операционных систем, применять централизованные обновления, которые еженедельно поставляются разработчиком операционных систем.

При грамотной организации инфраструктуры совсем необязательно для этого останавливать работу информационной системы. Наличие резервных блоков питания и резервных дисков для хранения данных (мы обсуждали это выше) позволяет менять блоки на ходу (ИТ-специалисты называют это «горячей заменой»).

Ну а если надо выполнить более серьезный ремонт сервера или обновить на нем операционную систему? В этом случае начинает работать система резервирования. Именно благодаря ей выход из строя одного сервера никак не отражается на работоспособности системы, и пользователи этого не замечают.

Последовательно выводятся из эксплуатации сервер за сервером (кстати, аналогично работает спутниковая система, поддерживающая ГЛОНАСС или GPS, — часть спутников там всегда на профилактике), после чего на них выполняются профилактические работы и обновления. Чаще подобные операции проводятся ночью или в выходные дни, когда нагрузка на систему минимальная (стоимость простоя мы с вами оценивали).

Другой вид профилактических работ связан с развитием информационной системы. Развивается Корпорация — развивается и система, отставать нельзя. Значит, нужны регулярные остановки для проведения обновлений, корректировок и т. д.

Мы реализуем два основных подхода:

1. Сокращение количества и времени проведения профилактик за счет ритмичного графика внесения изменений в систему.

2. Дробление монолитной большой системы на части для того, чтобы разные модули системы можно было резервировать и выводить из эксплуатации поочередно (по аналогии с оборудованием).

Казалось бы, прост первый подход (профилактические остановки ИТ-сервисов можно рассматривать как переналадки оборудования на технологических линиях). Но для его реализации понадобилось несколько лет, потраченных на настройку и наладку оборудования, приведение его к единой целевой архитектуре, внесение значительных изменений в саму информационную систему.

В итоге:

• заменили ежедневную получасовую утреннюю профилактику на пятиминутную (!) профилактику по вторникам и четвергам;

• перенесли полную перезагрузку всех сервисов с внесением обновлений в информационные системы на воскресные вечера, в часы наименьшей нагрузки.

Время простоя системы из‑за профилактик сократилось в среднем в 10 раз. А значит, у клиентов появилось больше времени для заказа необходимой им продукции.

В книге «Эффективное производство в России? Да!» мы подробно обсуждали два варианта переналадки оборудования:

• операции, которые выполняются после остановки оборудования. Например, пресс-форму можно заменить только при остановленном прессе;

• операции, которые могут быть выполнены во время работы оборудования. Например, болты крепления пресс-формы можно подобрать и отсортировать и при работающем прессе.

Аналогия с ИТ очевидна — если рассматривать программноаппаратный комплекс как технологическую линию, а программистов и системных администраторов как наладчиков и ремонтников технологического оборудования. Серьезная предварительная подготовка наших профилактических остановок, перевод большинства «переналадок» в категорию «без остановки оборудования» дали существенные результаты по сокращению времени проведения профилактик без потери их качества.