Коротко: Кастомный отчёт «Маржа по товарным группам» читал всю таблицу документов без отбора по периоду и без ограничения на число строк, а временную таблицу строил в оперативной памяти. ОЗУ сервера закончилась, СУБД ушла в swap, диск загрузился на 100%, и авария пошла по цепочке: базы повредились, пять магазинов простояли 6 часов. Защищают от этого регулярный аудит самописных отчётов, запуск тяжёлых отчётов вне боевой базы, частые бэкапы и мониторинг сервера.

Эта авария случилась не у нашего клиента, а в соседней компании, которая после неё перешла к нам на сопровождение. Рассказываем без имён, с разрешения собственника.

Компания: ритейл, 5 магазинов, 1С:УТ 11 и 1С:Розница, около 80 пользователей, серверная версия.

Как развивалась авария

Финансовому директору понадобился свежий отчёт «Маржа по товарным группам» за последние 3 года. Бухгалтер открыла кастомный отчёт, который написал прошлый подрядчик, и нажала «Сформировать».

Время Что происходило
0–5 минут Отчёт формируется
5–15 минут Все пользователи замечают, что 1С тормозит
20 минут Бухгалтер видит, что отчёт завис, и закрывает окно
25 минут Звонят из магазинов: касса не работает, нет связи с 1С
40 минут ИТ-директор смотрит сервер: RAM 100%, CPU 100%, СУБД в swap
1 час Перезапускают сервер 1С. Не помогает, СУБД не отвечает
2 часа Перезапускают сервер ОС. Система не поднимается, базы повреждены
3–6 часов Восстановление из бэкапов. Последнему бэкапу на момент аварии было 14 часов

Закрытие окна отчёта ничего не изменило: к этому моменту запрос уже выполнялся на сервере.

Потери

  • 6 часов простоя пяти магазинов в субботу, упущенная выручка около 600 тыс.
  • Пропал учёт за 14 часов, бухгалтерия восстанавливала его 3 дня.
  • Команда работала в стрессе, а покупателям приходилось говорить, что оплата принимается только наличными.

Что было не так с отчётом

Отчёт «Маржа по группам» написал молодой программист 5 лет назад. Разбор показал пять проблем:

  1. Отчёт делал полное сканирование таблицы документов, хотя данные нужно было брать из регистров.
  2. В нём не было отбора по периоду, поэтому он выгружал все документы за всю историю.
  3. Не было проверки на предельное число строк, а за 3 года набрались миллионы строк.
  4. Отчёт строил временную таблицу в памяти, и она заняла всю ОЗУ сервера.
  5. Когда память закончилась, СУБД ушла в swap, диск загрузился на 100%, и авария пошла по цепочке.

Пять лет отчёт работал нормально, пока данных было мало. Ошибки в нём проявились, когда за три года накопился большой объём документов.

Пять уроков

Проводить аудит кастомных отчётов

Раз в 1–2 года стоит проверять, как написаны самописные отчёты и нет ли в них таких мест, которые однажды положат сервер.

Не запускать тяжёлые отчёты на боевой базе

Тяжёлые отчёты лучше формировать на копии базы или в нерабочее время.

Делать бэкап чаще раза в сутки

Суточного бэкапа недостаточно. Дифференциальные копии каждые 2–4 часа сводят потери к минимуму.

Настроить мониторинг сервера

Мониторинг должен сразу сигнализировать, когда загрузка RAM или CPU выходит за пределы нормы.

Проверять наследство прошлого подрядчика

Довод «так делал прошлый подрядчик» ничего не гарантирует, скорее это повод перепроверить. При смене подрядчика проводите code review доработок.

Такой code review самописных доработок 1С входит в наши услуги.

Частые вопросы

Почему один отчёт смог положить весь сервер 1С?

Отчёт полностью сканировал таблицу документов вместо регистров и выгружал документы за всю историю, без отбора по периоду. Временная таблица в памяти заняла всю ОЗУ, СУБД ушла в swap, диск загрузился на 100%, и началась каскадная авария.

Во что обошлась авария?

Пять магазинов простояли 6 часов в субботу, упущенная выручка составила около 600 тыс. Учёт за 14 часов пропал, и бухгалтерия восстанавливала его 3 дня.

Как часто нужно делать бэкап базы 1С?

Одного бэкапа в сутки мало: в этом случае последней копии на момент аварии было 14 часов. Если делать дифференциальные копии каждые 2–4 часа, потери будут минимальными.