месяцев приложение стало заметно тормозить
- Ничего не менялось
— Железо тоже, его проверили и оно в порядке
— Количество соединений и скорость/частота с которой они обращаются к базе не возросло. DDoS-а нет
— Приложение не меняли, запросы что были 2 месяца назад, теже и сейчас
— MySQL до появления тормозов не обновляли
Что изменилось
- Размер таблиц увеличился в 5 раз. Сам по себе он небольшой
Соответственно, что нужно смотреть
- А правда ли ничего из перечисленного не изменилось?
— Если таки меняли, то, может быть, в этом и причина?
- Причины почему запросы тормозят. А тормозят они из-за блокировок. Это могут быть блокировки MySQL, обеспечивающие ACID или блокировки на уровне железа. Почему блокировок раньше не было, а сейчас появились? Потому что как-то по-другому выполняются запросы. Их можно отследить
— Сравнив EXPLAIN до и после (можно на бэкапе)
— Сравнив красные флаги, про которые я много говорю в своих презентациях (сортировки, временные таблицы, Handler_*) до и после. Например, если глобальных Handler_read_rnd было, например, 1B (миллиард) в день до возникновения проблемы, а стало 100B - мы читаем сильно больше строк. Если значение, напримен, Sort_scan, или Select_scan, также значительно изменилось, тоже видна проблема. Это всё есть в PMM.
— Сравнив статистику по железу (те же iowait для диска), тоже есть в PMM
— Смотреть что с записью. Например, если запись возросла, то размера innodb_log_file_size может не хватать и это может оказывать эффект на запросы чтения.
— Смотреть background operations в InnoDB - есть в PMM. Если график поменялся по сравнению с тем, что было раньше - опять-таки, понятно где проблема.
Все эти детали, конечно, можно запостить сюда.
Спасибо большо за помощь. Все будем это смотреть
Обсуждают сегодня