наверное для определённости буду выкладывать новости по фичам и по проблемам / проёбам сюда, пока еще не закончили "блоги"

про то что происходило сегодня с сайтом и камментами

вчера добавилась новая фича - ответы на камменты с указанием оригинала, прямо как на linux.org.ru (кто знает тот поймёт, гыгы)
собственно "линейное" представление дерева - то что потом возможно будет опционально развёртываццо в полноценные древовидные камменты

кода там пока немного, деху изменилась структура базы - хуйня, добавилось одно поле в parent таблицу для камментариев, но видимо это и сказалось.
камментариев - дахуйя (4.5М), выборка по ней  с джойном к таблице пользователей (30K)  - а иногда и с джойном к таблице креативов и так идёт медленно, а тут я ещё видимо забыл сделать cluser/vacuum которому и так пришло время. плюс видимо наложилось то что для нового поле foreign key - из той же таблицы, с on delete set null, а индексом я его не сделал, тупо не подумал что при удалении записей по нему будет итти поиск (чуть ли не с exclusive lock блядь !). а камментарии надо сказать удаляюццо достаточно часто - и не всегда по одному, зачастую по 100-200, если спам по ip фильтреццо.
вот блядь каждое удаление каммента модератором и клало базу (и соотв сайт) в ступор. ну и вдобавок откуда не возьмись куча запросов на поиск - что тое нихуйя не лёгкий запрос. хоть и совсем по другой таблице.

итого: сейчас всё более или менее стабилизировалось, до выходных доживёт я думаю без эксцессов
а потом видимо буду делать partitioning (http://www.postgresql.org/docs/8.2/interactive/ddl-partitioning.html) по датам, табличка на месяц
не самый эффективный конечно подход, но по диапазону id креативов может оказаться ещё хуже.
всё таки максимум запросов приходится на первую-вторую "неделю жизни"  креатива, т.е. при самых неудачных раскладах мы попадаем на 2 таблиц, если текст выложен в конце месяца.
ну и вообще ждём нового сервера - на него переедет фронтенд, а на текущщий база, то что есть сечас похоже уже тупо не справляеццо в пиках, хотя кешируеццо вообще всё что можно :)

как то видимо так
всё равно впрочем остаёццо нерешённым вопрос быстрого полнотекстовго поиска по краетивам - и я даже если честн оне знаю с какой стороны подступиццо.
может есть свежие идеи ?

Tweet