В четверг, 27 февраля, в петербургском офисе компании Одноклассники состоится встреча CodeFreeze c Олегом Красновым, системным архитектором компании SEMrush, одним из лидеров на рынке аналитических инструментов для изучения трафика. Речь пойдёт о том, нужно ли писать свои хранилища данных, и если да, то в каких случаях.
В 2008 году система хранения SEMrush была построена на базе сочетания SQL и файлового хранилища. Это позволило выдерживать нагрузку примерно до 3 миллионов запросов в день. Но уже в 2009 году было видно что интерес к сервису растет стремительно и очень скоро старая система хранения будет основным сдерживающим фактором. Был сделан ряд экспериментов, и в результате исследования было приянто решение разработать собственную структуру хранения данных. Новая система была создана в предельно короткие сроки и уже через 3 месяца она была введена в строй. Она используется и по сей день, хотя нагрузка выросла на порядок.
В докладе будет освещена история и методы построения хранилища данных проекта SEMrush. В ходе выступления будет проведена ретроспектива требований. Также Олег расскажет об особенностях применяемого хранилища данных и отличии от стандартных методов и средств. Будут освещены перспективы данной технологии применительно к реалиям и новым потребностям проекта.
Кроме того будет проведен обзор изменившихся требований к системе, как в плане надёжности, так и скорости реакции на запросы пользователей. Выступление будет дополнено реальными проблемами, программного обеспечения и оборудования, а также способами их решения.
О докладчике
Олег Краснов — системный архитектор компании SEMrush, разработал систему сбора и хранения данных, использующуюся с основания проекта по сей день.
С начала 2000-х годов занимается программированием под UNIX. Принимал участие в разработке проектов от поисковых систем по товарам до потокового видео.
О компании: компания SEMrush является разработчиком программного обеспечения для анализа конкурентов и определения ключевых слов для SEO оптимизации, входит в тройку мировых лидеров разработчиков аналитических инструментов для изучения трафика. Существует на рынке с 2007 года. Предоставляет пользователям информацию, необходимую для анализа конкурентной среды и оптимизации поисковой выдачи.