Евгений Поляков: "История, опыт, ошибки и успехи в процессе создания по-настоящему масштабируемых систем хранения данных"
История, опыт, ошибки и успехи в процессе создания по-настоящему масштабируемых систем хранения данных
Мы в Reverbrain.com делаем распределенные системы хранения данных. Много лет. Я так лет 10 только ими занимаюсь. Ошибок сделал миллион. Зато теперь точно знаю, что если система хранения сложная - сломается. Простая тоже. Но можно будет починить и автоматизировать. Очень простая не будет работать. Для контекста, в одном из кластеров Elliptics в 2013 году хранилось 53+ миллиарда объектов, в это же время в Facebook - 450 миллиардов (250 по другим данным). Чтобы получилась такая система, пришлось поработать, но вышло здорово и просто - подходит и для пары серверов, и затем растет до сотен.
Я расскажу свою историю прогулок по граблям распределенных систем хранения.
От блочных сетевых устройств (dst, drbd, AoE) до облачных SaaS (Elliptics). По дороге будут и файловые системы, разные другие стораджа. Можно будет задавать каверзные вопросы, будем обсуждать любые популярные хранилища, CAP, consistent hashing, DHT, sharding, NoSQL и остальные баззворды.
Евгений Поляков
Россия. Москва
CEO
Reverbrain.com
Present: CEO Reverbrain.com - разработка распределенных систем хранения данных Elliptics, масштабируемые распределенные поисковые индексы Greylock
Past: руководитель группы разработки файловых систем в Yandex (в Elliptics хранятся музыка, карты, панорамы, фотки, почта, маркет, диск и многое другое)
Past past: linux kernel (network raid, w1, netlink, dst, netchannels, pohmelfs), hacking (dns poisoning, earned NYT article)
Past past past: embedded linux kernel hacker (ppc405/440 embedded linux, audio/video capturing)
Past past past past: MIPT DPQE