понедельник, 4 декабря 2017 г.

«Примеры восстановления с использованием логической репликации в PostgreSQL 10»

Друзья, коллеги, потенциальные участники конференции PGConf.Russia 2018. Мы начинаем знакомить Вас с темами докладов, которые уже утверждены в программе.

«Recovery use cases for Logical Replication in PostgreSQL 10»

Доклад заинтересует разработчиков и администраторов сложных распределенных систем, использующих СУБД PostgreSQL. Константин Евтеев и Михаил Тюрин расскажут о том, как быть готовым к внезапному отказу оборудования, и восстановить работу системы с помощью готовых инструментов, используя логическую репликацию. Примеры восстановления и обширный опыт докладчиков наработан за годы эксплуатации СУБД PostgreSQL в системах компании Avito.

Подробнее о докладе на сайте конференции: https://pgconf.ru/2018/108356

В Avito объявления хранятся в базах данных PostgreSQL. При этом уже на протяжении многих лет активно применяется логическая репликация. С помощью неё успешно решаются вопросы роста объема данных и количества запросов к ним, масштабирования и распределения нагрузки, доставки данных в DWH и поисковые подсистемы, межбазные и межсервисные синхронизации данных и пр.

Но ничего не бывает "бесплатно" - на выходе мы имеем сложную распределенную систему. Отказы оборудования - это норма, к ним нужно быть готовым. Можно найти много примеров конфигурации логической репликации и success stories ее использования, при этом практических примеров по восстановлению после аварий почти нет, не говоря уже про готовые инструменты. За годы эксплуатации репликации PgQ мы наработали обширный опыт, многое переосмыслили, реализовали собственные надстройки и расширения для восстановления и согласования данных после аварий в распределенных системах обработки данных.

В докладе мы покажем, как наш опыт можно переложить на новую подсистему логической репликации в 10-ке. В текущей реализации это нетривиальные решения – остается ряд вопросов для комьюнити, сводящихся к реализации простых механизмов восстановления - таких же простых как и настройка репликации в 10-ке.



Поделись этим