Цели "Тантор Лабс" – отказоустойчивость и производительность российской СУБД

– Вадим, почему вы пошли в ИТ и чем вас зацепила ИБ?

– У меня два высших образования: военное и гражданское.

Я учился в Ставропольском военном институте связи ракетных войск стратегического назначения на факультете автоматизированных систем боевого управления и связи, а гражданская специальность касалась автоматизированной системы обработки информации и управления.

Ставропольский институт был единственным вузом, где готовили связистов для РВСН. У нас было специальное оборудование, специальные программы, плюс достаточно сильная кафедра ИТ, на которой я, собственно, и учился. На кафедре трудилось большое количество преподавателей с научной степенью: кандидаты и доктора наук, профессора. Особенно мне запомнился Николай Иванович Червяков, доктор технических наук, профессор и основатель научной школы "Нейроматематика, модулярные нейрокомпьютеры и высокопроизводительные вычисления".

На первой лекции по дисциплине "Базы данных" он взял в руки программу по изучению Microsoft Access и отложил ее в сторону со словами: "Вот это мы изучать не будем". Николай Иванович обучил нас PostgreSQL. Это был 2008 г., и тогда про такую СУБД в стране знало не так много людей. Благодаря моему преподавателю я до сих пор занимаюсь PostgreSQL и СУБД-строением.

– Как вы пришли к своей СУБД на основе PostgreSQL?

– К такому решению мы пришли, как мне кажется, необычным путем.

Как правило, все начинают именно с создания СУБД, а потом разрабатывают для нее инструменты.

На международном же рынке основной принцип заработка вокруг Open Source – это предоставление консалтинговых услуг: технической поддержки, интеграционных работ и т. д. Этим путем пошли и мы в 2016 г., образовав компанию по оказанию консалтинговых услуг вокруг PostgreSQL.

В процессе работы постоянно возникала необходимость в проведении типовых рутинных процедур, и тогда нам пришлось создать набор консольных инструментов для автоматизации решений части повседневных задач. Постепенно пришло понимание, что нужно более серьезное программное обеспечение, к которому мы подключим своих клиентов для централизованной работы с ними.

И в 2019 г., то есть спустя три с небольшим года с момента создания компании, мы начали разрабатывать полноценный инструмент для администрирования, управления, мониторинга, траблшутинга и других операций с высоконагруженной базой данных. Это был наш первый продукт, сейчас он называется Tantor Platform.

Когда в 2021 г. мы решили попробовать свои силы на российском ИТ-рынке, то столкнулись с тем, что его реалии сильно отличаются от международных. Дело в том, что многие в России привыкли к Enterprise-модели, как у Oracle или Microsoft, в которой заказчик общается с одним вендором и по поводу инструментария, и по поводу СУБД. Поэтому мы начали разрабатывать свою СУБД на основе Open Source-версии PostgreSQL, меняя в ней те аспекты, которые считали необходимым усовершенствовать. И делали это с учетом накопленного опыта, а также специфики и реалий российского рынка.

Яркий пример: сообщество PostgreSQL никогда не примет доработки под систему 1С, ведь они вряд ли потребуются какому-нибудь американскому стартапу, но на российском рынке без этого жить нельзя, так как вся страна работает на 1С. Поэтому такие патчи с низкой долей вероятности примут в основную ветку PostgreSQL, но они обязательно должны присутствовать в российской СУБД.

Кроме того, сообщество PostgreSQL старается не вступать в прямую конкуренцию с крупными игроками международного рынка вроде Oracle или Microsoft, чтобы сохранить свою нишу. А нам в России необходимо замещать этих гигантов, и мы дорабатываем СУБД, двигаясь в Enterprise-сегмент, включая решение задач по повышению производительности и отказоустойчивости.

– Сохраняете ли вы связь с исходным проектом PostgreSQL?

– Обязательно! Те, кто занимаются PostgreSQL, не могут жить в отрыве от сообщества. Ни у одной, даже у самой крупной, компании, которая занимается поддержкой PostgreSQL, нет возможности вести разработку только своими силами. Сама СУБД большая, ее экосистема еще больше, а сообщество просто огромно. PostgreSQL сейчас занимает четвертую строчку среди наиболее используемых СУБД, и ее популярность постоянно растет.

PostgreSQL, по сути, единственная СУБД, развивающаяся как полный Open Source, поэтому, чтобы сохранять свои позиции, нужно опираться на работу сообщества.

Иногда на конференциях встречается слайд "кладбище форков PostgreSQL" с огромным списком тех, кто далеко ушел от основной ветки и впоследствии закрылся. Мы стараемся разрабатывать свой форк с учетом обратной совместимости. Например, можем отдавать обратно определенные патчи в Open Source.

В нашей команде есть люди, которые достаточно давно занимаются PostgreSQL. Я сам в этой теме уже 15 лет, но у нас работают даже более опытные специалисты. Это позволяет нам понимать продукт, его историю и вектор развития сообщества.

– Некоторое время назад вы присоединились к "Группе Астра". Зачем?

– Есть два варианта запуска стартапа. Первый принят на международном рынке: взять денег у инвесторов для развития бизнеса, показывать результаты, делать раунды и таким образом выходить на высокий уровень.

В России другая специфика. У нас не так сильно развиты фонды и инструменты инвестиционного финансирования. Стартап, конечно, может попытаться развиваться самостоятельно, но серьезные заказчики вряд ли доверят команде из 15 человек работу в своей критичной инфраструктуре.

Чтобы работать с такими заказчиками, нужно быть частью большой экосистемы, поэтому присоединение к "Группе Астра" стало для нас не только и не столько финансовой историей, сколько возможностью работать с теми клиентами, до которых мы вряд ли бы дотянулись сами. И конечно же, для "Тантор Лабс" это был большой шаг с точки зрения выхода продуктов компании на новый уровень.

С другой стороны, "Группа Астра" получила усиление в области Data Domain – сущности, связанной с обработкой и хранением данных. Получилась хорошая синергия, она дает положительные результаты.

– Что происходит в области развития СУБД в мире?

– На международном рынке специализированных СУБД постоянно проходят инновационные волны, которые с некоторым запозданием докатываются и до России.

Например, одно время было очень модно внедрять документоориентированные noSQL-решения. Когда появилась MongoDB, многие предрекали быстрый закат реляционных СУБД. Впрочем, через несколько лет в СМИ, блогах, поисковиках стала часто упоминаться тема миграции с MongoDB на PostgreSQL.

Еще одна волна развития была связана с криптокошельками, и многие начали делать СУБД на основе блокчейна. Потом стало трендом работать с Time Series, векторными и графовыми базами данных.

По сути, любая технология, претендующая на ИТ-революцию, активно влияет и на СУБД. Но правда заключается в том, что серебряной пули не существует и в любой технологии есть свои плюсы и минусы.

Хорошая база данных требует как минимум 20 лет разработки большим сообществом. Поэтому специализированные БД появляются как вспышки, потом сходят на нет и в результате занимают свою небольшую нишу, в то время как универсальные реляционные базы данных остаются в тренде, и это по-прежнему основные СУБД для использования в критических инфраструктурах.

Российский рынок заметно отличается от международного. Пока он еще не дозрел до массового использования облачных сервисов, отставание составляет пять-восемь лет.

Да и развивается наш рынок по-другому. Российские сервисы находятся под постоянными атаками последние годы, поэтому вопросы информационной безопасности приходится решать в первую очередь.

Кроме того, в России остро стоит проблема замещения западных решений. До недавнего времени у нас вообще не было ни отрасли СУБД-строения, ни людей, которые занимались бы созданием мощных СУБД для критически нагруженных систем, и нам предстоит большая работа, чтобы развить это направление. А начинать надо не столько с разработки продуктов, сколько с образования: без него СУБД как отрасль развиваться не будет.

– В чем ключевые отличия СУБД Tantor, если смотреть с точки зрения заказчика?

– В первую очередь любые доработки в нашей СУБД мы делаем на основе большого практического опыта и осознанной необходимости.

Дело в том, что доработки в основной ветке сообщества PostgreSQL делаются, к сожалению, исходя не из требований заказчиков, а из научного любопытства, просто потому, что это было интересно разработчику.

Но даже очень крутой разработчик может быть далек от бизнеса и понимания его потребностей. Поэтому СУБД Tantor с точки зрения развития всегда фокусируется на практической целесообразности любых доработок.

Второй аспект, на который мы делаем упор, – это снижение стоимости владения. В России все традиционно использовали иностранные решения для управления СУБД, контролируя стоимость их использования, поэтому разработку полноценного инструмента типа Oracle Enterprise Manager отечественные вендоры откладывали до лучших времен.

Мы были отчасти первопроходцами и создали платформу Tantor – инструмент в помощь администратору PostgreSQL для эффективного управления СУБД и контроля ее состояния.

– Что бизнес требует от российской СУБД?

– Бизнес хочет отказоустойчивости, высокой производительности по сравнению с ванильной сборкой и доступности важных сервисов из коробки, например резервного копирования. Иногда заказчики формулируют свои потребности так: доделайте PostgreSQL, чтобы получился Oracle. Но это утопическая идея, потому что невозможно один в один перетащить все технологии Oracle и PostgreSQL. Такой гипотетический комбайн будет работать нестабильно и с огромными ограничениями, это неправильный путь.

Добавлять возможности, несомненно, нужно, но более осознанно, с оглядкой на специфику российского рынка. Например, в PostgreSQL нет автономных транзакций, но к ним все привыкли, поэтому мы включили эту опцию в нашу сборку.

Еще один пример. Очень часто, особенно в финтехе, используются анонимизация и маскирование данных в целях информационной безопасности. Мы разработали свой инструмент для реализации таких возможностей, так как в опенсорсном PostgreSQL их нет.

Третий пример – повышение производительности Tantor для работы с 1С:ERP. Недостаток производительности – острейшая проблема, которая мешает миграции с MS SQL на российские СУБД. Изучением данного вопроса занимается Центр компетенций 1С "Группы Астра", в рамках которого также осуществляется доработка ядра нашей СУБД для обслуживания 1С в сегменте Enterprise.

– Какие есть способы повысить производительность СУБД?

– Есть только два пути получения гарантированно высокой производительности СУБД.

Первый – это предоставление СУБД в облаке. Таким путем пошли многие западные вендоры: у Amazon появилась Aurora, у Google – AlloyDB, у Microsoft – Citus. Возможностей и производительности Open Source-версии не хватает, и эти компании доработали сборки для облака с расчетом на большие базы, высокие нагрузки и гарантированный SLA.

Второй путь – программно-аппаратные комплексы (ПАК). Это то, что делал Oracle со своей Exadata. За 10 лет ПАК семейства Exadata широко распространились на российском рынке; по разным оценкам, у нас в стране их более тысячи.

Мы тоже пошли по этому пути и создали ПАК Tantor XData, ведь на произвольной инфраструктуре невозможно гарантировать нормальную работу базы данных. Продукт должен помочь российским заказчикам в миграции с Oracle Exadata и других подобных решений. Сейчас мы активно проводим испытания Tantor XData и предлагаем его на тесты заказчикам – на нашей площадке или внутри реальной инфраструктуры.

– Какая автоматизация и информационная безопасность заложены в XData?

– Мы разрабатываем набор компонентов, которые целенаправленно пишутся для XData. Например, Tantor Appliance Manager отвечает за автоматизацию внутри XData, управляет кластерами, деплоит их, управляет лимитами памяти, процессора и дискового ввода/вывода. Причем он может это делать динамически, без остановки сервиса СУБД.

Невозможно также представить программно-аппаратный комплекс в отрыве от информационной безопасности, особенно учитывая, что ПАК используются в составе объектов КИИ.

XData построен полностью на нашем программном обеспечении, в частности на операционной системе Astra Linux с самым высоким уровнем защиты информации. Кроме того, СУБД Tantor прошла сертификацию в соответствии с актуальными требованиями ФСТЭК России. Таким образом, мы имеем все возможности дорабатывать наш продукт с точки зрения безопасности. Уже сейчас он достаточно закрыт: в XData есть всего один внешний интерфейс, который позволяет взаимодействовать в ПАК, все остальные компоненты защищены во внутреннем периметре устройства.

С использованием в нашем программно-аппаратном комплексе дополнительно наложенных средств защиты безопасность базы данных станет еще более надежной, и мы уверенно движемся в этом направлении, привлекая партнеров по ИБ-рынку.

– Как решается вопрос с производительностью в XData?

– Весь софт для ПАК должен быть собран определенным образом, и программное обеспечение, которое работает на этом оборудовании, должно учитывать специфику и архитектуру используемого железа.

Производительность ПАК в первую очередь зависит от оборудования: даже самые мощные серверы имеют определенный вычислительный предел. Поэтому приходится решать вопрос масштабирования на уровне программного обеспечения. Мы делаем это с помощью добавления новых реплик и масштабируем комплектами по три сервера.

К сожалению, кластеризация Active-Active сложно реализуется в PostgreSQL, поэтому многие используют механизмы шардирования. Но, как показала практика, шардирование в PostgreSQL очень сложно поддерживать, оно требует специальных навыков и доработок программного обеспечения бизнес-приложений.

В идеале хотелось бы получить HTAPсистему (Hybrid Transactional/Analytical Processing), которая способна работать с гибридной нагрузкой. Многие заказчики привыкли к этому, пока использовали Oracle Exadata.

– Как организуется резервное копирование в XData?

– Программно-аппаратный комплекс должен иметь систему резервного копирования (СРК), это один из важнейших компонентов обеспечения отказоустойчивости СУБД. Бэкапы также используются для механизма Disaster Recovery. Поскольку XData в первую очередь нацелен на мощные базы данных и на большое их количество в одном ПАК, то вопрос резервирования стоит очень остро.

Главная проблема – время резервного копирования больших баз.

Традиционные системы резервного копирования обычно бэкапят со скоростью порядка 1 Тбайт/ч, что, конечно же, неприемлемо для баз объемом в десятки терабайт.

Поэтому внутри XData работает своя система резервного копирования, которая главным образом ориентирована на производительность. Уже сейчас подтвержденная тестированием на близких к реальным кейсам скорость резервного копирования составляет 10 Тбайт/ч. То есть полноценный бэкап базы данных в 50 Тбайт будет создан за 3–5 часов, а инкрементальный пройдет еще быстрее. На синтетических тестах мы достигали и более высоких скоростей – до 20 Тбайт/ч.

Восстановление – это вторая проблема, которую мы решаем. В XData реализован трехузловой кластер и необходимо воссоздавать реплики в случае падения ноды, а речь идет о потенциально очень больших базах. Поэтому у нас есть специальные режимы catchup, чтобы быстро восстанавливаться и иметь возможность работать с кластером, даже если какаялибо нода вышла из строя.

Отмечу, что мы не подменяем собой централизованную систему резервного копирования в организации. Встроенные в XData механизмы бэкапа используются в первую очередь для обеспечения скорости.

Под резервные копии внутри XData выделено 3 Пбайт – достаточно большой объем, если учитывать, что копии сжимаются. По оценочным расчетам, это позволяет хранить резервные копии за неделю или даже больше в зависимости от баз данных. А дальше копии можно переносить на любую централизованную систему резервного копирования через предоставляемый нами API.

В качестве централизованной СРК мы, конечно же, рекомендуем использовать RuBackup, но заказчик может использовать и другие системы, ни к каким проблемам с точки зрения интеграции это не приведет.

– Как вы решаете кадровую проблему?

– Сила любого софта или ПАК заключается в команде – компетентных людях с солидным техническим бэкграундом. Многие организации готовы платить им довольно большие зарплаты и бонусы, но каждому человеку очень важно иметь прежде всего интересную работу, вовлекающие задачи и вдохновляющие цели. Поэтому мы привлекаем к себе в команду тем, что даем людям возможность творить, создавать интересные пользователям вещи.

Когда ты трудишься в сообществе, то обрастаешь контактами, узнаваемостью, за счет чего комьюнити растет. Например, вслед за сотрудниками, которые пришли работать в "Тантор Лабс", в компанию продолжают идти новые специалисты.

Третий момент – привлечение талантливых ребят без опыта. Это джуны с горящими глазами, которые за год могут вырасти в твердых Junior Plus, тяготеющих к Middle, у нас уже были такие случаи.

Когда мы начинали создавать XData, многие из тех, кого мы приглашали, не верили в проект. Сейчас, когда речь заходит об XData, даже очень крутые специалисты говорят: "Вот это интересно, в это я пойду, я хочу этим заниматься". То есть проект действительно интересный, и у него есть потенциал для дальнейшего развития.

– Расскажите про Центр компетенций 1С и PG Bootcamp.

– PG Bootcamp – это международная инициатива, идея которой возникла у основателя компании "Тантор Лабс" Михаила Гольдберга и одного из основоположников PostgreSQL Брюса Момджана. Цель данного проекта – повышать уровень образования в области знаний о PostgreSQL понравилась всем участникам сообщества, и они поддержали инициативу регулярно проводить буткемпы.

Первое мероприятие прошло в Тель-Авиве весной 2023 г. и собрало примерно 50 человек. В том же году осенью мы провели первый PG Bootcamp в Москве. В нем приняли участие уже более тысячи человек онлайн и офлайн, было представлено достаточно много полезного материала по теме. В 2024 г. состоялось мероприятие в Минске, оно объединило уже полторы тысячи человек, была большая активность. Следующий PG Bootcamp планируется на осень 2024 г.

Теперь о Центре компетенций 1С. Он был создан в начале этого года специалистом, который пришел в нашу компанию из "Магнита", где более 10 лет занимался сопровождением и развитием 1С, а это огромное количество инсталляций и очень высокие нагрузки.

Мы заключили с фирмой 1С стратегическое партнерское соглашение, позволяющее совместно дорабатывать нашу СУБД. Спасибо Борису Георгиевичу Нуралиеву и технической команде 1С за то, что помогают нам улучшать Tantor! Уже есть положительные результаты: производительность нашей сборки в работе с 1С за полгода выросла на 20% и иногда мы работаем даже лучше, чем зарубежная MS SQL, с которой сейчас мигрируют многие российские компании.

В наших планах – активно развивать Центр компетенций, ведь впереди нас ждут другие тяжелые ERP-системы, крупные заказчики, большие внедрения, где востребовано применение XData в качестве СУБД.

– Какие планы в технологическом развитии?

– Планов много!

Будем дальше развивать компанию, добавляя инструменты работы с данными. В наш портфель решений уже входят не только СУБД Tantor и XData, но и, например, Tantor DLH (Deductive Lake House) – платформа для обработки данных, продукт компании "Сатори" (вошла в 2024 г. в "Группу Астра"). Эта платформа эффективно работает в связке с СУБД Tantor и XData.

Планируем также расширять линейку инструментов для миграции данных, это сейчас очень востребованный запрос и, соответственно, приоритетная задача.

Таким образом, мы продолжим формировать экосистему продуктов для работы с СУБД, ведь по-другому очень сложно комплексно решать задачи заказчиков.

www.tantorlabs.ru 

Реклама: Тантор Лабс. ИНН 9701183207. ERID 2SDnjcPmjge