Российский Kubernetes, какой он? Знакомьтесь, платформа Deckhouse

Максим Морарь: Расскажу о ситуации на рынке. Согласно недавнему исследованию O'Reilly примерно 75% компаний используют микросервисную архитектуру в продуктиве или в разработке. А исследование Statista в России показывает, что около 60% компаний используют технологию оркестрации контейнеров в рамках своей инфраструктуры. Это говорит о том, что тема нашего митапа – платформа оркестрации – постоянно растущий тренд. Множество заказчиков, которые разрабатывают и развивают свои цифровые продукты, используют этот технологический стек.

Какие есть варианты использования платформы оркестрации? Мы выделили 4. 

Первый – это Open Source. Vanilla Kubernetes и open source-компоненты инфраструктурной обвязки (мониторинг, логирование, безопасность и т.д.) интегрируются в платформу, собранную под себя. Это прекрасный вариант с той точки зрения, что компания может сделать все максимально кастомно, учитывая технологические особенности своих задач. Основное ограничение – очень высокий входной порог. Чтобы безбоязненно развертывать на такой платформе продуктивный сервис, нужно обладать глубокой технологической экспертизой в каждом из компонентов. Нужна большая команда ребят с мощными скиллами, которые понимают, что они делают, почему и как будут отлаживать те или иные интеграции между сервисами и т.д. В настоящий момент это доступно далеко не всем.

Кроме того, стоит обратить внимание на отсутствие вендорской поддержки. Если случится проблема на уровне платформы или ядра core-компонентов, вы сможете обратиться только в комьюнити и надеться на то, что вам помогут, что бывает не в 100 % случаев. Это риски, которые придется принять.

Второй сценарий – это использование облачных PaaS-сервисов, в первую очередь Kubernetes as a Service, а также сервисов баз данных, логирования, мониторинга и т.д. Здесь тоже есть свои плюсы и минусы. Среди плюсов – быстрое развертывание, тем более, если у вас вся продуктивная среда размещается в том же облаке. Вам будет удобно по кнопке получить преднастроенный Kubernetes. Но есть ограничения, на которые стоит обратить внимание. Используя облачные PaaS, вы погружаетесь в парадигму того технологического стека, который предлагает облачный провайдер, то есть используете его инструменты, интегрированные между собой, но перейти на другую платформу или поднять что-то аналогичное один в один будет проблематично. Кроме того, использование дополнительных кастомных инструментов тоже будет иметь ограничения.

Третий сценарий. До февраля 2022 года на российском рынке было несколько коммерческих платформ контейнеризации – Red Hat Openshift, Suse Rancher. К настоящему времени их вендоры либо приостановили деятельность, либо покинули российский рынок. И сегодня большое количество компаний, которые когда-то купили эти решения, попали в не самую приятную ситуацию. Они не могут продлить или получить техническую поддержку, установить обновления, модернизировать основную платформу, связанные компоненты и т.д. Перед этими компаниями стоит большой вызов – что делать: продолжать существовать как есть, переходить на Vanilla Kubernetes или искать что-то еще.

И здесь мы подходим к четвертому сценарию, вокруг которого хотим построить сегодняшнюю дискуссию. Посмотреть в сторону российских платформ управления контейнерами, внесенных в Реестр российского ПО, преднастроенных и уже работающих в продуктиве для крупных клиентов, имеющих полноценную вендорскую поддержку на всех уровнях.

По нашему мнению, платформа Deckhouse компании «Флант» – лучшее такое решение на текущий момент в России. Поэтому я передаю слово Артему и прошу рассказать о «Фланте» и платформе Deckhouse.

Артем Кожокин: Компания «Флант» на рынке уже более 14 лет, у нас больше 170 человек сотрудников и это в основном инженеры. Постоянно обслуживаем более 150 клиентов, у нас на прямой поддержке больше 200 кластеров Kubernetes в продуктиве. Есть собственная R&D-команда, которая занимается развитием продуктов. Весь опыт, который мы получили на протяжении 14 лет в обслуживании клиентов, построении высоконагруженных, отказоустойчивых систем, мы инвестируем в создание продуктов, таких как Deckhouse и ряд других.

Мы регулярно выступаем на конференциях, как на российских площадках, так и на зарубежных, публикуем посты на Habr и других ресурсах.

Большинство наших продуктов – Open Source, есть как бесплатные, так и коммерческие решения. Это продукты для обслуживания проектов, то есть для сборки, доставки, мониторинга, управления контейнерами. Мы являемся первым сертифицированным поставщиком услуг по Kubernetes в России.

Мы поддерживаем клиентов 24/7, отвечаем за значительную часть инфраструктуры, на которой развернута основная нагрузка компании.

Какие варианты использования Kubernetes есть? Первый вариант представляет собой самый простой быстрый старт – это использование Managed Kubernetes от поставщиков услуг, например от КРОК. Дальше идет своя разработка, когда нужно самому выбрать стек технологий, на котором будете разрабатывать. И третий вариант – взять готовую платформу: были и есть иностранные, теперь еще и российская.

Итак, что же такое Kubernetes. Это конструктор, который состоит из множества компонентов. Для начала нужно определиться с инфраструктурой, на которой будем запускать платформу. Часто компания имеет несколько решений – несколько ЦОД, несколько систем виртуализации, использует публичные облака. Необходимо выбрать, где размещаться, и соответственно настроить работу Kubernetes.

Далее встает задача установки Kubernetes с теми модулями, которые требуются для работы с инфраструктурой, и настройка модулей, которые работают с сетью, управляют DNS, нодами, балансировкой трафика. Для каждого из этих кусочков существует несколько решений, которые могут подходить к тому или иному облаку, к той или иной инфраструктуре. Нужно сделать выбор.

Следующий уровень – платформенный. Для того чтобы запустить приложение в продуктиве, нужны хороший мониторинг, разграничение доступа, необходимо удовлетворить потребности службы защиты ИТ-инфраструктуры, настроить внутреннюю балансировку трафика и управлять нагрузкой в кластере, то есть реализовать горизонтальное и вертикальное масштабирование как самого кластера – по добавлению или сокращению ресурсов, так и управление нагрузками на приложение. Тут также есть множество вариантов настройки. Не так давно мы писали статью на Habr про сравнение модулей для балансировки трафика, в ней упоминалось 9 различных решений. Это то, что нужно выбрать и поддерживать.

Таким образом, готовая платформа похожа на слоеный пирог с множеством компонентов. Важный момент – недостаточно один раз настроить эту платформу, ее необходимо постоянно поддерживать. Почему? Потому что Kubernetes, то есть ядро нашей системы, имеет 3-4 больших обновления в течение года, которые нельзя пропускать. Мы регулярно сталкиваемся с запросами от клиентов, которые ставили свою платформу, самостоятельно настраивали Kubernetes и через полгода-год-полтора обнаруживали, что что-то перестало работать или разработчики попросили новые функции.

Нельзя перескакивать обновления Kubernetes через один, через два, нужно и важно проходить все этапы. И это большая задача с учетом того, что внутри уже настроено много модулей, интегрированных между собой. 

Итак, есть три варианта использования – своя разработка, Kubernetes as a Service или готовая платформа. В случае использования Kubernetes as a Service от любого поставщика услуг часть вопросов решает провайдер, но бОльшую часть инженерам компании приходится закрывать своими силами. Облачный провайдер, как правило, предоставляет первые два уровня –инфраструктура для запуска и управление компонентами, которые работают с инфраструктурой. Мониторинг, защита, интеграция с вашими системами авторизации и аутентификации настраиваются дополнительно.

В своей разработке вы отвечаете за все компоненты самостоятельно, а в случае использования готовой платформы, например Deckhouse, все эти вопросы закрывает платформа, включая выбор компонентов, обновления. Кроме того, вы можете получить поддержку как от вендора (то есть от «Фланта»), так и от партнеров. Например, КРОК поможет вам интегрировать, установить и поддерживать систему.

Сколько стоит самостоятельная разработка? Исходя из данных наших клиентов мы рассчитали, что для запуска и поддержки 1-2 кластеров (например, Def и Prod) требуются 1-2 инженера. Но это слишком высокий бас-фактор – люди болеют, увольняются и придется начинать сначала, а время запуска 1-3 месяца. И поддержка обновления – это full time специалиста. При средней зарплате с налогами 500 тыс.руб. мы получаем такую стоимость, как показано на слайде. 3-6 и более кластеров требуют уже больше людей. То есть, когда появляется первый десяток кластеров, нужно думать об автоматизации, чтобы использовались одни и те же компоненты в кластерах. Если кластеров 6-10 и более, здесь уже речь про платформу, автоматические обновления, более серьезную автоматизацию, и стоимость такого решения может уходить в бесконечность.

Кому и зачем нужно использовать платформу Kubernetes, какие плюсы платформа дает в разных сферах деятельности? Для ИТ-директоров – это в первую очередь экономия ресурсов, быстрый Time to Market. С готовой платформой не более недели уходит на согласование всех доступов, запуск каждого нового кластера занимает не больше дня. При полной автоматизации это может произойти за считанные минуты, а через час мы имеем полностью готовый кластер. Кроме того, не потребуется увеличивать штат инженеров, можно концентрироваться на важных задачах по запуску/поддержке приложений, то есть той части ИТ, которая приносит компании основную выгоду.

Для службы безопасности платформа обеспечивает прозрачность процессов. Есть настроенная интеграция с различными поставщиками софта, это могут быть иностранные вендоры, которые еще доступны, например, Aqua Security, или российский вендор Лантри. Реализована интеграция с системами авторизации, аутентификации, в том числе российских поставщиков, например, AlterOS (у каждой есть свой каталог пользователей).

Для разработчиков это удобный, простой инструмент, позволяющий проникать в кластер, смотреть, как он работает, контролировать, разрабатывать свое приложение с полным доступом к кластеру. Это автоматизация процессов, с которой помогают DevOps- и SRE-инженеры. Хотя у нас часто бывают такие кейсы, когда сами разработчики делают full stack – занимаются и доставкой, и сборкой приложений.

Для DevOps- и SRE-инженеров это удобный инструмент управления большой и важной инфраструктурой. Таким образом, Deckhouse покрывает все кусочки этого слоеного пирога и отвечает за все компоненты, не важно, где вы запускаетесь – в облаке, on premise или на железе.

Использование платформы выгодно с точки зрения инвестирования ресурсов компании. Вы можете полностью отстраниться от управления низким уровнем инфраструктуры и заниматься важными задачами, такими как управление базами данных, запуск сервисов, настройка DR-планов и пр.

Резюмируем, что такое Deckhouse. Это платформа, которая работает в любой инфраструктуре, будь то железные сервера или выделенная виртуальная машина, частные или приватные облака – Облако КРОК, Yandex.Cloud и пр. или приватное облако, построенное на базе OpenStack или vSphere.

Deckhouse поддерживает популярные российские дистрибутивы, имеет сертификаты совместимости с операционными системами AlterOS и др. Мы также работаем с Ubuntu, CentOS и подобными дистрибутивами. И один из важных моментов – возможность развертывания платформы в полностью закрытых контурах, без доступа в интернет, без какого-либо вмешательства с внешней стороны. Как я уже отметил, платформа находится в Реестре отечественного ПО с декабря 2021 года. 

Артем Кожокин: Deckhouse активно развивается. Разработка идет на GitHub, каждый может посмотреть и принять участие в приоритезации планов создания задач.

На ближайшее время запланированы следующие шаги. В 4 квартале 2022 года – интеграция с ArgoCD, построение пайплайнов из самой платформы. Также добавляется модуль по безопасности для управления кластерами: запрет запуска от рута, базовые настройки защиты, разграничение доступов между подами, неймспейсами и пр.

В 2023 году запланировано добавление модуля по управлению виртуализацией. Когда вы используете Deckhouse на bare metal (нет своей виртуализации и не пользуетесь публичными облаками), есть возможность создать кусочек облака в своей инфраструктуре. Это создание множества кластеров на базе железных серверов или создание виртуальных машин под базу данных, то есть managed-сервисы с тем, что не запускается в Kubernetes.

Также в первом квартале мы интегрируем Deckhouse с системой мониторинга Okmeter. Система имеет два модуля – мониторинг вычислительных ресурсов и хранилище метрик. Deckhouse будет хранить метрики в едином окне и позволит вам управлять, обслуживать кластеры из одного окна. Кроме того, появится хранилище для логов на базе Loki. Во втором квартале запланировано внедрение объектного хранилища на базе Minlo и новый модуль для управления логами.

Максим Морарь: Какие функции платформы пользователи считают самыми полезными и каких больше всего ждут в 2023 году?

Артем Кожокин: Есть разные типы пользователей. Последнее время вопросы чаще всего возникают у службы безопасности – речь идет как про интеграцию с российскими каталогами пользователей (аналогами Active Directory), так и о базовых настройках защиты. Deckhouse уже интегрирован со всеми известными поставщиками каталогов пользователей. Настройка защиты внутри кластера – это как раз управление пользователями, управление ролями, закрытие доступов по умолчанию.

Со стороны разработки отмечают удобное управление деплоем и мониторинг. У нас очень качественный, удобный мониторинг, который обеспечивает прозрачность того, что происходит внутри платформы, и помогает управлять ресурсами.

Больше всего ждут управление множеством кластеров. Этот модуль, к сожалению, не был добавлен в роадмэп, но он сейчас в разработке, и мы ставим ему высокий приоритет. Как я рассказывал на примере «Леруа Мерлен», это интерфейс, с помощью которого можно создавать кластеры и управлять ими. Этот модуль появится после интеграции в Okmeter, потому что это кусочек одного целого.

Артем Кожокин: Расскажу несколько кейсов наших клиентов.

Интернет-гипермаркет инструментов «Все инструменты». Когда клиент пришел к нам, у него еще не было решения по оркестрации, мы вместе запускали продукт с нуля. На текущий момент у компании 7 больших кластеров под управлением Deckhouse, размещенных в различных ЦОД, построено отказоустойчивое решение с очень высоким SLA – 99,95. За счет платформы реализованы простые способы переключения трафика в случае выхода из строя одной из площадок.

«Леруа Мерлен». На момент обращения к нам у клиента было 3-4 кластера, в настоящее время – более 50 кластеров в разных ЦОД с разной инфраструктурой, кластеры можно запускать нажатием одной кнопки. У компании нет своих инженеров по поддержке платформы, то есть на низком уровне Kubernetes никто не управляет, все задачи закрывает Deckhouse. Когда нужны кластеры, они закачиваются и ставятся на поддержку просто через интерфейс управления кластерами.

В чем плюсы Deckhouse по сравнению с Kubespray?

Артем Кожокин: Kubespray относится к варианту разработки своей платформы. Это инструмент автоматизации, который позволяет запустить «ванильный» Kubernetes, но дальше все равно встает вопрос выбора компонентов, настройки интеграции с Active Directory (управление пользователями) и пр. Наша платформа полностью в автоматическом режиме поставляет обновления и поддерживает использование в закрытых контурах. С Kubespray придется «поработать напильником», чтобы все это заработало.

Есть ли интеграция с GPU? Если есть, то как организована?

Артем Кожокин: Для работы с GPU надо выбрать систему для запуска контейнеров (run time). Платформа поддерживает Docker и containerd. В Kubernetes начиная с версии 1.25 уже не будет поддержки Docker, поэтому мы используем containerd. Для работы с GPU нужно установить containerd с драйверами nVidia. На текущий момент это ручная операция, то есть нет переключателя в кластере, но в ближайшее время мы это интегрируем. Не сделали этого раньше, потому что не так много запросов, из 100 клиентов этим пользовались не более 5%.

Это запланировано в роадмэпе на 3-4 квартал. Но если есть спрос, приходите, ставьте плюс в GitHab, будем двигать.

Есть ли автоматизация или UI для создания namespace?

Артем Кожокин: На текущий момент нет. Вопрос видимо подразумевает сравнение с проектами в Openshift, там можно создать проект, который будет сразу изолирован. В 4 квартале 2022 года мы внедряем модуль стандартизации безопасности кодов, в этот момент появится большинство политик, которые можно применить по умолчанию, и создание проектов будет после того, как появится интерфейс управления кластерами. Ближе к 3 кварталу будет полноценное использование.

Почему для логов используете Vector, а не Fluent Bit?

Артем Кожокин: Vector написан на Go, простой инструмент. Мы выбираем такие инструменты, которые имеют наименьшее количество «крутилок» и работают максимально стабильно. Раньше мы использовали и другие модули в ручном режиме, но по тестам производительности Vector показал себя с лучшей стороны.

Сколько стоит и как лицензируется платформа?

Артем Кожокин: Лицензии бывают на год, два, три, пять лет. По факту, лицензия – это получение обновлений и поддержка. В базовую лицензию входит поддержка 8/5 плюс есть возможность покупки поддержки 24/7 с реакцией 5 минут. Поддержка оказывается по телефону, по картинке, любой вариант, согласованный со службой безопасности. Лицензирование идет либо по виртуальным ядрам, либо по нодам кластера (worker узлы).

Что касается цены, есть стандартный прайс, который вы можете запросить как у нас напрямую, так и, например, в КРОК. Но рассчитывается цена под ваш запрос, есть объемные скидки и пр. Поэтому присылайте конкретные запросы, мы с радостью на них ответим.

Будет ли в КРОК услуга по Managed Kubernetes на основе Deckhouse?

Максим Морарь: В Облаке КРОК есть KaaS, о котором мы говорили в рамках одного из сегодняшних сценариев, на базе классического Kubernetes. Что касается Deckhouse, мы можем для клиентов инсталлировать эту платформу в своем облаке или на базе частных облаков. Думаем о том, чтобы сделать отдельный сервис в PaaS-витрине, но все зависит от вас и ваших запросов. Если мы увидим, что клиентам это действительно нужно, мы, конечно, это сделаем. Технически здесь нет никаких ограничений.

Планируется ли реализация Managed Control Plane?

Артем Кожокин: По факту, Control Plane управляется полностью платформой. За все обновления отвечает Deckhouse. Если речь про вынесение Control Plane из кластера, то в ближайшее время точно нет. Если есть спрос, приходите, обсудим, если увидим плюсы, то рассмотрим такую возможность.

Планируется ли сертификация под определенные системы?

Артем Кожокин: Мы начали работать с различными вендорами по совместной сертификации. Это вендоры, готовые продукты которых часто используются в банках. Мы их тестируем, и в ближайшее время на сайте появится раздел с информацией о сертификатах. Если вам интересны определенные вендоры, то присылайте информацию, мы с радостью рассмотрим, возможно, сделаем сертификацию с такими вендорами приоритетной.

Еще скажу про сертификацию ФСТЭК. Это должно интересовать банковский сектор и тех, кого вынуждают переходить на российские решения и запрещают использовать Open Source. На текущий момент нет задокументированных требований к сертификации платформы оркестрации, но есть черновики. Мы напрямую работаем с коллегами, часть функций для сертификации уже реализована, часть включена в роадмэп. Как только появятся требования, у нас будет сертификация ФСТЭК.

Для Service Mesh используете Istio? Есть возможность использовать linkerd2 из коробки?

Артем Кожокин: Да, используем Istio. Есть возможность его не включать и настраивать самостоятельно любой другой Service Mesh либо модуль, но из коробки поддерживается только Istio.

Может ли Deckhouse работать с Облаком КРОК (заказ виртуалок, дисков и т.д.) – есть ли cloud-провайдер? 

Максим Морарь: На текущий момент cloud-провайдера под Облако КРОК в Deckhouse нет, но мы тестировали работоспособность, она подтверждена. И если мы и «Флант» будем видеть эти запросы от вас, уважаемые заказчики и потенциальные партнеры, мы, конечно, это сделаем. Здесь абсолютно никаких технических ограничений нет. Тем более предварительное тестирование уже проведено. 

Для установки обновлений и развертывания платформы «Флант» использует свои репозитории с пакетами? Каким образом пакеты туда попадают и какие проверки безопасности они проходят? 

Артем Кожокин: Платформа Deckhouse разворачивается полностью из нашего приватного registry-репозитория, то есть все из Docker. Для установки в закрытом-открытом контуре подключения каких-то сторонних репозиториев-пакетов для операционной системы не требуется. Все, что необходимо – ядро нужной версии ОС и несколько определенных пакетов. Все остальные пакеты берутся из Docker-репозитория «Фланта».

Есть ли сертификация для администраторов, аналог CKA (Certified Kubernetes Administrator)?

Артем Кожокин: У нас есть своя программа обучения, которую проводят наши инженеры. И мы сейчас разрабатываем курс по администрированию платформы, который включит как глубокое администрирование с полной установкой, обновлением, пониманием всех принципов работы Deckhouse, так и базовое – навыки установки платформы и понимание, где искать источник проблем. Сертификация инженеров на текущий момент не запланирована, но после программы обучения, скорее всего, что-то подобное появится, с экзаменами и выдачей сертификатов. Но не раньше, чем во второй половине 2023 года.

Какие внешние хранилища можно подключить? Можно ли создать хранилище внутри кластера через Rook Ceph, например?

Артем Кожокин: Если мы используем облака, то платформа по умолчанию работает с внешними хранилищами. Если у вас рядом стоит Ceph, то тоже подключается и работает. Если платформа разворачивается на bare metal, то есть модуль для настройки управления хранилищами на базе Linstor.

Что касается Rook, то в ручном режиме вы можете установить Rook в платформу, это будет работать. В роадмэпе есть имплементация Ceph на базе Rook, но по сроку я сейчас не могу сказать, точно не в ближайшее время. Это будет полноценное управление из платформы с поддержкой от вендора.

Есть ли градация прав для управления кластерами в UI? Например, админ видит все кластеры и управляет ими, пользователь видит только свои и т.д. 

Артем Кожокин: Функции по управлению кластерами пока в роадмэпе и запланированы на 1-2 квартал 2023 года. И да, это будет.

Хотелось бы ознакомиться с продуктом. Есть ли демо-доступ к платформе для ознакомления с UI?

Артем Кожокин: Есть версия Community edition, которую вы можете самостоятельно попробовать. Чтобы вы не остались наедине с продуктом, есть официальный чат поддержки в Telegram, там и мы отвечаем, и сообщество помогает решать вопросы. В Enterprise edition есть возможность проведения пилотов: мы можем либо предоставить продукт, развернутый на наших мощностях, либо помочь его развернуть на ваших мощностях в выбранной вами инфраструктуре, чтобы посмотреть полную функциональность платформы. Также в рамках пилота мы помогаем решать различные задачи, чтобы убедиться в работоспособности вашего приложения, помогаем с его запуском, консультируем, как правильно делать приложения.

Максим Морарь: Поддерживаю Артема – приходите, поможем разобраться конкретно в вашей задаче.