Инструкция по развертыванию DataLens On-premises

В этом разделе вы найдете информацию об установке и запуске DataLens On-premises:

• Системные требования
• Развертывание
• Обновление
• Управление доступом администратора
• Аргументы развертывания
• Описание параметров файла values.yaml

Системные требованияСистемные требования

Перед установкой DataLens On-premises подготовьте окружение для развертывания. От доступных ресурсов и конфигурации инфраструктуры зависит стабильность работы системы и производительность при одновременной работе пользователей с дашбордами.

Условия доступа к дистрибутивуУсловия доступа к дистрибутиву

Дистрибутив DataLens On-premises предоставляется по договору с Yandex Cloud.

Для доступа к Yandex Cloud и скачивания дистрибутива нужен активный платежный аккаунт. Пользователю, который скачивает дистрибутив, необходима роль datalens.admin или выше на уровне организации.

Операционные системыОперационные системы

ОборудованиеОборудование

Рекомендуемые системные требования для промышленной эксплуатацииРекомендуемые системные требования для промышленной эксплуатации

Для промышленной эксплуатации требования зависят от количества одновременных пользователей и сложности дашбордов. При планировании ресурсов для 100 и более активных пользователей рекомендуется закладывать не менее следующей конфигурации:

• vCPU — 16.
• RAM — 32 ГБ.
• SSD — 100 ГБ.

Точные требования к ресурсам определяются по результатам нагрузочного тестирования.

Требования к кластеру PostgreSQLТребования к кластеру PostgreSQL

Внешний отказоустойчивый кластер PostgreSQL повышает надежность системы и снижает риск потери служебных данных DataLens On-premises.

Минимальные системные требования к кластеру:

• vCPU — 4.
• RAM — 8 ГБ.
• SSD — 100 ГБ.

При развертывании кластера PostgreSQL для высокой нагрузки нужно рассчитать потребление ресурсов в зависимости от числа пользователей.

Для базы данных PostgreSQL сервиса United Storage необходимы следующие расширения:

• pg_trgm
• btree_gin
• btree_gist
• uuid-ossp

Они устанавливаются автоматически, если у пользователя есть соответствующие права.

При развертывании кластера Yandex Managed Service for PostgreSQL для сервиса United Storage:

• Укажите вручную в консоли управления перечисленные выше расширения.
• Укажите параметры Локаль сортировки (LC_COLLATE) и Локаль набора символов (LC_CTYPE) со значением en_US.UTF-8. Это обеспечит эффективное создание индексов для поиска пользователей.

РазвертываниеРазвертывание

Развертывание можно выполнить с сервера Linux/amd64, на котором будет происходить установка. Также можно выполнить развертывание с удаленной машины, имеющей доступ к кластеру Kubernetes на Linux/amd64 или macOS/arm64.

Скачайте дистрибутивСкачайте дистрибутив

1. Убедитесь, что выполнены условия доступа к дистрибутиву.

2. Получите ссылку на скачивание дистрибутива:

   1. Откройте список версий DataLens On-premises.
   2. Напротив нужной версии нажмите Скачать.
   3. Ознакомьтесь с лицензионным соглашением и нажмите Продолжить.
   4. В окне Загрузка дистрибутива нажмите Копировать ссылку.

3. На целевой виртуальной машине сохраните полученную ссылку в переменную:

   URL="<ссылка_на_дистрибутив>"
   

4. Скачайте и распакуйте архив в папку datalens-enterprise:

   curl -L "$URL" -o datalens-enterprise.tar
   mkdir -p ./datalens-enterprise
   tar -xvf datalens-enterprise.tar --directory ./datalens-enterprise
   

Разверните дистрибутивРазверните дистрибутив

Скрипт ./init.sh позволяет развернуть DataLens On-premises в существующем кластере Kubernetes. Если кластера Kubernetes нет, скрипт также может установить его на ВМ.

Чтобы развернуть дистрибутив:

1. Перейдите в корневую папку дистрибутива:

   cd ./datalens-enterprise
   

2. Выполните команду развертывания с нужными аргументами:

   ./init.sh
   

   Например, чтобы выполнить полную сборку DataLens On-premises:

   ./init.sh \
     --k3s-install \
     --ingress-domain <домен> \
     --ingress-tls \
     --ingress-tls-gen \
     --export \
     --files \
     --editor \
     --yandex-map \
     --cache \
     --usage-tracking
   

   После каждого развертывания генерируется файл ./values.debug.yaml, в котором сохраняются все параметры, кроме секретов. Этот файл может помочь в диагностике системы при обращении в службу поддержки.

Особенности скрипта развертыванияОсобенности скрипта развертывания

Скрипт ./init.sh — основная точка управления дистрибутивом. Он запускает служебные скрипты из дистрибутива и выполняет операции развертывания, обновления, диагностики и администрирования. Например, с помощью ./init.sh можно развернуть DataLens On-premises, обновить установленную версию, получить пароль администратора или выполнить команду kubectl в кластере Kubernetes.

Выбор кластера KubernetesВыбор кластера Kubernetes

Если кластера Kubernetes нет, передайте аргумент --k3s-install: скрипт автоматически установит локальный кластер K3s без доступа к публичной сети. Если DataLens On-premises нужно развернуть в существующем кластере Kubernetes, перед запуском скрипта задайте переменную окружения KUBECONFIG. В этом случае ./init.sh подключится к указанному кластеру и применит конфигурацию в нем.

Настройка параметров развертыванияНастройка параметров развертывания

Параметры развертывания можно задавать напрямую аргументами командной строки или через пользовательский файл values.yaml:

• Аргументы командной строки удобны для базовых сценариев: установки K3s, настройки домена, TLS-сертификатов и включения дополнительных возможностей.
• Файл values.yaml удобен для расширенной настройки Helm-чарта и параметров, которые не задаются отдельными аргументами командной строки. Чтобы использовать такой файл, передайте его скрипту с помощью аргумента --values.

В обоих случаях развертывание выполняется через ./init.sh: скрипт получает параметры из аргументов командной строки и, при необходимости, из пользовательского файла values.yaml, затем применяет итоговую конфигурацию к Helm-чарту.

Проверка и выполнение операцииПроверка и выполнение операции

При каждом запуске ./init.sh проверяет целостность дистрибутива: верифицирует контрольные суммы и сохраняет итоговые значения в переменные развертывания.

При первом развертывании RSA-ключи для сервиса аутентификации и авторизации генерируются автоматически, если не указано другое поведение.

Если запустить скрипт с аргументом --atomic, операция развертывания или обновления будет выполнена как единая транзакция: она либо завершится полностью успешно, либо полностью откатится.

Ресурсы контейнеровРесурсы контейнеров

В Helm-чарте не указаны лимиты по CPU для контейнеров приложения. Это предотвращает троттлинг всего приложения и соответствует рекомендациям документации Kubernetes.

Обновление дистрибутиваОбновление дистрибутива

1. Скачайте дистрибутив и распакуйте архив в папку datalens-enterprise поверх предыдущей версии DataLens On-premises.

2. Выполните действия в зависимости от предыдущей версии:

   26.5.0 и выше

   26.4.2 и ниже

   25.10.0 и ниже

   Выполните команду развертывания:

   ./init.sh --update
   

   1. Выполните команды для обратной совместимости PostgreSQL:

      ./init.sh --pg /init/utils.sh --update-template-collation
      ./init.sh --pg /init/init-db-aux.sh
      

   2. Выполните команду развертывания:

      ./init.sh --update
      

   1. Выполните команды для обратной совместимости PostgreSQL:

      ./init.sh --pg /init/utils.sh --update-template-collation
      ./init.sh --pg /init/init-db-aux.sh
      

   2. Выполните команды для обратной совместимости Redis:

      # удаляем развертывание Redis-базы данных
      ./init.sh --kubectl delete deployment datalens-enterprise-redis
      
      # удаляем хранилище Redis-базы данных
      ./init.sh --kubectl delete pvc redis-volume
      

   3. Выполните команду развертывания:

      ./init.sh --update
      

Управление доступом администратораУправление доступом администратора

При первой установке система автоматически генерирует сложный пароль для пользователя admin. Его можно получить с помощью команды:

./init.sh --get-admin-password

Сохраните пароль. Если он будет утерян, его можно сбросить и сгенерировать новый.

Аргументы развертыванияАргументы развертывания

Доступные аргументы скрипта развертывания ./init.sh можно разделить на группы по назначению:

• Процесс развертывания
• Обновление дистрибутива
• Конфигурация Kubernetes (K3s)
• Конфигурация Helm-чарта
• Управление Docker-образами
• Конфигурация сервиса аутентификации и авторизации
• Конфигурация Ingress
• Самоподписанные корневые сертификаты
• Функциональные возможности
• Управление базой данных PostgreSQL
• Производительность и масштабирование
• Инструменты командной строки

Процесс развертыванияПроцесс развертывания

Обновление дистрибутиваОбновление дистрибутива

Конфигурация Kubernetes (K3s)Конфигурация Kubernetes (K3s)

Конфигурация Helm-чартаКонфигурация Helm-чарта

Управление Docker-образамиУправление Docker-образами

Конфигурация сервиса аутентификации и авторизацииКонфигурация сервиса аутентификации и авторизации

Конфигурация IngressКонфигурация Ingress

Самоподписанные корневые сертификатыСамоподписанные корневые сертификаты

Функциональные возможностиФункциональные возможности

Управление базой данных PostgreSQLУправление базой данных PostgreSQL

Производительность и масштабированиеПроизводительность и масштабирование

Инструменты командной строкиИнструменты командной строки

Описание параметров файла values.yaml для развертывания DataLens On-premisesОписание параметров файла values.yaml для развертывания DataLens On-premises

Файл values.yaml содержит конфигурацию для развертывания DataLens On-premises через Helm-чарты. Доступны следующие параметры:

• Конфигурация реестра Docker-образов
• Версия релиза
• Конфигурация Ingress ресурса
• Инфраструктура
• Конфигурация приложения
• Секреты
• Конфигурация PostgreSQL
• Видимые коннекторы
• Функциональные возможности
• Контрольная сумма

ПримечанияПримечания

1. Если использование библиотеки Highcharts отключено в DataLens On-premises, вместо нее используется библиотека Gravity Charts.

2. После каждого развертывания генерируется файл ./values.debug.yaml с сохранением всех параметров развертывания за исключением секретов. Данный файл может быть полезен для первичной диагностики работы системы при обращении в службу поддержки.

3. При передаче в URL параметра ?full_login_page=true отображаются все способы аутентификации, доступные по умолчанию.

4. Для использования функциональности Usage Tracking с внешней ClickHouse® базой данных необходимо создать таблицы в целевом кластере при помощи запроса.

   Запрос

   CREATE TABLE $CLICKHOUSE_DB_USAGE_TRACKING.$CLICKHOUSE_TABLE_USAGE_TRACKING
   ON CLUSTER '{cluster}' (
       event_time DateTime64(9),
       event_date Date,
       source_entry_id String,
       dash_id Nullable(String),
       dash_tab_id Nullable(String),
       chart_id Nullable(String),
       chart_kind Nullable(String),
       response_status_code Nullable(UInt64),
       dataset_id Nullable(String),
       user_id Nullable(String),
       request_id Nullable(String),
       query Nullable(String),
       source Nullable(String),
       connection_id Nullable(String),
       dataset_mode Nullable(String),
       username Nullable(String),
       execution_time Int64,
       status Nullable(String),
       error Nullable(String),
       connection_type Nullable(String),
       host Nullable(String),
       cluster Nullable(String),
       clique_alias Nullable(String),
       cache_used UInt8,
       cache_full_hit UInt8,
       endpoint_code Nullable(String),
       query_type Nullable(String),
       err_code Nullable(String),
       workbook_id Nullable(String)
   ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/$CLICKHOUSE_DB_USAGE_TRACKING.$CLICKHOUSE_TABLE_USAGE_TRACKING', '{replica}')
   PARTITION BY toYYYYMM(event_date)
   ORDER BY (toStartOfHour(event_time), connection_id, dash_id, dataset_id, chart_id, user_id, event_time)
   TTL event_date + toIntervalMonth(6)
   SETTINGS index_granularity = 8192, allow_nullable_key = 1;
   

   Где:

   • $CLICKHOUSE_DB_USAGE_TRACKING — имя базы данных ClickHouse® в вашем кластере.
   • $CLICKHOUSE_TABLE_USAGE_TRACKING — имя таблицы ClickHouse® в вашем кластере.

Конфигурация реестра Docker-образовКонфигурация реестра Docker-образов

registry:
  private: true
  url: ''

Версия релизаВерсия релиза

release_version: '25.6.0'

Конфигурация Ingress ресурсаКонфигурация Ingress ресурса

ingress:
  enabled: true
  domain: datalens.enterprise
  np: false
  tls:
    enabled: false
    secret:
      crt: null
      key: null

ИнфраструктураИнфраструктура

infra:
  postgres:
    enabled: true
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 512Mi
        storage: 1Gi
      limits:
        memory: 1024Mi
    tls:
      enabled: false
      secret:
        ref: null
        ca: null
  clickhouse:
    enabled: false
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 512Mi
        storage: 10Gi
      limits:
        memory: 1024Mi
    tls:
      enabled: false
      secret:
        ref: null
        ca: null
  redis:
    enabled: false
    extra_envs: []
    resources:
      requests:
        cpu: 0.5
        memory: 128Mi
        storage: 512Mi
      limits:
        memory: 256Mi
    tls:
      enabled: false
      secret:
        ref: null
        ca: null
  s3:
    enabled: false
    extra_envs: []
    resources:
      requests:
        cpu: 0.5
        memory: 128Mi
        storage: 1Gi
      limits:
        memory: 256Mi
  temporal:
    enabled: false
    extra_envs: []
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  fluent_bit:
    enabled: false
    extra_envs: []
    resources:
      requests:
        cpu: 0.1
        memory: 128Mi
      limits:
        memory: 128Mi

С помощью параметра extra_envs можно переопределить/дополнить переменные окружения. Например, для PostgreSQL:

  postgres:
    enabled: true
    extra_envs:
      - name: MY_VAR
        value: test123
      - name: MY_VAR_SECRET
        valueFrom:
          secretKeyRef:
            name: test-secret
            key: test-secret-key

Конфигурация приложенияКонфигурация приложения

application:
  control_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 2048Mi
      limits:
        memory: 4096Mi
  data_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 2048Mi
      limits:
        memory: 4096Mi
  ui:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 512Mi
      limits:
        memory: 1024Mi
  ui_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  us:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 512Mi
      limits:
        memory: 1024Mi
  auth:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 512Mi
      limits:
        memory: 1024Mi
  meta_manager:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  file_secure_reader:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  file_uploader_worker:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  file_uploader_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs: []
    resources:
      requests:
        cpu: 1
        memory: 256Mi
      limits:
        memory: 512Mi

Каждый компонент приложения имеет следующие параметры:

Доступные компоненты приложения:

• control_api — сервис управления подключениями и датасетами.
• data_api — сервис обработки запросов к источникам.
• ui — пользовательский интерфейс.
• ui_api — служебный сервис для приватного API дашбордов и чартов.
• us — сервис United Storage для управления хранением всех данных работы системы.
• auth — сервис аутентификации.
• meta_manager — менеджер обработки отложенных задач.
• file_secure_reader — сервис безопасного чтения файлов.
• file_uploader_worker — сервис загрузки и обработки файлов.
• file_uploader_api — сервис для API загрузки файлов.

С помощью параметра extra_envs можно переопределить или дополнить переменные окружения компонента приложения. Например, для компонента control_api:

application:
  control_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    extra_envs:
      - name: MY_VAR
        value: test123
      - name: MY_VAR_SECRET
        valueFrom:
          secretKeyRef:
            name: test-secret
            key: test-secret-key
    resources:
      requests:
        cpu: 1
        memory: 2048Mi
      limits:
        memory: 4096Mi

СекретыСекреты

secrets:
  ref: null
  #
  AUTH_TOKEN_PRIVATE_KEY: null
  AUTH_TOKEN_PUBLIC_KEY: null
  AUTH_PROVIDERS_CONFIG: null
  AUTH_ADMIN_PASSWORD: null
  AUTH_CALLBACK_COOKIE_SECRET: null
  #
  CSRF_SECRET: null
  #
  AUTH_MASTER_TOKEN: null
  US_MASTER_TOKEN: null
  FILE_UPLOADER_MASTER_TOKEN: null
  EXPORT_DATA_VERIFICATION_KEY: null
  #
  CONTROL_API_CRYPTO_KEY: null
  #
  DOCKER_CONFIG_JSON: null
  #
  POSTGRES_PASSWORD_ROOT: null
  POSTGRES_PASSWORD_US: null
  POSTGRES_PASSWORD_COMPENG: null
  POSTGRES_PASSWORD_AUTH: null
  POSTGRES_PASSWORD_TEMPORAL: null
  POSTGRES_PASSWORD_META_MANAGER: null
  POSTGRES_PASSWORD_DEMO: null
  #
  TEMPORAL_AUTH_PRIVATE_KEY: null
  TEMPORAL_AUTH_PUBLIC_KEY: null
  #
  CLICKHOUSE_PASSWORD: null
  #
  REDIS_PASSWORD: null
  #
  S3_ACCESS_KEY_ID: null
  S3_SECRET_ACCESS_KEY: null

Конфигурация PostgreSQLКонфигурация PostgreSQL

postgres:
  POSTGRES_HOST: postgres-cip
  POSTGRES_PORT: '5432'
  POSTGRES_USER_AUTH: pg-auth-user
  POSTGRES_DB_AUTH: pg-auth-db
  POSTGRES_USER_COMPENG: pg-compeng-user
  POSTGRES_DB_COMPENG: pg-compeng-db
  POSTGRES_USER_US: pg-us-user
  POSTGRES_DB_US: pg-us-db
  POSTGRES_USER_META_MANAGER: pg-meta-manager-user
  POSTGRES_DB_META_MANAGER: pg-meta-manager-db
  POSTGRES_USER_DEMO: pg-demo-user
  POSTGRES_DB_DEMO: pg-demo-db
  POSTGRES_USER_TEMPORAL: pg-temporal-user
  POSTGRES_DB_TEMPORAL: pg-temporal-db
  POSTGRES_DB_TEMPORAL_VISIBILITY: pg-temporal-visibility-db

Конфигурация ClickHouse®Конфигурация ClickHouse®

clickhouse:
  CLICKHOUSE_HOST: clickhouse-cip
  CLICKHOUSE_PORT: '8123'
  CLICKHOUSE_USER: ch-user
  CLICKHOUSE_DB_USAGE_TRACKING: ch-usage-tracking-db
  CLICKHOUSE_TABLE_USAGE_TRACKING: ch-usage-tracking-table

Конфигурация RedisКонфигурация Redis

redis:
  REDIS_HOSTS:
    - redis-cip
  REDIS_PORT: '6379'
  REDIS_CLUSTER_NAME: null
  REDIS_DB_CACHE_DATA: '0'
  REDIS_DB_CACHE_MUTATIONS: '1'
  REDIS_DB_FILE_API: '9'
  REDIS_DB_FILE_WORKER: '11'

Конфигурация S3Конфигурация S3

s3:
  S3_ENDPOINT: http://s3-cip:9000
  S3_BUCKET_TEMPORARY: dl-file-uploader-tmp
  S3_BUCKET_PERSISTENT: dl-file-uploader

Конфигурация TemporalКонфигурация Temporal

temporal:
  TEMPORAL_ENDPOINT: temporal-cip:7233

Доступные коннекторыДоступные коннекторы

visible_connectors:
  - clickhouse
  - postgres
  - chyt
  - ydb
  - mysql
  - greenplum
  - mssql
  - oracle
  - trino
  - metrika_api
  - appmetrica_api

Функциональные возможностиФункциональные возможности

features:
  auth:
    enabled: true
    local: true
    skip_local: false
    force_redirect_open_id: false
  meta_manager:
    enabled: false
  ui_api:
    enabled: false
  demo:
    enabled: true
  hc:
    enabled: true
    endpoint: ''
    protocol: ''
  yandex_map:
    enabled: false
    token: ''
  editor:
    enabled: false
  export:
    enabled: false
  background_exports:
    enabled: false
  compeng_sidecar:
    enabled: false
  usage_tracking:
    enabled: false
  files:
    enabled: false
  cache:
    enabled: false
  sec_embeds:
    enabled: false
  auth_cookie:
    enabled: false
    domain: ''
  ai:
    enabled: false
    api_token: ''
    model_name: ''
    endpoint: ''
    model_context_window_size: ''
    extra_headers: ''
    provider_stream: true
  public_api:
    enabled: false

¹ Если в инсталляции включена аутентификация, Нейроаналитик передает AI-провайдеру технические заголовки с данными пользователя:

• x-dl-user-id — доверенный идентификатор пользователя;
• x-dl-user-login — логин пользователя (отправляется, если удалось его получить, иначе запрос уходит с одним x-dl-user-id).

Если аутентификация отключена (AUTH_ENABLED=false), инсталляция остается анонимной — заголовки x-dl-user-id и x-dl-user-login не отправляются. Применяется ко всем AI-вызовам, включая fallback-провайдер. Значения x-dl-user-id и x-dl-user-login, заданные через AI_EXTRA_HEADERS, игнорируются — эти заголовки зарезервированы системой и не могут быть переопределены пользовательской конфигурацией.

Конфигурация системыКонфигурация системы

config:
  cpu_request_scale: 1.0

Контрольная суммаКонтрольная сумма

checksum: null

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.