Установка и запуск DataLens On-premises

Системные требованияСистемные требования

1. Доступные операционные системы:

   • Ubuntu 20.04/22.04/24.04;
   • Debian 10/11/12;
   • CentOS 7;
   • Astra Linux 1.7;
   • Oracle Linux 8/9;
   • RedHat Linux 8/9;
   • CentOS Stream 8/9.

   Примечание

   Работоспособность проверена только для дистрибутивов, основанных на Debian.

2. Минимальные системные требования для развертывания:

   • vCPU — 8;
   • RAM — 16 ГБ;
   • SSD — 40 ГБ.

3. Требования к кластеру Managed Service for PostgreSQL:

   Примечание

   Рекомендуется использовать отдельный кластер Managed Service for PostgreSQL в отказоустойчивой конфигурации (мастер + 1 реплика).

   • Минимальные требования к кластеру:

     • vCPU — 4;
     • RAM — 8 ГБ;
     • SSD — 100 ГБ.

   • При развертывании кластера для высокой нагрузки нужно рассчитать потребление ресурсов в зависимости от числа пользователей.

   • Расширения базы данных PostgreSQL для сервиса United Storage устанавливаются автоматически, если у пользователя есть соответствующие права:

     • pg_trgm;
     • btree_gin;
     • btree_gist;
     • uuid-ossp.

   • При развертывании кластера БД Managed Service for PostgreSQL в Yandex Cloud для сервиса United Storage:

     • Укажите вручную в консоли управления перечисленные выше расширения.
     • Укажите параметры Локаль сортировки (LC_COLLATE) и Локаль набора символов (LC_CTYPE) со значением en_US.UTF-8. Это обеспечит эффективное создание индексов для поиска пользователей.

Развертывание DataLens On-premisesРазвертывание DataLens On-premises

1. Скачайте архив с дистрибутивом DataLens On-premises по предоставленной ссылке любым способом, например:

   URL="..."
   curl -L -o datalens-enterprise.tar "${URL}"
   

2. Распакуйте дистрибутив в директорию datalens-enterprise:

   mkdir -p ./datalens-enterprise && tar -xvf datalens-enterprise.tar --directory ./datalens-enterprise
   

3. Перейдите в директорию с дистрибутивом:

   cd ./datalens-enterprise
   

   Если развертывание выполняется на удаленной виртуальной машине, то для удобства можно сразу выполнить все команды:

   URL="..."
   curl -L "${URL}" -o datalens-enterprise.tar
   mkdir -p ./datalens-enterprise && tar -xvf datalens-enterprise.tar --directory ./datalens-enterprise
   cd ./datalens-enterprise
   

4. Развертывание дистрибутива происходит с помощью скрипта ./init.sh, который находится в корне архива. Скрипт позволяет развернуть DataLens On-premises в существующем кластере Kubernetes. Если кластера Kubernetes нет, скрипт также может развернуть его на виртуальной машине.

   Развертывание можно выполнить с сервера linux/amd64, на котором будет происходить установка. Также можно выполнить развертывание с удаленной машины, имеющей доступ к кластеру Kubernetes на linux/amd64 или mac/arm64.

   Пример использования скрипта:

   ./init.sh [аргументы]
   

   Особенности работы скрипта:

   • Скрипт каждый раз проверяет целостность дистрибутива, верифицируя контрольные суммы, и сохраняет итоговые значения в переменные развертывания.

   • При запуске с аргументом --k3s-install K3s кластер Kubernetes устанавливается автоматически, без доступа к публичной сети.

   • RSA-ключи для сервиса аутентификации и авторизации автоматически генерируются при первой установке, если не было явно указано другого поведения.

   • Используйте аргумент --values, чтобы задать пользовательский файл values.yaml для переопределения параметров развертывания Helm-чарта и более точечной настройки окружения.

     Примечание

     Не редактируйте исходный файл ./helm/values.yaml. Используйте копию оригинального файла или копию файла примера ./help/values.example.yaml.

   • Если перед выполнением скрипта задать переменную окружения KUBECONFIG, скрипт подключится к уже существующему кластеру Kubernetes для развертывания.

   • В Helm-чарте не указаны лимиты по CPU для контейнеров приложения, чтобы предотвратить троттлинг всего приложения, согласно рекомендациям документации Kubernetes.

После каждого развертывания генерируется файл ./values.debug.yaml, в котором сохраняются все параметры, кроме секретов. Этот файл может помочь в диагностике системы при обращении в службу поддержки.

Особенности развертывания на Oracle LinuxОсобенности развертывания на Oracle Linux

Для запуска K3s кластера Kubernetes на Oracle Linux 8/9 необходимо либо полностью отключить firewalld, либо настроить необходимые правила для корректной работы сети Kubernetes.

sudo firewall-cmd --permanent --zone=trusted --add-interface=cni0
sudo firewall-cmd --permanent --zone=trusted --add-interface=flannel.1
sudo firewall-cmd --reload

Основные порты, используемые для работы K3s:

Примеры для firewalld:

sudo systemctl stop firewalld
sudo systemctl disable firewalld

# traffic between k8s pod network subnets
sudo firewall-cmd --permanent --zone=trusted --add-source=10.42.0.0/16
sudo firewall-cmd --permanent --zone=trusted --add-source=10.43.0.0/16
# or
sudo firewall-cmd --permanent --zone=trusted --add-interface=cni0
sudo firewall-cmd --permanent --zone=trusted --add-interface=flannel.1


# k8s api server access for all nodes (optional)
sudo firewall-cmd --permanent --add-port=6443/tcp
# client requests to etcd and peer communication between etcd members (optional)
sudo firewall-cmd --permanent --add-port=2379-2380/tcp
# kubelet api port on each node (optional)
sudo firewall-cmd --permanent --add-port=10250/tcp
# flannel vxlan pod network communication (optional)
sudo firewall-cmd --permanent --add-port=8472/udp
# node port external traffic (optional)
sudo firewall-cmd --permanent --add-port=30000-32767/tcp

sudo firewall-cmd --reload

Если файрвол не мешает работе, предпочтительнее настроить только необходимые порты вместо полного его отключения. Это поможет сохранить базовую безопасность системы при допустимых настройках для Kubernetes.

Доступные аргументы развертыванияДоступные аргументы развертывания

Доступные аргументы скрипта развертывания с примерами для типовых конфигураций:

Конфигурация Kubernetes (K3s)Конфигурация Kubernetes (K3s)

Конфигурация Helm-чартаКонфигурация Helm-чарта

Управление Docker-образамиУправление Docker-образами

Конфигурация сервиса аутентификации и авторизацииКонфигурация сервиса аутентификации и авторизации

Конфигурация IngressКонфигурация Ingress

Самоподписанные корневые сертификатыСамоподписанные корневые сертификаты

Функциональные возможностиФункциональные возможности

Управление базой данных PostgreSQLУправление базой данных PostgreSQL

Производительность и масштабированиеПроизводительность и масштабирование

Инструменты командной строкиИнструменты командной строки

Примеры типовых команд развертыванияПримеры типовых команд развертывания

• Базовая установка с K3s на виртуальной машине с автоматической генерацией самоподписанных сертификатов:

  ./init.sh \
  --k3s-install \
  --ingress-domain <domain> \
  --ingress-tls \
  --ingress-tls-gen
  

• Развертывание на домене с пользовательскими TLS-сертификатами:

  ./init.sh \
  --k3s-install \
  --ingress-domain <domain> \
  --ingress-tls-crt <crt-file> \
  --ingress-tls-key <key-file>
  

• Зеркалирование образов в приватный реестр Docker-образов:

  ./init.sh \
  --docker-image-load \
  --docker-image-push \
  --docker-registry <registry-url> \
  --docker-config <docker-config-json-file>
  

• Развертывание с настройкой пользовательских провайдеров аутентификации:

  ./init.sh --auth-providers-config <auth-provider-config-json-file>
  

• Развертывание с настройкой параметров через пользовательский файл values.yaml:

  ./init.sh --values <values-file>
  

• Получение пароля администратора из секретов после развертывания:

  ./init.sh --get-admin-password
  

Примеры вспомогательных командПримеры вспомогательных команд

• Получение всех логов со всех подов DataLens для отладки:

  ./init.sh --stern . -o extjson > datalens.enterprise.log
  

• Получение всех событий кластера Kubernetes для отладки ошибок развертывания:

  ./init.sh --kubectl events
  

Описание всех параметров файлаОписание всех параметров файла values.yaml

Файл values.yaml содержит конфигурацию для развертывания DataLens On-premises через Helm-чарты. Доступны следующие параметры:

• Конфигурация реестра Docker-образов
• Версия релиза
• Конфигурация Ingress ресурса
• Инфраструктура
• Конфигурация приложения
• Секреты
• Конфигурация PostgreSQL
• Видимые коннекторы
• Функциональные возможности
• Контрольная сумма

Конфигурация реестра Docker-образовКонфигурация реестра Docker-образов

registry:
  private: true
  url: ''

Версия релизаВерсия релиза

release_version: '25.6.0'

Конфигурация Ingress ресурсаКонфигурация Ingress ресурса

ingress:
  enabled: true
  domain: datalens.enterprise
  np: false
  tls:
    enabled: false
    secret:
      crt: null
      key: null

ИнфраструктураИнфраструктура

infra:
  postgres:
    enabled: true
    resources:
      requests:
        cpu: 1
        memory: 512Mi
        storage: 1Gi
      limits:
        memory: 1024Mi
    tls:
      enabled: false
      secret:
        ref: null
        ca: null
  clickhouse:
    enabled: false
    resources:
      requests:
        cpu: 1
        memory: 512Mi
        storage: 10Gi
      limits:
        memory: 1024Mi
    tls:
      enabled: false
      secret:
        ref: null
        ca: null
  redis:
    enabled: false
    resources:
      requests:
        cpu: 0.5
        memory: 128Mi
        storage: 512Mi
      limits:
        memory: 256Mi
    tls:
      enabled: false
      secret:
        ref: null
        ca: null
  s3:
    enabled: false
    resources:
      requests:
        cpu: 0.5
        memory: 128Mi
        storage: 1Gi
      limits:
        memory: 256Mi
  temporal:
    enabled: false
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  fluent_bit:
    enabled: false
    resources:
      requests:
        cpu: 0.1
        memory: 128Mi
      limits:
        memory: 128Mi

Конфигурация приложенияКонфигурация приложения

application:
  control_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 1
        memory: 2048Mi
      limits:
        memory: 4096Mi
  data_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 1
        memory: 2048Mi
      limits:
        memory: 4096Mi
  ui:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 1
        memory: 512Mi
      limits:
        memory: 1024Mi
  ui_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  us:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 1
        memory: 512Mi
      limits:
        memory: 1024Mi
  auth:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 1
        memory: 512Mi
      limits:
        memory: 1024Mi
  meta_manager:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  file_secure_reader:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  file_uploader_worker:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 0.5
        memory: 256Mi
      limits:
        memory: 512Mi
  file_uploader_api:
    replicas: 1
    version: '...'
    maxSurge: 50%
    maxUnavailable: 0
    resources:
      requests:
        cpu: 1
        memory: 256Mi
      limits:
        memory: 512Mi

Каждый компонент приложения имеет следующие параметры:

Доступные компоненты приложения:

• control_api - Сервис управления подключениями и датасетами
• data_api - Сервис обработки запросов к источникам
• ui - Пользовательский интерфейс
• ui_api - Служебный сервис для приватного API дашбордов и чартов
• us - Сервис United Storage для управления хранением всех данных работы системы
• auth - Сервис аутентификации
• meta_manager - Менеджер обработки отложенных задач
• file_secure_reader - Сервис безопасного чтения файлов
• file_uploader_worker - Сервис загрузки и обработки файлов
• file_uploader_api - Сервис для API загрузки файлов

СекретыСекреты

secrets:
  ref: null
  #
  AUTH_TOKEN_PRIVATE_KEY: null
  AUTH_TOKEN_PUBLIC_KEY: null
  AUTH_PROVIDERS_CONFIG: null
  AUTH_ADMIN_PASSWORD: null
  AUTH_CALLBACK_COOKIE_SECRET: null
  #
  CSRF_SECRET: null
  #
  AUTH_MASTER_TOKEN: null
  US_MASTER_TOKEN: null
  FILE_UPLOADER_MASTER_TOKEN: null
  EXPORT_DATA_VERIFICATION_KEY: null
  #
  CONTROL_API_CRYPTO_KEY: null
  #
  DOCKER_CONFIG_JSON: null
  #
  POSTGRES_PASSWORD_ROOT: null
  POSTGRES_PASSWORD_US: null
  POSTGRES_PASSWORD_COMPENG: null
  POSTGRES_PASSWORD_AUTH: null
  POSTGRES_PASSWORD_TEMPORAL: null
  POSTGRES_PASSWORD_META_MANAGER: null
  POSTGRES_PASSWORD_DEMO: null
  #
  TEMPORAL_AUTH_PRIVATE_KEY: null
  TEMPORAL_AUTH_PUBLIC_KEY: null
  #
  CLICKHOUSE_PASSWORD: null
  #
  REDIS_PASSWORD: null
  #
  S3_ACCESS_KEY_ID: null
  S3_SECRET_ACCESS_KEY: null

Конфигурация PostgreSQLКонфигурация PostgreSQL

postgres:
  POSTGRES_HOST: postgres-cip
  POSTGRES_PORT: '5432'
  POSTGRES_USER_AUTH: pg-auth-user
  POSTGRES_DB_AUTH: pg-auth-db
  POSTGRES_USER_COMPENG: pg-compeng-user
  POSTGRES_DB_COMPENG: pg-compeng-db
  POSTGRES_USER_US: pg-us-user
  POSTGRES_DB_US: pg-us-db
  POSTGRES_USER_META_MANAGER: pg-meta-manager-user
  POSTGRES_DB_META_MANAGER: pg-meta-manager-db
  POSTGRES_USER_DEMO: pg-demo-user
  POSTGRES_DB_DEMO: pg-demo-db
  POSTGRES_USER_TEMPORAL: pg-temporal-user
  POSTGRES_DB_TEMPORAL: pg-temporal-db
  POSTGRES_DB_TEMPORAL_VISIBILITY: pg-temporal-visibility-db

Конфигурация ClickHouse®Конфигурация ClickHouse®

clickhouse:
  CLICKHOUSE_HOST: clickhouse-cip
  CLICKHOUSE_PORT: '8123'
  CLICKHOUSE_USER: ch-user
  CLICKHOUSE_DB_USAGE_TRACKING: ch-usage-tracking-db
  CLICKHOUSE_TABLE_USAGE_TRACKING: ch-usage-tracking-table

Конфигурация RedisКонфигурация Redis

redis:
  REDIS_HOSTS:
    - redis-cip
  REDIS_PORT: '6379'
  REDIS_CLUSTER_NAME: null
  REDIS_DB_CACHE_DATA: '0'
  REDIS_DB_CACHE_MUTATIONS: '1'
  REDIS_DB_FILE_API: '9'
  REDIS_DB_FILE_WORKER: '11'

Конфигурация S3Конфигурация S3

s3:
  S3_ENDPOINT: http://s3-cip:9000
  S3_BUCKET_TEMPORARY: dl-file-uploader-tmp
  S3_BUCKET_PERSISTENT: dl-file-uploader

Конфигурация TemporalКонфигурация Temporal

temporal:
  TEMPORAL_ENDPOINT: temporal-cip:7233

Доступные коннекторыДоступные коннекторы

visible_connectors:
  - clickhouse
  - postgres
  - chyt
  - ydb
  - mysql
  - greenplum
  - mssql
  - oracle
  - trino
  - metrika_api
  - appmetrica_api

Функциональные возможностиФункциональные возможности

features:
  auth:
    enabled: true
    local: true
    skip_local: false
    force_redirect_open_id: false
  meta_manager:
    enabled: false
  ui_api:
    enabled: false
  demo:
    enabled: true
  hc:
    enabled: true
    endpoint: ''
    protocol: ''
  yandex_map:
    enabled: false
    token: ''
  editor:
    enabled: false
  export:
    enabled: false
  compeng_sidecar:
    enabled: false
  usage_tracking:
    enabled: false
  files:
    enabled: false
  cache:
    enabled: false
  sec_embeds: 
    enabled: false
  auth_cookie:
    enabled: false
    domain: ''

Конфигурация системыКонфигурация системы

config:
  cpu_request_scale: 1.0

Контрольная суммаКонтрольная сумма

checksum: null

ПримечанияПримечания

1. Если использование библиотеки Highcharts отключено в DataLens On-premises, вместо нее используется библиотека Gravity Charts.

2. После каждого развертывания генерируется файл ./values.debug.yaml с сохранением всех параметров развертывания за исключением секретов. Данный файл может быть полезен для первичной диагностики работы системы при обращении в службу поддержки.

3. При передаче в URL параметра ?full_login_page=true отображаются все способы аутентификации, доступные по умолчанию.

4. Для использования функциональности Usage Tracking с внешней ClickHouse® базой данных необходимо создать таблицы в целевом кластере при помощи запроса:

   CREATE TABLE $CLICKHOUSE_DB_USAGE_TRACKING.$CLICKHOUSE_TABLE_USAGE_TRACKING
   ON CLUSTER '{cluster}' (
       event_time DateTime64(9),
       event_date Date,
       source_entry_id String,
       dash_id Nullable(String),
       dash_tab_id Nullable(String),
       chart_id Nullable(String),
       chart_kind Nullable(String),
       response_status_code Nullable(UInt64),
       dataset_id Nullable(String),
       user_id Nullable(String),
       request_id Nullable(String),
       query Nullable(String),
       source Nullable(String),
       connection_id Nullable(String),
       dataset_mode Nullable(String),
       username Nullable(String),
       execution_time Int64,
       status Nullable(String),
       error Nullable(String),
       connection_type Nullable(String),
       host Nullable(String),
       cluster Nullable(String),
       clique_alias Nullable(String),
       cache_used UInt8,
       cache_full_hit UInt8,
       endpoint_code Nullable(String),
       query_type Nullable(String),
       err_code Nullable(String),
       workbook_id Nullable(String)
   ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/$CLICKHOUSE_DB_USAGE_TRACKING.$CLICKHOUSE_TABLE_USAGE_TRACKING', '{replica}')
   PARTITION BY toYYYYMM(event_date)
   ORDER BY (toStartOfHour(event_time), connection_id, dash_id, dataset_id, chart_id, user_id, event_time)
   TTL event_date + toIntervalMonth(6)
   SETTINGS index_granularity = 8192, allow_nullable_key = 1;
   

   Где $CLICKHOUSE_DB_USAGE_TRACKING и $CLICKHOUSE_TABLE_USAGE_TRACKING — имя базы данных и имя таблицы ClickHouse® в вашем кластере.