Установка и запуск DataLens Enterprise

Системные требованияСистемные требования

1. Доступные операционные системы:

   • Ubuntu 20.04/22.04/24.04;
   • Debian 10/11/12;
   • CentOS 7;
   • Astra Linux 1.7;
   • Oracle Linux 8/9;
   • RedHat Linux 8/9;
   • CentOS Stream 8/9.

   Примечание

   Работоспособность проверена только для дистрибутивов, основанных на Debian.

2. Минимальные системные требования для развертывания:

   • vCPU — 8;
   • RAM — 16 ГБ;
   • SSD — 40 ГБ.

3. Требования к кластеру Managed Service for PostgreSQL:

   Примечание

   Рекомендуется использовать отдельный кластер Managed Service for PostgreSQL в отказоустойчивой конфигурации (мастер + 1 реплика).

   • Минимальные требования к кластеру:

     • vCPU — 4;
     • RAM — 8 ГБ;
     • SSD — 100 ГБ.

   • При развертывании кластера для высокой нагрузки нужно рассчитать потребление ресурсов в зависимости от числа пользователей.

   • Расширения базы данных PostgreSQL для сервиса United Storage устанавливаются автоматически, если у пользователя есть соответствующие права:

     • pg_trgm;
     • btree_gin;
     • btree_gist;
     • uuid-ossp.

   • При развертывании кластера БД Managed Service for PostgreSQL в Yandex Cloud для сервиса United Storage:

     • Укажите вручную в консоли управления перечисленные выше расширения.
     • Укажите параметры Локаль сортировки (LC_COLLATE) и Локаль набора символов (LC_CTYPE) со значением en_US.UTF-8. Это обеспечит эффективное создание индексов для поиска пользователей.

Развертывание DataLens EnterpriseРазвертывание DataLens Enterprise

1. Скачайте архив с дистрибутивом DataLens Enterprise по предоставленной ссылке любым способом, например:

    URL="..."
            curl -L -o datalens-enterprise.tar "${URL}"
           

2. Распакуйте дистрибутив в директорию datalens-enterprise:

    mkdir -p ./datalens-enterprise && tar -xvf datalens-enterprise.tar --directory ./datalens-enterprise
           

3. Перейдите в директорию с дистрибутивом:

   cd ./datalens-enterprise
           

   Если развертывание выполняется на удаленной виртуальной машине, то для удобства можно сразу выполнить все команды:

   URL="..."
           curl -L "${URL}" -o datalens-enterprise.tar
           mkdir -p ./datalens-enterprise && tar -xvf datalens-enterprise.tar --directory ./datalens-enterprise
           cd ./datalens-enterprise
           

4. Развертывание дистрибутива происходит с помощью скрипта ./init.sh, который находится в корне архива. Скрипт позволяет развернуть DataLens Enterprise в существующем кластере Kubernetes. Если кластера Kubernetes нет, скрипт также может развернуть его на виртуальной машине.

   Развертывание можно выполнить с сервера linux/amd64, на котором будет происходить установка. Также можно выполнить развертывание с удаленной машины, имеющей доступ к кластеру Kubernetes на linux/amd64 или mac/arm64.

   Пример использования скрипта:

   ./init.sh [аргументы]
           

   Особенности работы скрипта:

   • Скрипт каждый раз проверяет целостность дистрибутива, верифицируя контрольные суммы, и сохраняет итоговые значения в переменные развертывания.

   • При запуске с аргументом --k3s-install K3s кластер Kubernetes устанавливается автоматически, без доступа к публичной сети.

   • RSA-ключи для сервиса аутентификации и авторизации автоматически генерируются при первой установке, если не было явно указано другого поведения.

   • Используйте аргумент --values, чтобы задать пользовательский файл values.yaml для переопределения параметров развертывания Helm-чарта и более точечной настройки окружения.

     Примечание

     Не редактируйте исходный файл ./helm/values.yaml. Используйте копию оригинального файла или копию файла примера ./help/values.example.yaml.

   • Если перед выполнением скрипта задать переменную окружения KUBECONFIG, скрипт подключится к уже существующему кластеру Kubernetes для развертывания.

   • В Helm-чарте не указаны лимиты по CPU для контейнеров приложения, чтобы предотвратить троттлинг всего приложения, согласно рекомендациям документации Kubernetes.

После каждого развертывания генерируется файл ./values.debug.yaml, в котором сохраняются все параметры, кроме секретов. Этот файл может помочь в диагностике системы при обращении в службу поддержки.

Особенности развертывания на Oracle LinuxОсобенности развертывания на Oracle Linux

Для запуска K3s кластера Kubernetes на Oracle Linux 8/9 необходимо либо полностью отключить firewalld, либо настроить необходимые правила для корректной работы сети Kubernetes.

sudo firewall-cmd --permanent --zone=trusted --add-interface=cni0
        sudo firewall-cmd --permanent --zone=trusted --add-interface=flannel.1
        sudo firewall-cmd --reload
        

Основные порты, используемые для работы K3s:

Примеры для firewalld:

sudo systemctl stop firewalld
        sudo systemctl disable firewalld
        

# traffic between k8s pod network subnets
        sudo firewall-cmd --permanent --zone=trusted --add-source=10.42.0.0/16
        sudo firewall-cmd --permanent --zone=trusted --add-source=10.43.0.0/16
        # or
        sudo firewall-cmd --permanent --zone=trusted --add-interface=cni0
        sudo firewall-cmd --permanent --zone=trusted --add-interface=flannel.1
        
        
        # k8s api server access for all nodes (optional)
        sudo firewall-cmd --permanent --add-port=6443/tcp
        # client requests to etcd and peer communication between etcd members (optional)
        sudo firewall-cmd --permanent --add-port=2379-2380/tcp
        # kubelet api port on each node (optional)
        sudo firewall-cmd --permanent --add-port=10250/tcp
        # flannel vxlan pod network communication (optional)
        sudo firewall-cmd --permanent --add-port=8472/udp
        # node port external traffic (optional)
        sudo firewall-cmd --permanent --add-port=30000-32767/tcp
        
        sudo firewall-cmd --reload
        

Если файрвол не мешает работе, предпочтительнее настроить только необходимые порты вместо полного его отключения. Это поможет сохранить базовую безопасность системы при допустимых настройках для Kubernetes.

Доступные аргументы развертыванияДоступные аргументы развертывания

Доступные аргументы скрипта развертывания с примерами для типовых конфигураций:

Конфигурация Kubernetes (K3s)Конфигурация Kubernetes (K3s)

Конфигурация Helm-чартаКонфигурация Helm-чарта

Управление Docker-образамиУправление Docker-образами

Конфигурация сервиса аутентификации и авторизацииКонфигурация сервиса аутентификации и авторизации

Конфигурация IngressКонфигурация Ingress

Функциональные возможностиФункциональные возможности

Управление базой данных PostgreSQLУправление базой данных PostgreSQL

Производительность и масштабированиеПроизводительность и масштабирование

Инструменты командной строкиИнструменты командной строки

Примеры типовых команд развертыванияПримеры типовых команд развертывания

• Базовая установка с K3s на виртуальной машине с автоматической генерацией самоподписанных сертификатов:

  ./init.sh \
          --k3s-install \
          --ingress-domain <domain> \
          --ingress-tls \
          --ingress-tls-gen
          

• Развертывание на домене с пользовательскими TLS-сертификатами:

  ./init.sh \
          --k3s-install \
          --ingress-domain <domain> \
          --ingress-tls-crt <crt-file> \
          --ingress-tls-key <key-file>
          

• Зеркалирование образов в приватный реестр Docker-образов:

  ./init.sh \
          --docker-image-load \
          --docker-image-push \
          --docker-registry <registry-url> \
          --docker-config <docker-config-json-file>
          

• Развертывание с настройкой пользовательских провайдеров аутентификации:

  ./init.sh --auth-providers-config <auth-provider-config-json-file>
          

• Развертывание с настройкой параметров через пользовательский файл values.yaml:

  ./init.sh --values <values-file>
          

• Получение пароля администратора из секретов после развертывания:

  ./init.sh --get-admin-password
          

Примеры вспомогательных командПримеры вспомогательных команд

• Получение всех логов со всех подов DataLens для отладки:

  ./init.sh --stern . -o extjson > datalens.enterprise.log
          

• Получение всех событий кластера Kubernetes для отладки ошибок развертывания:

  ./init.sh --kubectl events
          

Описание всех параметров файлаОписание всех параметров файла values.yaml

Файл values.yaml содержит конфигурацию для развертывания DataLens Enterprise через Helm-чарты. Доступны следующие параметры:

• Конфигурация реестра Docker-образов
• Версия релиза
• Конфигурация Ingress ресурса
• Инфраструктура
• Конфигурация приложения
• Секреты
• Конфигурация PostgreSQL
• Видимые коннекторы
• Функциональные возможности
• Контрольная сумма

Конфигурация реестра Docker-образовКонфигурация реестра Docker-образов

registry:
          private: true
          url: ''
        

Версия релизаВерсия релиза

release_version: '25.3.0'
        

Конфигурация Ingress ресурсаКонфигурация Ingress ресурса

ingress:
          enabled: true
          domain: datalens.enterprise
          np: false
          tls:
            enabled: false
            secret:
              crt: null
              key: null
        

ИнфраструктураИнфраструктура

infra:
          postgres:
            enabled: true
            resources:
              requests:
                cpu: 1
                memory: 512Mi
                storage: 1Gi
              limits:
                memory: 1024Mi
            tls:
              enabled: false
              secret:
                ref: null
                ca: null
          clickhouse:
            enabled: false
            resources:
              requests:
                cpu: 1
                memory: 512Mi
                storage: 10Gi
              limits:
                memory: 1024Mi
            tls:
              enabled: false
              secret:
                ref: null
                ca: null
          redis:
            enabled: false
            resources:
              requests:
                cpu: 0.5
                memory: 128Mi
                storage: 512Mi
              limits:
                memory: 256Mi
            tls:
              enabled: false
              secret:
                ref: null
                ca: null
          s3:
            enabled: false
            resources:
              requests:
                cpu: 0.5
                memory: 128Mi
                storage: 1Gi
              limits:
                memory: 256Mi
          temporal:
            enabled: false
            resources:
              requests:
                cpu: 0.5
                memory: 256Mi
              limits:
                memory: 512Mi
          fluent_bit:
            enabled: false
            resources:
              requests:
                cpu: 0.1
                memory: 128Mi
              limits:
                memory: 128Mi
        

Конфигурация приложенияКонфигурация приложения

application:
          control_api:
            replicas: 1
            version: '...'
            maxSurge: 50%
            maxUnavailable: 0
            resources:
              requests:
                cpu: 1
                memory: 2048Mi
              limits:
                memory: 4096Mi
          data_api:
            replicas: 1
            version: '...'
            maxSurge: 50%
            maxUnavailable: 0
            resources:
              requests:
                cpu: 1
                memory: 2048Mi
              limits:
                memory: 4096Mi
          ui:
            replicas: 1
            version: '...'
            maxSurge: 50%
            maxUnavailable: 0
            resources:
              requests:
                cpu: 1
                memory: 512Mi
              limits:
                memory: 1024Mi
          us:
            replicas: 1
            version: '...'
            maxSurge: 50%
            maxUnavailable: 0
            resources:
              requests:
                cpu: 1
                memory: 512Mi
              limits:
                memory: 1024Mi
          auth:
            replicas: 1
            version: '...'
            maxSurge: 50%
            maxUnavailable: 0
            resources:
              requests:
                cpu: 1
                memory: 512Mi
              limits:
                memory: 1024Mi
        

Каждый компонент приложения имеет следующие параметры:

Доступные компоненты приложения:

• control_api - Сервис управления подключениями и датасетами
• data_api - Сервис обработки запросов к источникам
• ui - Пользовательский интерфейс
• ui_api - Служебный сервис для приватного API дашбордов и чартов
• us - Сервис United Storage для управления хранением всех данных работы системы
• auth - Сервис аутентификации
• meta_manager - Менеджер обработки отложенных задач
• file_secure_reader - Сервис безопасного чтения файлов
• file_uploader_worker - Сервис загрузки и обработки файлов
• file_uploader_api - Сервис для API загрузки файлов

СекретыСекреты

secrets:
          ref: null
          #
          AUTH_TOKEN_PRIVATE_KEY: null
          AUTH_TOKEN_PUBLIC_KEY: null
          AUTH_PROVIDERS_CONFIG: null
          AUTH_ADMIN_PASSWORD: null
          AUTH_CALLBACK_COOKIE_SECRET: null
          #
          CSRF_SECRET: null
          #
          AUTH_MASTER_TOKEN: null
          US_MASTER_TOKEN: null
          FILE_UPLOADER_MASTER_TOKEN: null
          EXPORT_DATA_VERIFICATION_KEY: null
          #
          CONTROL_API_CRYPTO_KEY: null
          #
          DOCKER_CONFIG_JSON: null
          #
          POSTGRES_PASSWORD_ROOT: null
          POSTGRES_PASSWORD_US: null
          POSTGRES_PASSWORD_COMPENG: null
          POSTGRES_PASSWORD_AUTH: null
          POSTGRES_PASSWORD_TEMPORAL: null
          POSTGRES_PASSWORD_META_MANAGER: null
          POSTGRES_PASSWORD_DEMO: null
          #
          TEMPORAL_AUTH_PRIVATE_KEY: null
          TEMPORAL_AUTH_PUBLIC_KEY: null
          #
          CLICKHOUSE_PASSWORD: null
          #
          REDIS_PASSWORD: null
          #
          S3_ACCESS_KEY_ID: null
          S3_SECRET_ACCESS_KEY: null
        

Конфигурация PostgreSQLКонфигурация PostgreSQL

postgres:
          POSTGRES_HOST: postgres-cip
          POSTGRES_PORT: '5432'
          POSTGRES_USER_AUTH: pg-auth-user
          POSTGRES_DB_AUTH: pg-auth-db
          POSTGRES_USER_COMPENG: pg-compeng-user
          POSTGRES_DB_COMPENG: pg-compeng-db
          POSTGRES_USER_US: pg-us-user
          POSTGRES_DB_US: pg-us-db
          POSTGRES_USER_META_MANAGER: pg-meta-manager-user
          POSTGRES_DB_META_MANAGER: pg-meta-manager-db
          POSTGRES_USER_DEMO: pg-demo-user
          POSTGRES_DB_DEMO: pg-demo-db
          POSTGRES_USER_TEMPORAL: pg-temporal-user
          POSTGRES_DB_TEMPORAL: pg-temporal-db
          POSTGRES_DB_TEMPORAL_VISIBILITY: pg-temporal-visibility-db
        

Конфигурация ClickHouse®Конфигурация ClickHouse®

clickhouse:
          CLICKHOUSE_HOST: clickhouse-cip
          CLICKHOUSE_PORT: '8123'
          CLICKHOUSE_USER: ch-user
          CLICKHOUSE_DB_USAGE_TRACKING: ch-usage-tracking-db
          CLICKHOUSE_TABLE_USAGE_TRACKING: ch-usage-tracking-table
        

Конфигурация RedisКонфигурация Redis

redis:
          REDIS_HOSTS:
            - redis-cip
          REDIS_PORT: '6379'
          REDIS_CLUSTER_NAME: null
          REDIS_DB_CACHE_DATA: '0'
          REDIS_DB_CACHE_MUTATIONS: '1'
          REDIS_DB_FILE_API: '9'
          REDIS_DB_FILE_WORKER: '11'
        

Конфигурация S3Конфигурация S3

s3:
          S3_ENDPOINT: http://s3-cip:9000
          S3_BUCKET_TEMPORARY: dl-file-uploader-tmp
          S3_BUCKET_PERSISTENT: dl-file-uploader
        

Конфигурация TemporalКонфигурация Temporal

temporal:
          TEMPORAL_ENDPOINT: temporal-cip:7233
        

Доступные коннекторыДоступные коннекторы

visible_connectors:
          - clickhouse
          - postgres
          - chyt
          - ydb
          - mysql
          - greenplum
          - mssql
          - oracle
          - trino
          - metrika_api
          - appmetrica_api
        

Функциональные возможностиФункциональные возможности

features:
          auth:
            enabled: true
            local: true
          meta_manager:
            enabled: false
          ui_api:
            enabled: false
          demo:
            enabled: true
          hc:
            enabled: true
            endpoint: ''
            protocol: ''
          yandex_map:
            enabled: false
            token: ''
          editor:
            enabled: false
          export:
            enabled: false
          compeng_sidecar:
            enabled: false
          usage_tracking:
            enabled: false
          files:
            enabled: false
          cache:
            enabled: false
        

Конфигурация системыКонфигурация системы

config:
          cpu_request_scale: 1.0
        

Контрольная суммаКонтрольная сумма

checksum: null
        

ПримечанияПримечания

1. Если использование библиотеки Highcharts отключено в DataLens Enterprise, вместо нее используется библиотека Gravity Charts.

2. После каждого развертывания генерируется файл ./values.debug.yaml с сохранением всех параметров развертывания за исключением секретов. Данный файл может быть полезен для первичной диагностики работы системы при обращении в службу поддержки.

3. Для использования функционала Usage Tracking с внешней ClickHouse® базой данных необходимо создать таблицы в целевом кластере при помощи запросов:

CREATE TABLE $CLICKHOUSE_DB_USAGE_TRACKING.$CLICKHOUSE_TABLE_USAGE_TRACKING
        ON CLUSTER '{cluster}' (
            event_time DateTime64(9),
            event_date Date,
            source_entry_id String,
            dash_id Nullable(String),
            dash_tab_id Nullable(String),
            chart_id Nullable(String),
            chart_kind Nullable(String),
            response_status_code Nullable(UInt64),
            dataset_id Nullable(String),
            user_id Nullable(String),
            request_id Nullable(String),
            query Nullable(String),
            source Nullable(String),
            connection_id Nullable(String),
            dataset_mode Nullable(String),
            username Nullable(String),
            execution_time Int64,
            status Nullable(String),
            error Nullable(String),
            connection_type Nullable(String),
            host Nullable(String),
            cluster Nullable(String),
            clique_alias Nullable(String),
            cache_used UInt8,
            cache_full_hit UInt8,
            endpoint_code Nullable(String),
            query_type Nullable(String),
            err_code Nullable(String),
            workbook_id Nullable(String)
        ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/$CLICKHOUSE_DB_USAGE_TRACKING.$CLICKHOUSE_TABLE_USAGE_TRACKING', '{replica}')
        PARTITION BY toYYYYMM(event_date)
        ORDER BY (toStartOfHour(event_time), connection_id, dash_id, dataset_id, chart_id, user_id, event_time)
        SETTINGS index_granularity = 8192, allow_nullable_key = 1;
        CREATE TABLE $CLICKHOUSE_DB_USAGE_TRACKING.`us_entries`
        (
            encoded_entry_id String,
            display_key String,
            updated_at DateTime
        ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/$CLICKHOUSE_DB_USAGE_TRACKING.us_entries', '{replica}')
        ORDER BY encoded_entry_id
        SETTINGS index_granularity = 8192;
        

где $CLICKHOUSE_DB_USAGE_TRACKING и $CLICKHOUSE_TABLE_USAGE_TRACKING - имя базы данных и имя таблицы ClickHouse® в вашем кластере.