行业资讯
基于Docker Compose的Apache Doris集群极简部署与配置指南
最近在搞数据仓库选型，Doris 凭借其极致的查询性能和易用性逐渐成为许多团队的首选。然而，从官网下载、编译到部署，对于刚接触的开发者来说，步骤繁琐且容易踩坑。尤其是在异构的服务器环境中，依赖冲突、端口占用、配置错误等问题层出不穷，往往需要耗费大量时间排查。本文将提供一套基于 Docker 的 Doris 极简部署方案，从零开始，手把手带你完成 FE、BE 节点的容器化部署与集群搭建。内容涵盖完整的 Docker Compose 编排文件、关键配置解析、集群初始化步骤，以及部署后最常见的连接与权限问题排查。无论你是想在本地快速搭建一个测试环境，还是为生产部署寻找可靠的容器化参考，这篇教程都能提供一条清晰的路径，所有代码和命令均可直接复制使用。1. Doris 核心概念与架构简介在开始部署之前，理解 Doris 的基本架构是至关重要的，这能帮助我们在后续配置和排错时心中有数。Apache Doris 是一个现代化的 MPP（大规模并行处理）分析型数据库，以其高性能、实时分析和易运维著称。它主要面向在线分析处理（OLAP）场景，如报表分析、即席查询、用户行为分析等。其核心架构采用了对用户非常友好的FE（Frontend）和BE（Backend）分离设计：FE（Frontend）： 作为 Doris 的“大脑”，负责接收和解析用户请求、元数据管理、查询规划、节点调度等工作。FE 节点分为两种角色：Leader FE： 集群中只有一个，负责元数据的写入操作（如建表、删表）。Follower FE： 可以有多个，同步 Leader 的元数据，负责提供元数据读取和查询规划服务，实现高可用。BE（Backend）： 作为 Doris 的“肌肉”，负责数据存储、查询执行等计算密集型任务。数据表被水平分区后，分布式存储在各个 BE 节点上，查询时由 FE 协调多个 BE 并行计算，这也是其高性能的源泉。一个最小的可用 Doris 集群通常包含1个 FE（可后续扩展为多个）和至少1个 BE。我们的 Docker 部署也将围绕这个最小集群展开。理解了这个架构，你就会明白为什么我们的docker-compose.yml里需要分别定义fe和be服务。2. 环境准备与前置检查使用 Docker 部署可以极大简化环境依赖问题，但我们仍需确保宿主机环境满足基本要求。2.1 系统与 Docker 环境操作系统： 理论上支持 Linux、macOS 和 Windows（WSL2）。本文以Linux（Ubuntu 20.04+ / CentOS 7+）环境为例进行演示，其命令在 macOS 的终端中同样适用。Windows 用户请确保已安装并启用 WSL2。Docker Engine： 版本建议在 20.10.0 及以上。可通过以下命令检查：docker --versionDocker Compose： 本文使用 Docker Compose 编排多容器，建议使用 V2 版本。可通过以下命令检查：docker compose version # 或旧版的 docker-compose --version如果未安装，请参考 Docker 官方文档进行安装。2.2 资源规划在启动容器前，需要规划好宿主机上的资源，特别是端口和存储目录，避免冲突。端口占用：FE 默认使用8030（HTTP 端口，用于 Web UI 和连接）、9020（BRPC 端口，用于 FE-BE 内部通信）、9030（MySQL 协议端口，用于客户端如 MySQL 客户端、JDBC 连接）。BE 默认使用8040（HTTP 端口）、9060（BRPC 端口）、9070（BE 心跳服务端口）。请确保宿主机上这些端口未被其他应用占用。如果冲突，可以在 Docker Compose 文件中映射时修改宿主机端口（如8031:8030）。存储目录： 我们需要在宿主机上创建目录，用于持久化 Doris 的元数据和数据，这样即使容器重建，数据也不会丢失。假设我们在当前用户目录下创建：mkdir -p ~/doris-docker/{fe-meta,fe-log,be-storage,be-log}fe-meta: 持久化 FE 的元数据。fe-log: 持久化 FE 的日志。be-storage: 持久化 BE 的存储数据（表数据）。be-log: 持久化 BE 的日志。2.3 获取 Doris Docker 镜像
郑州网站建设
网页设计
企业官网
