StarRocks FE开发环境搭建

MKLZL · 2021年10月8日 07:23

StarRocks FE开发环境（IDEA）搭建

前言

该文档基于starrocks官方提供的docker镜像，为大家提供在IDEA上进行FE的开发环境搭建，方便大家进行源码的阅读或者参与到starrocks的开发中。

编译

镜像地址

https://hub.docker.com/r/starrocks/dev-env

编译环境准备

系统： centos7.6
内存： 大于4G
磁盘空间： 大于30G
CPU: 核数大于2core，编译时核数越多，相对会越快

编译步骤

1. 下载docker(已有可以忽略)
yum install -y docker
2. 启动docker
systemctl start docker
3. pull 镜像
docker pull starrocks/dev-env:main
4. 启动镜像
docker run -it --name starrocks-image -d starrocks/dev-env:main
5. 进入镜像
docker exec -it starrocks-image /bin/bash
6. 下载代码
git clone https://github.com/StarRocks/starrocks.git
7. 编译
cd starrocks
sh build.sh
8. 编译不需要AVX2支持的starrocks
vi build.sh
将USE_AVX2=ON 修改为USE_AVX2=OFF
保存退出后，执行 sh build.sh

整个过程大概持续一个小时左右，等待编译完成。

获取源码

具体路径根据自己docker的配置不同路径而不一样，默认在以下目录：

/var/lib/docker/overlay2/3c9410498c81adc175946ca8a5f75a75372d5c83b4a51227152cc3ce6b655924/merged/var/local

在当前目录下有starrocks目录，可以打包，然后获取出来。

搭建环境

使用idea打开当前项目，等待加载完成后进行:

1. 配置启动环境：（具体位置根据自己工作目录确定）

2.目录及文件配置：

主要为:conf目录，fe.conf配置文件，元数据目录meta

至此，fe的开发环境已经搭建完成。

使用环境

项目启动文件位于：

fe/fe-core/src/main/java/com/starrocks/StarRocksFE.java

启动后，可以使用带有mysql-client的机器连接该fe节点，至此，就可以愉快的进行源码阅读或者debug之旅了！

mark · 2021年10月11日 09:45

可以在mac上编译吗？

MKLZL · 2021年10月11日 09:52

应该是可以的，使用docker镜像编译的话，不需要自己构建依赖

U_1634030755223_1642 · 2021年10月12日 09:28

这个太好用了，有没有be的开发环境

MKLZL · 2021年10月13日 06:43

be的后面也会有的

U_1635819597150_0407 · 2021年11月2日 15:08

还能在写详细点吗，docker不了解还是不太懂

U_1635819597150_0407 · 2021年11月2日 15:19

比如获取源码，如何根据找到配置路径，如何打包出来等等

MKLZL · 2021年11月3日 03:26

可以，抽空更新下

悦动的普朗克 · 2021年11月22日 08:57

大佬，请教下编译完成后使用idea搭建环境这步怎么搞呢?
我看文章理解的是把docker里编译完的starrocks文件夹整个拉出来然后放到本地，然后用idea打开本地文件进行调试。可是我这样拉到本地那项目的mvn依赖不就还得再重新拉一遍么？
求教

MKLZL · 2021年11月25日 02:35

编译完成的项目里面有需要的依赖

悦动的普朗克 · 2021年11月26日 03:32

感谢大佬，FE的开发环境搭好了，请问下BE也是这样么?有计划BE也出一份分享吗，对cpp不是很了解。求教谢谢

U_1635819597150_0407 · 2021年12月20日 16:51

/var/lib/docker/overlay2/3c9410498c81adc175946ca8a5f75a75372d5c83b4a51227152cc3ce6b655924/merged/var/local

这个3c9410498c81adc175946ca8a5f75a75372d5c83b4a51227152cc3ce6b655924是从docker image inspect里面的吗？

   "MergedDir": "/var/lib/docker/overlay2/665b1144dae3d90004d2c0383573814f4ed9398ffbc0dd20f6c57e5b7a9c8edc/merged",
                "UpperDir": "/var/lib/docker/overlay2/665b1144dae3d90004d2c0383573814f4ed9398ffbc0dd20f6c57e5b7a9c8edc/diff",
                "WorkDir": "/var/lib/docker/overlay2/665b1144dae3d90004d2c0383573814f4ed9398ffbc0dd20f6c57e5b7a9c8edc/work"

为啥我665b1144dae3d90004d2c0383573814f4ed9398ffbc0dd20f6c57e5b7a9c8edc里没有merge目录呢，只有下面几个

total 40
drwx------   4 root root  4096 10月 30 13:58 ./
drwx------ 128 root root 20480 12月 19 12:31 ../
-rw-------   1 root root     0 11月  2 23:02 committed
drwxr-xr-x   3 root root  4096 10月 30 13:57 diff/
-rw-r--r--   1 root root    26 10月 30 13:57 link
-rw-r--r--   1 root root   260 10月 30 13:57 lower
drwx------   2 root root  4096 10月 30 13:57 work/

MKLZL · 2021年12月24日 03:03

你看下这几个目录里面有没有，或者直接docker启动的时候挂载本地磁盘目录

mark · 2022年01月6日 09:41

nice，期待be的

U_1636001764377_3540 · 2022年01月19日 03:54

目前我的经验是这样的：

准备好starrocks/dev-env:main镜像, docker pull starrocks/dev-env:main
准备好starrocks源代码, git clone https://github.com/StarRocks/starrocks.git
启动容器, 并将.m2和源代码mount到容器中, 以便重复执行时节省时间.
docker run -it -v $PWD/starrocks:/var/local/starrocks -v $PWD/.m2:/root/.m2 --rm --entrypoint bash starrocks/dev-env:main
进入代码目录, 先编译第三方库: cd starrocks/thirdparty, 并修改build-thirdparty.sh后执行 bash build-thirdparty.sh

# croaring bitmap

build_croaringbitmap() {undefined
    check_if_source_exist $CROARINGBITMAP_SOURCE
    cd $TP_SOURCE_DIR/$CROARINGBITMAP_SOURCE
    mkdir -p $BUILD_DIR && cd $BUILD_DIR
    rm -rf CMakeCache.txt CMakeFiles/
    CXXFLAGS="-O3 -mno-avx2 -mno-avx" \   # 增加两个选项
    LDFLAGS="-L${TP_LIB_DIR} -static-libstdc++ -static-libgcc" \
    $CMAKE_CMD -DROARING_BUILD_STATIC=ON -DCMAKE_INSTALL_PREFIX=$TP_INSTALL_DIR \
    -DCMAKE_INCLUDE_PATH="$TP_INSTALL_DIR/include" \
    -DENABLE_ROARING_TESTS=OFF \          
    -DROARING_DISABLE_NATIVE=ON \
    -DFORCE_AVX=OFF \   # 改成OFF
    -DCMAKE_LIBRARY_PATH="$TP_INSTALL_DIR/lib;$TP_INSTALL_DIR/lib64" ..
    make -j$PARALLEL && make install
}

编译starrocks be: cd starrocks && bash build.sh --be
只因为服务器不支持avx2的话编译出be即可,fe仍用对应的官方编译版本.

laijunqi · 2022年01月27日 06:27

按照上述操作，starrroks fe可以启动起来，但是有一个问题是在跑单测的时候，build and run 过程特别慢，请问这个需要如何调整呢，目前是在mac系统下进行运行fe的