ci: 共享 pnpm store 加速本地 runner
This commit is contained in:
1 parent
b43b6f2785
commit
b82aa12875
4 files changed
+24
-11
No files matched your search
@@ -18,6 +18,8 @@ concurrency:
|
||||
env:
|
||||
NODE_VERSION: "24"
|
||||
PNPM_VERSION: "9.15.0"
|
||||
# runner 任务容器把该路径 bind mount 到宿主机共享 store,避免每个 job 重复下载依赖。
|
||||
npm_config_store_dir: /workspace/.pnpm-store
|
||||
|
||||
jobs:
|
||||
static:
|
||||
@@ -32,7 +34,6 @@ jobs:
|
||||
- uses: actions/setup-node@v4
|
||||
with:
|
||||
node-version: ${{ env.NODE_VERSION }}
|
||||
cache: pnpm
|
||||
- name: Restore Turbo cache
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
@@ -63,7 +64,6 @@ jobs:
|
||||
- uses: actions/setup-node@v4
|
||||
with:
|
||||
node-version: ${{ env.NODE_VERSION }}
|
||||
cache: pnpm
|
||||
- name: Restore Turbo cache
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
@@ -91,7 +91,6 @@ jobs:
|
||||
- uses: actions/setup-node@v4
|
||||
with:
|
||||
node-version: ${{ env.NODE_VERSION }}
|
||||
cache: pnpm
|
||||
- run: pnpm install --frozen-lockfile
|
||||
- name: Cache Playwright browsers
|
||||
uses: actions/cache@v4
|
||||
@@ -133,7 +132,6 @@ jobs:
|
||||
- uses: actions/setup-node@v4
|
||||
with:
|
||||
node-version: ${{ env.NODE_VERSION }}
|
||||
cache: pnpm
|
||||
- run: pnpm install --frozen-lockfile
|
||||
- name: Prepare API test env
|
||||
working-directory: apps/api
|
||||
|
||||
@@ -15,6 +15,7 @@
|
||||
# RUNNER_ROOT 默认 $HOME/gitea-runner
|
||||
# RUNNER_CAPACITY 默认 1,按 runner 主机资源设置并发数
|
||||
# RUNNER_CONTAINER_OPTIONS 默认 "--cpus=1.5 --memory=4g"
|
||||
# RUNNER_PNPM_STORE 宿主机 pnpm store 目录,默认 $RUNNER_ROOT/pnpm-store
|
||||
# RUNNER_IMAGE 任务容器镜像,默认 node:24-bookworm;本地预构建镜像可传 personal-brand-ci:node24
|
||||
# CACHE_PORT 默认 8193
|
||||
# RUNNER_CACHE_HOST 默认 172.17.0.1(Docker 默认 bridge 网关)
|
||||
@@ -29,6 +30,7 @@ RUNNER_VERSION=${RUNNER_VERSION:-5.2.0}
|
||||
RUNNER_ROOT=${RUNNER_ROOT:-$HOME/gitea-runner}
|
||||
RUNNER_CAPACITY=${RUNNER_CAPACITY:-1}
|
||||
RUNNER_CONTAINER_OPTIONS=${RUNNER_CONTAINER_OPTIONS:-"--cpus=1.5 --memory=4g"}
|
||||
RUNNER_PNPM_STORE=${RUNNER_PNPM_STORE:-$RUNNER_ROOT/pnpm-store}
|
||||
RUNNER_IMAGE=${RUNNER_IMAGE:-node:24-bookworm}
|
||||
CACHE_PORT=${CACHE_PORT:-8193}
|
||||
RUNNER_CACHE_HOST=${RUNNER_CACHE_HOST:-172.17.0.1}
|
||||
@@ -58,7 +60,7 @@ run() {
|
||||
archive="gitea-runner-${RUNNER_VERSION}-linux-${ARCH}.xz"
|
||||
base="https://dl.gitea.com/gitea-runner/${RUNNER_VERSION}"
|
||||
|
||||
run mkdir -p "$RUNNER_ROOT" "$CACHE_DIR"
|
||||
run mkdir -p "$RUNNER_ROOT" "$CACHE_DIR" "$RUNNER_PNPM_STORE"
|
||||
if [ ! -x "$RUNNER_ROOT/gitea-runner-${RUNNER_VERSION}-linux-${ARCH}" ]; then
|
||||
run curl -fsSL -o "$RUNNER_ROOT/$archive" "$base/$archive"
|
||||
run curl -fsSL -o "$RUNNER_ROOT/$archive.sha256" "$base/$archive.sha256"
|
||||
@@ -66,6 +68,12 @@ if [ ! -x "$RUNNER_ROOT/gitea-runner-${RUNNER_VERSION}-linux-${ARCH}" ]; then
|
||||
run xz -d -f "$RUNNER_ROOT/$archive"
|
||||
fi
|
||||
run chmod +x "$RUNNER_ROOT/gitea-runner-${RUNNER_VERSION}-linux-${ARCH}"
|
||||
|
||||
# 把 pnpm store 挂到所有任务容器的固定路径;workflow 通过 npm_config_store_dir 指向它。
|
||||
case " $RUNNER_CONTAINER_OPTIONS " in
|
||||
*"/workspace/.pnpm-store"*) ;;
|
||||
*) RUNNER_CONTAINER_OPTIONS="$RUNNER_CONTAINER_OPTIONS --volume=${RUNNER_PNPM_STORE}:/workspace/.pnpm-store" ;;
|
||||
esac
|
||||
run ln -sf "gitea-runner-${RUNNER_VERSION}-linux-${ARCH}" "$RUNNER_ROOT/gitea-runner"
|
||||
|
||||
label_specs() {
|
||||
|
||||
+4
-2
@@ -35,7 +35,9 @@ Runner 与本地开发工作共用 `Elitebook` 主机,不再与生产 API 共
|
||||
|
||||
## 缓存
|
||||
|
||||
Runner 内置 cache server(`cache.host=172.17.0.1`、`cache.port=8193`、`cache.dir=~/gitea-runner/cache-data`),供 `actions/setup-node` 的 pnpm 缓存使用。
|
||||
Runner 内置 cache server(`cache.host=172.17.0.1`、`cache.port=8193`、`cache.dir=~/gitea-runner/cache-data`),供 `actions/cache` 使用(Turbo 缓存等)。
|
||||
|
||||
pnpm 依赖不再走 actions/cache:宿主机 `~/gitea-runner/pnpm-store` 被 bind mount 到任务容器的 `/workspace/.pnpm-store`,workflow 的 `npm_config_store_dir` 指向该路径。同一轮 CI 里的 static、build、api、browser-smoke 共享一份 store,`pnpm install` 只做链接/校验,不再重复下载 1600+ 个包。
|
||||
|
||||
如果 runner 主机启用了 `ufw`,任务容器到 cache server 的流量会被 `INPUT DROP` 拦截,需要显式放行 Docker 使用的三个私网网段;本地工作站未启用 `ufw`,无需配置:
|
||||
|
||||
@@ -79,7 +81,7 @@ Runner 日志级别保持 `debug`:`info` 级别不会记录各 step 的 `Succe
|
||||
| Production build | 11.7 min | 7.6 min |
|
||||
| API integration | 9.7 min | 3.8 min |
|
||||
|
||||
缓存内容为 pnpm store,首次落盘约 268 MB,位于 `~/gitea-runner/cache-data`。
|
||||
缓存内容为 pnpm store,首次落盘约 1.1 GB,位于 `~/gitea-runner/pnpm-store`(共享 bind mount)。
|
||||
|
||||
## 触发范围
|
||||
|
||||
|
||||
@@ -19,6 +19,7 @@ RUNNER_LABELS=ubuntu-latest,local-x64 \
|
||||
RUNNER_CAPACITY=2 \
|
||||
RUNNER_CONTAINER_OPTIONS='--cpus=4 --memory=8g' \
|
||||
RUNNER_IMAGE=personal-brand-ci:node24 \
|
||||
RUNNER_PNPM_STORE=$HOME/gitea-runner/pnpm-store \
|
||||
SKIP_LINGER=1 \
|
||||
./install-runner.sh
|
||||
```
|
||||
@@ -30,9 +31,10 @@ SKIP_LINGER=1 \
|
||||
1. 按架构下载 `gitea-runner-<version>-linux-<arch>`,校验 `.sha256` 后解压到 `~/gitea-runner`。
|
||||
2. 用 `--no-interactive` 注册,写出 `.runner`(已存在则跳过,可重复执行)。
|
||||
3. 生成 `config.yaml`:按 `RUNNER_CAPACITY` 设置并发,使用 `RUNNER_IMAGE`(默认 `node:24-bookworm`)作为任务容器镜像,内置 cache server 监听 `172.17.0.1:8193`,并按 `RUNNER_CONTAINER_OPTIONS` 限制任务容器资源。
|
||||
4. 为下载的 runner 二进制补上可执行权限,避免归档解压后出现 `Permission denied`。
|
||||
5. 装 systemd user unit `gitea-runner.service`,执行 `loginctl enable-linger` 后 `enable --now`。
|
||||
6. 放行任务容器到 cache 端口的 ufw 规则。
|
||||
4. 把 `RUNNER_PNPM_STORE`(默认 `~/gitea-runner/pnpm-store`)bind mount 到任务容器的 `/workspace/.pnpm-store`;workflow 通过 `npm_config_store_dir` 指向同一路径,所有 job 复用这份 pnpm store,避免重复下载依赖。
|
||||
5. 为下载的 runner 二进制补上可执行权限,避免归档解压后出现 `Permission denied`。
|
||||
6. 装 systemd user unit `gitea-runner.service`,执行 `loginctl enable-linger` 后 `enable --now`。
|
||||
7. 放行任务容器到 cache 端口的 ufw 规则。
|
||||
|
||||
## 专用 CI 镜像
|
||||
|
||||
@@ -62,9 +64,11 @@ systemctl --user restart gitea-runner.service
|
||||
```bash
|
||||
systemctl --user status gitea-runner.service
|
||||
journalctl --user -u gitea-runner -n 100 --no-pager
|
||||
du -sh ~/gitea-runner/cache-data
|
||||
du -sh ~/gitea-runner/cache-data ~/gitea-runner/pnpm-store
|
||||
```
|
||||
|
||||
`pnpm-store` 会持续增长。确认没有 job 运行时,可以执行 `pnpm store prune` 清理未被引用的包(在任意任务容器里对 `/workspace/.pnpm-store` 执行,或直接删除旧目录后让下一次 job 重新填充)。
|
||||
|
||||
仓库侧 `pnpm deploy:status` 也会打印 `ci-runner=` 一行。
|
||||
|
||||
## 排障
|
||||
@@ -80,6 +84,7 @@ du -sh ~/gitea-runner/cache-data
|
||||
## 约束
|
||||
|
||||
- 本地 runner 使用 `capacity: 2`,每个任务容器限制 `4 CPU / 8 GB`;按宿主资源调整,不要超过实际可用内存。
|
||||
- `~/gitea-runner/pnpm-store` 是所有 job 共享的 pnpm store。不要删除正在被 job 使用的 store;换 runner 主机时整目录拷贝或重新预热即可。
|
||||
- 本地 runner 关机或休眠时,required checks 会保持 queued。需要开机自启时执行 `sudo loginctl enable-linger "$USER"`,否则用户会话退出后服务会停止。
|
||||
- 日志级别保持 `debug`:`info` 级别不记录各 step 的结果行,排障时等于没有日志。
|
||||
- 完整浏览器回归不进入定时或 main 推送 CI;PR 只运行轻量 browser smoke(见 `docs/ci.md`),完整套件仍在发布前执行。
|
||||
Reference in new issue
Block a user