ci: 迁移本地 runner 并优化并行检查

This commit is contained in:
que01 committed 2026-10-23 15:40:50 +08:00
1 parent 371689484e
commit 965dd10219
6 files changed
+69 -35

No files matched your search

@@ -1,7 +1,7 @@
{
"schemaVersion": 1,
"scope": "模板完成证据登记,保留命令、日志与产物哈希",
"generatedAt": "2026-10-23T06:35:59.337Z",
"generatedAt": "2026-10-23T07:40:54.556Z",
"templates": {
"acheng-campus-food": {
"real-manifest-interaction": {
@@ -256,5 +256,5 @@
}
}
},
"sourceTreeHash": "f39e31a1959e24c07bf60776a0d3c5f28e5745962ca004301ff304daa1430041"
"sourceTreeHash": "f0bb03d734cf303b75be41bbcab6eea15f5479ac197b16c82f78e1faad71b17e"
}
+18 -4
View File
@@ -3,7 +3,7 @@ name: CI
on:
push:
branches: [main]
# 纯文档提交不消耗 2 核 runner;需要状态时用 workflow_dispatch 手动触发。
# 纯文档提交不占用 runner;需要状态时用 workflow_dispatch 手动触发。
paths-ignore:
- "**.md"
# PR 不设置 paths-ignore:branch protection 的 required checks 必须始终上报,
@@ -33,6 +33,14 @@ jobs:
with:
node-version: ${{ env.NODE_VERSION }}
cache: pnpm
- name: Restore Turbo cache
uses: actions/cache@v4
with:
path: .turbo/cache
key: turbo-${{ runner.os }}-${{ runner.arch }}-${{ hashFiles('pnpm-lock.yaml') }}-${{ github.sha }}
restore-keys: |
turbo-${{ runner.os }}-${{ runner.arch }}-${{ hashFiles('pnpm-lock.yaml') }}-
turbo-${{ runner.os }}-${{ runner.arch }}-
- run: pnpm install --frozen-lockfile
- run: pnpm check
- run: pnpm test:api-routes
@@ -56,6 +64,14 @@ jobs:
with:
node-version: ${{ env.NODE_VERSION }}
cache: pnpm
- name: Restore Turbo cache
uses: actions/cache@v4
with:
path: .turbo/cache
key: turbo-${{ runner.os }}-${{ runner.arch }}-${{ hashFiles('pnpm-lock.yaml') }}-${{ github.sha }}
restore-keys: |
turbo-${{ runner.os }}-${{ runner.arch }}-${{ hashFiles('pnpm-lock.yaml') }}-
turbo-${{ runner.os }}-${{ runner.arch }}-
- run: pnpm install --frozen-lockfile
- run: pnpm build
- run: pnpm build:admin:preview
@@ -67,7 +83,6 @@ jobs:
if: github.event_name == 'pull_request' || github.event_name == 'workflow_dispatch'
runs-on: ubuntu-latest
timeout-minutes: 30
needs: [static]
steps:
- uses: actions/checkout@v4
- uses: pnpm/action-setup@v4
@@ -82,7 +97,7 @@ jobs:
uses: actions/cache@v4
with:
path: ~/.cache/ms-playwright
key: playwright-${{ runner.os }}-${{ hashFiles('pnpm-lock.yaml') }}
key: playwright-${{ runner.os }}-${{ runner.arch }}-${{ hashFiles('pnpm-lock.yaml') }}
- name: Install Chromium
run: pnpm --filter @personal-brand/taro exec playwright install --with-deps chromium
- name: Run PR browser smoke
@@ -92,7 +107,6 @@ jobs:
name: API integration
runs-on: ubuntu-latest
timeout-minutes: 45
needs: [static]
services:
postgres:
image: postgres:16-alpine
+6 -1
View File
@@ -18,7 +18,12 @@ RUN pnpm --filter @personal-brand/config build
RUN pnpm --filter @personal-brand/types build
RUN pnpm --filter @personal-brand/validation build
RUN pnpm --filter @personal-brand/api-client build
RUN pnpm add -w @tarojs/binding-linux-arm64-gnu@4.3.0
ARG TARGETARCH
RUN case "${TARGETARCH:-$(uname -m)}" in \
arm64 | aarch64) pnpm add -w @tarojs/binding-linux-arm64-gnu@4.3.0 ;; \
amd64 | x86_64) pnpm add -w @tarojs/binding-linux-x64-gnu@4.3.0 ;; \
*) echo "unsupported TARGETARCH: ${TARGETARCH:-$(uname -m)}" >&2; exit 1 ;; \
esac
RUN pnpm build:admin:preview
FROM alpine:latest AS runtime
+16 -6
View File
@@ -10,22 +10,28 @@
# RUNNER_TOKEN 仓库 Settings → Actions → Runners 里生成的注册 token
# 可选:
# RUNNER_NAME runner 名称,默认取 hostname
# RUNNER_LABELS 默认 ubuntu-latest,oracle-arm
# RUNNER_LABELS 默认 ubuntu-latest
# RUNNER_VERSION 默认 5.2.0
# RUNNER_ROOT 默认 $HOME/gitea-runner
# RUNNER_CAPACITY 默认 1,按 runner 主机资源设置并发数
# RUNNER_CONTAINER_OPTIONS 默认 "--cpus=1.5 --memory=4g"
# CACHE_PORT 默认 8193
# RUNNER_CACHE_HOST 默认 172.17.0.1(Docker 默认 bridge 网关)
# SKIP_LINGER 默认 0;设为 1 时不尝试用 sudo 开启 linger
set -euo pipefail
GITEA_URL=${GITEA_URL:?需要设置 GITEA_URL}
RUNNER_TOKEN=${RUNNER_TOKEN:?需要设置 RUNNER_TOKEN}
RUNNER_NAME=${RUNNER_NAME:-$(hostname -s)}
RUNNER_LABELS=${RUNNER_LABELS:-ubuntu-latest,oracle-arm}
RUNNER_LABELS=${RUNNER_LABELS:-ubuntu-latest}
RUNNER_VERSION=${RUNNER_VERSION:-5.2.0}
RUNNER_ROOT=${RUNNER_ROOT:-$HOME/gitea-runner}
RUNNER_CAPACITY=${RUNNER_CAPACITY:-1}
RUNNER_CONTAINER_OPTIONS=${RUNNER_CONTAINER_OPTIONS:-"--cpus=1.5 --memory=4g"}
CACHE_PORT=${CACHE_PORT:-8193}
RUNNER_CACHE_HOST=${RUNNER_CACHE_HOST:-172.17.0.1}
CACHE_DIR=${CACHE_DIR:-$RUNNER_ROOT/cache-data}
SKIP_LINGER=${SKIP_LINGER:-0}
DRY_RUN=${DRY_RUN:-0}
if [ "$DRY_RUN" != "1" ]; then
@@ -57,6 +63,7 @@ if [ ! -x "$RUNNER_ROOT/gitea-runner-${RUNNER_VERSION}-linux-${ARCH}" ]; then
run env -C "$RUNNER_ROOT" sha256sum -c "$archive.sha256"
run xz -d -f "$RUNNER_ROOT/$archive"
fi
run chmod +x "$RUNNER_ROOT/gitea-runner-${RUNNER_VERSION}-linux-${ARCH}"
run ln -sf "gitea-runner-${RUNNER_VERSION}-linux-${ARCH}" "$RUNNER_ROOT/gitea-runner"
if [ ! -f "$RUNNER_ROOT/.runner" ]; then
@@ -76,7 +83,7 @@ log:
level: debug
runner:
file: .runner
capacity: 1
capacity: ${RUNNER_CAPACITY}
timeout: 2h
fetch_timeout: 10s
fetch_interval: 2s
@@ -88,7 +95,7 @@ cache:
host: ${RUNNER_CACHE_HOST}
port: ${CACHE_PORT}
container:
options: "--cpus=1.5 --memory=4g"
options: "${RUNNER_CONTAINER_OPTIONS}"
valid_volumes: []
docker_host: "-"
CONFIG
@@ -111,8 +118,11 @@ WantedBy=default.target
UNIT
# 用户级 systemd 服务默认在最后一个会话退出后停止;开启 linger 才能在重启后自动拉起 runner。
if command -v loginctl >/dev/null 2>&1; then
run sudo loginctl enable-linger "$USER"
if [ "$SKIP_LINGER" != "1" ] && command -v loginctl >/dev/null 2>&1; then
linger=$(loginctl show-user "$USER" -p Linger --value 2>/dev/null || true)
if [ "$linger" != "yes" ]; then
run sudo loginctl enable-linger "$USER"
fi
fi
run systemctl --user daemon-reload
run systemctl --user enable --now gitea-runner.service
+13 -13
View File
@@ -1,22 +1,22 @@
# CI(Gitea Actions)
远端仓库是 Gitea,CI 由 `.gitea/workflows/ci.yml` 定义,运行在 `oracle_arm` 主机上的 self-hosted runner。
远端仓库是 Gitea,CI 由 `.gitea/workflows/ci.yml` 定义,运行在本地工作站 `Elitebook` 上的 self-hosted runner(x86_64、Docker、双并发)。旧的 `oracle_arm` runner 已停止并禁用,避免两个 runner 争抢 `ubuntu-latest` 标签。
## Runner
安装与运维步骤见 `docs/runner-setup.md`(`deploy/runner/install-runner.sh` 可复现整套配置)。
- 程序:`gitea-runner` v5.2.0(linux/arm64),位于 `/home/ubuntu/gitea-runner`
- 程序:`gitea-runner` v5.2.0(linux/amd64),位于 `~/gitea-runner`
- 服务:systemd user unit `gitea-runner.service`
- 标签:`ubuntu-latest`、`oracle-arm`
- 执行模式:Docker,单并发,任务容器限制 `--cpus=1.5 --memory=4g`
- 标签:`ubuntu-latest`、`local-x64`
- 执行模式:Docker,双并发,任务容器限制 `--cpus=4 --memory=8g`
- 作用域:仅 `que01/persionalBrand` 仓库
查看状态:
```bash
ssh oracle_arm 'systemctl --user status gitea-runner.service'
ssh oracle_arm 'journalctl --user -u gitea-runner -n 100 --no-pager'
systemctl --user status gitea-runner.service
journalctl --user -u gitea-runner -n 100 --no-pager
```
## 当前门禁
@@ -26,17 +26,17 @@ ssh oracle_arm 'journalctl --user -u gitea-runner -n 100 --no-pager'
- `api`:PostgreSQL service container 上的 API integration
- `browser-smoke`:PR 和手动触发时执行会话恢复、创建品牌与页面方案 smoke;只在 PR 和 `workflow_dispatch` 运行,main 合并后不重复执行
完整浏览器回归仍作为发布前本地门禁执行,避免在 2 核生产主机上运行完整 Playwright 套件抢占资源。PR smoke 只跑两条关键流程,并使用已构建的 Admin 静态产物与 mocked API。
完整浏览器回归仍作为发布前本地门禁执行,避免在共享开发机上运行过重的 Playwright 套件。PR smoke 只跑两条关键流程,并使用已构建的 Admin 静态产物与 mocked API。
## 注意
Runner 与生产 API 共用 `oracle_arm` 主机。任务容器已限制 CPU 与内存;如果 CI 期间生产延迟明显,应暂停 runner 或迁移到独立主机。
Runner 与本地开发工作共用 `Elitebook` 主机,不再与生产 API 共用资源。任务容器限制 4 CPU / 8 GB、并发 2;本地机器关机或休眠时 CI 会排队,required checks 不会自动完成。
## 缓存
Runner 内置 cache server(`cache.host=172.17.0.1`、`cache.port=8193`、`cache.dir=/home/ubuntu/gitea-runner/cache-data`),供 `actions/setup-node` 的 pnpm 缓存使用。
Runner 内置 cache server(`cache.host=172.17.0.1`、`cache.port=8193`、`cache.dir=~/gitea-runner/cache-data`),供 `actions/setup-node` 的 pnpm 缓存使用。
任务容器与主机之间被 `ufw` 的 `INPUT DROP` 默认策略拦截,需要显式放行 Docker 使用的三个私网网段:
如果 runner 主机启用了 `ufw`,任务容器到 cache server 的流量会被 `INPUT DROP` 拦截,需要显式放行 Docker 使用的三个私网网段;本地工作站未启用 `ufw`,无需配置:
```bash
sudo ufw allow from 172.16.0.0/12 to any port 8193 proto tcp comment "gitea actions cache"
@@ -56,7 +56,7 @@ docker exec <job-container> node -e 'fetch("http://172.17.0.1:8193/").then(r=>co
Runner 日志级别保持 `debug`:`info` 级别不会记录各 step 的 `Success - Main ...` 与告警,排障时只能依赖 Gitea 页面。
## 首次完整通过
## 迁移前基线(`oracle_arm`)
| 项 | 值 |
| ---------------- | ----------------------------- |
@@ -78,11 +78,11 @@ Runner 日志级别保持 `debug`:`info` 级别不会记录各 step 的 `Succe
| Production build | 11.7 min | 7.6 min |
| API integration | 9.7 min | 3.8 min |
缓存内容为 pnpm store,首次落盘约 268 MB,位于 `/home/ubuntu/gitea-runner/cache-data`。
缓存内容为 pnpm store,首次落盘约 268 MB,位于 `~/gitea-runner/cache-data`。
## 触发范围
- `push` 到 `main` 时忽略纯文档改动(`**.md`),避免 2 核主机为文档提交跑完整 CI。
- `push` 到 `main` 时忽略纯文档改动(`**.md`),避免为文档提交跑完整 CI。
- `pull_request` 不设置 `paths-ignore`。branch protection 要求的 status check 必须每次都上报,否则纯文档 PR 会一直停在「等待检查」而无法合并。
- 需要给纯文档提交补一次状态时,用 `workflow_dispatch` 手动触发。
+14 -9
View File
@@ -1,11 +1,11 @@
# CI Runner 安装与运维
CI 跑在自托管 Gitea Actions runner 上(当前主机 `oracle_arm`,与生产 API 共用 2 核)。本文件记录可复现的安装步骤,避免换机器时重新摸索。
CI 跑在自托管 Gitea Actions runner 上。当前使用本地工作站 `Elitebook`(x86_64、12 核、30 GB,Docker 容器执行),旧的 `oracle_arm` runner 已停止并禁用。本文件记录可复现的安装步骤,避免换机器时重新摸索。
## 一次性准备
1. 在 Gitea 仓库 Settings → Actions → Runners 里创建注册 token(只对单个仓库或整个实例生效)。
2. 目标主机需要:Docker、`curl`、`xz`、`ufw`、systemd、可用 sudo、Node 不需要(任务容器自带)。
2. 目标主机需要:Docker、`curl`、`xz`、systemd;Node 不需要(任务容器自带)。`ufw` 和 `sudo` 仅在需要配置防火墙或 linger 时使用。
## 安装
@@ -14,8 +14,11 @@ CI 跑在自托管 Gitea Actions runner 上(当前主机 `oracle_arm`,与生
```bash
GITEA_URL=https://git.example.com \
RUNNER_TOKEN=<注册 token> \
RUNNER_NAME=oracle-arm \
RUNNER_LABELS=ubuntu-latest,oracle-arm \
RUNNER_NAME=elitebook-local \
RUNNER_LABELS=ubuntu-latest,local-x64 \
RUNNER_CAPACITY=2 \
RUNNER_CONTAINER_OPTIONS='--cpus=4 --memory=8g' \
SKIP_LINGER=1 \
./install-runner.sh
```
@@ -25,9 +28,10 @@ RUNNER_LABELS=ubuntu-latest,oracle-arm \
1. 按架构下载 `gitea-runner-<version>-linux-<arch>`,校验 `.sha256` 后解压到 `~/gitea-runner`。
2. 用 `--no-interactive` 注册,写出 `.runner`(已存在则跳过,可重复执行)。
3. 生成 `config.yaml`:单并发、`docker://node:24-bookworm` 标签、内置 cache server 监听 `172.17.0.1:8193`、任务容器限制 `--cpus=1.5 --memory=4g`。
4. 装 systemd user unit `gitea-runner.service`,执行 `loginctl enable-linger` 后 `enable --now`。
5. 放行任务容器到 cache 端口的 ufw 规则。
3. 生成 `config.yaml`:按 `RUNNER_CAPACITY` 设置并发,使用 `docker://node:24-bookworm` 标签,内置 cache server 监听 `172.17.0.1:8193`,并按 `RUNNER_CONTAINER_OPTIONS` 限制任务容器资源。
4. 为下载的 runner 二进制补上可执行权限,避免归档解压后出现 `Permission denied`。
5. 装 systemd user unit `gitea-runner.service`,执行 `loginctl enable-linger` 后 `enable --now`。
6. 放行任务容器到 cache 端口的 ufw 规则。
## 为什么 ufw 要放行三个网段
@@ -50,11 +54,12 @@ du -sh ~/gitea-runner/cache-data
| push 后 CI 一直 queued 不启动 | runner 服务是否 active;Gitea 仓库 Runners 页面是否显示 online |
| 日志出现 `Failed to GetCacheEntryDownloadURL ... ETIMEDOUT` | ufw 是否放行三个私网段;`docker exec <job-container> node -e 'fetch("http://172.17.0.1:8193/")'` 应返回 404 |
| 一轮 CI 突然变慢 | 缓存是否命中;宿主机负载与磁盘余量 |
| 生产 API 变慢 | CI 与生产共用主机,检查是否在跑 build/api job;必要时暂停 runner |
| 本机开发明显变慢 | 是否同时运行 build/api job;用 `docker stats` 检查任务容器资源 |
| 重启后 runner 没起来 | `loginctl show-user "$USER" -p Linger` 应为 `Linger=yes`;否则执行 `sudo loginctl enable-linger "$USER"` |
## 约束
- `capacity: 1`:不要提高并发,2 核主机上并发只会让生产和 CI 一起变慢。
- 本地 runner 使用 `capacity: 2`,每个任务容器限制 `4 CPU / 8 GB`;按宿主资源调整,不要超过实际可用内存。
- 本地 runner 关机或休眠时,required checks 会保持 queued。需要开机自启时执行 `sudo loginctl enable-linger "$USER"`,否则用户会话退出后服务会停止。
- 日志级别保持 `debug`:`info` 级别不记录各 step 的结果行,排障时等于没有日志。
- 完整浏览器回归不进入定时或 main 推送 CI;PR 只运行轻量 browser smoke(见 `docs/ci.md`),完整套件仍在发布前执行。