ci: 迁移本地 runner 并优化并行检查
This commit is contained in:
1 parent
371689484e
commit
965dd10219
6 files changed
+69
-35
No files matched your search
+13
-13
@@ -1,22 +1,22 @@
|
||||
# CI(Gitea Actions)
|
||||
|
||||
远端仓库是 Gitea,CI 由 `.gitea/workflows/ci.yml` 定义,运行在 `oracle_arm` 主机上的 self-hosted runner。
|
||||
远端仓库是 Gitea,CI 由 `.gitea/workflows/ci.yml` 定义,运行在本地工作站 `Elitebook` 上的 self-hosted runner(x86_64、Docker、双并发)。旧的 `oracle_arm` runner 已停止并禁用,避免两个 runner 争抢 `ubuntu-latest` 标签。
|
||||
|
||||
## Runner
|
||||
|
||||
安装与运维步骤见 `docs/runner-setup.md`(`deploy/runner/install-runner.sh` 可复现整套配置)。
|
||||
|
||||
- 程序:`gitea-runner` v5.2.0(linux/arm64),位于 `/home/ubuntu/gitea-runner`
|
||||
- 程序:`gitea-runner` v5.2.0(linux/amd64),位于 `~/gitea-runner`
|
||||
- 服务:systemd user unit `gitea-runner.service`
|
||||
- 标签:`ubuntu-latest`、`oracle-arm`
|
||||
- 执行模式:Docker,单并发,任务容器限制 `--cpus=1.5 --memory=4g`
|
||||
- 标签:`ubuntu-latest`、`local-x64`
|
||||
- 执行模式:Docker,双并发,任务容器限制 `--cpus=4 --memory=8g`
|
||||
- 作用域:仅 `que01/persionalBrand` 仓库
|
||||
|
||||
查看状态:
|
||||
|
||||
```bash
|
||||
ssh oracle_arm 'systemctl --user status gitea-runner.service'
|
||||
ssh oracle_arm 'journalctl --user -u gitea-runner -n 100 --no-pager'
|
||||
systemctl --user status gitea-runner.service
|
||||
journalctl --user -u gitea-runner -n 100 --no-pager
|
||||
```
|
||||
|
||||
## 当前门禁
|
||||
@@ -26,17 +26,17 @@ ssh oracle_arm 'journalctl --user -u gitea-runner -n 100 --no-pager'
|
||||
- `api`:PostgreSQL service container 上的 API integration
|
||||
- `browser-smoke`:PR 和手动触发时执行会话恢复、创建品牌与页面方案 smoke;只在 PR 和 `workflow_dispatch` 运行,main 合并后不重复执行
|
||||
|
||||
完整浏览器回归仍作为发布前本地门禁执行,避免在 2 核生产主机上运行完整 Playwright 套件抢占资源。PR smoke 只跑两条关键流程,并使用已构建的 Admin 静态产物与 mocked API。
|
||||
完整浏览器回归仍作为发布前本地门禁执行,避免在共享开发机上运行过重的 Playwright 套件。PR smoke 只跑两条关键流程,并使用已构建的 Admin 静态产物与 mocked API。
|
||||
|
||||
## 注意
|
||||
|
||||
Runner 与生产 API 共用 `oracle_arm` 主机。任务容器已限制 CPU 与内存;如果 CI 期间生产延迟明显,应暂停 runner 或迁移到独立主机。
|
||||
Runner 与本地开发工作共用 `Elitebook` 主机,不再与生产 API 共用资源。任务容器限制 4 CPU / 8 GB、并发 2;本地机器关机或休眠时 CI 会排队,required checks 不会自动完成。
|
||||
|
||||
## 缓存
|
||||
|
||||
Runner 内置 cache server(`cache.host=172.17.0.1`、`cache.port=8193`、`cache.dir=/home/ubuntu/gitea-runner/cache-data`),供 `actions/setup-node` 的 pnpm 缓存使用。
|
||||
Runner 内置 cache server(`cache.host=172.17.0.1`、`cache.port=8193`、`cache.dir=~/gitea-runner/cache-data`),供 `actions/setup-node` 的 pnpm 缓存使用。
|
||||
|
||||
任务容器与主机之间被 `ufw` 的 `INPUT DROP` 默认策略拦截,需要显式放行 Docker 使用的三个私网网段:
|
||||
如果 runner 主机启用了 `ufw`,任务容器到 cache server 的流量会被 `INPUT DROP` 拦截,需要显式放行 Docker 使用的三个私网网段;本地工作站未启用 `ufw`,无需配置:
|
||||
|
||||
```bash
|
||||
sudo ufw allow from 172.16.0.0/12 to any port 8193 proto tcp comment "gitea actions cache"
|
||||
@@ -56,7 +56,7 @@ docker exec <job-container> node -e 'fetch("http://172.17.0.1:8193/").then(r=>co
|
||||
|
||||
Runner 日志级别保持 `debug`:`info` 级别不会记录各 step 的 `Success - Main ...` 与告警,排障时只能依赖 Gitea 页面。
|
||||
|
||||
## 首次完整通过
|
||||
## 迁移前基线(`oracle_arm`)
|
||||
|
||||
| 项 | 值 |
|
||||
| ---------------- | ----------------------------- |
|
||||
@@ -78,11 +78,11 @@ Runner 日志级别保持 `debug`:`info` 级别不会记录各 step 的 `Succe
|
||||
| Production build | 11.7 min | 7.6 min |
|
||||
| API integration | 9.7 min | 3.8 min |
|
||||
|
||||
缓存内容为 pnpm store,首次落盘约 268 MB,位于 `/home/ubuntu/gitea-runner/cache-data`。
|
||||
缓存内容为 pnpm store,首次落盘约 268 MB,位于 `~/gitea-runner/cache-data`。
|
||||
|
||||
## 触发范围
|
||||
|
||||
- `push` 到 `main` 时忽略纯文档改动(`**.md`),避免 2 核主机为文档提交跑完整 CI。
|
||||
- `push` 到 `main` 时忽略纯文档改动(`**.md`),避免为文档提交跑完整 CI。
|
||||
- `pull_request` 不设置 `paths-ignore`。branch protection 要求的 status check 必须每次都上报,否则纯文档 PR 会一直停在「等待检查」而无法合并。
|
||||
- 需要给纯文档提交补一次状态时,用 `workflow_dispatch` 手动触发。
|
||||
|
||||
|
||||
+14
-9
@@ -1,11 +1,11 @@
|
||||
# CI Runner 安装与运维
|
||||
|
||||
CI 跑在自托管 Gitea Actions runner 上(当前主机 `oracle_arm`,与生产 API 共用 2 核)。本文件记录可复现的安装步骤,避免换机器时重新摸索。
|
||||
CI 跑在自托管 Gitea Actions runner 上。当前使用本地工作站 `Elitebook`(x86_64、12 核、30 GB,Docker 容器执行),旧的 `oracle_arm` runner 已停止并禁用。本文件记录可复现的安装步骤,避免换机器时重新摸索。
|
||||
|
||||
## 一次性准备
|
||||
|
||||
1. 在 Gitea 仓库 Settings → Actions → Runners 里创建注册 token(只对单个仓库或整个实例生效)。
|
||||
2. 目标主机需要:Docker、`curl`、`xz`、`ufw`、systemd、可用 sudo、Node 不需要(任务容器自带)。
|
||||
2. 目标主机需要:Docker、`curl`、`xz`、systemd;Node 不需要(任务容器自带)。`ufw` 和 `sudo` 仅在需要配置防火墙或 linger 时使用。
|
||||
|
||||
## 安装
|
||||
|
||||
@@ -14,8 +14,11 @@ CI 跑在自托管 Gitea Actions runner 上(当前主机 `oracle_arm`,与生
|
||||
```bash
|
||||
GITEA_URL=https://git.example.com \
|
||||
RUNNER_TOKEN=<注册 token> \
|
||||
RUNNER_NAME=oracle-arm \
|
||||
RUNNER_LABELS=ubuntu-latest,oracle-arm \
|
||||
RUNNER_NAME=elitebook-local \
|
||||
RUNNER_LABELS=ubuntu-latest,local-x64 \
|
||||
RUNNER_CAPACITY=2 \
|
||||
RUNNER_CONTAINER_OPTIONS='--cpus=4 --memory=8g' \
|
||||
SKIP_LINGER=1 \
|
||||
./install-runner.sh
|
||||
```
|
||||
|
||||
@@ -25,9 +28,10 @@ RUNNER_LABELS=ubuntu-latest,oracle-arm \
|
||||
|
||||
1. 按架构下载 `gitea-runner-<version>-linux-<arch>`,校验 `.sha256` 后解压到 `~/gitea-runner`。
|
||||
2. 用 `--no-interactive` 注册,写出 `.runner`(已存在则跳过,可重复执行)。
|
||||
3. 生成 `config.yaml`:单并发、`docker://node:24-bookworm` 标签、内置 cache server 监听 `172.17.0.1:8193`、任务容器限制 `--cpus=1.5 --memory=4g`。
|
||||
4. 装 systemd user unit `gitea-runner.service`,执行 `loginctl enable-linger` 后 `enable --now`。
|
||||
5. 放行任务容器到 cache 端口的 ufw 规则。
|
||||
3. 生成 `config.yaml`:按 `RUNNER_CAPACITY` 设置并发,使用 `docker://node:24-bookworm` 标签,内置 cache server 监听 `172.17.0.1:8193`,并按 `RUNNER_CONTAINER_OPTIONS` 限制任务容器资源。
|
||||
4. 为下载的 runner 二进制补上可执行权限,避免归档解压后出现 `Permission denied`。
|
||||
5. 装 systemd user unit `gitea-runner.service`,执行 `loginctl enable-linger` 后 `enable --now`。
|
||||
6. 放行任务容器到 cache 端口的 ufw 规则。
|
||||
|
||||
## 为什么 ufw 要放行三个网段
|
||||
|
||||
@@ -50,11 +54,12 @@ du -sh ~/gitea-runner/cache-data
|
||||
| push 后 CI 一直 queued 不启动 | runner 服务是否 active;Gitea 仓库 Runners 页面是否显示 online |
|
||||
| 日志出现 `Failed to GetCacheEntryDownloadURL ... ETIMEDOUT` | ufw 是否放行三个私网段;`docker exec <job-container> node -e 'fetch("http://172.17.0.1:8193/")'` 应返回 404 |
|
||||
| 一轮 CI 突然变慢 | 缓存是否命中;宿主机负载与磁盘余量 |
|
||||
| 生产 API 变慢 | CI 与生产共用主机,检查是否在跑 build/api job;必要时暂停 runner |
|
||||
| 本机开发明显变慢 | 是否同时运行 build/api job;用 `docker stats` 检查任务容器资源 |
|
||||
| 重启后 runner 没起来 | `loginctl show-user "$USER" -p Linger` 应为 `Linger=yes`;否则执行 `sudo loginctl enable-linger "$USER"` |
|
||||
|
||||
## 约束
|
||||
|
||||
- `capacity: 1`:不要提高并发,2 核主机上并发只会让生产和 CI 一起变慢。
|
||||
- 本地 runner 使用 `capacity: 2`,每个任务容器限制 `4 CPU / 8 GB`;按宿主资源调整,不要超过实际可用内存。
|
||||
- 本地 runner 关机或休眠时,required checks 会保持 queued。需要开机自启时执行 `sudo loginctl enable-linger "$USER"`,否则用户会话退出后服务会停止。
|
||||
- 日志级别保持 `debug`:`info` 级别不记录各 step 的结果行,排障时等于没有日志。
|
||||
- 完整浏览器回归不进入定时或 main 推送 CI;PR 只运行轻量 browser smoke(见 `docs/ci.md`),完整套件仍在发布前执行。
|
||||
Reference in new issue
Block a user