你们的管线聊胜于无

[KaranocaVe]

问题摘要 / Issue Summary

感觉项目管理很野蛮

问题类别 / Issue Category

CI/CD相关 / CI/CD Related

优先级 / Priority

高 - 影响项目正常运行 / High - Affects normal project operation

详细描述 / Detailed Description

1. pr之后应该能自动化触发构建、测试、发布nightly版本。
2. 不同项目之间的依赖应该通过gitsubmodule来导入。
3. 缺乏自动化测试。
4. docker缺乏由管线触发的自动化构建和发布。
5. 由于没有利用任何平台相关的特性，docker应该使用buildx来自动构建多平台image，而不是为每个平台单独维护一份配置。
6. 缺乏依赖管理，比如前端竟然必须使用旧版本的node才能构建，这既不优雅，也不安全

相关背景 / Related Context

No response

影响评估 / Impact Assessment

No response

补充信息 / Additional Information

No response

确认事项 / Confirmations

• 我已经确认这个问题不属于Bug报告、功能请求、问题咨询或文档问题
  I have confirmed this issue doesn't belong to bug reports, feature requests, questions, or documentation issues

• 我已经搜索了现有的issues，确认这不是重复问题
  I have searched existing issues and confirmed this is not a duplicate

• 我提供的信息清晰准确
  The information I provided is clear and accurate

• 我理解这类问题可能需要更多时间来评估和处理
  I understand this type of issue may require more time to evaluate and process

• 我愿意提供更多信息或协助解决 (可选)
  I'm willing to provide more information or help resolve the issue (optional)

[ZJUPJM]

CI/CD改进计划

非常感谢您的建议，针对您的建议，我们已完成部分工作，现逐一说明：

1. PR自动化构建、测试和Nightly版本发布

已实施

PR触发构建和测试

• 已通过 .github/workflows/app-platform-java-compile.yml 实现
• PR提交后自动触发Java后端编译和单元测试（mvn clean install），示例截图如下：

Nightly版本自动构建和发布

• 项目成员@desAweis已创建workflow：https://github.com/desAweis/app-platform/actions/workflows/build-experience-images-daily.yml
• 每日UTC 0点自动构建并发布 experience-daily 镜像
• 构建5个核心镜像：app-builder, fit-runtime-java, fit-runtime-python, jade-web, postgres:15.2

使用方式

修改.env文件

VERSION="experience-daily"

然后执行 install_x86.bat 或 bash install_x86.sh

版本说明

版本类型	标签格式	更新频率	适用场景
Stable	opensource-1.x.x	正式发布	生产环境
Nightly	experience-daily	每日构建	测试新功能
PR Build	-	PR触发	仅验证编译

待改进

1. 前端构建未纳入CI
2. Pipeline手动构建脚本跳过了测试
3. 缺少ARM64的Nightly构建

状态: 基本完成，持续改进中

---

2. 依赖管理

当前状态

@fit-elsa/elsa: 已发布为NPM包（v1.0.2）

{
  "dependencies": {
    "@fit-elsa/elsa": "1.0.2"
  }
}

@fit-elsa/agent-flow: 当前使用 file:../agent-flow，计划v1.4.0发布为NPM包

开发者使用

# 克隆并安装依赖
git clone https://github.com/ModelEngine-Group/app-platform.git
cd app-platform/frontend
npm install

# 本地开发agent-flow（如需修改）
cd ../agent-flow && npm install && npm run build
cd ../frontend && npm install

状态: elsa已完成，agent-flow进行中

---

3. 自动化测试

项目已具备自动化测试能力

Java后端测试

• 已有20+个单元测试类，覆盖核心功能模块
• Maven构建会自动执行测试：mvn clean package 或 mvn clean install
• 测试框架：JUnit + Mockito
• 代码覆盖率工具：JaCoCo（已配置）

测试位置示例：

app-builder/components/app-builder-security/src/test/java/
app-builder/plugins/aipp-code/src/test/java/
app-builder/plugins/aipp-extractor/src/test/java/
...

CI中的测试执行情况

PR CI: 已执行测试

# .github/workflows/app-platform-java-compile.yml
- name: Build with Maven
  run: mvn clean install  # 包含test阶段

手动构建脚本: 跳过了测试

# pipeline/independent/x86/framework/fit/java/build.sh
SKIP_TESTS=true  # 第6行
mvn clean install -DskipTests  # 第67、73行

状态: Java后端已有测试，前端待完善

---

4. Docker自动构建和发布

功能已实现

如问题1所述，Docker镜像的自动构建和发布已经实现：

• 每日UTC 0点自动触发构建
• 自动发布 experience-daily 标签的5个镜像到镜像仓库
• 构建流程完整：编译 → 打包 → Docker构建 → 推送

Workflow位置说明

当前 build-experience-images-daily.yml workflow暂时维护在团队成员@desAweis的个人仓库中

迁移计划：

• 目标：将workflow迁移到主仓库（pipeline或app-platform）
• 时间：v1.4.0版本之前完成
• 迁移步骤：
  1. 在主仓库配置必要的secrets
  2. 复制并调整workflow文件
  3. 测试验证后停用个人仓库的workflow

状态: 已实现并稳定运行，计划迁移到主仓库

---

5. Docker Buildx多平台构建

建议非常合理

当前项目为x86和arm64维护了两套独立的构建配置：

• pipeline/independent/x86/ - 完整的x86构建脚本和Dockerfile
• pipeline/independent/arm64/ - 完整的arm64构建脚本和Dockerfile

这导致：

1. 代码重复，维护成本高
2. 两套配置容易产生不一致
3. 未利用Docker Buildx的多平台构建能力

解决方案

我们已为此创建专项issue进行跟踪和解决：

Issue: ModelEngine-Group/pipeline#55

负责人: @desAweis

计划:

1. 重构Dockerfile，使用多阶段构建和平台变量
2. 统一构建脚本，使用 docker buildx build --platform linux/amd64,linux/arm64
3. 移除重复的平台特定配置
4. 更新CI/CD workflow以支持多平台构建

感谢您的专业建议，这将显著改善我们的构建流程。

---

6. 前端Node版本依赖管理

问题确实存在

您指出的问题很准确：

• 项目README明确说明不支持Node v24
• 缺少版本锁定机制（.nvmrc, engines字段）
• 开发者需要手动安装特定版本Node
• 存在潜在的安全和兼容性风险

解决方案

我们已为此创建专项issue进行跟踪和解决：

Issue: ModelEngine-Group/pipeline#25

负责人: @ZJUPJM

计划:

1. 添加 .nvmrc 文件锁定Node版本
2. 在 package.json 中添加 engines 字段
3. CI/CD中明确指定Node版本（当前已使用20.12.1）
4. 评估升级到Node LTS最新版本（v24.x）
5. 添加版本检查脚本，不兼容时给出友好提示

预计完成: v1.4.0

感谢您关注项目的安全性和开发体验。

---

总结

感谢您提出的6条宝贵建议，汇总如下：

#	问题	状态	说明
1	PR自动化构建、测试和Nightly版本	已完成	PR CI运行中，Daily镜像每日发布
2	依赖管理	部分完成	采用NPM包管理，elsa已发布
3	自动化测试	已有基础	Java后端已有测试，前端待完善
4	Docker自动构建和发布	已实现	每日自动构建，计划迁移到主仓库
5	Docker Buildx多平台构建	已立项	ModelEngine-Group/pipeline#55，v1.5.0完成
6	Node版本依赖管理	已立项	ModelEngine-Group/pipeline#25，v1.4.0完成

再次感谢您的宝贵建议，欢迎继续提出建议！