Refactor: Fix RootModel generation and owner config issues

Co-authored-by: yourton.ma <yourton.ma@gmail.com>

Author: cursoragent

FINAL_FIX_SUMMARY.md

@@ -0,0 +1,235 @@
+# OpenMetadata Owner Config - 完整修复总结
+
+## ✅ 已完成的修复
+
+### 1. 多线程竞态条件修复（已完成）
+
+**问题**: Worker线程复制context时，database_owner还未存储，导致继承失效
+
+**修复文件**:
+- ✅ `ingestion/src/metadata/ingestion/source/database/common_db_source.py` (第220-238行, 279-302行)
+- ✅ `ingestion/src/metadata/ingestion/source/database/database_service.py` (第652行, 第695行)
+
+**关键改动**:
+```python
+# 修复前：先yield，后存储context（错误顺序）
+database_request = CreateDatabaseRequest(owners=...)
+yield Either(right=database_request)  # ← Worker线程可能在这里启动
+context.upsert("database_owner", ...)  # ← 太晚了！
+
+# 修复后：先存储context，后yield（正确顺序）
+database_owner_ref = self.get_database_owner_ref(database_name)
+context.upsert("database_owner", database_owner_name)  # ← 先存储
+database_request = CreateDatabaseRequest(owners=database_owner_ref)
+yield Either(right=database_request)  # ← 然后yield
+```
+
+### 2. RootModel 自动修复（已完成）
+
+**问题**: datamodel-code-generator 生成的 RootModel 包含不支持的 model_config
+
+**修复文件**:
+- ✅ `scripts/datamodel_generation.py` (添加自动修复逻辑)
+
+**修复逻辑**:
+```python
+# 在代码生成后自动扫描并修复所有 RootModel
+# 移除: model_config = ConfigDict(extra="forbid")
+# 保留: class XXX(RootModel[...]): 和 root: Type
+```
+
+### 3. 文档更新（已完成）
+
+**创建的文档**:
+- ✅ `ROOT_MODEL_PERMANENT_FIX.md` - RootModel 根本解决方案
+- ✅ `fix_rootmodel_generation.py` - 独立修复脚本
+- ✅ `ingestion/tests/.../TROUBLESHOOTING.md` - 故障排查指南
+- ✅ `ingestion/tests/.../run-all-tests.sh` - 路径修复
+
+## 🚀 使用新的修复方案
+
+### 方案 A: 自动修复（推荐）⭐
+
+现在每次运行 `mvn clean install` 都会**自动修复** RootModel 问题：
+
+```bash
+cd ~/workspaces/OpenMetadata
+
+# 1. 重新生成所有模型（会自动修复RootModel）
+cd openmetadata-spec
+mvn clean install
+
+# 2. 重新安装 ingestion
+cd ../ingestion
+pip install -e . --force-reinstall --no-deps
+
+# 3. 验证修复
+python3 -c "from metadata.generated.schema.type import ownerConfig; print('✅ Success')"
+
+# 4. 运行测试
+metadata ingest -c tests/unit/metadata/ingestion/owner_config_tests/test-01-basic-configuration.yaml
+```
+
+**输出示例**:
+```
+...
+# Fixing RootModel model_config issues...
+  ✓ Fixed RootModel in: ingestion/src/metadata/generated/schema/type/ownerConfig.py
+  ✓ Fixed RootModel in: ingestion/src/metadata/generated/schema/type/someOther.py
+# Fixed 2 file(s) with RootModel issues
+```
+
+### 方案 B: 手动修复（临时）
+
+如果不想重新生成，可以使用独立脚本：
+
+```bash
+cd ~/workspaces/OpenMetadata
+
+# 运行独立修复脚本
+python3 fix_rootmodel_generation.py
+
+# 验证
+python3 -c "from metadata.generated.schema.type import ownerConfig; print('✅ Success')"
+```
+
+## ⚠️ 当前限制
+
+### Pydantic 数组支持
+
+**问题**: 当前 Pydantic 模型不支持 `List[str]` 形式的 owner 配置
+
+**影响**: Test 3, 4, 7, 8 需要修改配置
+
+**临时解决**: 将数组改为单个字符串
+
+```yaml
+# 从:
+database:
+  "finance_db": ["alice", "bob"]  # ❌ 数组不支持
+
+# 改为:
+database:
+  "finance_db": "alice"  # ✅ 单个字符串
+```
+
+**永久解决**: 需要修改 JSON Schema 或 datamodel-code-generator 配置（详见 `ROOT_MODEL_PERMANENT_FIX.md`）
+
+## 📋 测试验证
+
+### 关键测试
+
+**Test 1-2**: 基础配置（应该可以运行）✅
+```bash
+metadata ingest -c ingestion/tests/unit/metadata/ingestion/owner_config_tests/test-01-basic-configuration.yaml
+metadata ingest -c ingestion/tests/unit/metadata/ingestion/owner_config_tests/test-02-fqn-matching.yaml
+```
+
+**Test 5-6**: 继承测试（验证多线程修复）✅ **最重要！**
+```bash
+metadata ingest -c ingestion/tests/unit/metadata/ingestion/owner_config_tests/test-05-inheritance-enabled.yaml
+metadata ingest -c ingestion/tests/unit/metadata/ingestion/owner_config_tests/test-06-inheritance-disabled.yaml
+```
+
+**Test 3, 4, 7, 8**: 需要修改配置后运行
+
+### 预期结果（Test 5）
+
+验证多线程修复是否成功：
+
+| 实体 | 配置 | 期望Owner | 验证点 |
+|------|------|-----------|--------|
+| finance_db | ✓ | finance-team | 配置明确 |
+| accounting schema | ✗ | **finance-team** | ⭐ 继承（不是default） |
+| revenue table | ✗ | **finance-team** | ⭐ 继承（不是default） |
+| treasury schema | ✓ | treasury-team | 配置明确 |
+| expenses table | ✓ | expense-team | 配置明确 |
+
+如果 accounting 和 revenue 的 owner 是 `finance-team`（而不是 `data-platform-team`），说明**多线程竞态条件修复成功**！🎉
+
+## 🔧 如果遇到问题
+
+### 问题 1: RootModel 错误仍然存在
+
+```bash
+# 检查 datamodel_generation.py 是否包含修复代码
+grep -A 5 "Fix RootModel" scripts/datamodel_generation.py
+
+# 如果没有，手动运行修复脚本
+python3 fix_rootmodel_generation.py
+
+# 或者重新应用 datamodel_generation.py 的修改
+git diff scripts/datamodel_generation.py
+```
+
+### 问题 2: 数组配置报错
+
+**错误信息**:
+```
+ValidationError: Input should be a valid string [type=string_type, input_value=['alice', 'bob'], input_type=list]
+```
+
+**解决**: 将测试配置中的数组改为单个字符串（见上文"当前限制"）
+
+### 问题 3: 继承仍然失效
+
+**检查步骤**:
+1. 确认运行的是修复后的代码（检查 git diff）
+2. 确认 teams 存在（运行 `./setup-test-entities.sh`）
+3. 查看 DEBUG 日志：
+   ```bash
+   metadata ingest -c test-05-inheritance-enabled.yaml --log-level DEBUG 2>&1 | grep -i "parent_owner\|inherited"
+   ```
+4. 应该看到：
+   ```
+   DEBUG: Resolving owner for databaseSchema 'finance_db.accounting', parent_owner: finance-team
+   DEBUG: Using inherited owner for 'finance_db.accounting': finance-team
+   ```
+
+## 📊 文件清单
+
+### 修改的代码文件
+- ✅ `ingestion/src/metadata/ingestion/source/database/common_db_source.py`
+- ✅ `ingestion/src/metadata/ingestion/source/database/database_service.py`
+- ✅ `scripts/datamodel_generation.py`
+
+### 修复的测试文件
+- ✅ `ingestion/tests/.../owner_config_tests/run-all-tests.sh` (路径修复)
+- ✅ `ingestion/tests/.../owner_config_tests/QUICK-START.md` (路径统一)
+
+### 新增的工具和文档
+- ✅ `fix_rootmodel_generation.py` - 独立 RootModel 修复脚本
+- ✅ `ROOT_MODEL_PERMANENT_FIX.md` - 完整技术文档
+- ✅ `TROUBLESHOOTING.md` - 故障排查指南
+
+## 🎯 下一步建议
+
+### 立即执行
+1. ✅ 重新生成模型：`cd openmetadata-spec && mvn clean install`
+2. ✅ 重新安装 ingestion：`cd ../ingestion && pip install -e . --force-reinstall`
+3. ✅ 运行 Test 5 验证继承修复
+
+### 短期优化
+1. 修改 Test 3, 4, 7, 8 的配置（数组→字符串）
+2. 运行完整测试套件
+3. 验证 OpenMetadata UI 中的 owner 显示
+
+### 长期改进
+1. 修改 JSON Schema 支持数组（详见 `ROOT_MODEL_PERMANENT_FIX.md` 方案2）
+2. 或者更新 datamodel-code-generator 配置
+3. 添加自动化测试验证 RootModel 修复
+
+## 🎉 总结
+
+**三个问题，三个解决方案**：
+
+1. ✅ **多线程竞态条件** → 调整代码顺序（已修复）
+2. ✅ **RootModel 错误** → 自动后处理修复（已集成）
+3. ⚠️ **数组支持** → 临时修改配置，长期优化 Schema（详见文档）
+
+**现在您可以**：
+- ✅ 正常生成代码（自动修复 RootModel）
+- ✅ 测试继承功能（Test 5-6）
+- ✅ 使用单个 owner 配置（Test 1-2, 3-8 修改后）
+
+**最重要的验证**：运行 Test 5，检查 `accounting` schema 和 `revenue` table 的 owner 是否为 `finance-team`（不是 `data-platform-team`），这证明多线程修复成功！