Skip to content

Even0304/miroeval

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

MiroThinker 多领域深度分析

📊 项目概述

本项目对 MiroThinker(h1/v17/mini 三个版本)在编程和金融两个领域的能力进行了系统的多维度评估和对比分析,包括与 Claude、Gemini、GLM、GPT 等竞品模型的对标。

🏗️ 项目结构

/
├── index.html                      # 首页导航(域选择界面)
├── programming_analysis.html       # 程序员详细分析
├── finance_analysis.html           # 金融领域详细分析
├── model_analysis.html             # 原始完整分析(可选)
└── README.md                       # 本文档

🎯 核心特性

多页面导航结构

  • 首页:清晰的域选择卡片,支持点击进入详细分析
  • 详细分析页:每个领域独立展示完整的分析内容,支持返回首页

多维度评估框架

程序员(10题)

维度 说明 关键指标
技术深度 底层机制与根因追踪能力 官方 issue 追踪、原理系统性、边界覆盖
工程可落地 实际约束下的决策能力 约束量化、代价评估、决策清晰度
准确性 引用精准度与幻觉率 官方来源准确、数字精准、无幻觉

共同优势:NCCL 关键属性识别、多方案提供、工程约束考虑
共同瓶颈:官方追踪深度不足、不确定性决策框架不系统、假设量化支撑缺乏

金融领域(10题)

维度 说明 关键指标
分析系统性 微观-宏观联动能力 微观数字化、宏观完整性、联动逻辑
认知诚实度 不确定性面对能力 缺口承认、不确定性量化、假设评估
数据基础 信息源可信度 引用准确性、可获得性评估、数字准度

共同优势:流动性-资产矛盾识别、多角度分析、对叙事有质疑
共同瓶颈:数据稀缺时乐观偏差、"缺失即信号"理解不足、微宏观联动不紧密

案例分析

共 4 个深度案例研究,每个案例展示:

  • ✓ 完整问题描述(可展开)
  • ✓ 7 个模型的完整回答(折叠式显示)
  • ✓ 详细的对比分析(问题难度、模型区分度、MiroThinker 优势)

编程案例

  • Q31:PyTorch DDP NCCL Hang(v17/mini 高分互补)
  • Q33:Qdrant 高频 Upsert 调优(v17 = 8.424 全场#1)

金融案例

  • Q47:垂直 SaaS AI 叙事与另类数据(mini #1,逆转 GPT)
  • Q49:私募信贷赎回限制与流动性压力(v17 #1,mini #2)

🎨 视觉设计

  • 色彩方案:深色背景(#0F172A),符合现代专业风格
  • 组件设计:模块化卡片、网格布局、清晰的视觉层级
  • 交互元素
    • 可展开的详情(折叠式回答、完整问题)
    • 清晰的导航链接
    • 响应式设计(支持移动设备)
    • 可视化图表(Model Average 分数对比)

📈 评估涵盖范围

  • 模型数量:7 个(MiroThinker h1 · v17 · mini + Claude · Gemini · GLM · GPT)
  • 题目数量:20 题(编程 10 + 金融 10)
  • 维度数量:6 个(编程 3 维度 + 金融 3 维度)
  • 案例数量:4 个深度案例

🚀 使用指南

本地查看

  1. 在浏览器中打开 index.html
  2. 选择想要查看的领域(编程或金融)
  3. 点击卡片进入详细分析页面
  4. 点击"返回首页"返回导航

主要交互操作

  • 展开折叠问题:点击"查看完整问题"
  • 展开完整回答:点击"查看完整回答"
  • 图表交互:鼠标悬停查看具体数值

📋 文件说明

文件 大小 说明
index.html 4.1 KB 首页导航,两个领域的选择卡片
programming_analysis.html 393 KB 程序员完整分析(Pattern + 2 案例)
finance_analysis.html 510 KB 金融领域完整分析(Pattern + 2 案例)
model_analysis.html 909 KB 原始完整版(包含编程+金融全部内容)

🔄 技术细节

前端技术栈

  • HTML5(语义化结构)
  • CSS3(响应式设计、动画效果)
  • JavaScript(Chart.js 图表库)

响应式设计

  • 桌面优化:两列网格布局
  • 移动优化:自动切换为单列布局

📊 分析方法论

本评估采用的方法论参考了以下原则:

  1. 多维度框架:不仅比较分数,而是从多个独立维度评估能力
  2. 共同优势/瓶颈识别:超越孤立的模型对比,找出系统性的优劣
  3. 案例证据:用具体的问题回答作为分析的基础
  4. 对标式分析:在同一框架内进行结构化对比,而非宽泛的陈述

📝 更新记录

  • 2026-04-15
    • 完成多页面结构重构
    • 添加多维度评估框架(编程和金融各 3 维度)
    • 实现首页导航卡片设计
    • 优化视觉设计,对齐参考链接风格

🎯 关键发现

程序员

  • MiroThinker v17/mini 在技术深度和稳定性上与 GPT 平行(仅差 0.2 分)
  • v17 更强在原理系统性(Q33 Qdrant 得 8.424 全场#1)
  • mini 更强在稳定性(std=0.186,任何题都不会极端低分)
  • 共同瓶颈:实验设计和可复现性验证不足(所有模型 < 7 分)

金融领域

  • MiroThinker v17/mini 综合优于 GPT(+0.41/+0.27 分)
  • v17 占据 #1(7.395),mini 占据 #2(7.247)——唯一"双版本领先"的模型
  • 关键区分:认知诚实度(mini 在 Q47 以 7.203 大幅领先 GPT 的 5.679,差距 1.52 分)
  • GPT 的系统性失分:在金融题中出现"过度自信"(Q47 跌幅 2.33 分,全场最大反差)

生成日期:2026-04-15
评估模型:7 个(h1 · v17 · mini · Claude · Gemini · GLM · GPT)
分析维度:6 个(编程 3 + 金融 3)
总覆盖:20 题 + 4 深度案例研究

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages