SwiftFeed

短视频内容分发系统

高性能短视频 Feed 流系统
基于 Go 构建，采用三级缓存架构、异步事件驱动与推拉混合分发策略
单机 6890 QPS，P99 响应 8.4ms

✨ 核心特性

🚀 高性能 Feed 分发

场景	策略	性能
Timeline	时间排序 + 三级缓存 + Singleflight 防击穿	P99 8.4ms
Hot	Redis ZSET 滑动窗口实时聚合	QPS 4190
Following	推拉混合（10k 粉丝阈值）	P99 8.4ms
Recommend	余弦相似度 + 热度 + 新鲜度多信号排序	P99 8.4ms

⚡ 异步互动流水线

用户点赞 → Redis 快写（乐观锁） → RabbitMQ 异步 → Worker 落库 MySQL
                                    ↓
                              MQ 故障自动降级为同步写入

• 16 分片计数器 — 按 user_id 分散热点写入
• WATCH + TxPipeline — Redis 乐观锁保证并发安全
• 幂等键 — 防止重复操作
• 自动降级 — MQ 故障时同步直写 MySQL

🎯 个性化推荐

• 零依赖向量化 — 哈希 N-gram 128 维向量，无需外部 ML 服务
• 多信号排序 — 70% 相似度 + 20% 热度 + 10% 新鲜度
• 冷启动降级 — 无用户向量时 65% 热度 + 35% 新鲜度
• 7 天曝光去重 — 防止内容重复推荐

📦 推拉混合 Fanout

粉丝量级	策略	写入成本	读取成本
< 10k	推送到粉丝 inbox	O(粉丝数)	O(1)
≥ 10k	写入作者 outbox	O(1)	O(关注的大V数)

🏗️ 架构

┌─────────────────────────────────────────────────────────────┐
│                      React Web Client                       │
└─────────────────────────┬───────────────────────────────────┘
                          │ HTTP
┌─────────────────────────▼───────────────────────────────────┐
│                     Gin HTTP Server                          │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐       │
│  │ Account  │ │  Video   │ │  Feed    │ │Interaction│  ...  │
│  │ Handler  │ │ Handler  │ │ Handler  │ │ Handler  │       │
│  └────┬─────┘ └────┬─────┘ └────┬─────┘ └────┬─────┘       │
│       │            │            │            │               │
│  ┌────▼────────────▼────────────▼────────────▼─────┐        │
│  │              Application Layer                    │        │
│  │  Service (Business Logic + Strategy Pattern)      │        │
│  └────┬────────────┬────────────┬────────────┬─────┘        │
│       │            │            │            │               │
│  ┌────▼─────┐ ┌────▼─────┐ ┌────▼─────┐ ┌───▼──────┐      │
│  │  MySQL   │ │  Redis   │ │ RabbitMQ │ │  GORM    │      │
│  │ (11 tables)│ │(Multi-level)│ │ (Async) │ │(Persist) │      │
│  └──────────┘ └──────────┘ └──────────┘ └──────────┘      │
└─────────────────────────────────────────────────────────────┘
                          │
┌─────────────────────────▼───────────────────────────────────┐
│                    Worker Process                            │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐                    │
│  │ Action   │ │ Fanout   │ │ Embedding│                    │
│  │ Worker   │ │ Worker   │ │ Worker   │                    │
│  └──────────┘ └──────────┘ └──────────┘                    │
└─────────────────────────────────────────────────────────────┘

📊 性能基准

指标	数值	说明
Feed 读取 QPS	6,890	单机 20 并发
Feed 读取 P99	8.4ms	三级缓存 + 游标分页
互动写入 Avg	74ms	Redis 快写 + MQ 发布
异步落库延迟	~2s	MQ 消费完成

🚀 快速启动

Docker Compose

# 克隆项目
git clone https://github.com/raaaaap/SwiftFeed.git
cd SwiftFeed/apps

# 启动所有服务
docker compose up -d --build

# 查看日志
docker compose logs -f api web

服务地址

服务	地址
Web	http://127.0.0.1:5173
API	http://127.0.0.1:8080
API 健康检查	http://127.0.0.1:8080/health
MySQL	127.0.0.1:3307
Redis	127.0.0.1:6379
RabbitMQ 管理台	http://127.0.0.1:15672

本地开发

./scripts/start.sh

📁 项目结构

apps/api/internal/
├── application/           # 应用层（业务逻辑）
│   ├── feed/              # Feed 流服务（策略模式 + 多级缓存）
│   ├── interaction/       # 互动服务（异步流水线）
│   ├── recommendation/    # 推荐服务（向量化 + 排序）
│   ├── video/             # 视频服务（Fanout Worker）
│   └── relation/          # 社交关系（推拉混合分发）
├── domain/                # 领域层（实体 + 接口）
│   ├── feed/              # Feed 领域模型
│   ├── interaction/       # 互动领域模型
│   └── embedding/         # 向量化（哈希 N-gram）
└── infra/                 # 基础设施层
    ├── cache/             # Redis 缓存实现
    ├── mq/                # RabbitMQ 客户端
    ├── persistence/       # GORM 持久化
    └── database/          # 数据库连接

🔧 技术栈

类别	技术	说明
语言	Go	高并发、静态编译、部署简单
Web 框架	Gin	路由性能好、中间件灵活
ORM	GORM	自动迁移、钩子函数、预加载
数据库	MySQL 8.4	InnoDB、事务行锁、B+ 树索引
缓存	Redis 7.4	ZSET 热榜、HASH 计数、Pipeline 批量操作
消息队列	RabbitMQ 3.13	Topic Exchange、持久化、手动 ACK
容器化	Docker + Compose	多阶段构建、健康检查、优雅关闭
前端	React 18 + Vite 5	垂直滑动、曝光追踪、暗色主题

📖 API 接口

Feed

GET  /api/feed-items?scene=timeline&limit=10&cursor=xxx
POST /api/feed-queries  (JSON body with scene, cursor, limit, context)

互动

PUT    /api/videos/:videoId/like          # 点赞
DELETE /api/videos/:videoId/like          # 取消点赞
PUT    /api/videos/:videoId/favorite      # 收藏
DELETE /api/videos/:videoId/favorite      # 取消收藏
POST   /api/videos/:videoId/comments      # 评论
GET    /api/videos/:videoId/comments      # 评论列表
DELETE /api/comments/:commentId           # 删除评论

用户

POST   /api/users                         # 注册
POST   /api/sessions                      # 登录
GET    /api/users/me                      # 个人信息
PATCH  /api/users/me                      # 更新资料

社交

PUT    /api/users/me/following/:targetId  # 关注
DELETE /api/users/me/following/:targetId  # 取消关注
GET    /api/users/me/following            # 关注列表
GET    /api/users/me/followers            # 粉丝列表

视频

POST   /api/videos                        # 发布视频
GET    /api/videos/:videoId               # 视频详情
DELETE /api/videos/:videoId               # 删除视频
GET    /api/users/me/videos               # 我的作品

🧪 测试

# 运行所有测试
cd apps/api && go test ./test/ -v

# 运行单元测试
go test ./internal/domain/embedding/ -v
go test ./internal/infra/cache/ -v
go test ./internal/application/feed/ -v
go test ./internal/application/recommendation/ -v

# 性能测试
hey -n 500 -c 20 "http://127.0.0.1:8080/api/feed-items?scene=timeline&limit=10"

📚 文档

文档	说明
docs/product.md	产品范围、模块地图、P0/P1 功能清单
docs/architecture.md	系统架构、分层、核心链路、数据模型
docs/engineering.md	工程规范、目录规则、API 风格、测试约定
docs/optimization.md	Feed 性能和稳定性专题
docs/modules/	各业务模块设计

📄 License

MIT License — see LICENSE for details.

---

Built with Go ❤️