Skip to content

linyeping/InSeeVision

Repository files navigation

👁️ InSeeVision : AI Vision Engine

专为视障人群打造的端侧多模态视觉计算中枢

FlutterFlutter Dart C++ Python
Google Gemma MLKit Isar Database Android

InSeeVision Hero Poster

“让算力下沉至端侧,让视觉感知毫无延迟,让技术充满温度。”


⚡ 核心技术栈与架构 (Tech Architecture)

InSeeVision 并非简单的 API 套壳应用,而是构建了一套完整的离线多模态视觉推理流水线

  • 🧠 端侧 LLM 引擎:内置 Google Gemma 3n 模型 (~3GB),实现 100% 本地离线自然语言处理与场景推理,彻底斩断隐私泄露风险。
  • 👁️ 复合视觉流水线:利用 Google MLKit 毫秒级提取实时画面中的文本 (OCR) 与实体,无缝投喂至大模型进行多模态上下文理解。
  • 🗄️ 极速状态管理:底层采用 Isar NoSQL 引擎,支持海量对话历史记录的高并发读写与极速检索。
  • 🎮 底层 HID 硬件映射:绕过传统的触控交互,深度定制 8BitDo 蓝牙外设映射,实现真正的“无屏幕、纯盲操”交互闭环。

📸 引擎视界 (Vision & UI Gallery)

通过极简主义的 UI 设计,将复杂的 AI 调度隐藏在深处,为用户提供纯粹的无障碍体验。


⚡ 极简视觉引擎
去除冗余视觉噪音,专注辅助

🛡️ 端侧资源调度
一次下载,终身离线运行

💬 多模态语义解析
基于 Gemma 的深度追问与场景理解

🗂️ 阅后即焚式存储
本地加密存储,一键物理擦除

⚙️ 进阶提示词工程
开放系统 Prompt 自定义接口

🌍 实时场景感知
高帧率摄像头取流与环境描述

🎮 深度硬件无障碍适配 (Hardware A11y)

我们认为,真正的无障碍不应该依赖于在屏幕上摸索。InSeeVision 深度适配了 8BitDo 外设控制。

配置指南:

  1. 将 8BitDo 控制器切换至 Keyboard Mode (键盘模式)
  2. 打开 8BitDo Ultimate Software
  3. 按照下方工程图进行按键映射绑定:
Controller Mapping

💡 提示:使用物理手柄时,建议系统级关闭 VoiceOver / TalkBack 以获得零冲突的独立沉浸体验。


🛠️ 构建与部署 (Build & Deploy)

依赖环境

确保您的开发机已安装 Flutter 3.8+,并具备编译 C++ 底层库的 Android NDK 环境。

极速启动

# 1. 克隆代码仓库
git clone [https://github.com/yourID/InSeeVision.git](https://github.com/yourID/InSeeVision.git)

# 2. 进入核心工程目录
cd InSeeVision

# 3. 解决本地依赖并生成代码 (依赖 local_packages 架构)
flutter pub get
flutter pub run build_runner build --delete-conflicting-outputs

# 4. 注入强混淆并编译 Release 产物
flutter build apk --release --obfuscate --split-debug-info=./debug_info

⚠ 架构注意:本项目对 dio 等核心网络库进行了定制化 mixin 重构并隔离在 local_packages 中,请勿轻易覆盖 pubspec.yaml 中的本地依赖路径。


🛡️ 协议与开源声明

  • 隐私红线:InSeeVision 承诺所有视觉推流与语音数据均在设备本地 NPU/CPU 闭环处理,永不上传。
  • 开源协议:本项目基于 GPL-3.0 License 授权。任何人分发基于本项目的修改版本,均须根据此协议公开源代码。
Made with ❤️ for the blind community by InSeeVision Team.
Contact: 201180946@qq.com

About

基于端侧大模型的视障辅助视觉系统

Resources

License

Stars

Watchers

Forks

Packages

 
 
 

Contributors