ML Knowledge Base

База знаний по машинному обучению, глубокому обучению и смежным областям. Коллекция структурированных заметок и материалов для изучения и справки.

📚 Содержание

Основные разделы

• 🧮 Линейная алгебра - Основы линейной алгебры для ML
• 🤓 Математическая статистика - Статистические методы и концепции
• ☦️ Classic ML - Классические алгоритмы машинного обучения
• 📈 Метрики - Метрики оценки моделей
• 🤯 Deep learning - Глубокое обучение
• 👀 Computer vision - Компьютерное зрение
• 🏳️‍🌈 Natural language processing - Обработка естественного языка
• 👍 Recommender systems - Рекомендательные системы
• 🐍 Python - Python для ML
• 💽 SQL - SQL для работы с данными

🔍 Темы по категориям

Архитектуры и модели

• Архитектура трансформер
• Архитектура GPT
• Архитектура BERT предобучение дообучение
• Архитектура и обучение эмбеддиег моделей
• Vision Transformer
• GAN (Generative Adversarial Networks)
• VAE (Variational Autoencoders)
• U-Net
• R-CNN
• YOLO

Задачи компьютерного зрения

• Задача Object Detection
• Задача сегментации
• Задача генерации
• Задача Image Super-Resolution (SR), Denoising, Inpainting, Style Transfer
• Задача Optical Character Recognition (OCR)
• Multi-Object Tracking (SOT & MOT)

NLP и LLM

• RAG (Retrieval-Augmented Generation) идея
• RAG - SOTA подход
• Отличие BERT от GPT
• Pretrain LLM стратегии
• Новые подходы в Llama-3
• Новые подходы в QWEN, QwQ
• Как можно численно представить текстовые данные?
• Оценка перевода или дополнения текста
• Стратегии обучения токенизаторов

Оптимизация и обучение

• Градиентный спуск
• Смысл adamW
• Смысл lr-decay и warmup
• Batch нормализация
• Gradient checkpointing и back propogation
• Инициализация весов LLM
• Lora адаптеры
• Prompt-tuning, P-tuning, Prefix-tuning, P-tuning v2
• Reinforcement learning on human feedback

Механизмы внимания

• Механизмы внимания и их оптимизации
• Механизмы positional encoding

Операции и вычисления

• Оперция свёртка
• Паралельные вычисления в LLM
• Хранение KV кэша в памяти
• Представления чисел и алгоритмы квантизации

Функции и активации

• Фунции активации LLM

Специальные архитектуры

• Mixture of experts (MoE)

Векторный поиск и базы данных

• Векторные базы данных
• HNSW для векторного поиска
• BM25 (ELASTICSARCH)
• TF-IDF
• Метрики качества поиска и ранжирования

Оценка фич

• Gini для оценки фич
• Information Value для оценки фич

Классическое ML

• Деревья решений
• Сatbost работа с текстовыми фичами

Мультимодальные модели

• Мультимодальные модели text + image обучение
• Мультимодальные модели text + image инференс

Инференс и оптимизация

• Бибилитотеки для быстрого инференса
• CAG (Cache Augmented Generation)

Протоколы и фреймворки

• A2A (Agent to Agent) протокол
• MCP (Model Context Protocol)
• ReAct фреймворк
• Function/tool calling

Проблемы и исследования

• Fake reasoning problem

📝 Структура проекта

Проект организован в виде коллекции Markdown-файлов, каждый из которых посвящён конкретной теме. Файлы могут содержать:

• Теоретические объяснения
• Практические примеры
• Ссылки на исследования
• Визуализации (изображения и GIF-анимации)

🚀 Использование

Этот репозиторий можно использовать как:

• Справочник - быстрый поиск информации по конкретным темам
• Учебное пособие - структурированное изучение ML/DL концепций
• База знаний - централизованное хранение заметок и материалов

📄 Лицензия

Проект распространяется под лицензией MIT. См. LICENSE.md для подробностей.

🤝 Вклад

Если вы хотите дополнить базу знаний или исправить ошибки, создайте issue или pull request.

---

Примечание: Большинство материалов написаны на русском языке. Некоторые файлы могут быть в процессе доработки (см. доделать.md).