База знаний по машинному обучению, глубокому обучению и смежным областям. Коллекция структурированных заметок и материалов для изучения и справки.
- 🧮 Линейная алгебра - Основы линейной алгебры для ML
- 🤓 Математическая статистика - Статистические методы и концепции
- ☦️ Classic ML - Классические алгоритмы машинного обучения
- 📈 Метрики - Метрики оценки моделей
- 🤯 Deep learning - Глубокое обучение
- 👀 Computer vision - Компьютерное зрение
- 🏳️🌈 Natural language processing - Обработка естественного языка
- 👍 Recommender systems - Рекомендательные системы
- 🐍 Python - Python для ML
- 💽 SQL - SQL для работы с данными
- Архитектура трансформер
- Архитектура GPT
- Архитектура BERT предобучение дообучение
- Архитектура и обучение эмбеддиег моделей
- Vision Transformer
- GAN (Generative Adversarial Networks)
- VAE (Variational Autoencoders)
- U-Net
- R-CNN
- YOLO
- Задача Object Detection
- Задача сегментации
- Задача генерации
- Задача Image Super-Resolution (SR), Denoising, Inpainting, Style Transfer
- Задача Optical Character Recognition (OCR)
- Multi-Object Tracking (SOT & MOT)
- RAG (Retrieval-Augmented Generation) идея
- RAG - SOTA подход
- Отличие BERT от GPT
- Pretrain LLM стратегии
- Новые подходы в Llama-3
- Новые подходы в QWEN, QwQ
- Как можно численно представить текстовые данные?
- Оценка перевода или дополнения текста
- Стратегии обучения токенизаторов
- Градиентный спуск
- Смысл adamW
- Смысл lr-decay и warmup
- Batch нормализация
- Gradient checkpointing и back propogation
- Инициализация весов LLM
- Lora адаптеры
- Prompt-tuning, P-tuning, Prefix-tuning, P-tuning v2
- Reinforcement learning on human feedback
- Оперция свёртка
- Паралельные вычисления в LLM
- Хранение KV кэша в памяти
- Представления чисел и алгоритмы квантизации
- Векторные базы данных
- HNSW для векторного поиска
- BM25 (ELASTICSARCH)
- TF-IDF
- Метрики качества поиска и ранжирования
Проект организован в виде коллекции Markdown-файлов, каждый из которых посвящён конкретной теме. Файлы могут содержать:
- Теоретические объяснения
- Практические примеры
- Ссылки на исследования
- Визуализации (изображения и GIF-анимации)
Этот репозиторий можно использовать как:
- Справочник - быстрый поиск информации по конкретным темам
- Учебное пособие - структурированное изучение ML/DL концепций
- База знаний - централизованное хранение заметок и материалов
Проект распространяется под лицензией MIT. См. LICENSE.md для подробностей.
Если вы хотите дополнить базу знаний или исправить ошибки, создайте issue или pull request.
Примечание: Большинство материалов написаны на русском языке. Некоторые файлы могут быть в процессе доработки (см. доделать.md).