Merge dev into main

.github/workflows/album-deduplicator-windows-release.yml

@@ -0,0 +1,172 @@
+name: Album Deduplicator Windows CI-CD
+
+on:
+  pull_request:
+    paths:
+      - "album_deduplicator/**"
+      - ".github/workflows/album-deduplicator-windows-release.yml"
+  push:
+    branches:
+      - main
+    tags:
+      - "album-deduplicator-v*"
+    paths:
+      - "album_deduplicator/**"
+      - ".github/workflows/album-deduplicator-windows-release.yml"
+  workflow_dispatch:
+
+concurrency:
+  group: album-deduplicator-windows-${{ github.ref }}
+  cancel-in-progress: true
+
+env:
+  PYTHON_VERSION: "3.12"
+  NODE_VERSION: "24"
+  APP_DIR: album_deduplicator
+  FRONTEND_DIR: album_deduplicator/frontend
+  DESKTOP_DIST_DIR: album_deduplicator/frontend/desktop-dist
+
+jobs:
+  verify:
+    name: Verify Backend And Desktop Build Inputs
+    runs-on: windows-latest
+    permissions:
+      contents: read
+
+    steps:
+      - name: Checkout repository
+        uses: actions/checkout@v5
+
+      - name: Set up Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: ${{ env.PYTHON_VERSION }}
+          cache: pip
+          cache-dependency-path: ${{ env.APP_DIR }}/requirements.txt
+
+      - name: Set up Node.js
+        uses: actions/setup-node@v6
+        with:
+          node-version: ${{ env.NODE_VERSION }}
+          cache: npm
+          cache-dependency-path: ${{ env.FRONTEND_DIR }}/package-lock.json
+
+      - name: Install backend dependencies
+        run: python -m pip install --upgrade pip && python -m pip install -r "${{ env.APP_DIR }}/requirements.txt"
+
+      - name: Install frontend dependencies
+        working-directory: ${{ env.FRONTEND_DIR }}
+        run: npm ci
+
+      - name: Run backend tests
+        working-directory: ${{ env.APP_DIR }}
+        run: python -m pytest tests -q
+
+      - name: Run frontend tests
+        working-directory: ${{ env.FRONTEND_DIR }}
+        run: npm test
+
+      - name: Run renderer build
+        working-directory: ${{ env.FRONTEND_DIR }}
+        run: npm run build
+
+  package-preview:
+    name: Build Unsigned Windows Installer Artifact
+    if: (github.event_name == 'push' && github.ref == 'refs/heads/main') || github.event_name == 'workflow_dispatch'
+    needs: verify
+    runs-on: windows-latest
+    permissions:
+      contents: read
+
+    steps:
+      - name: Checkout repository
+        uses: actions/checkout@v5
+
+      - name: Set up Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: ${{ env.PYTHON_VERSION }}
+          cache: pip
+          cache-dependency-path: ${{ env.APP_DIR }}/requirements.txt
+
+      - name: Set up Node.js
+        uses: actions/setup-node@v6
+        with:
+          node-version: ${{ env.NODE_VERSION }}
+          cache: npm
+          cache-dependency-path: ${{ env.FRONTEND_DIR }}/package-lock.json
+
+      - name: Install backend dependencies
+        run: python -m pip install --upgrade pip && python -m pip install -r "${{ env.APP_DIR }}/requirements.txt"
+
+      - name: Install frontend dependencies
+        working-directory: ${{ env.FRONTEND_DIR }}
+        run: npm ci
+
+      - name: Package Windows installer
+        working-directory: ${{ env.FRONTEND_DIR }}
+        env:
+          CSC_IDENTITY_AUTO_DISCOVERY: "false"
+        run: npm run dist:desktop
+
+      - name: Upload Windows installer artifact
+        uses: actions/upload-artifact@v4
+        with:
+          name: album-deduplicator-windows-preview-${{ github.run_number }}
+          path: |
+            ${{ env.DESKTOP_DIST_DIR }}/*.exe
+            ${{ env.DESKTOP_DIST_DIR }}/*.blockmap
+            ${{ env.DESKTOP_DIST_DIR }}/latest*.yml
+          if-no-files-found: error
+          retention-days: 14
+
+  publish-release:
+    name: Publish Windows Release To GitHub Releases
+    if: startsWith(github.ref, 'refs/tags/album-deduplicator-v')
+    needs: verify
+    runs-on: windows-latest
+    permissions:
+      contents: write
+
+    steps:
+      - name: Checkout repository
+        uses: actions/checkout@v5
+
+      - name: Set up Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: ${{ env.PYTHON_VERSION }}
+          cache: pip
+          cache-dependency-path: ${{ env.APP_DIR }}/requirements.txt
+
+      - name: Set up Node.js
+        uses: actions/setup-node@v6
+        with:
+          node-version: ${{ env.NODE_VERSION }}
+          cache: npm
+          cache-dependency-path: ${{ env.FRONTEND_DIR }}/package-lock.json
+
+      - name: Install backend dependencies
+        run: python -m pip install --upgrade pip && python -m pip install -r "${{ env.APP_DIR }}/requirements.txt"
+
+      - name: Install frontend dependencies
+        working-directory: ${{ env.FRONTEND_DIR }}
+        run: npm ci
+
+      - name: Publish Windows release assets
+        working-directory: ${{ env.FRONTEND_DIR }}
+        env:
+          GH_TOKEN: ${{ secrets.GITHUB_TOKEN }}
+          CSC_IDENTITY_AUTO_DISCOVERY: "false"
+        run: npm run dist:desktop:publish
+
+      - name: Upload published release assets
+        uses: actions/upload-artifact@v4
+        with:
+          name: album-deduplicator-windows-release-${{ github.ref_name }}
+          path: |
+            ${{ env.DESKTOP_DIST_DIR }}/*.exe
+            ${{ env.DESKTOP_DIST_DIR }}/*.blockmap
+            ${{ env.DESKTOP_DIST_DIR }}/latest*.yml
+          if-no-files-found: error
+          retention-days: 30

.gitignore

@@ -154,3 +154,9 @@ cython_debug/
 # pesonal
 o1_project/RecycleBin
 music_data.json
+**/logs/**
+**/repomix-output.*
+.vscode/settings.json
+**/node_modules/
+album_deduplicator/frontend/dist/
+album_deduplicator/frontend/desktop-dist/

AGENTS.md

@@ -0,0 +1,8 @@
+## קווים מנחים
+- כברירת מחדל, העבודה העיקרית שלך היא בתיקיה album_deduplicator בלבד!
+- עליך לקרוא את הרידמי ואת הקבצים הרלוונטיים בתיקית album_deduplicator/docs
+- עליך להקפיד על עיצוב בסגנון אפליקציית דסקטופ, ולא עיצוב web!
+- במשימת עיצוב, תיעזר ב-skill ant-design
+- כאשר אתה מבצע משימות מקובץ ISSUE.md או קבצים אחרים, עדכן בדרך כלל את album_deduplicator/CHANGELOG.md לאחר היישום, בקצרה וללא רישום שינויים קטנים. עדכן קבצי תיעוד אחרים רק כאשר השינוי משנה ארכיטקטורה, תהליך עבודה, API, או התנהגות שדורשת הסבר מתמשך.
+- אל תיצור קבצי ענק, בצע חלוקה לרכיבים אם קבצים הופכים לגדולים מידי
+- צור קומיט לאחר סדרת שינויים שהושלמה בהצלחה. התעלם משינויים נפרדים

README.md

@@ -1,14 +1,55 @@
-# Music-Automatic
- Streamlined sorting and reorganization of music folders on the computer through advanced automation
-
-**Plans to carry out**:
-- Automatic conversion of corrupted metadata✅
-- Search and identify duplicate music folders and clean them
-- Removing duplicate songs with smart detection
-(in double singles - removal of the lower quality copy)
-- Adding a name by title and vice versa, with a priority check
-(names that contain the word "רצועה" instead of a song name for example)
-- Overview with recommendations for implementation
-- Search for video files that take up space
-- Search for files with a high bit rate, with an option to shrink
-- Converting files with an undefined name in English (for example: "track") to a corresponding name in Hebrew (such as: "רצועה")✅
+# Music-Automatic: אוטומציה לניהול ספריית המוזיקה שלך
+
+פרויקט זה נועד לספק כלים אוטומטיים לניהול, ארגון וניקוי של ספריות מוזיקה דיגיטליות גדולות. הוא מורכב ממספר מודולים, כל אחד עם התמחות ספציפית, הפועלים יחד כדי לשפר את חוויית ההאזנה שלך ולשמור על ספריית המוזיקה שלך מסודרת ויעילה.
+
+## 🌟 תכונות עיקריות
+
+*   **ארגון קבצים ותיקיות:** כלים לתיקון שמות, מחיקת תיקיות ריקות ומיזוג תיקיות אמן.
+*   **זיהוי וטיפול בכפילויות:** מודול מתקדם לאיתור אלבומים כפולים או דומים מאוד, עם אפשרויות למיזוג מידע או מחיקה חכמה.
+*   **שיפור מטא-דאטה:** תיקון קידוד פגום (ג'יבריש), השלמת מידע חסר.
+*   **ניתוח איכות:** הערכת איכות אלבומים על בסיס פרמטרים מגוונים.
+*   **ממשקים גמישים:** אפשרות להפעלה דרך שורת הפקודה (CLI) או ממשק משתמש גרפי (Web UI).
+*   **שילוב למידת מכונה ו-AI:** שימוש במודל ML ייעודי וב-Gemini API לשיפור דיוק הזיהוי וההשוואה.
+
+## 📂 מבנה הפרויקט
+
+הפרויקט מחולק לשלוש ספריות עיקריות:
+
+###  **`music_organizer`**:
+מכיל סקריפטים לביצוע פעולות תחזוקה בסיסיות על קבצי מוזיקה ותיקיות.
+**⚠️ אזהרה: ספרייה זו עדיין בפיתוח ואינה מוכנה לייצור. יש להשתמש בה בזהירות ולאחר גיבוי הנתונים.**
+[למידע נוסף](./music_organizer/README.md)
+
+###  **`album_deduplicator`**:
+המודול המרכזי לזיהוי, ניתוח וטיפול באלבומי מוזיקה כפולים או דומים. כולל CLI, Web UI (מבוסס Streamlit), ומנוע השוואה מתוחכם.
+[למידע נוסף](./album_deduplicator/README.md)
+
+### **`similarity_model`**:
+מכיל את הקוד והנתונים הקשורים למודל למידת המכונה (LightGBM) המשמש לחיזוי דמיון בין אלבומים. כולל סקריפטים להכנת נתונים, אימון, הערכה ובדיקת המודל.
+[למידע נוסף](./similarity_model/README.md)
+
+## 🚀 תוכנית עבודה
+
+*   ✅ המרה אוטומטית של מטאדאטה פגום
+*   ✅ המרת קבצים עם שם לא מוגדר באנגלית (למשל: "track") לשם מתאים בעברית (כגון: "רצועה")
+*   ✅ חיפוש וזיהוי תיקיות מוזיקה כפולות וניקויין
+*   הסרת שירים כפולים עם זיהוי חכם (בסינגלים כפולים - הסרה של העותק הפחות איכותי)
+*   הוספת שם לפי כותרת ולהיפך, עם בדיקת עדיפות (שמות שמכילים את המילה "רצועה" במקום שם שיר למשל)
+*   סקירה כללית עם המלצות לביצוע
+*   חיפוש קבצי וידאו שתופסים מקום
+*   חיפוש קבצים בעלי קצב סיביות גבוה, עם אופציה לכיווץ
+
+## ⚙️ התקנה כללית
+
+דרישות ספציפיות לכל מודול מפורטות בקובצי ה-README המתאימים. באופן כללי, תזדקק ל-Python (מומלץ 3.10 ומעלה) ולמנהל חבילות כמו `pip`.
+
+```bash
+git clone https://github.com/NHLOCAL/Music-Automatic.git
+cd Music-Automatic
+```
+
+לאחר מכן, עקוב אחר הוראות ההתקנה בכל ספריית משנה.
+
+## 📄 רישיון
+
+פרויקט זה מופץ תחת רישיון MIT. ראה קובץ [`LICENSE`](LICENSE) לפרטים מלאים.

album_deduplicator/.agents/skills/ant-design/LICENSE

@@ -0,0 +1,22 @@
+MIT LICENSE
+
+Copyright (c) 2015-present Ant UED, https://xtech.antfin.com/
+
+Permission is hereby granted, free of charge, to any person obtaining
+a copy of this software and associated documentation files (the
+"Software"), to deal in the Software without restriction, including
+without limitation the rights to use, copy, modify, merge, publish,
+distribute, sublicense, and/or sell copies of the Software, and to
+permit persons to whom the Software is furnished to do so, subject to
+the following conditions:
+
+The above copyright notice and this permission notice shall be
+included in all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
+EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
+MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
+NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
+LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
+OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
+WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

album_deduplicator/.agents/skills/ant-design/SKILL.md

@@ -0,0 +1,56 @@
+---
+name: ant-design
+description: Single-file decision guide for antd 6.x, Ant Design Pro 5/ProComponents, and Ant Design X v2. Use for component selection, theming/tokens, SSR, a11y, performance, routing/access/CRUD, and AI/chat UI patterns.
+---
+
+# Ant Design
+
+## S - Scope
+- Target: `antd@^6` + React 18-19, with `ant-design-pro@^5` / `@ant-design/pro-components` and `@ant-design/x@^2` when needed.
+- Focus: decision guidance only; no end-user tutorials.
+- Source policy: official docs only; no undocumented APIs or internal `.ant-*` coupling.
+
+### Default assumptions
+- Language: TypeScript.
+- Styling: tokens first, then `classNames`/`styles`; avoid global overrides.
+- Provider: one root `ConfigProvider` unless strict isolation is required.
+
+### Mandatory rules
+- For component questions, first map the component name to the official route slug `{components}` (lowercase kebab-case, e.g. `TreeSelect -> tree-select`, `Button -> button`), then request docs in this order (CN first, EN fallback):
+  1. `https://ant.design/components/{components}-cn`
+  2. `https://ant.design/components/{components}`
+  - Examples: `tree-select-cn -> tree-select`, `button-cn -> button`.
+- Use only documented antd/Pro/X APIs.
+- Do not invent props/events/component names.
+- Do not rely on internal DOM or `.ant-*` selectors.
+- Theme priority: global tokens -> component tokens -> alias tokens.
+
+## P - Process
+### 1) Classify
+- Identify layer: core antd, Pro, or X.
+- Confirm version, rendering mode (CSR/SSR/streaming), and data scale.
+
+### 2) Request docs
+- For each component, request `-cn.md` first, then `.md` fallback.
+- If multiple components are involved, request each component page before deciding.
+
+### 3) Decide
+- Provider baseline: CSR -> `ConfigProvider`; SSR -> `ConfigProvider` + `StyleProvider`.
+- Theming baseline: global tokens -> component tokens -> `classNames`/`styles`.
+- Output recommendation + risk + verification points (SSR/a11y/perf).
+
+## O - Output
+- Provide short decision rationale (1-3 sentences).
+- Include minimal provider/theming strategy.
+- Include concrete SSR/a11y/perf checks.
+- For Pro: include route/menu/access and CRUD schema direction.
+- For X: include message/tool schema and streaming state direction.
+
+## Regression checklist
+- [ ] One root `ConfigProvider`; SSR style order/hydration verified.
+- [ ] Tokens first; no broad global `.ant-*` overrides.
+- [ ] Table has stable `rowKey`; sort/filter/pagination entry is unified.
+- [ ] Select remote mode disables local filter when using remote search.
+- [ ] Upload controlled/uncontrolled mode is explicit with failure/retry path.
+- [ ] Pro route/menu/access remain consistent with backend enforcement.
+- [ ] X streaming supports stop/retry and deterministic tool rendering.

album_deduplicator/.gitignore

@@ -0,0 +1,3 @@
+data/comparison_results_cache.json
+data/**
+repomix-output.*

album_deduplicator/CHANGELOG.md

@@ -0,0 +1,25 @@
+# Changelog
+
+כל שינוי משמעותי ב־`album_deduplicator` יתועד בקובץ זה.
+
+הפורמט מבוסס על עקרונות `Keep a Changelog`, עם חלוקה לפי גרסאות או לפי `Unreleased` כאשר עדיין לא נוצר release רשמי.
+
+## Unreleased
+
+### Fixed
+
+- אריזת ה־desktop כוללת כעת את מודל ה־`ML`, כך שגרסאות Windows ארוזות לא נופלות ל־scoring אלגוריתמי בלבד.
+
+### Documentation
+
+- נוקה `README.md` מסעיף "מה חדש" ומרשימת עדכונים מצטברת.
+- נוסף קובץ `CHANGELOG.md` שישמש מכאן ואילך לתיעוד שינויי קוד ועדכוני מוצר.
+
+### Current Baseline
+
+- היישום הראשי הוא desktop app מבוסס `Electron + React`, עם backend מקומי מבוסס `FastAPI`.
+- ה־frontend משתמש ב־`Ant Design 6`, תמיכת RTL וזרימת עבודה למסכי בחירה, סריקה, סיכום, סקירה והעברה.
+- מנוע הניתוח משלב scoring אלגוריתמי, מודל `ML` מקומי ו־`Gemini` אופציונלי לזוגות גבוליים.
+- מחיקות מתבצעות דרך `send2trash` אל סל המחזור בלבד, לאחר אישור משתמש.
+- קיימת תמיכה ב־sessions, אירועי `SSE`, שמירת החלטות משתמש, עטיפות אלבומים והשמעת שירים לצורך השוואה.
+- קיימת תשתית CI/CD ל־Windows builds ול־GitHub Releases דרך tag מהצורה `album-deduplicator-vX.Y.Z`.