Skip to content

LoRaの検証#4

Open
kyo0221 wants to merge 5 commits into
lang_onlyfrom
lora/lang_only
Open

LoRaの検証#4
kyo0221 wants to merge 5 commits into
lang_onlyfrom
lora/lang_only

Conversation

@kyo0221
Copy link
Copy Markdown
Collaborator

@kyo0221 kyo0221 commented May 21, 2026

概要

  • lang_onlyブランチで開発しているシステムを基に,loraを検証
  • loraを利用することで重み更新のパラメータを低ランク行列で近似し,少ないパラメータ数で学習することができる
    • 学習が早くなり,メモリ効率が良くなる
    • 残りのパラメータは凍結するようで,事前学習の重みが残りやすい(破滅的忘却が発生しにくくなる)

loraの記事
https://zenn.dev/fusic/articles/paper-reading-lora

@kyo0221
Copy link
Copy Markdown
Collaborator Author

kyo0221 commented May 21, 2026

検証したが,ナビゲーションが破綻しやすくなった

曲がり角が近くなった際に壁に突っ込んでいったり

@kyo0221
Copy link
Copy Markdown
Collaborator Author

kyo0221 commented May 22, 2026

ちゃんとした形式で実験をしていないので根拠は示せませんが,いろいろ検証している感じだと,事前学習済み重みの一部を凍結している関係で,言語指示に従いやすくなっている気がします.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant