一张图看QLoRAQLoRA通过结合NF4量化（一种考虑权重分布的4位

又仁看科技 2025-04-05 20:52:13

一张图看QLoRA

QLoRA 通过结合 NF4 量化（一种考虑权重分布的 4 位量化）、双重量化（进一步压缩量化常数）和 LoRA（只训练少量适配器参数）来实现高效微调。其核心优势在于，它显著降低了存储模型权重所需的内存，并且在反向传播（梯度计算和参数更新）期间，冻结的基础模型权重保持低精度（NF4）状态，从而大幅减少了训练过程中的显存占用，使得在有限的硬件资源（如单个 GPU）上微调非常大的模型成为可能。

图自TheAiEdge.io

0 阅读：0

又仁看科技

感谢大家的关注

作者最新文章

1

github.com/ltx0101/SlimBrave用Brave的同学可以试

2

Hello Ai地址： dmtomhl.github.io/Google-AI-

3

转发抽奖[超话] 转发抽3本的新书《StatQuest 图解机器学习（全彩）》

4

一张图看QLoRAQLoRA 通过结合 NF4 量化（一种考虑权重分布的 4 位

5

github.com/github/github-mcp-serverGithu

6

github.com/yzfly/Awesome-MCP-ZH这个Github库

7

今天我看到一个人在写代码。不用cursor。不用windsurf。不用ChatG

8

各AI分析本轮贸易战后对消费者的影响deepseek r1、gemini 2.5

9

以后可以用Python 来写CUDA了

10

unix魔法海报。里面有大概40个unix元素，看你能看出几个？

热门分类

推荐热榜军事 NBA 体育社会明星八卦娱乐财经科技汽车历史国际游戏动漫公益搞笑商业互联网数码国际足球房产家居时尚科学探索职场育儿股票教育影视情感热点中国军情武器中国南海中国足球亚洲杯科比综合体育 CBA 投资楼市大咖秀外汇创业风口 SUV 豪车概念车优惠新能源美国欧洲朝日韩俄罗斯孕期街拍恋爱攻略婚姻正能量

科技TOP

1

安卓闭源了，中国手机厂商末日来临？华为鸿蒙崛起？突发大新闻，谷歌终于对安卓下

2

2025年中国手机市场的销量TOP15，看看有没有你使用的机型。

3

MarkGurman：苹果目前没有计划再次推出小屏机型。自从23年9月停产iP

4

苹果总部首席工程师孔龙已回国！有点遗憾的是，正值国家缺乏半导体人才之际，孔龙不是

5

2025目前最强的六款旗舰手机，就差即将发布的蓝厂的X200Ultra了，会否

6

孔龙自美归国苹果的首席工程师都回国了！这个孔大佬可是牛啊，在苹果搞出了三款芯片，

7

OPPO首发，天玑9400+处理器后面vivoX200s也用这个芯片

8

目前世界上销量最高的两款旗舰机，大家感受一下[doge]

9

1.6万年前人类面貌复原图啥？你敢信这脸比我还精神！广西娅怀洞，1.6万年前头

10

京东的刘强东曾经说过这么一句话：“以后国内只会有两个快递公司，一个京东，一个

科技最新文章

1

为啥很多人买苹果手机，而不买国产高端机呢？内行人的话戳穿了真相:我上个月，国

2

好消息，下周OneUI7.0就正式推送了

3

天玑处理器奉劝大家谨慎入手搭载天玑处理器的手机，因为据说使用两年后，这些设备可能

4

4月2号下午，小米又玩大了。西安的赵女士，开着她的小米车上高速的时候，刚

5

提前曝光vivo新机涉事方已担责这是vivo法务部发的第一条微博。虽然我们都很期

6

一觉醒来，雷军倒是没慌，女驾驶员的家属却慌了。小米SU7事件被网友扒了个底朝天。

7

小米15全系降价300元

8

哇靠，一加13T安兔兔跑分竟然超过300万分，还是16G+512GB版本，这性能

9

iPhone17Pro最强长焦可能是我玩不明白，总觉得iPhone拍照越来越不好

10

不同手机使用寿命，到底哪个品牌最耐用：1.苹果手机：3年起步，多则10年2.