记录一些我看过的优秀博文。
总访问量次 |
总访客数人 |
APIfox功能学习
发表于
本文字数: 624 阅读时长 ≈ 1 分钟
本文字数: 624 阅读时长 ≈ 1 分钟
学习大模型部署软件APIfox
总访问量次 |
总访客数人 |
langchain学习记录
发表于
更新于
本文字数: 1.3k 阅读时长 ≈ 1 分钟
本文字数: 1.3k 阅读时长 ≈ 1 分钟
记录一下自己学习langchain的过程。首先是模型安装和部署。
总访问量次 |
总访客数人 |
AI行业共识观后感
发表于
本文字数: 1.2k 阅读时长 ≈ 1 分钟
本文字数: 1.2k 阅读时长 ≈ 1 分钟
如果不记笔记就等于没学,一定程度上我体会到这点了。现在记录下40页PPT记录2025年年中AI行业共识【视频播客】_哔哩哔哩_bilibili的观后感。
总访问量次 |
总访客数人 |
如何使用Typora快速在博客插入图片
发表于
本文字数: 349 阅读时长 ≈ 1 分钟
本文字数: 349 阅读时长 ≈ 1 分钟
不得不说,Typora确实是要好用很多,这里说说我是怎么修改Typora设置,能够直接从剪切板复制图片到MD文件的,
总访问量次 |
总访客数人 |
通过Tailscale突破内网限制连接服务器
发表于
本文字数: 619 阅读时长 ≈ 1 分钟
本文字数: 619 阅读时长 ≈ 1 分钟
一直以来苦恼于实验室的服务器不能够远程操作,在外实习会十分不方便,今天找到Tailscale可以解决这个问题。
总访问量次 |
总访客数人 |
linux常用命令
发表于
更新于
本文字数: 2.5k 阅读时长 ≈ 2 分钟
本文字数: 2.5k 阅读时长 ≈ 2 分钟
做一些整理记录性质的东西,不然太容易忘记了
总访问量次 |
总访客数人 |
qwen部署调用记录
发表于
更新于
本文字数: 253 阅读时长 ≈ 1 分钟
本文字数: 253 阅读时长 ≈ 1 分钟
之前试着用RAGFLOW搭建本地机器人,结果被微信狙击失败,QQ那边没弄好就结束了。现在我打算重新用Langchain搭建一次。参考
总访问量次 |
总访客数人 |
大模型训练消耗显存
发表于
更新于
本文字数: 1.8k 阅读时长 ≈ 2 分钟
本文字数: 1.8k 阅读时长 ≈ 2 分钟
训练显存消耗(可估算部分)主要包括:模型参数(Model)+ 优化器状态(Optimizer status)+梯度值(Gradient)+激活值(Activation)。根据数值的变化,可将显存消耗分为静态/动态值。训练过程中,模型参数、优化器状态一般不会变化,这两部分归属于静态值;激活值、梯度值会随着计算过程发生变化,将它们归类到动态值。
我们部署大模型的时候一般只会用到模型参数(Model)+ KV缓存(激活值),其中,当我们使用MOE架构的模型时,模型参数往往是整个模型的10%-15%左右。
总访问量次 |
总访客数人 |
大模型是怎么做到长上下文扩展的
发表于
更新于
本文字数: 416 阅读时长 ≈ 1 分钟
本文字数: 416 阅读时长 ≈ 1 分钟
一直以来我都很疑惑,为什么大模型可以从4K学到8K又到128K呢,今天看来视频才有一些想法。
总访问量次 |
总访客数人 |