📗 Docs
Memo | Linux mount at start time
Mar 5, 2025
💻 Profile
DXD
AI/ML Enthusiast
Where there is a shell,there is a way.
🔎 Search
📗 Docs
Memo | Choices to Deploy DeepSeekR1
Feb 28, 2025
🤖 AI/ML
Memo | Deploying DeepSeekR1 on Ascend Card
Feb 24, 2025
🤖 AI/ML
LLM | RAG System Learning and Thinking
Jan 4, 2025
Prepare for School Information Assistant
🎇Tech/Tool
Memo | Ubuntu 修改 PS1
Jan 3, 2025
bashrc里一个控制命令提示符显示的变量
🎇Tech/Tool
Memo | Clash-for-windows正确开启Tun模式
Dec 19, 2024
挺麻烦的，不然节点显示Error连不上
🤖 AI/ML
ProbSolv | pip no build isolation开关的观察
Dec 19, 2024
以后再提示torch和本机CUDA不匹配的时候可以试试带上它
🎇Tech/Tool
Memo | Arc 浏览器 UWP 限制解除
Dec 16, 2024
🤖 AI/ML
LLM | Machine Unlearning
Dec 11, 2024
机器反学习，选择性遗忘
🤖 AI/ML
DLBasic | AI/ML Revision
Dec 7, 2024
可能会偏数学
🤖 AI/ML
papers | Learning to (Learn at Test Time): RNNs with Expressive Hidden States
Nov 22, 2024
将隐藏状态建模成可训练的模型
🤖 AI/ML
papers | From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning
Oct 11, 2024
提出了一个指令遵循难度指标
🎇Tech/Tool
Memo | 无root权限安装zsh
Sep 30, 2024
00
🎇Tech/Tool
Tools | github镜像前缀
Sep 30, 2024
https://ghp.ci/
🎇Tech/Tool
Tools | 保存dataframe
Sep 22, 2024
读大的excel文件慢，可以存df
🎇Tech/Tool
Memo | win11安装wsl2和docker
Sep 16, 2024
🤖 AI/ML
Notes | 读论文积累经验
Sep 4, 2024
有些东西不知道咋写看看
🤖 AI/ML
papers | Rethinking Data Selection for Supervised Fine-Tuning
Sep 4, 2024
主要讲SFT数据选择不应太关注于数据质量和多样性（预训练数据才关注）
🤖 AI/ML
papers | Aligning Large Language Models with Human: A Survey
Sep 2, 2024
数据对齐
🎇Tech/Tool
Tools | Linux命令行从百度云下载文件到服务器
May 21, 2024
也很慢，但能用
🎇Tech/Tool
Tools | git 101
Apr 25, 2024
git从零到一
🤖 AI/ML
BioInfo | papers | BioInfo+LLM (生信)
Apr 23, 2024
🎇Tech/Tool
Memo | ssh免密登陆
Apr 23, 2024
1.本地生成一对key；2.将.pub上传到远程主机的authorized_keys
🎇Tech/Tool
Tools | HF被墙替代方案
Apr 23, 2024
提供两种方案：modelscope和镜像站
🤖 AI/ML
BioInfo | papers | Benchmarking spatial clustering methods with spatially resolved transcriptomics data
Mar 28, 2024
研组布置的文献阅读任务。。。啥也不会
🤖 AI/ML
LLM | (小白向) hf模型页的各种文件是啥
Mar 28, 2024
LLM纯小白向-1
🤖 AI/ML
LLM | 关于llm的tokenizer
Mar 25, 2024
🤖 AI/ML
Foundation | Overfitting
Mar 24, 2024
过拟合—本质
🤖 AI/ML
papers | Grokking of Hierarchical Structure in Vanilla Transformers
Mar 24, 2024
过度训练让中度模型「涌现」结构泛化能力('fake it till you make it)
🤖 AI/ML
LLM | Re:从零开始的预训练~1b模型
Mar 23, 2024
分享会记录
🤖 AI/ML
Meeting | GTC 2024 Notes
Mar 19, 2024
记录
🎇Tech/Tool
Memo | 将Devcpp的gcc配置到系统环境变量
Mar 14, 2024
重装系统，重装devcpp发现cmd没法用gcc/g++，不方便命令行编译，需要重新写进环境变量
🤖 AI/ML
Foundation | HandsOnDL-pytorch
Mar 8, 2024
对torch的tensor操作等再熟悉一下，为手撕系列开坑做准备
🎇Tech/Tool
ProbSolv | vim粘贴缩进错乱
Feb 29, 2024
进入粘贴模式
🎇Tech/Tool
ProbSolv | docker daemon重启报错起不来
Feb 28, 2024
reload一下
🎇Tech/Tool
Tools | curl下载魔搭指定文件
Feb 28, 2024
在有单一模型文件损坏时很好用的这个方法
🤖 AI/ML
Meeting | 华为推理交流 - 910b & 新卡 800I A2
Feb 26, 2024
无
🎇Tech/Tool
ProbSolv | conda报SSL错误
Feb 26, 2024
一种可能是开梯但是conda镜像设置了国内，还有可能是相反
🎇Tech/Tool
ProbSolv | git clone报错gnutls_handshake() failed
Feb 26, 2024
代理设置出错，只需重置代理即可
🤖 AI/ML
LLM | Gemma
Feb 23, 2024
据说性能很强悍
🤖 AI/ML
Research | ViT & ViViT & DiT
Feb 23, 2024
看Sora顺带看这个，不然看不懂
🤖 AI/ML
CUDA | BlogNote-Optimize Matmul Kernel
Feb 19, 2024
先看着点，等闲了系统学下CUDA编程
🤖 AI/ML
LLM | CloseAI-Sora初步了解
Feb 17, 2024
文生视频模型，感觉pika要凉……
🎇Tech/Tool
ProbSolv | win进行ssh连接和scp的坑
Feb 11, 2024
win干这种事好麻烦
🤖 AI/ML
EXP | LLM-QAT Experiments
Feb 5, 2024
LLM-QAT论文的实验+KDTrainer实现细看
🤖 AI/ML
GPU | GPU虚拟化：直通 & vGPU
Feb 4, 2024
GPU的虚拟化方法
🤖 AI/ML
Tools | pycallgraph
Feb 4, 2024
一个函数调用可视化工具
🤖 AI/ML
GPU | A800 PCIe & SXM4 Differences
Jan 29, 2024
另外附上PCIe不同lanes的速度
🎇Tech/Tool
ProbSolv | 惠普战66三代Intel版升级win11
Jan 27, 2024
坑爹的阉割版没法开tpm
🎇Tech/Tool
CodeBank | MyToolCodes
Jan 25, 2024
一些写过的数据处理、可视化、工具代码
🤖 AI/ML
Foundation | Gradient Explosion
Jan 24, 2024
梯度裁剪—应对梯度爆炸的方案
🤖 AI/ML
Research | LLM Quantization
Jan 24, 2024
主要看量化感知训练和ft，后量化不做重点
🤖 AI/ML
papers | FlexGen
Jan 19, 2024
见过两次了，通过它了解一下prefill的概念
🤖 AI/ML
papers | RoSA
Jan 19, 2024
RoSA:一个新的低秩微调方案
🎇Tech/Tool
Tools | nvidia smi 监控矩阵
Jan 19, 2024
rxpci txpci等
🎇Tech/Tool
ProbSolv | bash换到zsh原有命令没了
Jan 17, 2024
zsh大法好
🎇Tech/Tool
Tools | nvidia软件栈版本查看
Jan 17, 2024
Nvidia 驱动版本 cuda版本查看
🎇Tech/Tool
Memo | Docker镜像制作流程记录
Jan 16, 2024
记录一下吧，以后应该还会用到
🎇Tech/Tool
Tools | hf镜像站+huggingface-cli
Jan 16, 2024
解决huggingface被墙
🤖 AI/ML
Foundation | Backpropagation
Jan 15, 2024
back-propagation
🎇Tech/Tool
Tools | cuda.memory_reserved()查看显存&visualize
Jan 11, 2024
PyTorch使用缓存分配器来加速内存分配。缓存分配器中未被占用的内存，nvidia-smi也显示为使用
🎇Tech/Tool
Tools | iterm2
Jan 9, 2024
iterm2基本用法、profile配置、sshpass配置
🤖 AI/ML
papers | ZeRO-Offload: Democratizing Billion-Scale Model Training
Jan 8, 2024
为了降低显存占用，将部分数据和计算放到CPU上
😎 Daily
Thoughts
Jan 8, 2024
不知
🎇Tech/Tool
Tools | Tmux
Jan 3, 2024
一些基本和进阶用法
🎇Tech/Tool
Memo | vllm/tgi部署流程
Jan 2, 2024
vllm和tgi框架进行推理性能测试
🎇Tech/Tool
ProbSolv | nvidia-smi NVML/driver版本不对
Jan 2, 2024
重装驱动
🎇Tech/Tool
ProbSolv | VSCode连服务器无权限新建/修改文件
Jan 1, 2024
一个小问题，sudo chown -R即可
🤖 AI/ML
papers | Reducing Activation Recomputation in Large Transformer Models
Dec 21, 2023
NV的论文,晓慧姐放在issue上的;提出了sequence parallelism
🎇Tech/Tool
Tools | Docker
Dec 20, 2023
docker使用 很全
🤖 AI/ML
Foundation | Softmax with Temperature
Dec 19, 2023
模型蒸馏论文第一次提出的带有温度的softmax，为了保持类别之间的相关性的信息
🤖 AI/ML
papers | Distilling the Knowledge in a Neural Network
Dec 19, 2023
模型蒸馏的始祖论文
🎇Tech/Tool
papers | Adaptive Mixtures of Local Experts
Dec 15, 2023
MoE的元老级paper,探讨了合作和竞争的损失函数,提出了gate network选择一个专家
🎇Tech/Tool
ProbSolv | fabricmanager与驱动版本不匹配导致cuda.is_available为False
Dec 14, 2023
A800遇到2次了，是因为nvidia-fabricmanager自动升级了，降级成匹配的驱动版本就行
🎇Tech/Tool
【Tools】
Dec 13, 2023
Tools memo.
🤖 AI/ML
Research | AI Agents
Dec 13, 2023
Agents的调研
🤖 AI/ML
Research | Sparse Tensor Core
Dec 13, 2023
NV-ampere架构的Sparse方案
🤖 AI/ML
Research | Mixtral 8x7B
Dec 13, 2023
mistral新的MoE模型，据说很强