Linux Advanced Programming (Linux环境高级编程)
写在前面
任课教师：刘杰彦
参考教材：？
评分标准：NaN
知识点总结
习题
Finite Automaton Theory（有限自动机理论）
写在前面
任课教师：陈文宇
参考教材：？
评分标准：NaN
知识点总结
习题
Statistical Learning Theories and Applications (统计学习理论与应用)
写在前面
任课教师：文泉
参考教材：李航，统计学习方法（第2版），清华大学出版社，2019
评分标准：
1 Final Exam 50%: Open book test in two hours.
2 Projects 40%: Four projects (Regression, SVM, MLP, and Adaboost).
3 Presentation 10%: Presentation of new topics of machine learning by students).
知识点总结
Combinatorics (组合数学)
写在前面
任课教师：杨国武、卢光辉
参考教材：《组合数学及其应用》，清华大学出版社
知识点总结
符号表
符号
含义
N\mathbb{N}N
自然数集合
第一章-排列、组合与二项式定理
第二章-容斥原理
习题
Chapter 1
Tricks for DeepSNN Learning
写在前面
这是可以说的吗🫣🫣🫣
Efficient Training
调超参的时候可以先试试用Imagenet的100类试试，调的差不多了再上全部。
SNN Transformer Training
Transformer的常用Base lr是1e-4，adamw下是1e-4到6e-4之间，lamb可能需要再精调。adamw的前期收敛性太强了建议学习率linear warmup，用log怕炸
C-Optim
stdconv -> adaptive_clip clip_grad=0.02
正常的linear就torch自带的clip clip_grad=1 or 5
FasterViT?
Spike-driven Transformer V2/V3
检测与分割：除了backbone都是整数不norm
卷积算子貌似和整数（不带norm）很适配、attention貌似很和小数（带norm）适配
Spike-driven Transformer V1
About Finetuning SDT-V1 (Contributed by Qian S., 2025-04-28)
v1没有提 ...
DeepGEMM-Beginner
写在前面
没错 这是一个新坑
为什么要做DeepGEMM的探索
某位师兄的MoE训练成本太高了，不得不借鉴Deepseek的FP8训练策略。于是我就来研究DeepGEMM了…
使用的算力平台
某超算中心（H20 Slrum）
环境配置
翻阅DeepGEMM的Github, 官方给出了所需的运行环境：
1234567Requirements- Hopper architecture GPUs, sm_90a must be supported- Python 3.8 or above- CUDA 12.3 or above- But we highly recommend 12.8 or above for the best performance- PyTorch 2.1 or above- CUTLASS 3.6 or above (could be cloned by Git submodule)
除了CUTLASS，其他的模块在超算中心中的modulelist中都能找到，这里我使用的配置是：
gcc_compiler10.3.0 cuda-12.4 cmake-3.24.0rc4 ...
My First Step in Bioinformatics
Refs
scPROTEIN(single-cell PROTeomics EmbeddINg): A Versatile Deep Graph Contrastive Learning Framework for Single-cell Proteomics Embedding [Github Link]
CLIP系列论文
Refs
Github Repo: jacobmarks:awesome-clip-papers
1. 经典中的经典：CLIP本尊
Title: Learning Transferable Visual Models From Natural Language Supervision
CLIP的核心工作是Contrastive Language–Image Pre-training，即对比语言-图像预训练，联合训练一个图像编码器和一个文本编码器来预测一批（图像，文本）训练样本的正确配对
123456789101112131415161718192021222324# image_encoder - ResNet or Vision Transformer# text_encoder - CBOW or Text Transformer# I[n, h, w, c] - minibatch of aligned images# T[n, l] - minibatch of aligned texts# W_i[d_i, d_e] - learned proj of i ...
Minkowski-Engine
Ref
Minkowski Engine Document
official code of “OpenShape: Scaling Up 3D Shape Representation Towards Open-World Understanding”
定义与专业术语 Definitions and Terminology
下面介绍Minkowski Engine中的关于稀疏卷积的定义与专业术语。（基本都是汉化搬运Ref.1，力图加上我的一点个人理解）
稀疏张量 Sparse Tensor
首先引入稀疏矩阵：是一个零元素占整个矩阵元素的绝大多数的矩阵。而稀疏张量是稀疏矩阵的维度扩展，其中非零元素用索引 Indices（记为C\mathcal{C}C）和与其对应的值 Values/Features（记为F\mathcal{F}F）。
Indices作为稀疏张量非零元素的位置表示，Values则是这个元素本身的值。
在实际应用中，我们用**坐标列表 COOrdinate list (COO)**的格式对稀疏张量进行存储。这种存储策略本质上是将稀疏张量中的非零元素坐标拼接（co ...