最新My First Step in Bioinformatics
Refs
scPROTEIN(single-cell PROTeomics EmbeddINg): A Versatile Deep Graph Contrastive Learning Framework for Single-cell Proteomics Embedding [Github Link]
CLIP系列论文
Refs
Github Repo: jacobmarks:awesome-clip-papers
1. 经典中的经典：CLIP本尊
Title: Learning Transferable Visual Models From Natural Language Supervision
CLIP的核心工作是Contrastive Language–Image Pre-training，即对比语言-图像预训练，联合训练一个图像编码器和一个文本编码器来预测一批（图像，文本）训练样本的正确配对
123456789101112131415161718192021222324# image_encoder - ResNet or Vision Transformer# text_encoder - CBOW or Text Transformer# I[n, h, w, c] - minibatch of aligned images# T[n, l] - minibatch of aligned texts# W_i[d_i, d_e] - learned proj of i ...
Minkowski-Engine
Ref
Minkowski Engine Document
official code of “OpenShape: Scaling Up 3D Shape Representation Towards Open-World Understanding”
定义与专业术语 Definitions and Terminology
下面介绍Minkowski Engine中的关于稀疏卷积的定义与专业术语。（基本都是汉化搬运Ref.1，力图加上我的一点个人理解）
稀疏张量 Sparse Tensor
首先引入稀疏矩阵：是一个零元素占整个矩阵元素的绝大多数的矩阵。而稀疏张量是稀疏矩阵的维度扩展，其中非零元素用索引 Indices（记为C\mathcal{C}C）和与其对应的值 Values/Features（记为F\mathcal{F}F）。
Indices作为稀疏张量非零元素的位置表示，Values则是这个元素本身的值。
在实际应用中，我们用**坐标列表 COOrdinate list (COO)**的格式对稀疏张量进行存储。这种存储策略本质上是将稀疏张量中的非零元素坐标拼接（co ...
FilterNet
Ref
{ % FilterNet_2411.01623v2.pdf % }
Motivation
解决的问题：神经网络对于时序预测的不准确性（Timeseries forecasting）
点名批评 iTransformer
主要贡献：
在研究基于深度Transformer的时间序列预测模型时，通过一个简单的模拟实验，研究者们观察到了一个有趣的现象，这激发了他们探索一种新的角度，即将信号处理技术应用于深度时间序列预测。
受到信号处理中滤波过程的启发，研究者们提出了一个简单而有效的网络——FilterNet。这个网络基于两个可学习的频率滤波器构建，这些滤波器能够通过选择性地通过或衰减时间序列信号的某些成分来提取关键的信息性时间模式，从而提高预测性能。
研究者们在八个时间序列预测基准数据集上进行了广泛的实验。实验结果表明，与现有的最先进的预测算法相比，他们的模型在有效性和效率方面都取得了更优越的性能。
Methods
网络架构
输入的时间序列数据(LLL为观测时间窗长度，NNN为变量个数)，表示为
X=[X11:L,X21:L,…,XN1:L]\bf X=[{X}_{1 ...
Explainable neuromorphic computing
Ref.
Visual explanations from spiking neural networks using inter‑spike intervals
Main Contents
本文提出脉冲激活图（Spike Activation Map, SAM）, 无需反向传播或依赖梯度即可获得“视觉解释”. 这与Grad-CAM不同（通过反向传播计算梯度来量化浅层到深层神经元对目标类别预测的贡献）
我们利用了这样一种生物学观察：短脉冲间隔（ISI）的脉冲在神经系统中包含更多信息，因为这些脉冲更可能通过提高神经元的膜电位来引发突触后脉冲。针对SNN所做出的预测，SAM为网络中的每个神经元计算一个神经元贡献分数（Neuronal Contribution Score, NCS）。NCS分数定义为先前脉冲的时间脉冲贡献分数（Temporal Spike Contribution Score, TSCS）的总和，并使用指数核函数计算。
对于在短时间窗口内多次脉冲的神经元，TSCS较高；相反，对于在较长时间内发放脉冲的神经元，TSCS较低。
Results Comparison
SN ...
ANN2SNN Principles
Ref.
Zihan Huang, Xinyu Shi, Zecheng Hao, Tong Bu, Jianhao Ding, Zhaofei Yu, and Tiejun Huang. 2024. Towards High-performance Spiking Transformers from ANN to SNN Conversion. In Proceedings of the 32nd ACM International Conference on Multimedia (MM '24). Association for Computing Machinery, New York, NY, USA, 10688–10697. https://doi.org/10.1145/3664647.3680620
计算神经科学中的高效编码机制探究
Refs
Energy-Efficient Neuronal Computation via Quantal Synaptic Failures, William B. Levy and Robert A. Baxter; The Journal of Neuroscience, June 1, 2002, 22(11)
Another contribution by synaptic failures to energy e cient processing by neurons, Joanna Tyrcha;∗, William B. Levy; Neurocomputing 58–60 (2004) 59–66
Quantal Synaptic Failures
主要参考Ref.1.
Prior Knowledge 1: Basic Mathematical Modeling of Neurons, a information theory perspective.
🍭Perspective 1: 树突体求和 等价于 香农信道。
随机的突触信号传递过程被视作树突体求 ...
毕业设计（三）文献调研：MINT-SNN
Abstract
本文创新点：
将存储密集型的膜电位量化到了极低2bit精度。
在权重和膜电位数据的均匀量化中共享缩放因子。
效果：2-bit的VGG-SNN-16：90.6%（CIFAR10），memory footprint减少93.8%，computational energy减少90%。
Introduction
Vivado AXI Datamover
参考资料
Xilinx User Guide: pg022_axi_datamover
AXI Datamover IP 概述
（这次主播决定从官方手册出发，仔细研读手册内容从而达到能够独立开发该IP的目的。）
AXI DataMover和AXI DMA的功能非常相似，都是为在AXI4 memory-mapped（AXI4存储器映射）和AXI4-Stream domains（AXI4流数据）之间提供高吞吐的数据传输。该IP核的MM2S(即Memory-map to Stream)和S2MM(即Stream to Memory-map)通道独立运作，整体通信是全双工的。
**内存映射（Memory Mapping）**是一种将文件内容映射到进程的虚拟地址空间的技术。在这种机制下，文件可以被视为内存的一部分，从而允许程序直接对这部分内存进行读写操作，而无需传统的文件 I/O 调用。这种方法不仅简化了文件操作，还提高了处理效率。支持4KB的边界保护以及自动拆解太长的burst
AXI Stream: 一种高速流传输的AXI总线协议，详情见ARM官方手册：AMBA AXI-Strea ...
Vivado AXI-DMA开发
0. 参考资料
Xilinx PG021 AXI IP手册
AXI DMA示例程序：axidma: Vitis Drivers API Documentation
1. AXI DMA概述
AXI DMA即利用AXI接口的Direct Memory Access（直接内存访问），为内存和AXI-Stream流的外设之间提供高带宽内存访问。其功能框图如下图所示：
其中有两类访存数据的接口：Memory Map和Stream。Memory Map（存储映射）的接口是负责读取存储空间（如DDR）的数据（本质是AXI4-Full接口），经过DataMover之后转换成AXI Stream数据（或主或从）。AXI4 Control Strea、AXI4 Memory Map Write/Read 和 AXI4 Stream是Scatter/Gather功能下的接口。AXI-Lite为AXI总线的配置接口。
2. AXI DMA时钟接口介绍
本IP Core共有四个时钟输入：
Signal Ports
Description
m_axi_mm2s_aclk
用于MM2S接口
...