1.注意力机制（Attention） 1.1 自注意力机制 （Self-Attention） 为了处理序列数据，自注意力采取的策略是，吃一整个序列，再根据输入的向量（一段序列）决定输出一个向量，再进入传统的FC，换言之，是考虑了整个序列之后输出一个结果。Self-Attention也可以与FC交替做很多次： 那Self-Attention如何运作？ Self-Attention块的输入可以是一开始的输入层，也可以是中间的某个hidden layer的输出。考虑了所有的输入，输出与输入长度相等的一系列向量。例如b1b^1b1考虑了a1,…,a4a^1, \dots , a^4a1,…,a4。 以上图为例，怎么产生b1b^1b1这个输出呢？ 有两种方法，其中Method 1是如今Transformer架构中用到的，也是注意力机制的主流架构，通过点积计算两向量的关联度。 应用中，把一个向量当作query（问询值），其余的所有当作key（键），进行关联度计算，得到Attention Score，再经过Softmax层进行归一化，得到最终的attention-score矩阵。（其实也不一定 ...

refs Error-backpropagation in temporally encoded networks of spiking neurons, 10.1016/S0925-2312(01)00658-0 Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks, 10.3389/fnins.2018.00331 神经元的脉冲在信息编码中的特点 [29] W. Maass, Fast sigmoidal networks via spiking neurons, Neural Comput. 9 (2) (1997) 279–304. · 在上述文章中，已经给出证明，脉冲神经网络可以模拟任意形式的前馈sigmoid神经元组成的神经网络。 基于这个特性，SNN可以近似任意的连续函数。SNN中单个尖峰时间传递信息的神经元比具有sigmoid激活函数的神经元计算能力更强。 脉冲，在数学上表征为一个“活人/游戏事件”，即“地点，时刻”的坐标。而且活跃（尖峰） ...

1. RNN的前向传播原理 以一个Many-to-Many的简单RNN为例(输入输出维度相等)： 每一时间单位的前向计算过程为： a<t>=f(waaa<t−1>+waxx<t>+ba)z<t>=wyaa<t>+byy^<t>=g(z<t>)\begin{aligned} & a^{<t>} = f(w_{aa}a^{<t-1>} + w_{ax}x^{<t>} + b_a) \\ & z^{<t>} = w_{ya}a^{<t>} + b_y\\ & \hat{y}^{<t>} = g(z^{<t>}) \end{aligned} ​a<t>=f(waa​a<t−1>+wax​x<t>+ba​)z<t>=wya​a<t>+by​y^​<t>=g(z<t>)​ 第一步也可以简写为： a<t>=f(wa ...

Ref: https://zh.d2l.ai/index.html 《动手学深度学习》第二版 https://www.bilibili.com/video/BV1Pa411X76s/?p=17&spm_id_from=pageDriver&vd_source=21687f13b3a0514d15ea0171e45d7ded 吴恩达机器学习Deeplearning.ai课程 https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php HUNG-YI LEE MACHINE LEARNING 2022 SPRING 对机器学习的查漏补缺 1. 模型收敛——代价函数极小：梯度下降算法（Gradient descent algorithm） 考虑一个二元代价函数： min⁡w,bJ(w,b)\min_{w,b}J(w,b) w,bmin​J(w,b) 想求得满足条件的w,bw,bw,b，则需要构建如下算法： w=w−α∂∂wJ(w,b)\begin{equation} w = w - \alpha \frac{ \p ...

（以下是本人在准备树德中学夏令营助教时的资料 PS: Cover:祢豆子可爱捏） 1. 先修知识 基本的英文：在机器人方面，目前基本上没有非常合适的中文教材可以推荐。写得深入浅出的教材大都是国外的，大家必须学会阅读英文教材。这个过程一开始肯定是痛苦的，但是，基本上坚持一个月就会习惯了。 学会使用 VPN。原因同上，基本上有用的资料都需要通过 Goolge 或 Youtube 获取。 线性代数：所有的空间变换、机器人相关计算都依赖于线性代数，甚至需要有一些基本的「线性空间」思维。对于线性代数，我首推 Prof. Gilbert Strang 的《Linear Algebra》，在 Youtube 和网易公开课上可以找到视频。这门课一开始就引导大家从空间的角度看待问题，而不只强调如何计算。而且，网易公开课上有中文字幕，对于初学者也还算友好。 微积分：机器人里，所有涉及到导数、积分、优化的地方，都需要用到微积分。所以，这门数学课也是一开始就绕不开的。我没有太好的视频推荐，不妨也看看 Gilbert Strange 的《微积分重点》 (Highlights of Calcul ...

Project 1：Matched filtering of Linear Frequency Modulated (LFM) signal 线性调频信号的匹配滤波 FFT function Parameters: sampling time: TTT sampling rate: fsf_sfs​ $total\ dots: N = T \times f $ frequency index: △f=fsN\triangle f = \frac{f_s}{N}△f=Nfs​​ original index: NNN (same as 3.) Generating Original Waves s(t)=rect(t10×10−6)ej2π(2×1012t2)s(t) = rect(\frac{t}{10 \times 10^{-6}})e^{j2 \pi (2 \times 10^{12} t^2)} s(t)=rect(10×10−6t​)ej2π(2×1012t2) According to the Euler’s formula, we can get: s(t)=r ...

物理层 2.1 数据通信理论基础 2.1.1 傅里叶分析 2.1.2 带限信号的传输 带宽：传输过程中振幅不会明显减弱的频宽，是物理介质的特性，通常取决于介质的构成、厚度、长度等 eg: 802.11无线信道的带宽为20MHz 基带信号：信号的频谱范围包含0Hz，即信号的最低频率为0Hz 通带信号：信号被搬移并占用某个更大频率范围 对带宽的深入理解：模拟信号向数字信号的转变 此为字母b的八位ASCII编码，物理层传输的信号若想完全复原，则只需要前八次谐波分量，后面的谐波可以不要。 分析：假设信道上的比特率为mmmbps, 发送一字节的时间为8m\frac{8}{m}m8​s, 因此原信号一次谐波的频率为18m=m8\frac{1}{\frac{8}{m}} = \frac{m}{8}m8​1​=8m​Hz, 由此可知，若要完全复原信号，信道的带宽至少为m8\frac{m}{8}8m​Hz 模拟带宽VS数字带宽：领域不同，单位不同：Hz VS bps 2.1.3 信道最大传输速率 香农定理：信道的最大数据传输速率CCC与信道的带宽BBB和信噪比S/NS/NS/N有关，C=B×l ...

天坑！！！！！！

学院派创业者面临的挑战 Where is the Challenge？ 创业死亡谷 探索期：产品定义风险：伪需求，小众市场，技术不成熟 天使期：量产风险 成长期：you are safe. 成熟期：you are safe. 资金需求 省流：会被骗 目标导向 学术评价体系不明朗，高效团队思想不纯 资源获取 学校不给力，学术界不给力，社会不给力 人生DDL 升学压力、工作压力、家庭压力 创业起点的二选一 独立闭环 or 创投模式 What is INNOVATION? 模式创新 盈利模式创新 网络资源整合创新 组织结构创新 跨部门协同的工作 流程创新 体验创新 服务创新 渠道创新 品牌创新 受众明确 用户交互创新 产品创新 产品表现创新 Spotify的无缝音乐流 产品生态创新 iPhone给用户创造什么价值；PikaBoost Ebike Conversion Kit；扫地机器人：问题边界的再定义 What is DESIGN THINKING？ 硬科技创新 VS 软科技创新 设计思维的本质 思维方式:用以人为本的角度重新定义问题 方法论&工具： 特征:以人为本、偏 ...

校史馆解说词(2023 年 3 月) 欢迎大家来到电子科技大学校史馆。下面由我给大家介绍一下电子科技大学从建校至今 60 多年来的发展历程。整个校史馆共 432 个平方米，由三个厅组成。整个展览有五个组成部分，它们是：亲切关怀、殷切希望；建校初期，艰苦创业；文革十年、历经磨难；改革开放，盛世华章；新的世纪，新的跨越。 现在让我们进入第一个部分：亲切关怀、殷切希望。建校六十多年以来，学校的每一步发展都得到了党和国家领导人的亲切关怀和殷切希望。 亲切关怀 殷切期望 这是江泽民同志在担任电子工业部部长期间视察我校的情况。 旁边的这幅字： “努力培养电子科技人才，为我国社会主义现代化建设服务”是他担任中共 中央总书记时，于 1991 年为我校建校 35 周年专门题写的题词。 这一面墙是历届党和国家领导人视察我校的情况。从建校初期到七十年代， 老一辈党和国家领导人聂荣臻同志、张爱萍同志、王震同志等都先后来校参观或视察。 （王震）这张照片上最左边的这位是当时学校的党委书记庄玉铭，最右边是当时的校长王甲纲。 （上世纪八九十年代，赵紫阳同志、李鹏同志、李铁映同志、朱光亚同志、彭佩云同志、宋平同志、聂 ...