复旦 NLP 实验室博士后纪焘是这篇文章的第一作者，研究方向为大模型高效推理、多模态大模型，近期代表工作为首个NoPE外推HeadScale、注意力分块外推LongHeads、多视觉专家大模型MouSi，发表ACL、ICLR、EMNLP等顶会顶刊论文 20 余篇。

无监督学习是机器学习中的一种训练方式/学习方式：

下面通过跟监督学习的对比来理解无监督学习：

摘 要： 能量检测（ED）接收机由于具备结构简单、易于实现的特点，已经成为非相干超宽带通信系统的两大主流接收机技术之一。为了抑制噪声以提高误码性能，加权ED接收机作为传统ED接收机的一种改进方案被提出。主要研究了加权ED接收机的自适应实现问题，即利用自适应算法来逼近加权系数的最优解，进而实现自适应信号检测。采用的自适应算法为归一化最小均方（NLMS）算法。利用NLMS 算法进行自适应迭代以优化加权系数，从而避免了信道估计和矩阵分析；分析比较NLMS算法在不同步长值下的收敛性能和自适应加权ED接收机在不同加权系数维度下的误码性能，最后给出并分析了自适应加权ED接收机在最佳加权系数维度下的误码性能曲线。仿真结果表明，相比传统的ED接收机，自适应加权ED接收机能够在误码性能方面改善0.5 dB~1.2 dB。

Scalers点评：机器学习小组是成长会的内部小组，这是成长会机器学习小组第8周学习笔记

往期日志：

ScalersTalk成长会机器学习小组第5周学习笔记（参见3月23日推送）

本周学习情况：

本周（20160327-20160403）学习了非监督学习以及数据降维方法。本周的复盘主持人是Aline[S180]

本周主要内容：

本周针对Coursera上Andrew Ng的Machine Learning第八周课程进行复盘。主要内容包括如何用K均值算法实现非监督学习中的聚类问题，以及如何用主成分分析（PCA）实现数据降维。

Zeju Qiu和Tim Z. Xiao是德国马普所博士生，Simon Buchholz和Maximilian Dax担任德国马普所博士后研究员，Bernhard Sch"olkopf是德国马普所所长，Weiyang Liu是香港中文大学计算机系助理教授。

摘 要：针对传统数字语言水印算法鲁棒性较差、复杂度较高等问题，提出一种基于SVD分解和离散小波域特征值量化的安全水印算法。该算法以离散小波变换的特征值量化为基础，利用离散小波变换将每帧数字语音转化到小波域，再利用SVD奇异值分解计算近似系数特征值，而不是细节系数部分；最后，使用量化后的特征值嵌入水印比特位信息。实验结果表明，当量化步长和所选帧长较高时，该算法能有效抵御过滤攻击、加性高斯白噪声攻击、重采样攻击和剪切攻击，其中高斯白噪声攻击和剪切攻击的误码率几乎为0。相比其他优秀算法，该算法具有更好的鲁棒性。

简介

本文将会以图表的形式为大家讲解怎么在NumPy中进行多维数据的线性代数运算。

A=LU 高斯消元法

A=CR 列基与行基乘积

A=QR 正交基与施密特正交化

S=QxQt（t为转置，S为对称阵）标准正交基与对角阵

A=XdX-1（-1为逆）特征向量与特征值

A=UxVt（SVD）奇异值分解

SVD(Singular Value Decomposition, 奇异值分解)是线性代数中既优雅又强大的工具, 它揭示了矩阵最本质的变换. 使用SVD对矩阵进行分解, 能得到代表矩阵最本质变化的矩阵元素. 这就好比一个合数能表示为若干质数之积, 分解合数能得到表示该合数的质因数; 复杂周期信号可以表示为若干简单的正弦波和余弦波之和, 使用傅里叶变换能得到表示该信号的简单波; 复杂矩阵所代表的线性变换可由若干个简单矩阵所代表的线性变换组合起来, 使用SVD能找到这些简单矩阵。

持续专注分享优质内容，走过路过点点免费的关注和赞，更有更新的动力~

原理分析

PCA（主成分分析）和SVD（奇异值分解）是数据降维和特征提取的核心工具