建设局网站简介网站推广软文公司

张小明 2026/1/11 9:21:08
建设局网站简介,网站推广软文公司,南昌网站seo公司,漳州商城网站建设论文题目#xff1a;Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers#xff08;卷积层谱范数的紧凑高效上界#xff09;会议#xff1a;ECCV2024摘要#xff1a;控制与卷积运算相关的雅可比矩阵的谱范数可以提高cnn的泛化、训练稳定性和鲁棒性…论文题目Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers卷积层谱范数的紧凑高效上界会议ECCV2024摘要控制与卷积运算相关的雅可比矩阵的谱范数可以提高cnn的泛化、训练稳定性和鲁棒性。计算范数的现有方法要么倾向于高估范数要么随着输入和内核大小的增加它们的性能可能会迅速下降。在本文中我们证明了四维卷积核的谱范数的张量版本直到一个常数因子作为与卷积运算相关的雅可比矩阵的谱范数的上界。这个新的上界与输入图像分辨率无关是可微的可以在训练过程中有效地计算出来。通过实验我们展示了如何使用这个新的边界来提高卷积架构的性能。源码地址https://github.com/GrishKate/conv_norm.深入理解卷积层谱范数的高效计算引言在深度学习中控制神经网络的Lipschitz常数是一个重要课题。它直接关系到模型的鲁棒性、泛化能力和训练稳定性。对于卷积神经网络而言这个问题归结为如何高效计算卷积层Jacobian矩阵的谱范数即最大奇异值。ECCV 2024收录的这篇论文提出了一种基于张量范数的新方法在保持计算效率的同时显著提升了估计精度。背景为什么谱范数很重要神经网络的Lipschitz常数可以用各层Lipschitz常数的乘积来界定对于线性层其Lipschitz常数等于权重矩阵的谱范数。控制这个值可以防止梯度爆炸、提高对抗鲁棒性、改善泛化性能。然而卷积层的Jacobian矩阵是一个巨大的双重块Toeplitz矩阵。以一个典型的卷积层为例输入 256尺寸的图像、64个通道其Jacobian矩阵尺寸达到 4.2×4.2×10^12直接计算SVD完全不现实。现有方法的困境学术界提出了多种方法来解决这个问题依赖输入尺寸的方法幂迭代法通过反复应用卷积操作来逼近最大奇异值。虽然准确但复杂度为对高分辨率图像或3D卷积代价过高。F4方法Singla和Feizi提出使用卷积核四种展开矩阵谱范数的最小值乘以作为上界。这个方法不依赖输入尺寸但实验显示它会高估真实值1.7-2.6倍。本文方法张量谱范数论文的核心洞察是将四维卷积核视为一个张量其作为多线性泛函的范数张量谱范数可以用来精确界定卷积的谱范数。张量谱范数的定义这个定义是矩阵谱范数向高维的自然推广。主定理证明了双向界下界通过观察卷积核的某个展开矩阵是Jacobian矩阵T的子矩阵上界通过谱密度矩阵的技术将Jacobian的谱范数与张量的多线性形式联系起来一个关键的技术点是证明过程中需要在复数域上取上确界。作者在附录中给出了反例说明如果只在实数域上优化上界可能不成立。高效计算HOPM算法张量谱范数可以通过高阶幂方法HOPM高效计算。算法思想是固定其他向量依次对每个向量求解最优值这等价于求解最佳秩1近似问题。# HOPM算法伪代码 for iteration in range(n_iters): u1 contract(K, [I, u2, u3, u4]) # 对第一个维度收缩 u1 conj(u1) / norm(u1) # 归一化注意共轭 # 类似更新 u2, u3, u4 return abs(contract(K, [u1, u2, u3, u4]))每次迭代的复杂度为 $O(c_{in}c_{out}hw)$与图像分辨率完全无关。训练时由于权重变化缓慢可以利用上一步的向量作为初始值仅需一次迭代即可更新。为什么比F4更精确F4方法使用四种特定展开矩阵的最小谱范数。而根据张量理论中的一个基本引理张量谱范数不超过其任何展开矩阵的谱范数。这意味着因此TN bound在理论上必然不劣于F4 bound实验也验证了这一点。实验亮点精度验证在预训练的ResNet18上TN bound对大多数层的估计误差在10%以内而F4误差通常在20%-50%。对于步长卷积差距更加明显。正则化应用将所有卷积层谱范数之和作为正则项加入损失函数这种简单的正则化策略在CIFAR100和ImageNet上都取得了一致的精度提升且几乎不增加训练时间。正交正则化论文还提出了两种新的正交正则化方法基于卷积核与自身卷积后的张量谱范数谱范数与Frobenius范数的比值当所有奇异值相等时达到最小其中在CIFAR100上将准确率从73.84%提升到75.99%效果显著。局限性与展望尽管TN bound在理论和实践上都有明显优势但仍存在改进空间。最坏情况下TN bound仍可能高估真实值倍虽然实验中通常远小于这个值。对于非常大的核尺寸这个差距可能变得显著。此外HOPM算法只能保证收敛到局部最优。虽然通过多次随机初始化可以缓解这个问题但全局最优性没有理论保证。总结这篇论文为卷积层谱范数的计算提供了一个优雅的解决方案。通过将问题转化为张量谱范数的计算作者在不牺牲效率的前提下显著提升了估计精度。这个结果不仅有理论美感张量范数是矩阵范数的自然推广也有实际价值可以更精确地控制神经网络的Lipschitz常数。对于关注模型鲁棒性、泛化性和训练稳定性的研究者和工程师这篇论文提供了一个即插即用的工具。论文比较偏数学内容主要解析由AI整理而成如果大家想更深入了解请阅读原文噢~
版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!

盐城市城镇化建设投资集团网站做空视频文件的网站

、美通社消息:纽约大学阿布扎比分校斯特恩商学院(Stern at NYUAD)12月10日在阿布扎比金融周期间举行的全球市场峰会上发布了首版金融中心竞争力指数(FCCI)。该指数对全球国际金融中心进行评估,并将纽约、伦敦和新加坡列为前三名。该指数凸显海湾合作委员…

张小明 2026/1/7 19:53:35 网站建设

网站建设界面ppt演示wordpress插件安装目录下

Sonic数字人模型实战:音频驱动人像嘴形精准对齐技巧 在短视频内容爆炸式增长的今天,一个“会说话”的数字人可能只需要一张照片和一段录音就能诞生。这不再是科幻电影的情节——以Sonic为代表的轻量级口型同步模型,正在让高质量数字人生成变得…

张小明 2026/1/7 17:49:46 网站建设

做cpa联盟必须要有网站吗软件开发工具包英文

FaceFusion支持ONNX格式导出:跨框架部署更灵活 在AI视觉应用日益普及的今天,人脸替换技术已不再局限于实验室或高端影视制作,而是逐步渗透到短视频、直播、社交娱乐乃至企业级数字人系统中。然而,一个长期困扰开发者的难题始终存在…

张小明 2026/1/5 5:40:42 网站建设

科技公司.net网站源码柳州企业 商家应该如何做网站

PyTorch安装完成后测试Tensor运算性能基准 在深度学习项目启动前,你是否曾遇到这样的困扰:明明装好了PyTorch,代码也能跑通,但训练速度却远低于预期?更糟糕的是,当你满怀信心提交实验结果时,同事…

张小明 2026/1/10 10:36:03 网站建设

和一个网站做接口政务网站建设和技术维护制度

抖音无水印视频获取全攻略:高效下载工具详解 【免费下载链接】douyin_downloader 抖音短视频无水印下载 win编译版本下载:https://www.lanzous.com/i9za5od 项目地址: https://gitcode.com/gh_mirrors/dou/douyin_downloader 在短视频内容日益丰富…

张小明 2026/1/4 19:03:53 网站建设