这是软件推荐的第一期。虽然个人博客确实没什么人看，但还是会用心的去完成它，就当是给现在的自己存个档。感谢点开这个网页的所有人，如果本期内容对你有用的话，就点个赞吧～ 先来个全家福 软件 简介 平台 Listary 全局搜索 / 快速启动 / 文件定位 Win WGestu ...
Federated Learning for Vision-and-Language Grounding Problems
文章背景这篇文章的背景是这样的，首先我的每个客户端输入的都是图像，这些图像可以是不同类型的，作者在实验中是用了两个不同的数据集来表示这一点。其次是每个客户端的任务也可以是不同的，比如一部分做视觉问答，另一部分做图像描述。因为他们的任务不一样，所以传统的联邦学习方法就不适用了。作者的方法概括的说就 ...
Multi-modal Self-Supervision from Generalized Data Transformations
自监督学习首先简单的介绍一下自监督学习和对比学习。自监督学习在我看来更偏向于无监督学习，因为他处理的对象也是无标签的数据，但是不同于无监督学习，它希望用自己构造的一些标签，作为一个辅助任务来训练网络。比如我们看到下面，我可以对原图像做一个旋转让他去预测旋转的角度，或者对原图像挖掉一块让他去预测挖 ...
Fitnets：Cross Modal Distillation for Supervision Transfer
看完这篇文章我的内心是崩溃的…… 因为是第一次接触多模态深度学习，所以去搜索了解了一些基本的概念，然后在千辛万苦弄懂理解了他的方法之后，发现和之前的蒸馏文章 Fitnets：Hints for Thin Deep Nets 提出的方法是完全一样的，就是换了种表达而已…… 看了下两篇文章的投稿分别 ...
实用网站汇总（长期更新）
做一个各种良心网站的汇总，另外有时间会做实用软件的分享，大家有什么的好的网站或者软件也可以告诉我～ 学习谷歌镜像点我跳转呀～ 没有梯子也能用谷歌哦～ iData点我跳转呀～白嫖知网论文～ SCI-HUB点我跳转呀～ 如果你也像我一样进不了学校图书馆的数据库，又想白嫖各种论文，试试这个吧。当然， ...
FedMD：Heterogenous Federated Learning via Model Distillation
在做工作总结的时候，老师问我们看了这么多联邦学习和蒸馏的论文，有没有什么自己的想法呢？具体的比如怎么将蒸馏应用到联邦学习中呢？确实，在之前的工作中大部分都是带任务性的 “被动” 的阅读，以致没有注意到这样基础的问题，这一点以后需要多加注意。这一篇文章就是将蒸馏与联邦学习相结合的一种方法，思路也非 ...
PAYING MORE ATTENTION TO ATTENTION：IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER
这是蒸馏论文的第四篇，将注意力机制引入知识蒸馏中，总体来说还算比较好懂。作者提出了基于 Activation 和基于 Gradient 两种注意力迁移的方法。 ACTIVATION-BASED ATTENTION TRANSFER 正如图中所示，作者将 HxWxC 的特征图通过计算后得到 at ...
Squeeze-and-Excitation Networks
读这篇论文主要是为了学习注意力机制 (Attention)，论文没有做精度，想对文章做快速了解的可以观看 b 站视频：https://www.bilibili.com/video/BV1SA41147uA?from=search&seid=5000503775793461277 注意力机制我们在 ...
A Gift from Knowledge Distillation：Fast Optimization，Network Minimization and Transfer Learning
不同于大多数的蒸馏模型中用小模型去拟合大模型的输出，这篇文章将知识定义为神经网络中层与层之间的关系（特征图的内积）文中提到这样做有三个优点： student 网络可以学习的更快 student 网络可以比 teacher 网络的性能更优 适用于迁移学习（teacher 和 student 属 ...
Fitnets：Hints for Thin Deep Nets
这是知识蒸馏的第二篇文章，文章认为 Hinton 提出的 knowledge distillation 方法 (KD) 简单的拟合 Teacher 模型的输出并不能使 Student 达到和 Teacher 一样的泛化性能。对此，作者提出了 hint（隐藏层的输出）的概念。此外，作者认为在 th ...