TextBrewer之文本情感分类代码
时间:2023-09-01 16:07:01
文章目录
-
-
- 题目
- 前言
- TextBrewer
-
- Main Features
- Architecture And Design
- FAQ
- Specific Details
- How To Use
-
题目
TextBrewer详解 代码
前言
今天读了一篇论文《TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing》,它的核心思想不是发明新的知识蒸馏方法,相反,根据现有的知识蒸馏方法,对工具包进行了总结和总结。使知识蒸馏过程更加规范统一。
我真的对此有很好的感觉。最近看了几篇关于知识蒸馏的不同论文。虽然每种方法对特征任务都有很好的效果,但复制起来太难了,这也是我没有更新的原因。不说别的,光是BERT模型有很多蒸馏,包括PatientKD、DistilBERT、TinyBERT,更不用说我还没看过的论文了。??太多了