加载失败，
EMNLP2020 Tutorial
EMNLP2020 Tutorial
2024年2月29日修改
Menu
Introduction
这是EMNLP2020课程的笔记。
EMNLP2020 tutorial主要关注点在模型的可解释性。在4个小时的课程中，介绍了可解释性技术在2018-2020年间有标志性的研究成果。
这些内容的优点是，学习成本比较小，能够让初学者快速了解比较有意思的可解释性分析方法；同时能够树立一些解释模型的思维方式。
缺点是，在4年后的今天，大模型发展迅猛，传统可解释性致力于解决的一些问题随着模型参数量的增大，已经不复存在。因此有些知识已经失去了实用价值。
但是，我们也能够发现，强如现在的大模型，有时仍旧不能解决四五年前的可解释性提出的问题。例如附录0中的实验结果，在简单的自然语言推理任务中，仅仅在题干加入一个不相关的误导性词汇，几乎所有的大模型（包括GPT3.5和Gemini）都因此回答错误了。
从另一个方面来说，大模型的幻觉、安全性问题等等，也都属于可解释性探讨的问题范畴。可解释性致力于发现这些问题的根本原因，并且提出解决思路。
随着大模型的发展，语言模型的可解释性技术也需要以Transformer为根基和导向。可惜的是之前针对传统深度学习模型的可解释性研究尚未达到让人满意的效果（即，解释够直观，有指导价值）就要接受新的挑战。可解释性领域可做的事情很多，也正在被更多的人所需要。
About this script
EMNLP2020是十分不错的可解释性课程，可惜国内资源匮乏：在B站和Youtube能够找到的原视频无字幕，相关的教案和笔记也很稀缺。
本人花费了约半个月的时间，基于原视频拟写了部分课程笔记，希望能为感兴趣的同学起到帮助。笔记与视频的讲解顺序是高度一致的，可以在观看原视频的同时辅助理解(有时英文不太容易听清)，也可以直接看（内容基本是全的）。
笔记也存在一些缺点：比如描述不够简洁，有时会有点啰嗦等。虽然篇幅有点长，但应该不会很晦涩难懂，这些知识原理上都相对不复杂。
笔记除了课程内容之外，也记录了讲解完毕后问答的内容。个人认为这些内容天马行空，对人的启发会相对大一些。
目前，笔记还没有书写完毕，在之后的一个月间会逐步完善 目前已经完成理论部分，同时为了减少阅读成本会撰写精简版的笔记。
要想流畅阅读此笔记，需要具备深度学习的基本知识，理解梯度等基本概念，并且了解一点自然语言处理的基础知识。