prompt trick

目的

通过模板使得预测任务与预训练模型的训练任务相统一,拉近预训练任务目标与下游微调目标的差距

和finetune差异

finetune:PTM向下兼容specific task

prompt:specific task向上兼容PTM

应用场景

由于其当前预测任务与预训练模型的训练任务相统一,所以我们可以在训练数据较少,甚至没有的情况下去完成当前任务,总结一下,其比较适合的应用场景:

  1. zero-shot
  2. few-shot
  3. 冷启动

参考

https://zhuanlan.zhihu.com/p/424888379

https://zhuanlan.zhihu.com/p/440169921

Author

Lavine Hu

Posted on

2022-06-27

Updated on

2022-06-27

Licensed under

Comments

:D 一言句子获取中...