prompt trick
目的
通过模板使得预测任务与预训练模型的训练任务相统一,拉近预训练任务目标与下游微调目标的差距
和finetune差异
finetune:PTM向下兼容specific task
prompt:specific task向上兼容PTM
应用场景
由于其当前预测任务与预训练模型的训练任务相统一,所以我们可以在训练数据较少,甚至没有的情况下去完成当前任务,总结一下,其比较适合的应用场景:
- zero-shot
- few-shot
- 冷启动
通过模板使得预测任务与预训练模型的训练任务相统一,拉近预训练任务目标与下游微调目标的差距
finetune:PTM向下兼容specific task
prompt:specific task向上兼容PTM
由于其当前预测任务与预训练模型的训练任务相统一,所以我们可以在训练数据较少,甚至没有的情况下去完成当前任务,总结一下,其比较适合的应用场景: