https://oi-wiki.org/ds/dsu/

https://juejin.cn/post/6991459784167784456

https://www.cnblogs.com/xzxl/p/7266404.html

https://www.jianshu.com/p/b51ab28ca8dd

和堆的关系

https://blog.csdn.net/weixin_44337445/article/details/110508591

deepctr

https://github.com/shenweichen/DeepCTR

https://zhuanlan.zhihu.com/p/144765227

系统从版本a升级到版本b 不是一次性全部升级 而是一点点升级 逐步替换

https://blog.csdn.net/justlpf/article/details/130192080

两个版本 对比效果

a b两个系统

输入相同的query

对比输出的结果

1 效果

1.ndcg

一个query一个ndcg

所有query的ndcg平均就是系统的ndcg

2 正逆序比

1 predict , label

https://zhuanlan.zhihu.com/p/440042900

2 feature , label

2 性能

1 p95

2 qps

1.ppl 困惑度

https://blog.csdn.net/qq_37388085/article/details/104382988