3. 排序模型

3.1 排序模型

之前介绍的向量模型讲究速度，借助向量与ANN快速从大量候选中筛选出部分文档。那么排序模型讲究的就是精度了，此时候选集已经够少，可以极尽所能的提升精度。排序模型针对query和少量的候选集，输出更优的候选集顺序。

3.1.1 Cross-encoder

cross-encoder是最常见的排序模型，如果说向量模型是一种query和document迟交互的模型，那cross-encoder就是一种早交互的模型，越早交互，模型就能够越好的融合多个实体的信息。

3.1.2 ColBERT

3.1.3 LLM Reranker

3.2 排序模型优化

3.3 大模型排序模型

大模型有着更出色的理解和推理能力，因此也有越来越多的尝试将大模型用于重排。有两种不同的思路，一种是生成式(generative)，一种是表征式(representative)。

表格汇总

论文Large Language Models for Information Retrieval: A Survey总结了大模型在排序上的应用

• Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels

Zero-Shot Listwise Document Reranking with a Large Language Model

RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models

Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting

Few-shot Reranking for Multi-hop QA via Language Model Prompting

3.4 番外：ColBERT

3.5 番外：RLHF中的奖励模型