语义召回进阶之路：从传统到深度学习的搜索革新

语义召回进阶之路：从传统到深度学习的搜索革新

0.简介

召回技术是搜索方向的重要组成部分，大体上搜索架构都是以金字塔结构的形式组成，一般包括: 召回 -> 粗排 -> 精排 -> 重排序。召回位于整个金字塔的最底端，因此，召回效果的好坏直接决定整个搜索系统的天花板。传统的召回技术基于倒排索引的方式进行召回，这样的召回架构已经延续了很多年。传统召回技术具有召回效率高、召回结果匹配精准等优点，但传统召回在面对语义相似但字面不匹配等问题时却表现不佳，为了解决这类问题，业界已经在传统召回的路线上进行了很多优化，比如同义词替换或扩展、query 改写以及语义算分等，但是这些方式从本质上讲都是缓解该问题，并不能从根本上解决该问题。举个例子: Query: ”比喻说多了会露馅的句子 “，满足 Query 需求的结果:” 有句话的意思是话说多了就会漏出破绽“，我们通过上述的方法很难解决该类问题。近年来随着深度学习的发展，语义召回方向开始逐渐发展起来，这也让我们看到了彻底解决该类问题的希望，因此，我们在搜索中进行了语义召回的实践，经过一段时间的发展，语义召回已经在整个搜索中得到大规模的使用，并且对召回效果的提升起到了重要作用。

在本文中，我们将对搜索在语义召回的进阶之路进行展开介绍，详细阐述我们在通用搜索上如何进行召回模型的优化、当前语义召回仍然面临的问题以及我们对未来召回应该是什么样的等开放性问题抛出我们的想法，后续我们还会继续产出对语义召回上层排序模型进行优化和适配的文章。
整篇文章的组织结构如下:
1.召回模型的发展
2.语义召回面临的问题
3.未来召回架构畅想

1.召回模型的发展