亚马逊云神经稀疏检索 亚马逊云有多厉害
本文目录导读：
>
- 语义检索：大模型时代的热门技术
- 稀疏编码：高效性与语义理解能力的完美结合
- 实际应用与未来展望
在信息技术日新月异的今天，搜索引擎作为连接用户与信息的重要桥梁，其性能与效率的提升一直是技术界关注的重点，亚马逊云科技在OpenSearch NeuralSearch插件中推出的Neural Sparse功能，以其独特的神经稀疏检索技术，为语义搜索领域带来了革命性的突破，这一创新不仅简化了语义搜索的复杂度，还显著提升了搜索的准确性和速度，为未来的信息检索技术树立了新的标杆。
OpenSearch：开源搜索与实时分析引擎的佼佼者
OpenSearch，作为亚马逊云科技发起的纯开源搜索和实时分析引擎项目，自推出以来便受到了广泛的关注与好评，其强大的搜索功能和实时分析能力，使得OpenSearch在数据处理和分析领域占据了举足轻重的地位，该软件已超过5亿下载量，社区在全球拥有70个以上的企业合作伙伴，其影响力和应用范围可见一斑。
语义检索：大模型时代的热门技术
随着大模型的兴起，语义检索逐渐成为了一项热门技术，尤其是在RAG（retrieval augmented generation）应用中，检索结果的相关性直接决定了AI生成的最终效果，传统的语义检索方法往往依赖于复杂的语言模型和向量空间模型，将文本编码为高维向量，并利用近似k-邻近搜索（k-NN）进行检索，这种方法不仅部署成本高昂（需要GPU等高性能计算资源），而且在面对陌生数据集时，其稳定性和相关性表现也往往不尽如人意。
Neural Sparse：解决语义检索的三大挑战
针对当前语义检索面临的挑战，亚马逊OpenSearch连同亚马逊上海人工智能研究院，在OpenSearch NeuralSearch插件中推出了Neural Sparse功能，这一创新技术主要解决了以下三个关键问题：
1、相关性表现在不同查询上的稳定性：zero-shot语义检索要求语义编码模型在不同背景的数据集上都有不错的相关性表现，Neural Sparse利用稀疏编码与词向量（Term Vector）同源的特性，在遇到陌生文字表述（如行业专有词、缩写等）时，能够向文本匹配降级，从而避免离谱的检索结果，这一特性使得Neural Sparse在陌生数据集上的表现更加稳定可靠。
2、在线搜索的时间效率：低时延对于实时检索应用至关重要，Neural Sparse独特的doc-only模式，无需在线编码，即能在与文本匹配相近的时延情况下，达成与一流语言模型相媲美的语义检索精度，这一模式不仅大大降低了在线检索的时延，还节省了模型推理所需要的大量计算资源。
3、索引的存储资源消耗：商业化的检索应用对存储资源的消耗非常敏感，Neural Sparse在索引相同规模的数据时，其存储资源消耗仅为k-NN索引的1/10，这一显著优势使得Neural Sparse在商业化检索应用中更具竞争力。
稀疏编码：高效性与语义理解能力的完美结合
Neural Sparse的核心在于稀疏编码（Sparse Encoding）技术，与传统的稠密编码（Dense Encoding）不同，稀疏编码将文本转化为一组token与权值的组合，这里的token是语言编码模型采用分割器对文本进行切割后产生的文字单元，由于稀疏编码所产生的token-权值组合与传统文本匹配方法采用的term-vector非常类似，因此在OpenSearch中可以采用原生的Lucene索引去存储文档稀疏编码，相较于k-NN搜索引擎，原生的Lucene引擎更加轻便，占用的资源也更少。
在实验中，稀疏编码在陌生数据集上的表现要优于稠密编码，这主要得益于稀疏编码在近义词的联想方面更加突出，以及在遇到完全陌生的文本表述时，稀疏编码会更倾向于增强这些术语token的权值而弱化联想出的token的权值，使得检索过程向关键词匹配退化，从而追求一个稳定的相关性表现。
极致速度：doc-only模式与两段式搜索策略
Neural Search同时提供了一种能够提供极致线上检索速度的模式——doc-only模式，在这种模式下，仅有待检索的文档会进行稀疏编码，而查询文本则不会调用语言编码模型进行编码，仅使用分割器对查询文本进行分割，这一模式不仅大大降低了在线检索的时延，还节省了模型推理所需要的大量计算资源。
Neural Sparse还采用了一种新的搜索策略——两段式搜索，在第一次搜索中，过滤掉低权值token，仅依赖高权值token来定位排名较高的文档，随后在这些精选的文档上，重新引入之前被过滤的低权值token进行第二次详细评分，从而获取最终得分，这一策略进一步减少了不必要的计算时间，优化了处理时间。
实际应用与未来展望
Neural Sparse技术的推出，为语义搜索领域带来了新的可能，在亚马逊云科技中国峰会2024上，演讲者展示了包含100万商品文档的在线Demo网站，用户可以在该网站上体验BM25、稀疏编码、KNN和跨模态搜索等语义搜索方法，这一演示不仅展示了Neural Sparse技术的实际应用效果，还为其在未来的广泛应用奠定了坚实的基础。
随着深度学习时代的到来，传统搜索方案如BM25正在向向量语义搜索演进，Neural Sparse技术的出现，无疑为这一演进过程提供了强有力的支持，随着计算能力和预训练模型的不断进步，Neural Sparse技术有望在更多领域得到应用和推广，成为语义搜索领域的主流技术之一。
亚马逊云创新的“神经稀疏检索”技术以其独特的稀疏编码技术和高效的检索策略，为语义搜索领域带来了革命性的突破，这一技术的推出不仅解决了当前语义检索面临的诸多挑战，还为未来的信息检索技术提供了新的发展方向和思路，我们有理由相信，在不久的将来，“神经稀疏检索”技术将在更多领域得到广泛应用和推广，为人们的生活和工作带来更多便利和效率。