全域图像搜索给你更精准的搜索体验

2018飞天技术汇，阿里巴巴机器智能技术实验室的刘磊带来题为全域精准图像搜索介绍的演讲，主要从四个方面进行了阐述，第一部分介绍了图像搜索的基本概念，第二部分主要是讲解了图像搜索的技术架构及其优势，第三部分对应用场景及案例进行了分析，最后对商品使用情况以及定价做了简单介绍。

以下是精彩视频内容整理：

Alibaba MIT

MIT （Machine , Intelligence ,Technologies 机器智能技术实验室） 成立于2018年，由一批杰出的科学家及工程师组成，团队主要分布在杭州、北京、西雅图、硅谷、新加坡等地，是阿里巴巴负责人工智能技术研发的核心团队。MIT以阿里巴巴宝贵的海量数据为基础，机器学习/深度学习技术为依托，打造了涵盖图像视频、语音交互、自然语言理解、智能决策等人工智能核心技术，充分赋能电商、金融、物流、社交、娱乐等阿里巴巴集团的重要业务，此外也对生态合作伙伴输出，与企业合力打造智能未来。

图像搜索

图像搜索服务（Image Search）是一个以深度学习和大规模机器学习技术为核心，通过图像识别和搜索功能，实现以图搜图的智能图像搜索的产品。其主要的服务内容包括相同图像搜索和相似图像搜索两部分，在基于图像识别技术的基础上，图像搜索服务结合了不同行业的应用和业务场景，帮助用户实现相同或相似的图片搜索。图像搜索的业务领域也较为广泛，对于所有具备图像数据库的用户都可以享受图像搜索服务。

图像搜索发展历程主要分为三个阶段，在2014年8月成功在淘宝的拍立淘上线，用户第一次可以通过相机拍照的方式进行购物，在2017年2月开始了产品的对外商业化输出，将图像搜索的技术分享给各大商业伙伴，今年开始尝试将图像搜索技术在阿里云上进行广泛的赋能，并在7月份完成了图像搜索在阿里云以及全球的同步发布。

技术架构及其优势

图像搜索技术主要分为五个算法模块：

• 类目预测：仅通过图片特征进行图片的区分是有限制的，所以可以通过类目的预测进行目标判断，这样就无需对整个图像库进行全局搜索，只需搜索相应的某个类目图片。类目搜索不但可以提升搜索的效率，也可以提升搜索的精准程度。
• 主体检测：在一般情况下得到的图片主体目标较小并且背景较为复杂，为了减少背景以及其他主体的干扰，就需要进行主体检测。
• 特征提取：特征提取是图像搜索的一个重要模块，主要应用了深度特征与局部特征两个维度的特征，目前深度学习特征提取已经远远优于传统的特征提取。局部特征提取是对图像特征局部殊性的表达，目前在局部特征中进行了包括维度压缩、提取速度的优化等方面的改进。
• 检索与排序：检索索引主要分为离线构建索引和在线快速查询两个模块，离线构建索引是通过离线过程对图像特征进行提取，在线过程主要是通过用户输入的特征图片进行快速提取特征，然后把提取出的特征放到分布式引擎中，进行快速的查询检索。排序模块能够有效结合深度特征与局部特征，深度特征主要从高层来提取信息，而局部特征关注的是根据图像的局部信息。

图像搜索的技术流程

离线流程对图像库进行图像的选取，对选取后的图像进行主体检测，然后对检测后的图像进行特征提取，进而建立起图像检索引擎。在线流程是在用户输入Query时，进行类目的预测和判断，然后做主体检测以及特征提取，进行检索和排序后，最后输出结果。

图像检索的优势

深度学习采用业内领先的深度学习算法和海量的数据，具有效果精准、鲁棒性强等优点，并且自主研发支持百亿数量级别的快速索引技术，时间可以达到毫秒级的响应，同时产品全都是源于阿里巴巴电商平台，经历实战锤炼，所以具有可靠稳定以及效果显著的优点。此外还可以针对不同的业务场景做一些定制化开发，融合阿里云的计算和机器智能技术实验室的视觉AI的能力，打造充分适合用户全业务场景的图像搜索服务。

应用场景及案例

电商场景

用户只需拍摄或者上传照片，就可以根据图片进行搜索。这省去了繁琐的文字描述，简化了商品搜索流程，大大提高了用户的购物体验，同时对于商家而言也可以更快地将商品推荐给用户。

通用图库场景

图片分享和社交类网站通常有大量的图片供用户搜索使用，利用图像搜索服务，可在云端快速构建百亿级图像搜索引擎，提供以图搜图功能，提升用户体验。

案例

此案例是在三星Galaxy S8的系统中做了一个图像搜索技术，在相册中可以通过以图搜图的方式搜索到淘宝相关的商品，给客户提供了更好地购物搜索体验。

商用与定价

图像搜索已于7月11日在国内站和国际站同时商业化发布，得到客户的广泛好评。目前计费方式有两种，分别是预付资源包和后付费。预付资源包是在图像搜索服务采用购买按月/按年（自然月/自然年）预付费资源包的计费方式。在购买后，调用次数会在资源包内进行抵扣，当资源包用完时，则默认转到后付费方式。同时预付费资源包采取按照资源包调用量大小及资源包购买期长短进行阶梯优惠的付费方式，资源包的调用量越大/资源包的购买期越长（如：选择包年而非包月）即单价越低。而后付费是在图像搜索服务的预付费资源包用完后，默认转到后付费方式，后付费的计费方式为按次计费。

作者：云迹九州