图像搜索方法、装置、电子设备及计算机可读存储介质与流程

文档序号:20922668 发布日期:2020-05-29 14:48
图像搜索方法、装置、电子设备及计算机可读存储介质与流程

本发明涉及通信技术领域,具体而言,涉及一种图像搜索方法、装置、电子设备及计算机可读存储介质。



背景技术:

随着科技的发展,拍照技术越来越完善,除了专业相机,其他电子设备比如手机,也拥有拍照功能,越来越多的用户选择利用手机来拍摄照片,并将拍摄到的照片直接存储在电子设备的相册中,此外用户还可下载照片存储在电子设备的相册中进行浏览观看。

目前用户对于照片搜索的方法基本上都是按照存储照片时的分类方式在手机相册中手动搜索,或者根据对照片的模糊的零碎记忆逐一翻阅相册直到获得符合记忆的照片。

但是,当照片数量庞大时,上述搜索照片的方法效率和准确率较低,降低了用户体验,因此需要一个效率高准确度高的照片搜索方法,来提高用户对电子设备的体验感。



技术实现要素:

有鉴于此,本发明提供一种图像搜索方法、装置、电子设备及计算机可读存储介质,用于提高照片搜索的效率,增强用户对电子设备的体验感。

为了实现上述目的,本发明实施例采用的技术方案如下:

第一方面,本发明实施例提供一种图像搜索方法,应用于电子设备,所述方法包括:根据用户输入的多个关键词信息提取目标图像的结构化特征;根据所述结构化特征从待搜索图库中匹配出第一类图像,所述第一类图像包含全部所述结构化特征;显示所述第一类图像。

可选地,所述方法还包括:根据所述结构化特征从待搜索图库中匹配出第二类图像;所述第二类图像包含部分所述结构化特征;显示提示信息;所述提示信息用于指示用户从所述第二类图像中确定所述目标图像。

可选地,在根据所述结构化特征从待搜索图库中匹配出第一类图像的步骤之前,所述方法还包括:根据获取的至少一张人脸图像提取人脸特征;所述根据所述结构化特征从待搜索图库中匹配出第一类图像的步骤,包括:根据所述结构化特征和所述人脸特征从待搜索图库中匹配出第一类图像;所述第一类图像包含全部所述结构化特征和所述人脸特征。

可选地,所述方法还包括:根据所述结构化特征和所述人脸特征从待搜索图库中匹配出第二类图像;所述第二类图像包含部分所述结构化特征和所述人脸特征;显示提示信息;所述提示信息用于指示用户从所述第二类图像中确定所述目标图像。

可选地,所述方法包括:所述结构化特征包括以下任意一种或组合:颜色特征、背景特征、人体特征。

第二方面,本发明实施例提供一种图像搜索装置,包括:提取模块、匹配模块和显示模块;提取模块,用于根据用户输入的多个关键词信息提取目标图像的结构化特征;匹配模块,用于根据所述结构化特征从待搜索图库中匹配出第一类图像,所述第一类图像包含全部所述结构化特征;显示模块,用于显示所述第一类图像。

可选地,所述匹配模块,还用于根据所述结构化特征从待搜索图库中匹配出第二类图像;所述第二类图像包含部分所述结构化特征;所述显示模块,还用于显示提示信息;所述提示信息用于指示用户从所述第二类图像中确定所述目标图像。

可选地,所述提取模块,还用于根据获取的至少一张人脸图像提取人脸特征;所述匹配模块,还用于根据所述结构化特征和所述人脸特征从待搜索图库中匹配出第一类图像;所述第一类图像包含全部所述结构化特征和所述人脸特征。

第三方面,本发明实施例提供一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如第一方面所述的根图像搜索方法。

第四方面,本发明实施例提供计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的根图像搜索方法。

相对于现有技术,本发明提供的图像搜索方法、装置、电子设备及计算机可读存储介质,应用于电子设备,该方法包括:先根据用户输入的多个关键词信息提取目标图像的结构化特征;然后根据结构化特征从待搜索图库中匹配出第一类图像,第一类图像包含全部结构化特征;最后显示第一类图像。本方法根据结构化特征将从待搜索图库中匹配出第一类图像,然后在第一类图像中确定目标图像,通过减小目标图像的搜索范围,从而提高了目标图像的搜索效率,提高了用户的体验感。

本发明实施例的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种图像搜索方法的示意性流程图;

图2为本发明实施例提供的另一种图像搜索方法的示意性流程图;

图3为本发明实施例提供的另一种图像搜索方法的示意性流程图;

图4为本发明实施例提供的另一种图像搜索方法的示意性流程图;

图5为本发明实施例提供的一种图像搜索装置的功能模块图;

图6为本发明实施例提供的一种电子设备的方框示意图。

图标:40-图像搜索装置;401-提取模块;402-匹配模块;403-显示模块;50-电子设备;501-存储器;502-处理器;503-内部接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

在本发明的描述中,需要说明的是,术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

目前,用户在进行照片搜索时,通常会根据照片的拍摄时间、拍摄地点、人物等关键信息,在待搜索图库里面进行搜索,另外,还有根据人物信息建立人脸数据库,然后根据照片人物信息在数据库中匹配出目标照片,可想而知,当待搜索图库中的照片数量很庞大时,通过以上方式在待搜索图库中搜索出目标照片的效率极低,严重影响用户的体验感。

因此,为了解决上述问题,本发明提供一种图像搜索方法,其核心在于根据图像的内容,即以图像的结构化特征作为搜索条件,将数量庞大的待搜索图库中图像进行分类,并在包含所有结构化特征的一类图像中确定目标图像,该方法通过减小目标图像的搜索范围,从而实现提高图像搜索效率的功能,能够提高用户的体验感。

为了详细描述本发明的技术方案,请参见图1,图1为本发明实施例提供的一种图像搜索方法的示意性流程图,该方法可以应用于电子设备中,该方法包括:

步骤201、根据用户输入的多个关键词信息提取目标图像的结构化特征。

可以理解的是,上述的关键词信息可以是用户根据对目标图像的记忆获得,也可以是用户根据记载的图片内容获得。例如,用户对目标图像的记忆信息是“三年前跟朋友一起跟朋友去旅游”、“我穿着一件灰色t恤、带着黑的帽子”、“背景是海”等信息,则用户可以向电子设备输入的关键词信息诸如“三年前”、“灰色上衣”、“黑色帽子”、“背景是海”等,用户可以在电子设备的交互界面上输入关键词信息后,电子设备可以根据输入的关键词信息,利用人工智能语言处理技术对关键词信息进行处理,提取关于目标图像的结构化特征,例如,假设目标图像的内容是关于风景或事物,结构化特征可以是颜色特征、纹理特征、背景特征等,假设目标图像中还包括人物,结构化特征还可以包括人体特征等,进而可以通过结构化特征实现图像搜索的功能。

步骤202、根据结构化特征从待搜索图库中匹配出第一类图像。

可以理解的是,电子设备获得结构化特征之后,可以通过匹配方法来获得第一类图像,匹配方法可以是图片结构分析法。具体的,图片结构化分析法指得是根据图像的基本数据结构确定结构化特征的区域,图像是由一个个像素点组成,像素点也指得是颜色点,颜色是用rgb或rgba表示,例如,用户输入的关键词信息是“红色衣服”,电子设备通过提取到的结构化特征“红色”,并结合人体特征确定图像的人体上半身区域对应的颜色点为红色,通过图像色彩的覆盖最终可以匹配出具有红色特征的图像。

步骤203、显示第一类图像。

可以理解的是,由于第一类图像中包括全部的结构化特征,因此第一类图像中包括用户所要搜索的目标图像,电子设备可以显示全部的第一类图像,以便用户在第一类图像中确定目标图像。

本发明提供的图像搜索方法,应用于电子设备,该方法包括:先根据用户输入的多个关键词信息提取目标图像的结构化特征;然后根据结构化特征从待搜索图库中匹配出第一类图像,第一类图像包含全部结构化特征;最后显示第一类图像。本方法根据结构化特征将从待搜索图库中匹配出第一类图像,然后在第一类图像中确定目标图像,通过减小目标图像的搜索范围,从而提高了目标图像的搜索效率,提高了用户的体验感。

可选地,当用户输入的关于目标图像的关键词信息有误或者关键词信息不准确时,通过上述的实施例可能不存在第一类图像,或者用户在第一类图像中无法确定出目标图像,为了避免用户无法获得目标图像的现象,在图1的基础上,给出一种可能的实现方式,参见图2,图2为本发明实施例提供的另一种图像搜索方法的示意性流程图,该方法还包括:

步骤204、根据结构化特征从待搜索图库中匹配出第二类图像。

可理解的是,上述的第二类图像包含部分结构化特征。例如,用户输入了“灰色上衣”、“黑色帽子”、“背景是海”等关键词信息,电子设备可以提取出关键词信息中的“灰色”、“黑色”、“海”等作为目标图像的结构化特征,然后根据所提取到的结构化特征从待搜索图库中去匹配具有部分结构化特征的图像,作为第二类图像,例如,第二类图像可以是图像中只包括特征“灰色”,也可以是图像中只包括特征“灰色”和“海”,将包含部分结构化特征的图像作为第二类图像,以防止用户在提供的关键词信息有误时出现得不到目标图像的情况,增加了用户获得目标图像的可能性。

步骤205、显示提示信息。

可以理解的是,上述的提示信息用于指示用户从第二类图像中确定目标图像。当电子设备显示出第一类图像后,用户在第一类图像中无法确定目标图像时,电子设备可以显示提示信息,用户可以通过该提示信息继续查看第二类图像,从第二类图像中确定是否存在目标图像。例如,用户提供的关键词信息是灰色t恤,黑色帽子,但是在搜素图库中存储的图像是黑色t恤,灰色帽子,因为用户对图像的记忆也许不准确,所以第二类图像照片是有意义的,可以提醒用户进行在第二类图像中查看。

需要说明的是,上述图2中的步骤204~步骤205与步骤202~步骤203之间没有执行的先后顺序,在一些场景中,电子设备可以同时执行步骤202和步骤204,即线先将第一类图像和第二类图像匹配出来,然后同时执行步骤203和步骤205,即在显示第一类图像的同时,显示提示信息,当用户在第一类图像中确定出目标图像后,可以忽略该提示信息,当用户没有找到目标图像时,可以根据提示信息从第二类图像中确定目标图像。

可选地,当用户确定要搜索的目标图像包括至少一个人时,还可以通过向电子设备输入对应的人脸图像,电子设备通过提取人脸图像中的人脸特征,并结合图像的结构化特征来匹配出第一类图像,然后在第一类图像中确定目标图像,为了详细描述在具有人脸特征情况下的图像搜索方法,下面在图1的基础上,给出一种可能的实现方式,参见图3,图3为本发明实施例提供的另一种图像搜索方法的示意性流程图,该方法还包括:

步骤206、根据获取的至少一张人脸图像提取人脸特征。

可以理解的是,当用户需要搜索的目标图像中包含至少一个人时,用户可以通过电子设备的摄像头获取至少一张人脸图像,也可以通过电子设备的交互界面上传对应的至少一张人脸图像,然后可以根据获得人脸图像提取对应的人脸特征,电子设备可以根据获取的人脸图像进行人脸特征提取。

其中,步骤202的一种可能的实现方式为:

步骤202-1、根据结构化特征和人脸特征从待搜索图库中匹配出第一类图像。

可以理解的是,第一类图像包含全部结构化特征和所述人脸特征。当用户通过电子设备的摄像头获取至少一张人脸图像后,提取人脸特征,或者是通过电子设备的交互界面上传对应的至少一张人脸图像后,电子设备可以通过预设的人脸识别方法来获得人脸特征。

具体的,人脸识别(facialrecognition)指得是通过电子设备获取用户的面部图像,再通过人脸检测方式将人脸从图像背景中检测出来,由于受图像背景、亮度变化以及人的头部姿势等因素影响使人脸检测成为一项复杂研究内容,最后通过检测定位给出人脸在图像中的位置。在进行人脸识别时,需要对局部区域进行定义,然后提取人脸局部区域特征作为对应的人脸特征,通过获得人脸特征在待搜索图库中进行人脸匹配,可以获得具有对应的人脸特征的第一类图像。

可选地,由于用户输入的关键词信息不准确时,可能出现不存在第一类图像或者用户在第一类图像中搜索不到的想要的目标图像时,可以从剩余的图像中取确定目标图像,下面在图3的基础上,给出一种可能的实现方式,参见图4,图4为本发明实施例提供的另一种图像搜索方法的示意性流程图,该方法还包括:

步骤207、根据结构化特征和人脸特征从待搜索图库中匹配出第二类图像。

步骤208、显示提示信息;提示信息用于指示用户从第二类图像中确定目标图像。

需要说明的是,上述图4中的步骤207~步骤208与步骤202-1~步骤203之间没有执行的先后顺序,在一些场景中,电子设备可以同时执行步骤207和步骤202-1,即线先结构化特征和人脸特征将第一类图像和第二类图像匹配出来,然后同时执行步骤208和步骤203,即在显示第一类图像的同时,显示提示信息,当用户在第一类图像中确定出目标图像后,可以忽略该提示信息,当用户没有找到目标图像时,可以根据提示信息从第二类图像中确定目标图像。

为了执行上述实施例及各个可能的方式中的相应步骤,以实现相应的技术效果,下面给出一种图像搜索装置的实现方式,参见图5,图5为本发明实施例提供的一种图像搜索装置的功能模块图。需要说明的是,本发明实施例所提供的一种图像搜索装置,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。该图像搜索装置40包括:提取模块401、匹配模块402和显示模块403。

提取模块401,用于根据用户输入的多个关键词信息提取目标图像的结构化特征;

可以理解的是,结构化特征包括以下任意一种或组合:颜色特征、背景特征、人体特征。

匹配模块402,用于根据结构化特征从待搜索图库中匹配出第一类图像。

可以理解是,上述的第一类图像包含全部结构化特征。

显示模块403,用于显示第一类图像。

可以理解的是,用户可以在显示的第一类图像中确定目标图像。

可以理解的是,提取模块401、匹配模块402和显示模块403可以协同的来执行步骤201~步骤203以实现相应的技术效果。

可选地,当用户输入的关键词信息不准确导致用户无法从第一类图像中获得目标图像时,匹配模块402,还用于根据结构化特征从待搜索图库中匹配出第二类图像;第二类图像包含部分结构化特征;显示模块403,还用于显示提示信息;该提示信息用于指示用户从第二类图像中确定目标图像。

可以理解的是,匹配模块402和显示模块403可以用来执行步骤204和步骤205以实现相应的技术效果。

可选地,当用户需要搜索的目标图像中还包括至少一个人时,提取模块401,还用于根据获取的至少一张人脸图像提取人脸特征;匹配模块402,还用于根据结构化特征和人脸特征从待搜索图库中匹配出第一类图像;第一类图像包含全部结构化特征和所述人脸特征。

可以理解的是,提取模块401和匹配模块402可以用来执行步骤206和步骤202-1以实现相应的技术效果。

可选地,电子设备获得根据获取的至少一张人脸图像提取人脸特征之后,匹配模块402还用于根据结构化特征和人脸特征从待搜索图库中匹配出第二类图像;第二类图像包含部分结构化特征和人脸特征;显示模块403还用于显示提示信息;提示信息用于指示用户从所述第二类图像中确定所述目标图像。

可以理解的是,匹配模块402和匹配模块402可以用来协同执行步骤207和步骤208以实现相应的技术效果。

本发明实施例还提供一种电子设备,上述的图像搜索方法可以应用于该电子设备,图6为本发明实施例提供的一种电子设备的方框图,该电子设备50可以是,但不限于智能摄像机、智能手机、平板电脑、便携计算机、车载终端、穿戴式移动终端等等。所该电子设备50包括存储器501、处理器502、内部接口503。

所述存储器501、处理器502、内部接口503、各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

上述的图像搜索装置40的各个功能模块可以以软件或固件(firmware)的形式存储于所述存储器501中或固化在电子设备50的操作系统(operatingsystem,os)中的软件功能模块。处理器502用于执行存储器501中存储的可执行模块,例如图像搜索装置40包括的软件功能模块或计算机程序。

其中,存储器501可以是,但不限于,随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。其中,存储器501用于存储程序,所述处理器502在接收到执行指令后,执行所述程序。

处理器502可以是一种集成电路芯片,具有信号处理能力。上述的处理器502可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)、语音处理器以及视频处理器等;还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器502可以是微处理器或者该处理器502也可以是任何常规的处理器等。

所述内部接口503用于将各种输入/输出装置耦合至处理器502以及存储器501。在一些实施例中,内部接口503、处理器502可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。

可以理解的是,电子设备50的存储器501中可以存储有庞大数量图像的待搜索图库或相册文件,为了能够搜索出目标图像,电子设备50的处理器可以执行存储器501中存储的图像搜索方法程序或指令来从待搜索图库或相册文件获得目标图像。

可以理解的是,电子设备50还可以包括摄像头、电子设备可以通过摄像头获取庞大数量图像,并通过处理器502将大量图像以待搜索图库或相册文件的形式存储至存储器501中,在进行图像搜索时,还可以拍摄至少一张人脸图像,并通过处理器502将获得的至少一张人脸图像进行特征提取获得对应的人脸特征,以进行第一类图像和第二类图像的匹配。

可以理解的是,电子设备还包括输入单元和显示单元,显示单元用于处理器502匹配出的第一类图像和第二类图像,以及用于指示用户查看第二类图像的指示信息。输入单元用于接收用户输入的关键词信息或者用户上传的人脸图像,输入单元可以包括触控面板,例如触摸屏,以及其他输入设备,例如键盘、功能键、鼠标等,此处不再赘述。

本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任一项图像搜索方法,该存储介质可以是,但不限于,u盘、移动硬盘、rom、ram、prom、eprom、eeprom、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其它的具体形式实现本发明。因此无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中任何附图标记视为限制所涉及的权利要求。

再多了解一些
当前第1页 1 2 3
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1