① 搜索引擎的工作原理
搜索引擎的基本工作原理包括如下三个过程:首先在互联网中发现、搜集网页信息;同时对信息进行提取和组织建立索引库;再由检索器根据用户输入的查询关键字,在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并将查询结果返回给用户。
1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(spider)。爬虫Spider顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍,理论上,从一定范围的网页出发,就能搜集到绝大多数的网页。
2、处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索引。其他还包括去除重复网页、分词(中文)、判断网页类型、分析超链接、计算网页的重要度/丰富度等。
3、提供检索服务。用户输入关键词进行检索,搜索引擎从索引数据库中找到匹配该关键词的网页;为了用户便于判断,除了网页标题和URL外,还会提供一段来自网页的摘要以及其他信息。
② 浏览器和搜索引擎有什么区别
浏览器是一个程序,是用来显示网站(网页)的工具软件;搜索引擎是一个网站,是用来查询网站(网页)的,搜索引擎通过一定的算法,收集大量的资料,再根据用户的需求把相应的资料展现出来。
浏览器可以没有搜索引擎,只需要输入想要查询的网站地址,就可以把网站加载出来,但是如果忘记了该网址,只输入想要的关键词,浏览器是无法查询到的。但是如果把想要的内容在搜索引擎输入,就会展现大量有关的内容。
体系结构
搜索引擎基本结构一般包括:搜索器、索引器、检索器、用户接口等四个功能模块。
1、搜索器:
搜索器也叫网络蜘蛛,是搜索引擎用来爬行和抓取网页的一个自动程序,在系统后台不停歇地在互联网各个节点爬行,在爬行过程中尽可能快的发现和抓取网页。
2、索引器。
它的主要功能是理解搜索器所采集的网页信息,并从中抽取索引项。
3、检索器。
其功能是快速查找文档,进行文档与查询的相关度评价,对要输出的结果进行排序。
4、用户接口。
它为用户提供可视化的查询输入和结果输出的界面。
③ 搜索引擎大致由哪三个部分组成( )。
搜索系统、索引系统、检索系统。答案应该选ABC。
解析:搜索引擎基本结构一般包括:搜索器、索引器、检索器、用户接口等四个功能模块。
1、搜索器:搜索器也叫网络蜘蛛,是搜索引擎用来爬行和抓取网页的一个自动程序,在系统后台不停歇地在互联网各个节点爬行,在爬行过程中尽可能快的发现和抓取网页。
2、索引器:它的主要功能是理解搜索器所采集的网页信息,并从中抽取索引项。
3、检索器:其功能是快速查找文档,进行文档与查询的相关度评价,对要输出的结果进行排序。
4、用户接口:它为用户提供可视化的查询输入和结果输出的界面。
(3)搜索引擎的基本结构图片扩展阅读:
按照搜索方式进行分类:
1、全文搜索引擎
一般网络用户适用于全文搜索引擎。这种搜索方式方便、简捷,并容易获得所有相关信息。但搜索到的信息过于庞杂,因此用户需要逐一浏览并甄别出所需信息。尤其在用户没有明确检索意图情况下,这种搜索方式非常有效。
2、元搜索引擎
元搜索引擎适用于广泛、准确地收集信息。不同的全文搜索引擎由于其性能和信息反馈能力差异,导致其各有利弊。元搜索引擎的出现恰恰解决了这个问题,有利于各基本搜索引擎间的优势互补。而且本搜索方式有利于对基本搜索方式进行全局控制,引导全文搜索引擎的持续改善。
3、垂直搜索引擎
垂直搜索引擎适用于有明确搜索意图情况下进行检索。例如,用户购买机票、火车票、汽车票时,或想要浏览网络视频资源时,都可以直接选用行业内专用搜索引擎,以准确、迅速获得相关信息。
4、目录搜索引擎
目录搜索引擎是网站内部常用的检索方式。本搜索方式旨在对网站内信息整合处理并分目录呈现给用户,但其缺点在于用户需预先了解本网站的内容,并熟悉其主要模块构成。总而观之,目录搜索方式的适应范围非常有限,且需要较高的人工成本来支持维护。
④ 2.简述web搜索引擎基本结构由哪三部分组成,以及各部分的作用
一个搜索引擎由搜索器 、索引器 、检索器 和用户接口 四个部分组成。搜索器的功能是在互联网 中漫游,发现和搜集信息。索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档 以及生成文档库的索引表。检索器的功能是根据用户的查询在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。
⑤ 搜索引擎都有哪几种类型
搜索引擎可分为四类:全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎。具体如下:
1、全文搜索引擎:
一般网络用户适用于全文搜索引擎。这种搜索方式方便、简捷,并容易获得所有相关信息。但搜索到的信息过于庞杂,因此用户需要逐一浏览并甄别出所需信息。尤其在用户没有明确检索意图情况下,这种搜索方式非常有效。
2、元搜索引擎:
元搜索引擎适用于广泛、准确地收集信息。不同的全文搜索引擎由于其性能和信息反馈能力差异,导致其各有利弊。元搜索引擎的出现恰恰解决了这个问题,有利于各基本搜索引擎间的优势互补。而且本搜索方式有利于对基本搜索方式进行全局控制,引导全文搜索引擎的持续改善。
3、垂直搜索引擎:
垂直搜索引擎适用于有明确搜索意图情况下进行检索。例如,用户购买机票、火车票、汽车票时,或想要浏览网络视频资源时,都可以直接选用行业内专用搜索引擎,以准确、迅速获得相关信息。
4、目录搜索引擎:
目录搜索引擎是网站内部常用的检索方式。该搜索方式旨在对网站内信息整合处理并分目录呈现给用户,但其缺点在于用户需预先了解本网站的内容,并熟悉其主要模块构成。总而观之,目录搜索方式的适应范围非常有限,且需要较高的人工成本来支持维护。
(5)搜索引擎的基本结构图片扩展阅读:
搜索引擎得以广泛利用,主要是因为其具有以下几个特点:
1、信息抓取迅速。
在大数据时代,网络产生的信息浩如烟海,令人无所适从,难以得到自己需要的信息资源。在搜索引擎技术的帮助下,利用关键词、高级语法等检索方式就可以快速捕捉到相关度极高的匹配信息。
2、深入开展信息挖掘。
搜索引擎在捕获用户需求的信息的同时,还能对检索的信息加以一定维度的分析,以引导其对信息的使用与认识。例如,用户可以根据检索到的信息条目判断检索对象的热度,还可以根据检索到的信息分布给出高相关性的同类对象,还可以利用检索到的信息智能化给出用户解决方案,等等。[1]
3、检索内容的多样化和广泛性。
随着搜索引擎技术的日益成熟,当代搜索引擎技术几乎可以支持各种数据类型的检索,例如自然语言、智能语言、机器语言等各种语言。不仅视频、音频、图像可以被检索,而且人类面部特征、指纹、特定动作等也可以被检索到。在未来,几乎一切数据类型都可能成为搜索引擎的检索对象。
⑥ 搜索引擎的基本结构以及功能和特点
1. 搜索引擎的基本结构
在网络检索工具发展的初期,以雅虎为代表的网站分类目录查询非常流行,但人们一般只是把基于关键词检索类型的网站称为搜索引擎。随着网络技术的飞速发展和搜索技术的日臻完善,出现了一批为网络用户所广泛熟知和习惯使用的,既具有分类目录查询功能,又具有关键词检索功能的优秀中外通用搜索引擎。但是,任何搜索引擎的设计,均有其特定的信息索引范围、独特的功能和使用方法,以及预期的用户群指向。
搜索引擎(Search Engine)泛指网络上以一定的策略搜集信息,对信息进行组织和处理,并为用户提供信息检索服务的工具和系统,是网络资源检索工具的总称,其基本结构为:
(1).查询界面
查询界面(query interface)是人们最熟悉的部分。当人们提起“搜索引擎”时,想到的通常也是搜索引擎的查询界面。查询界面就是用户访问搜索引擎时输入搜索词的页面。
(2).搜索引擎结果的页面
查询界面的另一个方案是搜索引擎展示给用户的另一面,即搜索引擎结果页面(Search Engine Results Pages,SERP)。用户输入一个搜索关键词或短语,单击Search按钮后,搜索引擎就在这个页面上显示搜索的结果。用户的网站最终也希望显示在这些页面上,在搜索结果的排名越高,通过搜索获得访问量就越大。
(3).蜘蛛(爬虫、机器人)
查询界面和搜索结果页面是用户唯一能看到的搜索引擎组建。搜索引擎的其他部分都隐藏在后台,就算天天都在用搜索引擎的人也看不到。藏在幕后的部分并非不重要,恰恰相反,这些看不到的部分才是搜索引擎最重要的部分,它们决定了搜索结果在前台如何显现。蜘蛛(爬虫、机器人)在互联网抓取网页,并将其整理成可搜索的数据,当用户在搜索引擎中进行查询时,搜索引擎就会搜索数据库中的相关信息,并将搜索结果返回给用户。
(4).数据库
每个搜索引擎都有自己的数据库系统,或是会连接到某个数据系统。这些数据库中存放着网络中各个URL的各种信息(由爬虫、蜘蛛或机器人搜集来的)。这些数据库是大规模存储区域,包含每个URL的多个数据点。可以用不同的方法存储这些数据,通常各个搜索引擎公司还会有自己的一套方法对这些数据进行排序和检索。
(5).搜索算法
搜索引擎的各个部分都非常重要,缺一不可,但其中的搜索算法(search algorithm)是使得各个部分能正常运行的关键所在。更确切地说,搜索算法是构建搜索引擎其他各个部分的基础。搜索引擎的工作方式是以搜索算法为基础的,它与用户发现数据的方式紧密相关。笼统地说,搜索算法就是一个解决问题的过程:提出问题,找出若干个可能的答案,然后将这些答案返回给提出问题的人。
(6).检索和排序
网络搜索引擎的数据检索是由蜘蛛、数据库以及搜索算法共同完成的。这三个部分相互配合,根据用户在搜索引擎用户界面中输入的单词或短语,从数据库中检索出所需的数据。搜索引擎具体的工作方式取决于其所使用的技术、理论和具体的实现代码。真正棘手的事情是搜索结果的排序。我们将耗费大量的时间和精力,试图去改变排序的结果。网页在搜索引擎中的排名决定了人们能有多大的几率访问到该网页,这无疑会影响到包括收益和广告预算在内的所有事情。不过,想要确切地知道搜索引擎的排序方法几乎是不可能的。在大部分情况下,所能做的只是根据搜索结果,猜测搜索引擎对结果的排序方法,然后据此修改网页,从而提高网页的排名。
2. 搜索引擎的功能
(1)及时搜索网络信息;
(2)搜索有效的、有价值的网络信息;
(3)有针对性地搜索网络信息。
3.搜索引擎的特点
搜索的特点指的是用户使用互联网的方式,这包括用户创建搜索词时使用的启发式方法,以及用户如何在搜索结果中做出选择。搜索引擎的庞大用户群就是SEO(搜索引擎优化)的肥沃土壤。更好地理解用户使用搜索引擎的方式和原因,以及搜索引擎的工作原理,就能更快捷地实现SEO。
搜索引擎按不同的分类原则可以有多种分类方式:
(1)按信息标引的方式,搜索引擎可以分为目录式搜索引擎、机器人搜索引擎和混合式搜索引擎;
(2)按信息查询的方式,搜索引擎可分为浏览式搜索引擎、关键词搜索引擎、全文搜索引擎、智能搜索引擎;
(3)按语种,搜索引擎又分为单语种搜索引擎、多语种搜索引擎和跨语言搜索引擎等。
(4)按工作方式或者检索机制来划分,搜索引擎主要可分为目录型搜索引擎、索引型搜索引擎和元搜索引擎三种类型。
用户在使用搜索引擎进行查询时,搜索引擎并不是直接去搜索互联网,它实际上搜索的是已经预先整理好的网页索引数据库。搜索引擎会预先收集因特网上几千万到几十亿个网页,对网页中的关键词进行索引,建立索引数据库。当用户查找某项内容的时候,所有在数据库中保存的相关网页都将被搜索出来,再按照某种算法进行排序后,将相关链接作为搜索结果呈现给用户。
4.未来搜索引擎的发展方向将趋向于个性化与智能化等方面
随着网民应用互联网熟练水平的进步以及互联网技巧的不断发展,未来的搜索引擎必定向个性化、智能化、专业化、多媒体、移动搜索等几个方向发展。
1.个性化搜索:搜索会根据不同的用户提供不同的内容,“投其所好”。从用户的社会网络、地理位置、行为纪录会得到更多信息帮助加深对用户的理解,使个性化搜索变得更加可能。 SEO在履行时与通用搜索最大的差别是需增强数据剖析才能和对行业的了解,推测不同用户的搜索习惯和心理需求。
2.自然语言搜索:自然语言搜索是搜索智能化的一个体现,搜索会变得更加自然,搜索引擎会变成用户的“信息仆人”。用户可以用自己认为最自然的方式搜索,比如关键词、自然语言问句、以及其组合。搜索不再是“一锤子买卖”,而是与用户的交互;优化的重点将不再是要害字,而是让网站更自然的与用户“对话”,正确及时的“答复”用户的搜索问题。
3.垂直搜索、行业搜索:专门收录某一行业、某一主题和某一地域的信息而树立。SEO在履行时与通用搜索最大的差别是:由于是针对某个行业,所以在搜索算法上更多的是斟酌行业内用户的需求,应当更重视行业内的及时信息和行业内网站的互动。所以作为SEOER应该更高深进的懂得某个行业和最大化应用该行业资源。
4.多媒体搜索:未来的互联网是多媒体数据的时期,将来有可能呈现查寻图片、声音、电影和flash网站设计的搜索引擎。此项搜索技术目前利用最广的在视频搜索范畴,其中多媒体文件是以嵌套文件的情势在网页内部显示,与通用搜索相比,群体分类将更加过细,SEO能更准确的把握不同喜好用户的需求。
5.移动搜索:虽然在台式机、智能手机、平板电脑、电视屏幕等各种终端上的搜索都会增加,但是搜索的主要终端将从台式机转变为智能手机、平板电脑等移动设备,通过语音与触摸屏的搜索会更加普遍。移动搜索也将是未来搜索竞争最为激烈的。
⑦ 百度图片搜索引擎原理是如何实现的
图片搜索的原理有三个步骤
1. 将目标图片进行特征提取,描述图像的算法很多,用的比较多的是:SIFT描述子,指纹算法函数,bundling features算法,hash function(散列函数)等。也可以根据不同的图像,设计不同的算法,比如图像局部N阶矩的方法提取图像特征。
2. 将图像特征信息进行编码,并将海量图像编码做查找表。对于目标图像,可以对分辨率较大的图像进行降采样,减少运算量后在进行图像特征提取和编码处理。
3. 相似度匹配运算:利用目标图像的编码值,在图像搜索引擎中的图像数据库进行全局或是局部的相似度计算;根据所需要的鲁棒性,设定阈值,然后将相似度高的图片预保留下来;最后应该还有一步筛选最佳匹配图片,这个应该还是用到特征检测算法。
其中每个步骤都有很多算法研究,围绕数学,统计学,图像编码,信号处理等理论进行研究。
根据Neal Krawetz博士的解释,原理非常简单易懂。我们可以用一个快速算法,就达到基本的效果。
这里的关键技术叫做"感知哈希算法"(Perceptual hash algorithm),它的作用是对每张图片生成一个"指纹"(fingerprint)字符串,然后比较不同图片的指纹。结果越接近,就说明图片越相似。下面是一个最简单的实现:
第一步,缩小尺寸。
将图片缩小到8x8的尺寸,总共64个像素。这一步的作用是去除图片的细节,只保留结构、明暗等基本信息,摒弃不同尺寸、比例带来的图片差异。
第二步,简化色彩。
将缩小后的图片,转为64级灰度。也就是说,所有像素点总共只有64种颜色。
第三步,计算平均值。
计算所有64个像素的灰度平均值。
第四步,比较像素的灰度。
将每个像素的灰度,与平均值进行比较。大于或等于平均值,记为1;小于平均值,记为0。
第五步,计算哈希值。
将上一步的比较结果,组合在一起,就构成了一个64位的整数,这就是这张图片的指纹。组合的次序并不重要,只要保证所有图片都采用同样次序就行了。
得到指纹以后,就可以对比不同的图片,看看64位中有多少位是不一样的。在理论上,这等同于计算"汉明距离"(Hammingdistance)。如果不相同的数据位不超过5,就说明两张图片很相似;如果大于10,就说明这是两张不同的图片。
具体的代码实现,可以参见Wote用python语言写的imgHash.py。代码很短,只有53行。使用的时候,第一个参数是基准图片,第二个参数是用来比较的其他图片所在的目录,返回结果是两张图片之间不相同的数据位数量(汉明距离)。
这种算法的优点是简单快速,不受图片大小缩放的影响,缺点是图片的内容不能变更。如果在图片上加几个文字,它就认不出来了。所以,它的最佳用途是根据缩略图,找出原图。
实际应用中,往往采用更强大的pHash算法和SIFT算法,它们能够识别图片的变形。只要变形程度不超过25%,它们就能匹配原图。这些算法虽然更复杂,但是原理与上面的简便算法是一样的,就是先将图片转化成Hash字符串,然后再进行比较。
⑧ 搜索引擎的基本构成
搜索引擎由搜索器、索引器、检索器和用户接口四部分构成。
1、搜索器,是一个机器人程序自动地在互联网中搜集和发现信息,对Web进行遍历并下载到本地文档库。由于Web信息的大容量、分布性和动态性,搜索器主要有两个方面的工作重点:第一是采用较好的搜索策略;第二是设计高性能系统结构以支持每秒下载大量网页,同时确保系统具有较好的稳定性,能够应付各种服务器的突发事故等。
2、索引器,其功能是理解搜索器所搜索到的信息,从中抽取出索引项,将文档表示为一种便于检索的方式并存储在索引数据库中,生成文档库的索引表。
索引项有客观索引项和内容索引项两种:客观项与文档的语意内容无关,如作者名、更新时间、长度等等;内容索引项是用来反映文档内容的,如关键词及其权重、短语、单字等等。内容索引项又可以分为单索引项和多索引项(或称短语索引项)两种。单索引项对于英文来讲是英语单词,比较容易提取,因为单词之间有天然的分隔符(空格);对于中文等连续书写的语言,必须进行词语的切分。
3、检索器,其功能是根据用户的查询在索引库中快速检索文档,进行相关度评价,对将要输出的结果排序,并能按用户的查询需求合理反馈信息。检索器采用的检索方法有以下几种:
基于关键词的检索,是不考虑文档的具体内容仅判断文档中是否包含被检关键词的方法。
基于概念的检索是对用户查询进行概念扩展,然后转化为关键字检索。
基于内容的检索是根据文档的内容查询的检索。
4、用户接口,用户接口的作用是为用户提供可视化的查询输入和结果输出界面,提供用户相关性反馈机制。用户接口的设计和实现使用人机交互的理论和方法,以充分适应人类的思维习惯。用户输入接口可以分为简单接口和复杂接口两种。简单接口只提供用户输入查询串的文本框;复杂接口可以让用户对查询进行限制,如逻辑运算、相近关系、域名范围、出现位置、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。
⑨ 网站的基本架构是什么
网站架构按照制作步骤分为硬架构和软架构。
一、硬架构
1、机房:在选择机房的时候,根据网站用户的地域分布,可以选择网通、电信等单机房或双机房。
2、带宽:预估网站每天的访问量,根据访问量选择合适的带宽,计算带宽大小主要涉及峰值流量和页面大小两个指标。
3、服务器:选择需要的服务器,如图片服务器,页面服务器,数据库服务器,应用服务器,日志服务器,对于访问量大点的网站而言,分离单独的图片服务器和页面服务器相当必要。
二、软架构
1、网站的框架:现在的PHP框架有很多选择,比如:CakePHP,Symfony,Zend Framework,根据创作团队对各个框架熟悉程度选择。
2、逻辑的分层
1)表现层:所有和表现相关的逻辑都应该被纳入表现层的范畴。
2)应用层:主要作用是定义用户可以做什么,并把操作结果反馈给表现层。
3)领域层:包含领域逻辑的层,就是告诉用户具体的操作流程的。
4)持久层:即数据库,保存领域模型保存到数据库,包含网站的架构和逻辑关系等。
(9)搜索引擎的基本结构图片扩展阅读
网站的分类
1、根据网站所用编程语言分类:例如asp网站、php网站、jsp网站、Asp. net网站等;
2、根据网站的用途分类:例如门户网站(综合网站)、行业网站、娱乐网站等;
3、根据网站的功能分类:例如单一网站(企业网站)、多功能网站(网络商城)等等。
4、根据网站的持有者分类:例如个人网站、商业网站、政府网站、教育网站等。
5、根据网站的商业目的分类:营利型网站(行业网站、论坛)、非营利性型网站(企业网站、政府网站、教育网站)。
⑩ 搜索引擎由哪几部分组成组成
蜘蛛负责网页信息的抓取工作,一般情况下切词器和索引器一起使用,它们负责将抓取的网页内容进行切词处理并自动进行标引,建立索引数据库。查询器根据用户查询条件检索索引数据库并对检索结果进行排序和集合运算,如并集、交集运算,再提取网页简单摘要信息反馈给查询用户。 Google搜索引擎从功能上同样分为三大部分:网页爬行、标引入库和用户查询。网页爬行主要负责网页的抓取,由URL服务器、爬行器、存储器、分析器和URL解析器组成, 爬行器是该部分的核心;标引入库主要负责对网页内容进行分析,对文档进行标引并存储到数据库里,由标引器和分类器组成,该模块涉及许多文件和数据,有关于桶的操作是该部分的核心;用户查询主要负责分析用户输入的检索表达式,匹配相关文档,把检索结果返回给用户,由查询器和网页级别评定器组成,其中网页等级的计算是该部分的核心。 例:SOPI 搜索引擎系统的组成 SOPI 是一个小型的搜索引擎系统,功能与网络、 GOOGLE 类似,适用于中小型网站及企业的信息搜索及向用户展示服务。本网站中的所有内容均通过此系统自动获得。系统性能参数如下: 平台: 1U 兼容服务器,双至强 2.8G , 1G 内存 索引库大小: 5G 数据库: SqlServer2005 运行环境: Microsoft .NET Framework SDK v2.0 内存平均使用: 600-900M CPU 使用率: 10%-80% 日新增文章及图片数: 10 万篇 搜索时间: 5G 内容搜索结果 0.3-1 秒 SOPI 由五部分组成,分别为:信息采集系统 (SpiderSystem) 、信息分析系统 (AnalysisSystem) 、索引系统 (IndexSystem) 、管理系统 (AdminSystem) 、网站平台 (WebSystem) ,结构如下: 搜索引擎的主要工作流程是:首先从蜘蛛开始,蜘蛛程序每隔一定的时间(象google一般是28天)自动启动并读取网页URL服务器上的URL列表,按深度优先或广度优先算法,抓取各URL所指定的网站,将抓取的网页分配一个唯一文档ID(DocId),存入文档数据库。一般在存入文档数据库之前进行一定的压缩处理。并将当前页上的所的超连接存入到URL服务器中。在进行抓取的同时,切词器和索引器将已经抓取的网页文档进行切词处理,并按词在网页中出现的位置和频率计算权值,然后将切词结果存入索引数据库。整个抓取工作和索引工作完成后更新整个索引数据库和文档数据库,这样用户就可以查询最新的网页信息。