! j; i0 \9 O' l9 P昨日,BaiduSpider官方在新浪微博阐述了关于站点类聚的原因及聚合定义的问题。官方人员称由于站点之间的关系错综复杂,导致各种别名/替换/稳定性/作弊站群等等都会影响到站点的收录。因此在站点聚合定义的时候会考虑很多自然属性,以便更好的满足用户需求。并举例说明了百度对机构站和平台站点的重视原因。
* L3 I* e* S4 v9 o0 Z
3 A. `, O( x6 X/ z! @
为何要类聚:
5 u. t- G6 \- ]: d& ]; Q" z0 E$ ^. V8 f( z1 Q- `7 s' f+ x- o( |
在中国的互联网上, 迄今为止发现至少有千万级的站点。这些站点形态各异,它们的目的/内容/用户群体/大小/年龄/领域/质量…各不相同。 如果对这些站点,从某个(些)角度作一定划分,对于我们了解整个互联网从而优化搜索引擎的抓取、排序、展现等策略,是有帮助的。
; U6 R+ g$ \$ E V( v- S
! i' h9 P, c; S# U7 Y站点需求认知:
0 I5 x$ n& Q3 S9 p
$ i2 }8 h% k5 v站点聚合定义随问题的不同方法也不同,很多自然属性都是我们关注的重点,站点之间的关系错综复杂,各种别名/替换/稳定性/作弊站群等等都会影响到站点的收录,如何能从这复杂交错的网络中理出我们需要的还有很多困难需要克服,明确的是用户需要的也是我们需要的。
* P/ K0 \% J5 n( R" b2 t7 r! a- `. B* s& Z- W. x3 P) |* d* ]. ~. q
站点类聚角度:
. }# P8 O9 ^ i$ i; y; P# N( c
# f5 L* Z! ?" _9 Q- J/ z选取什么角度作站点划分?其实不是一个简单的问题,因为从不同角度考虑站点分类结果是很不一样的,而且对于应用的效果差异也会很大。其次,就算选择了合适的角度,要划分到合适的层次/粒度,也是一件困难的事情。选择何种关系作为站点之间的边以构建图也需要深入思考。
0 s. H# \) E& n Y s8 u
; M7 d" R$ _8 |# J$ n# U9 d【举例:机构站】:
7 W% }0 d* j4 t0 L9 i2 p4 q* s! W- z- N6 ]/ f
有一类站点,并不为多数网民所知,获得的访问也很少;但是它却很重要,这主要表现在一些“机构站”。包括政府/学校/组织/公司/地方性站点。它们非常的可信,对网络检索资源的贡献也很大,在很多时候是很权威的。
/ |; \2 q) ^/ s* @
4 \+ v3 _+ \6 R. L9 ^【举例:平台站】:
, q4 O1 x9 D, V& w" S
6 _! j, s( w p: B" r/ @; E' X; C
随着web2.0的兴起,网民在网络上建立起自己的交流/表达平台变得容易和普遍,最重要的是blog。有很多blog对互联网贡献了很多重要的检索资源,往往比专业的网站编辑团队更快更新地发表某些网民感兴趣的话题。对于持续贡献优质内容的blog我们是非常重视的。
8 p; C* [# z3 o0 i- `) N; V