楼上(shang)说(shuo)的很多,我补充一(yi)下(xia),正(zheng)确(que)的应该叫网络(luo)蜘蛛(zhu),又称爬虫,本质是搜索引擎派出的一个执行抓取(qu)任务(wu)的程(cheng)序(xu)蜘蛛池的(de)本(ben)质是大量的网站互相(xiang)链接,每个(ge)站单(dan)独产生大(da)量的内(nei)容吸(xi)引蜘蛛来(lai)爬,几(ji)千(qian)个网站(zhan)互链时,可(ke)以想(xiang)象蜘蛛的链接
Copyright © 2008-2018