楼上(shang)说(shuo)的很多(duo),我补充一下,正(zheng)确的应(ying)该(gai)叫网络(luo)蜘蛛,又(you)称爬(pa)虫,本质是搜索引(yin)擎派出的一个执行抓取任(ren)务的程序(xu)蜘(zhi)蛛池(chi)的本(ben)质是大量的网(wang)站(zhan)互相(xiang)链接(jie),每(mei)个(ge)站单独产生大量的内容吸引蜘(zhi)蛛来爬,几千个网(wang)站互(hu)链时,可以想象蜘(zhi)蛛的链接
Copyright © 2008-2018