網(wǎng)站正式發(fā)布后， 需要通過合理的方式盡快告知搜索引擎，引導(dǎo)蜘蛛爬行目標(biāo)推廣頁面，重要的兩步如下。
第一步：建立Sitemap文件，將目標(biāo)推廣的URL列表推送給搜索引擎。

        第二步：設(shè)立Robots文件，將不允許蜘蛛爬行的頁面在Robots里面定義清楚，然后把該文件上傳到網(wǎng)站根目錄下。

        在Robots和Sitemap文件中，如何精細(xì)化地做好鏈接定義和說明，并有效告知搜索引擎，對(duì)SEO的效果影響較大，因?yàn)檫@些都切切實(shí)實(shí)影響到蜘蛛是否知曉鏈接存在和能否有效爬行網(wǎng)站。

        在告知途徑上，主要有幾種方式。

        ●    通過Robots告 知搜索引擎可以爬行的路徑和禁止爬行的路徑。

        ●    通過直接提交網(wǎng)站首頁URL引導(dǎo)搜索引擎到達(dá)首頁，然后自行爬行內(nèi)鏈，完成對(duì)網(wǎng)站的抓取，這種方式比較簡單，但不是為理想的方式

  ●    通過直接提交網(wǎng)站Sitemap的方式引導(dǎo)搜索引擎過來爬行頁面。  Sitemap即站點(diǎn)地圖，扁平化告知搜索引擎網(wǎng)站的結(jié)構(gòu)和頁面地址，可以引導(dǎo)蜘蛛快速爬行到很多頁面。如果更精細(xì)化，可以設(shè)置頁面的權(quán)重和更新頻率等信息，幫助蜘蛛更有針對(duì)性地爬行網(wǎng)站