哎呀呀，做網(wǎng)站SEO的時(shí)候，上海網(wǎng)站優(yōu)化公司總是希望搜索引擎能多多光顧，但有時(shí)候，上海網(wǎng)站優(yōu)化公司的小秘密頁(yè)面可不想被它發(fā)現(xiàn)哦，比如公司內(nèi)部的小秘密基地、后臺(tái)登錄界面這些，上海網(wǎng)站優(yōu)化公司可不想讓外人來(lái)個(gè)“驚喜訪問(wèn)”。所以，得想個(gè)辦法阻止搜索引擎的小偵探們。

SEO小技巧輕松阻止搜索引擎“窺探”你的秘密頁(yè)面

來(lái)來(lái)來(lái)，看個(gè)例子：這是搜索引擎拒絕訪問(wèn)某個(gè)網(wǎng)站的截圖，可以看到，頁(yè)面描述里寫著“因?yàn)樵摼W(wǎng)站的robots.txt文件存在限制指令，系統(tǒng)無(wú)法提供該頁(yè)面內(nèi)容描述”。哈哈，這就是上海網(wǎng)站優(yōu)化公司的秘密武器！

Robots.txt文件，簡(jiǎn)直就是站點(diǎn)和蜘蛛之間的秘密通道。通過(guò)這個(gè)文件，上海網(wǎng)站優(yōu)化公司告訴搜索引擎哪些地方是不能去的，或者哪些地方它可以去探索探索。

百度最近升級(jí)了它的Robots，現(xiàn)在如果你的網(wǎng)站里有些內(nèi)容是不想被視頻搜索引擎收錄的，那就得用到這個(gè)robots.txt文件啦。不過(guò)，如果你的網(wǎng)站所有內(nèi)容都希望搜索引擎收錄，那就不需要設(shè)置robots.txt文件啦。

對(duì)了，如果你的網(wǎng)站還沒(méi)有設(shè)置robots協(xié)議，那百度在收錄你的視頻URL時(shí)，會(huì)包括視頻播放頁(yè)URL、頁(yè)面中的視頻文件和視頻周邊文本等信息哦。而且，對(duì)于已經(jīng)收錄的短視頻資源，用戶會(huì)直接看到視頻極速體驗(yàn)頁(yè)。至于綜藝影視類長(zhǎng)視頻，搜索引擎只會(huì)收錄頁(yè)面URL。