您現在的位置:主頁 > 公司簡介 > 新聞中心 > 行業資訊 >

  • 新聞中心

百度優化一奇公司告訴你robots.txt文件有什么必要

時間:2018-02-10
什么是robots.txt文件?
搜索引擎機器人通過鏈接抵達互聯網上的每個網頁,并抓取網頁信息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄,我們可以通過設置robots.txt文件告知搜索引擎機器人。
如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt文件,或設置為空。
從SEO的角度,robots.txt文件是一定要設置的,原因:
網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
一些沒有關鍵詞的頁面,比如本站的這個頁面http://www.seowhy.com/search.html,屏蔽掉更好。
一般情況下,站內的搜索結果頁面屏蔽掉更好。

摘要:東莞微信營銷,東莞網絡公司,東莞百度優化
上一篇:沒有了 下一篇:策劃制作一個成功的營銷型網站的七步驟

關注&咨詢

QQ咨詢
手機咨詢
133-7770-7006
服務熱線
198-2928-0899
加我掃一掃
微信小程序
支付方式
快乐12开奖结果