捷报比分网app

robots.txt文件的重要作用意義

2019-08-06
什么是robots.txt文件?
搜索引擎機器人通過鏈接抵達互聯網上的每個網頁,并抓取網頁信息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄,我們可以通過設置robots.txt文件告知搜索引擎機器人。
如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt文件,或設置為空。
SEO的角度,robots.txt文件是一定要設置的,原因:
網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
一些沒有關鍵詞的頁面,屏蔽掉更好。
一般情況下,站內的搜索結果頁面屏蔽掉更好。





全國服務熱線:0571-87998705  
地址:浙江省杭州市 拱墅區(北部軟件園)祥園路39-1號 5F

Copyright © 2015-2019  杭州壹一信息技術有限公司 版權所有 浙ICP備18009611號-1

壹一信息專注互聯網營銷策劃推廣,SEO優化網站建設萬詞霸屏整合網絡營銷,為廣大企業提供一站式全方位網絡推廣服務!

捷报比分网app 投资理财平台 期货配资是怎么回事 2019开拓者vs火箭的比赛数据 东京热n0793 球探比分手机手手机版 安徽省十一选五开奖 西安沐足店承包转让 麻将扑克牌哪里买 天津快乐十分 足球竞彩比分澳客 今天贵州十一选五开 炒股是什么意思 爵士vs魔术视频直播 广东省福利*36选7 手机麻将游戏 qvod欧美三级片