Google 頁面抓取的工作原理
Google SEO搜索引擎優(yōu)化初學者指南，處理頁面抓取板塊包含以下兩方面內容。
一、更加有效地使用robots.txt文件
1、用robots.txt文件來限制抓取
robots.txt文件主要用來告知搜索引擎它們是否有權抓取您網站的特定部分。
該文件一定要嚴格的命名為robots.txt , 并被放置 在網站的根目錄下。
您可能不希望您的網站中的某些頁面被抓取 , 也許這些網頁在搜索 結果中出現對于用戶來說并沒多大用處。如果您想防止搜索引擎 抓取這些頁面 , 谷歌網站站長工具中有一個非常好用的robots.txt生 成器 , 它可以幫您生成這個文件。需要注意的是 , 如果您的網站使 用子域名而您不想被抓取的某些網頁恰好在一個特定子域名下 , 您 需要為那個子域名創(chuàng)建一個單獨的robots.txt文件。如果您想了解 更多的關于robots.txt的信息 , 建議您參閱網站管理員幫助中心的 關于使用robots.txt文件的指南。
還有很多別的方法可以保證您的網站的某些內容不出現在搜索結 果中 , 比如說給您的robots元標簽加上“NOINDEX”標識 , 使用 .htaccess文件對需要保護的目錄加密 , 還可以使用網站站長工具 將已經被抓取的網頁從搜索結果中移除。
*佳使用方法：
1、對敏感的內容使用更加安全的方法
您可能不會特別放心僅僅使用robots.txt對敏感的或者保密的內容進行屏蔽。其中一個原因是如果 網絡上還有一些鏈接鏈向這些URL時(比如引用頁日志) , 搜索引擎仍然有可能跟蹤抓取到您希望屏 蔽的URL , 當然 , 它們只會展示您的URL地址信息 , 而不會展示標題或者內容摘要。一些無賴的搜 索引擎可能并不會自覺遵守機器人排除標準從而違反您的robots.txt的說明。還有其他原因 , 比如一 個好奇的用戶可能查看了您robots.txt文件中的目錄和子目錄 , 并對您不愿對外界展示的內容的URL 進行了猜測。使用.htacess文件對內容進行密碼保護或者對內容加密是更加安全的措施。
請注意避免：
允許您網站中一些類似搜索結果的頁面被抓取到(用戶不喜歡剛離開一個搜索結果頁面就進入了 另一個搜索結果頁面 , 這對他們來說沒有什么價值) ；允許大量自動生成的、有相同或極為相似內容的網頁被抓取到 , 用戶會想 : “難道這100000頁近乎相同的網頁真的應該在搜索引擎的索引中出現嗎?”； 允許那些因提供代理服務而生成的URL被抓取 。
二、謹慎使用rel=“nofollow”
1、用nofollow打擊垃圾留言
如果您把某一鏈接的“rel”屬性設置成“nofollow” , 這意味著您是 在向Google傳達這樣的信息 : 您不希望Google繼續(xù)跟蹤抓取這些 特定鏈接所指向的頁面 , 并且也不希望將自己網頁的聲譽傳給這些 鏈接指向的網頁。實現這樣的效果其實很簡單 , 您只需將 rel=“nofollow”放置在鏈接的錨標簽里即可。
我應當在什么情況下使用nofollow呢?如果您網站的博客開通了留言 功能 , 這些留言中含有的鏈接會向一些您根本就不了解也無意推薦 的網站傳遞您的聲譽。博客的留言本經常被垃圾留言所侵擾。
Nofollow這些用戶生成的鏈接能夠確保您不會將自己好不容易才積 累起的聲譽傳遞給其他的垃圾網站。
2、自動給留言板“設置為nofollow”
許多博客軟件包會自動nofollow用戶的留言 , 即使沒有提供這樣的 自動功能 , 您也完全可以手動調整成這樣。同樣的情形還適用于您 網站的其他由用戶生成的內容 , 比如留言簿、論壇、引用通告等。 如果某些第三方(比如您的網站信任此留言者)添加的鏈接得到您的 肯定的話 , 那么您就沒有必要對這些鏈接使用nofollow。但是必須 明確的是 , 如果您鏈向了某些被Google認為是垃圾的網站的話 , 那 么您自己網站的聲譽也會受到影響。網站管理員中心向您提供了更 多關于怎樣防止垃圾留言的小建議 , 比如使用CAPTCHAs(輸入驗證碼環(huán)節(jié))和啟用留言監(jiān)控功能等。
3、關于為特定的內容或者頁面上的所有鏈接使用nofollow
Nofollow的另一個用途就是 , 當您在寫文章并引用某個網站 , 但是 并不想把您的聲譽傳遞給它。例如 , 您正在撰寫一篇關于垃圾留言 的博客文章并打算揭發(fā)一個*近經常在您的博客上惡意留言的網 站。為了籍此提醒其他的網站提高警惕 , 您把該網站的鏈接包含在 了您的文章中 ; 但是 , 您顯然不想將自己網站的聲譽傳遞給這個作 惡的網站。那么這時候使用nofollow再合適不過了。
Author: globalsir (www.globalsir.com)
版權屬于: 外貿先生
版權所有，轉載時必須以鏈接形式注明作者和原始出處及本聲明。
