如何避開Google搜尋

| | | | | | 留下回應

    

企業得小心放在網際網路上但又不想曝光的資訊不會讓Google找到，Dell本週就學了一個經驗。

Dell尚未發表的新款筆記型規格本週就可在Google搜尋中找到，Dell得知後立即將資訊從Dell FTP網站中移除。

一如其他主要搜尋引擎，Google有一套自動搜尋機制，會發送軟體機器人(稱之為蜘蛛)在網路上「爬行」，並將找到的網站加入網站檢索中。由於蜘蛛會追蹤各個網站中的連結，因此不需網管人員申請就可找出網站。

根據Google所公布給網管人員的資訊，網管人員若不想讓自己的網站或部分網頁加入Google搜尋中，可在伺服器根目錄下放置一個robots.txt的標準文件，告知爬蟲不要下載內容。若有緊急情況需要移除者，Google也有提供一個自動的URL移除機制給網管人員使用，但這需提供email地址與密碼才行。

移除的網頁其實還是可以在Google的庫存網頁中看到，網管人員也可插入特定程式碼來避免網頁遭Google「庫存」。

網管人員也需切記網路上除了Google外還有許多搜尋引擎都會做同樣的爬行機制，光是移除Google的庫存內容不見得其他搜尋網站就看不到。(陳奭璁)