Akamai 推出機器人管理器

Akamai今天推出了一款新的機器人管理器工具，以便讓企業能更精細地控制自己網站上的機器人流量。

有研究顯示，互聯網上近一半的流量來自機器人。據Akamai高級企業營銷經理雷尼·沈(RennyShen)介紹，機器人指和網站打交道的小程序，作用有好有壞。

值得一提的是，一些機器人表現得無害，而另外一些機器人可能是在抓取你網站上的信息或是分布式拒絕服務攻擊(DDoS)的一部分。當然，機器人友好與否取決于網站所有者對其的看法。

雷尼表示道：“大部分人把機器人當作攻擊者。在我看來，機器人就是自動和網站交互的軟件。”這也是他認為對機器人采取非此即彼的態度不合適的原因。

他說道：“機器人流量很常見。因為每個網站都不同，每個客戶的需求都不一樣，所以我們讓客戶來決定該怎么控制機器人流量，而不是直接屏蔽。”

Akamai機器人管理器可以讓客戶對機器人流量進行精細控制，讓他們理解流量的本質，并采取他們覺得合適的操作，比如屏蔽、監控、減速、欺騙或放行。客戶會怎么做取決于其公司的目標。

比如，電子商務網站可以讓合作伙伴的價格爬蟲爬取自己的價格信息，屏蔽競爭對手的爬蟲。一些公司甚至會生成有虛假價格的網頁來欺騙機器人。

還有一些公司也許根本不想和機器人管理的細枝末節打交道，同時仍然能獲得這一工具的好處，Akamai也考慮了這一部分客戶。

這款工具可以讓客戶查看自己網站上所有機器人流量的全局圖，并可以獲得單個機器人的細節信息如主機名、來源IP地址、活動類型以及對網站性能的影響。

一旦公司了解了這些細節，就可以制定針對某個機器人的最佳策略，并判斷這個機器人是好是壞。又或是好壞難辨。他舉了搜索引擎百度作為例子。

他表示，百度的機器人并不尊重robots.txt文件，在爬取網站時很激進。這就讓一些想要在百度搜索引擎中取得排名的網站犯難了，擔心放任不管會影響網站性能。

Akamai的機器人管理器可以讓客戶管理某個機器人在爬取網站時的行為，而不是簡單地屏蔽或放行。比如某個站長在碰到百度的機器人時，可以放行但減緩其爬取網站的速度，以便在百度中取得排名，同時又減少對網站性能的影響。

這款機器人管理器工具將在本月底時正式推出，價格根據該服務處理的流量大小而定。