Webサイトやネットワークのクモ

クモの必要は、一般の訪問から別のWebページをクロールする場合、適切に管理していない、Webサーバーの過負荷を引き起こすだろう。 2004年4月淘宝網、ヤフーの検索エンジンのスパイダーのために（www.taobao.com）でデータの淘宝網、サーバーが不安定で原因をクロールします。サイトとWebスパイダーと交換することはできません？実際に、あるWebサイトやWebスパイダー通信を行うにいくつかの方法があります。一方でウェブサイトの管理者は、ここでは、クモから来たかを、その一方で何をしたか、どのページにすることをクロールしないでくださいどのページが更新される必要があるネットワークのスパイダーと語ったことができます。内のページをクロールし、各ネットワークは、彼らのサイトに自分のアイデンティティをマークする独自のクモの名前があります。 Webスパイダー