Robots.txt Generator

Robots.txt Generator

Mặc định - Tất cả các robot đều:	Cho phép Từ chối
Thu thập dữ liệu:	Mặc định - Không chậm trễ 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (để trống nếu bạn không có)
Rô bốt tìm kiếm:	Google	Tương tự như mặc định Cho phép Từ chối
	Google Image	Tương tự như mặc định Cho phép Từ chối
	Google Mobile	Tương tự như mặc định Cho phép Từ chối
	MSN Search	Tương tự như mặc định Cho phép Từ chối
	Yahoo	Tương tự như mặc định Cho phép Từ chối
	Yahoo MM	Tương tự như mặc định Cho phép Từ chối
	Yahoo Blogs	Tương tự như mặc định Cho phép Từ chối
	Ask/Teoma	Tương tự như mặc định Cho phép Từ chối
	GigaBlast	Tương tự như mặc định Cho phép Từ chối
	DMOZ Checker	Tương tự như mặc định Cho phép Từ chối
	Nutch	Tương tự như mặc định Cho phép Từ chối
	Alexa/Wayback	Tương tự như mặc định Cho phép Từ chối
	Baidu	Tương tự như mặc định Cho phép Từ chối
	Naver	Tương tự như mặc định Cho phép Từ chối
	MSN PicSearch	Tương tự như mặc định Cho phép Từ chối
Thư mục bị hạn chế:	Đường dẫn có liên quan đến root và phải chứa dấu gạch chéo "/"

Bây giờ, Tạo tệp 'robot.txt' trong thư mục gốc của bạn. Sao chép văn bản trên và dán vào tập tin văn bản.

Giới thiệu Robots.txt Generator

Search Engines are using robots (or so called User-Agents) to crawl your pages. The robots.txt file is a text file that defines which parts of a domain can be crawled by a robot. In addition, the robots.txt file can include a link to the XML-sitemap.