5313 fans
1036 reader
138 followers

Cách tạo và sử dụng file Robots.txt

Publish by: Demon Warlock
In category: Phát triển Web
40 comments

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Nếu bạn sử dụng WordPress một file robots.txt sẽ có dạng như sau

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

“User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.

“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những filé của WordPress bắt đầu bằng wp-.

Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”, ví dụ:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Tự động tạo robots.txt
Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt Generator để tự động tạo file robots.txt cho mình

Sau khi bạn đã tạo xong file robots.txt (đừng quên chữ S), bạn chỉ việc upload lên thư mục gốc là hoàn thành

Demon Warlock

Tôi được sinh ra ở Việt Nam, nhưng hiện tại đang sống và làm việc tại Mỹ. Ngành tôi học không có liên quan gì đến thiết kế web. Nhưng đây là sở thích từ ngày còn là sinh viên du học, do vậy bây giờ dù cho đang đi làm nhưng tôi vẫn thích dùng thời gian rảnh rỗi của mình để học về thiết kế web. Như các bạn, tôi cũng việc mày mò tự học và khám phá.

cipvn

Mình cũng đang tìm hiểu làm file robot.txt cho trang http://cipvn.com mà thấy mọi người nói nhiều luồng thông tin quá, mong sự hướng dẫn chính xác nhất của admin.
hoapro

mình làm cho trang wap này http://kutewap.3bi.us
quynhnb

Mình làm trang này : http://dailybientandelta.blogspot.com/
Sau đó có sửa file robots và cho phép toàn bộ. Mình cũng không hiểu là cần làm gì thêm với file robots. Ai có thể tư vấn giúp mình không ?
Huy

Anh ơi trang web em mới làm, em đã tạo file robots.txt và up lên rồi nhưng bị báo có lổi, em đã thử sửa đủ kiểu nhưng dòng thông báo lổi vẫn còn, hết cách nên em thử xoá bỏ hẳn file robots.txt trên host rồi mà vẫn còn lỗi, em k biết nguyên nhân tại sao mà cũng bí luôn cách khắc phục, mong anh và các anh em giúp em với, sau khi em xoá file robots đi và truy cập lại link thì thấy 2 dòng như thế này

User-agent: *
Disallow: /
mặc dù trên web của em không còn file robots nào cả, và đây là link mà khi truy cập thì thấy 2 dòng trên
http://www.lamphuong.com.vn/robots.txt.
mong được các anh tư vấn giúp em.
Cảm ơn anh nhiều.
http://wapla.us wapla.us hack kpah

Ai tao giup minh di hihix http://wapla.us minh tai ko dk
http://eliftvn.com thang may

Cám ơn bác, em cũng dùng cái này cho SEO
Hoangds

Mình đang làm file robot cho trang http://techlife.vn mà không biết fai làm sao cả,ai chỉ dùm được không?
- http://thietke24.net thietke24.net
  
  Bạn vào đây xem hướng dẫn:
  http://www.mcanerin.com/en/search-engine/robots-txt.asp
  Thực ra bạn chỉ cần upfile Robots.txt với nội dung mặc định:
  User-agent: *
  Allow: /
http://blogteenvn.net Wap tai game

Mình muốn không cho hiển thị gì hết thì viết file thế nào đây? Thanks.
http://hasu.vn Monsters

Cho mình hỏi tạo boot cho trang http://hasu.vn thì làm thế nào các cậu ơi, code wordpress thì có plugin gì tự động tạo ko
http://vietnamtravelgo.blogspot.com/ Hai_PLC

Blogspot của Gu rồi có cần tạo file robots.txt không các bạn.?
http://vietbro.com Diễn đàn Việt Nam

Các bạn vào trang http://www.mcanerin.com/en/search-engine/robots-txt.asp để tạo file robot.txt.
http://diaoc-vn.com dia oc

Đây robottex của me đây: http://diaoc-vn.com/robots.txt Các ận cho ý kiến nhé!
http://vtvgame.net tai game java

với wordpress thì tạo robot theo tiêu chuẩn như thế nào tốt cho seo vậy anh
nobita

Mình tạo file robot.txt từ Google Webmaster .Nhưng sao mình k sửa được file này
http://nguoibaclieu.com Người Bạc Liêu

Bài viết rất hay, rất chi tiết! Thanks!!!
http://chimcanh.nhatnghe.org kiet

minh muon tai file robots.txt cho site http://chimcanh.nhatnghe.org minh phai lam sao
- http://datsaigongiatot.blogspot.com/ kiet
  
  minh muon tai file robots.txt cho site http://datsaigongiatot.blogspot.com/ minh phai lam sao
- http://www.thuanvinhdat.com/ kiet
  
  minh muon tai file robots.txt cho site http://www.thuanvinhdat.com/ minh phai lam sao
http://cameraphuthai.com.vn Lưu hoàng long

Cái này bạn nói rõ hơn được không tại nhưng ai tìm đến cái này thì hầu hết đều chưa biết về cái này cả . http://cameraphuthai.com.vn
</a href="http://cameraphuthai.com.vn"Camera giam sat
http://suntel.com.vn ngocduy

Mình đang tạo file robost.txt cho site http://suntel.com.vn Mong các bạn chỉ giáo giúp!!
Thanks!!
- http://no em trai nickb
  
  anh 0y anh làm cái flash ở dưới cùng bằng phần mềm gì thế hay là html5 vậy
http://gamesieuhot.com gamesieuhot

http://gamesieuhot.com/robots.txt
anh xem trang em ri là dc chưa vậy
thank anh
http://dongphucteen.com trungthot

Anh cho em hỏi. Cái robot trang của em (http://dongphucteen.com) đã ổn chưa anh nhỉ. Làm thế nào để kiểm tra được những cái nào là đúng và an toàn cho site anh nhỉ.

Thanks you!
http://xemsex.org xemsex.org

http://xemsex.org/robots.txt mọi người xem dùm đúg chưa nhỉ , có cần up lên google wapmaster k
http://k14.vn/ Dong phuc lop

thanks! Bài viết rất hay !
http://anvuong.tk le cao nui

Các bạn cho mình hỏi chút. nếu không sử dụng file robots.txt thì mặc định bộ máy tìm kiếm sẽ index được hết trang mình hay là sao? THANKS!
http://dongphucloptui.com Nguyễn Tiến

em dùng joomla thì viết file robots.txt ntn vậy anh
- http://thietke24.net thietke24.net
  
  Không quan trọng là joomla hay source nào.
  Bạn tạo file robots.txt với nội dung dưới rồi up lên thư mục gốc của web là dc:
  User-agent: *
  Allow: /
http://mythuat24h.net/ Manh

Anh ơi cho em hỏi cái file robots.txt này của em có đúng ko vậy anh ->http://mythuat24h.net/robots.txt
Cám ơn anh!
- http://thietke24.net thietke24.net
  
  Mình thấy vậy là ok rồi.
http://ketqua.org Ketqua.org

cảm ơn bài viết của bạn,

mình có một ý kiến là liệu disallow những folder quan trọng có tạo điều kiện cho các hacker tìm ra được folder admin của mình ko, mình cũng đã tạo ra file robots.txt của mình, khi chạy với url dạng domain/robots.txt thì sẽ hiện ra nguyên nội dung file của mình.

Hiện tại mình đang SEO cho trang web kết quả xổ số, kết quả, tường thuật trực tiếp kết quả xổ số, nhanh nhất và chính xác nhất

http://ketqua.org

Chân thành cảm ơn những kiến thức bổ ích bạn mang lại cho độc giả.
http://travel.charmingasian.net/ Travel around Asia

A ơi, e tưởng nếu mà bot của Google lục lọi vào thì phải tốt cho SEO chứ ạ
http://discuzviet.net Hani

ví dụ mình xài mình disalow config của mình
nhưng hacker sẽ lợi dụng vào đấy để tìm ra config
http://discuzviet.net Hani

cái này 2 mặt..
lợi là như thế nhưng chả khác nào share thư mục mình không muốn google bot.
http://leo.oni.cc/ NoBi_G

hi! cái robots.txt này không biết có hiệu quả không? lục lọi lại thấy bài này có vè hay… hihi
Thanks !

Izwebz store

Các series nên xem trên izwebz cho newbie

Khi vào izwebz chắc nhiều bạn cho rằng các bài viết trên izwebz đều không có hệ thống gì cả? Thực chất, các bài biết đều đi theo một series của riêng nó, ví dụ như PHP, HTML & CSS, PSD2HTML, Photoshop, illustrator,… Trong bài viết này, mình sẽ tổng hợp lại các series bài viết cần thiết cho một newbie.