• fans
  • 1036 reader
  • followers

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Nếu bạn sử dụng WordPress một file robots.txt sẽ có dạng như sau

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

“User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.

“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những filé của WordPress bắt đầu bằng wp-.

Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”, ví dụ:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Tự động tạo robots.txt
Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt Generator để tự động tạo file robots.txt cho mình

Sau khi bạn đã tạo xong file robots.txt (đừng quên chữ S), bạn chỉ việc upload lên thư mục gốc là hoàn thành

Demon Warlock Website facebook twitter user_email

Tôi được sinh ra ở Việt Nam, nhưng hiện tại đang sống và làm việc tại Mỹ. Ngành tôi học không có liên quan gì đến thiết kế web. Nhưng đây là sở thích từ ngày còn là sinh viên du học, do vậy bây giờ dù cho đang đi làm nhưng tôi vẫn thích dùng thời gian rảnh rỗi của mình để học về thiết kế web. Như các bạn, tôi cũng việc mày mò tự học và khám phá.

  • leebamboo

    Hic. mọi người coi dùm mình file robot của mình tạo vậy đúng chưa? http://www.trinamtrangda.com/robots.txt

  • http://quatang99.com VojCoj

    site http://2evshop.com/ của mình kiểm tra đường dẫn /robots.txt thì vẫn thấy có, nhưng vào trong root kiểm tra thì không thấy file robots.txt là sao nhỉ. Mới cả trước giờ mình vẫn để thế mà không việc gì, tự dưng mấy hôm nay wmt lại thông báo không bot được vào web của mình là sao?

  • nguyenha
  • KTOUSHOW

    Anh em kiểm tra giúp file robot của mình có bị gì không?

    Nếu không search engine sẽ bỏ qua mình mất

    http://www.vietnamradio.info/robots.txt

  • Phương Trinh

    hn mình làm mãi mới được, đúng là lần đầu lần mò. site game ibet88

  • hung

    Mình thấy bài viết rất hay xem bạn viết nốt cái site map chuẩn đi để anh em xem

  • Tam

    anh ơi web của em là mã nguồn codeigniter vậy tạo file robot.txt thế nào đc ạ

  • http://bangdinh.info/ kuteboy_195

    Admin cho mình hỏi chút..mình bị lỗi trùng lặp nội dung và tiêu đó trong joomla,có thể dùng file robots.txt này để chặn những đường link mà google webmaster tool báo trùng lặp được ko?site của mình http://bangdinh.info cảm ơn admin nhiều nhé

  • tuan minh

    bạn có thể nói rõ hơn chút được không , mình làm site : http://volamchimong2.com mà không biết tạo robots.txt như thế nào

  • Tuấn Hoàng

    Cho mình hỏi thường thì những file và thư mục nào mình không muốn bọ tìm kiếm ghé thăm ?
    Mình đang bắt đầu SEO cho website http://batdongsan-hcm.com nên cũng chưa rõ lắm.
    Thanks bạn !

  • Thảo Nguyễn

    site zippo Ngọc Tuệ của mình chuẩn chưa nhỉ ? http://www.ngoctue.com/robots.txt

  • Võ Minh Trí

    Chào Anh Demon Warlock cho em hỏi thẻ chúng ta cần thêm vào không zậy anh.

  • hòa

    minh làm được rồi http://kutewap.3bi.us

  • hòa

    mìn làm được rồi http://kutewap.3bi.us/robox.txt

  • vankien

    cái nay minh cung dang bi ma chua cai được
    http://noithatkhaihong.com.vn/

  • hoàng danh nam

    Site mình: http://thangmay.org/ không hiểu sai chỗ nào mà google báo là bots google không vào được site, mong mọi người giúp đỡ

Newbie

Các series nên xem trên izwebz cho newbie

Khi vào izwebz chắc nhiều bạn cho rằng các bài viết trên izwebz đều không có hệ thống gì cả? Thực chất, các bài biết đều đi theo một series của riêng nó, ví dụ như PHP, HTML & CSS, PSD2HTML, Photoshop, illustrator,… Trong bài viết này, mình sẽ tổng hợp lại các series bài viết cần thiết cho một newbie.

Izwebz facebook group

Social connect

Recent Comments

Archives