Robot.txt Generator

ASIMO is physically anthropomorphic.
Image via Wikipedia

Robot.txt Generator ini digunakan bagi Anda yang malas untuk membuat manual Robot.txt, yang digunakan untuk membatasi akses bot (search engine robot). Akses ini dibatasi dengan memberikan URL halaman mana saja bot tidak dapat memasuki website Anda.

Contoh:

URL: http://www.domainanda.com/index.html
di robot.txt: /index.html

URL: http://www.domainanda.com/blog/private-info.html
di robot.txt: /blog/private-info.html

URL: http://www.domainanda.com/cgi-bin/
di robot.txt: /cgi-bin/

Robot.txt Generator
Anda bisa menggunakan tool Robot.txt Generator ini disini.

Posting Menarik Lainnya:

  1. Menghilangkan Meta Generator WordPress

10 Responses to “Robot.txt Generator”

  1. Aff says:

    Dulu pernah pernah pake generator ini, sekedar buat nyoba2 aja ;-)

  2. munawar am says:

    artikelnya sangat singkat dan padat….
    kalau pakai generator berarti secara otomatis isi file robot terisi di root domain kita yaahhh…, atau bagaimana? atau generate dulu di webmaster tools baru kemudian diupload ke file robots txt..
    ============
    salam kenal balik yaahh, terima kasih telah berkunjung ke blog saya, mari ramaikan trafik blog; antara lain dengan blogwalking..

  3. jemmy says:

    @munawar am: generatornya buat bikin filenya biar gampang aja tanpa harus coding satu-satu per URL, save ke file robot.txt dan upload ke root directory, biasanya sih di folder public_html atau www

  4. mrbambang says:

    kalo wordpress kayaknya dah ostosmastis ya? ato perlu plugin tambahan?

  5. jemmy says:

    @mrbambang: setau saya nggak ada mas, nggak include robotnya, mesti dibuat dulu trus diupload ke file server hosting mas :)

  6. anatoly says:

    robot.txt itufile ya????
    jadi pakenya google webmaster?
    kalau buat selain google pake juga gak?
    atau manual peritanya gimana?
    lagi blajar nich

  7. ichuell says:

    maap mas .. lom ngudeng nich.. robot ini untnuk meningkatkan traffic di blog kita yah.. mohon pencerahannya thanks :D

  8. jemmy says:

    @ichuell: bukan mas, nggak ada hubungannya :D

  9. hersu says:

    kalo ndak pake robot, apakah ada pengaruh nya terhadap hasil pencarian gugel? tenggkyu…

  10. jemmy says:

    @hersu: Kalo nggak pake robots.txt, pake aja tag nofollow atau noindex. Kalo pengaruhnya sih tergantung webmaster sendiri ya, mo diindex apa nggak halaman2 tersebut, gugel mah ngikut aja aturan robos.txt atau meta tag.

Leave a Reply

Pencarian populer: cc generator