Cara Mengatasi Sumber Daya Yang Di Blokir

Sumber Daya Yang Diblokir Robots.txt

Salah satu masalah yang membuat kita pusing adalah ketika mendapatkan pesan error sumber daya yang diblokir melalui Search Console atau kita lazim kita sebut Google Webmasters Tools (GWT).

Error ini dapat terjadi karena sumber daya yang digunakan pada blog tidak dapat dirayapi dengan sempurna (diblokir) sehingga Googlebot tidak dapat menggunakannya dengan baik saat merender halaman itu.

Hampir bisa dipastikan tidak ada blog yang tidak menggunakan CSS, JavaScript, atau gambar bertautan. Ketika sumber daya tersebut tidak dapat dibaca dengan baik (diblokir) maka Search Console akan memberikan warning ( peringatan ) tersebut bahwa ada pemblokiran yang dilakukan oleh robots.txt.

Padahal ketika melakukan ujicoba menggunakan penguji robots.txt di Search Console tidak terdapat pemblokiran alias semuanya DIIZINKAN.

Apabila robots.txt yang Anda pasang pada blog merupakan script yang umum (default robots.txt) digunakan maka sudah bisa dipastikan laporan sumber daya yang diblokir (Blocked Resources Report) akan tampil banyak host yang terblokir.

Salah satu upaya untuk membebaskan sumber daya yang diblokir adalah dengan mengatur kembali robots.txt. Settinglah robots.txt blog Anda mendukung Googlebot merayapi setiap sumber daya yang digunakan dalam situs atau blog.

Anda bisa gunakan settingan seperti di bawah ini (jangan lupa sesuaikan dengan sumber daya yang diblokir).

 User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /

User-agent: Adsbot-Google
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /

Jadi robots.txt di atas akan memberikan keleluasaan perayapan terhadap sumber daya yang digunakan sebuah blog.

APA YANG TERJADI JIKA SUMBER DAYA DIBLOKIR ?

Seperti yang dijelaskan di atas bahwa tidak ada blog yang tidak menggunakan CSS, JavaScipt, dan Gambar. File - file seperti itu harus dapat terbaca oleh Googlebot sehingga Googlebot dapat membaca dan melihat tampilan halaman artikel seperti penglihatan seorang manusia. Googlebot perlu dapat mengakses ke berbagai sumber di halaman Anda untuk dapat merender dan mengindeksnya dengan baik dan optimal.

Jika perayapan sumber daya tidak dapat dicapai dengan optimal oleh Googlebot maka hal ini akan mempengaruhi peringkat halaman dalam penelusuran Google.

Lambat tapi pasti, Satu per satu artikel Anda akan turun peringkat bahkan sampai jauh terlempar ke halaman yang kesekian. Wuihhh.. Serem kan ... ?

CARA MELIHAT SUMBER DAYA YANG DIBLOKIR

Untuk dapat mengatasi error sumber daya yang diblokir tentulah harus mengetahui File apa saja yang diblokir oleh robots.txt. Hal ini dapat kita lakukan dengan menggunakan render (ambil sebagai Google) di Search Console.

Caranya :

1. Klik Sumber daya yang diblokir ( di Search Console )
2. Klik host (laman yang terpengaruh)
3. Klik sumber daya yang diblokir
4. Klik laman
5. Klik Ambil sebagai Google
6. Klik Ambil dan Render
7. Lihat bagian Status, Bila seluruh maka tidak ada masalah.
8. Bila sebagian maka ada bagian yang terblokir, Klik tanda >>
9. Lihat Tab Merender

Makan terlihat jenis sumber daya yang diblokir karena Googlebot tidak menemukannya pada halaman tersebut (terblokir) dan harus ditambahkan ke dalam robots.txt agar dibuka blokir nya sehingga dapat ter-crawl dengan baik dan sempurna.

Saya kira itu saja cara mengatasi sumber daya yang diblokir robots.txt semoga dapat memberikan manfaat.

Salam sukses.

Cara Setting Robots.txt Di Blogspot

Settingan Robots.txt

kali ini saya akan memberikan sebuah pengetahuan beserta cara setting tentang Robot.txt yang sudah tidak asing lagi di telinga para blogger dan ahli SEO lainnya. Apa itu Robot.txt? Seberapa penting kah robot tersebut? Robot.txt bukan seperti robot yang kita kenal sebelumnya, namun robot.txt adalah sebuah pedoman untuk mengatur sebuah Robot-Crawl (Robot-Perayapan) tetang bagaimana cara yang diinginkan untuk merayapi sebuah halaman pada website atau blog anda. robot.txt sangat berperan penting bagi peningkatannya sebuah pengunjung dan keberhasilan dari teknik SEO yang banyak diincar orang.

Bagi para blogger awam robot.txt mungkin tidak terpikirkan di benak mereka, blogger biasanya hanya memikirkan artikel dan pengunjung yang datang (visitor) tanpa memikirkan bagaimana cara peng-index-an sebuah artikel mereka ke mesin pencari dengan teknik Crawl (Perayapan). Sebuah cara unik yang dilakukan oleh para mesin pencari besar seperti Google untuk mengetahui halaman mana saja yang perlu dijelajahi oleh robot mereka (Robot-Crawl), ketika robot perayap melakukan search engine dan mengunjungi halaman situs anda maka hal yang pertama dilakukan oleh Robot-Crawl ialah melihat sebuah robot.txt yang ada terdapat pada web atau blog anda.

Sebab itu untuk meningkatkan sebuah persaingan di dunia SEO (Search Engine Optimizer) anda juga harus mengetahui tentang teknik robot.txt dan cara settingan yang benar, jangan sampai anda salah setting dan tidak ada blog anda yang pernah di rayapi oleh robot dan sepi pengunjung deh akhirnya. Oke bagi anda para pengguna platform Blogger anda bisa mensetting sebuah pilihan robot.txt agar dapat mengontrol bot crawl search engine untuk menentukan halaman mana saja yang anda pilih untuk dirayapi.

Cara Masuk Ke Pengaturan Robot.txt pada Blogger

1. Login ke akun blogger anda.

2. Lalu masuk menu "Setelan" dan klik "Preferensi penulusuran".

3. Diasana terdapat pengaturan "robot.txt khusus" klik "Edit" pilih "Ya".

4. Masukan kode custom settingan robot-crawl yang dibutuhkan dan klik "Simpan Perubahan".

Masalahnya apa nih kode dari settingan robot-crawl yang dibutuhkan? Oke bagi anda yang belum mengtahui tentang pengaturan dari settingan robot.txt bisa simak pembahasannya berikut ini.

Dibawah ini merupakan Standar Default pengaturan Robot.txt pada Blogger. Anda bisa letakan kode di bawah ini di pengaturan robot.txt khusus tadi pada blog anda jika diinginkan.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://rivalhariz.blogspot.com/feeds/posts/default?orderby=updated

Settingan robot.txt diatas merupakan settingan standar default yang biasa digunakan Blogger, namun jika anda sudah merasa mampu menguasai SEO dan banyak pengunjung, pengaturan pada robot.txt sudah jangan dirubah kembali karena itu dapat mempengaruhi blog anda, tapi jika anda beberapa kode yang anda dapat tambahkan untuk kebutuhan blog anda bisa tambahkan namun tetap harus dengan prosedur pengatahuan tentang ilmu robot.txt. Untuk lebih lengkapnya saya berikan pengaturan kostum robot yang mungkin diperlukan,

Contoh Custom robot.txt sesuai kebutuhannya

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://rivalhariz.blogspot.com/feeds/posts/default?orderby=updated

Contoh diatas merupakan sebuah contoh costum robot.txt yang sesuai dengan kebuthannya masing-masing, namun jika ada kebutuhan yang tidak diinginkan anda bisa hapus saja karena itu dapat menggantu blog anda. Bingung dengan apa saja arti dari kalimat diatas? mari kita bahas satu persatu.

• User-agent: Mediapartners-Google
  Disallow: code ini menunjunkan bahwa bot crawl di perintahkan untuk merayapi semua tampilan adsense yang terdapat pada halaman situs anda, kode ini sangat berguna untuk merayapi semua halman blog anda dengan syarat ketentuan adsense. Anda bisa abaikan kode ini.


• User-agent : *
  pada code ini berguna untuk memerintahkan bot-crawl untuk merayapi seluruh halaman situs anda namun dengan ketentuan baris terpisah dari kode tersebut, yang dimaksudkan itu kode yang diterapkan setelah kode user-agent.


• Disallow: /search
  kode ini menunjukan bahwa setiap halman pencarian dalam bentuk URL tidak akan dijelajahi dan tidak diindex oleh bot-crawl. Kode ini dapat menjadi peningkat SEO untuk anda karena kode ini menghindari adanya duplikat kontent yang sering terjadi bagi pada blogger.


• Disallow: /p/*
  kode yang satu ini hampir sama dengan "Disallow: /search" namun perbedaanya pada kode ini memblokir perayapan pada halaman Laman pada blog anda. Namun jika anda juga ingin menindeks halaman laman anda, anda bisa hapus kode ini.


• Disallow: /?m=1
  Disallow: /?m=0
  Disallow: /*?m=1
  Disallow: /*?m=0
  pada kode ini menunjukan bahwa perayapan pada mode mobile atau tampilah handphone tidak dirayapi bahkan tidak diindex, hal ini juga untuk menghindari sebuah terjadinya duplikat content di mesin pencari yang terkadang juga memberikan hasil tampilan mobile saat mencari dengan komputer. Jika blog anda tidak mengalami masalah tersebut bisa hapus kode ini.


• Allow: /
  kode ini bertujuan untuk mengizinkan sebuah akses perayapan dan indeks pada mode Desktop atau tampilan Komputer.


• Sitemap: http://rivalhariz.blogspot.com/feeds/posts/default?orderby=updated
  kode ini bertujuan untuk menampilkan sebuah link sitemap blog anda.

#NB : anda bisa ganti url rivalhariz.blogspot.com dengan url blog kalian

Untuk menguji custom robot.txt yang anda buat, anda bisa dengan mudah mengetikan url blog anda di addres bar browser dan menambahkan /robot.txt di belakang url blog anda.

Contohnya :

http://rivalhariz.blogspot.com/robots.txt

#Catatan : robot.txt bukan hanya sekedar pedoman bagi robot-crawl, namun dalam pemakaian harus sangat berhati-hati karena jika anda salah dalam menggunakan pengaturan robot.txt dengan asal akan terjadi masalah yang sangat fatal bahkan hingga bot-crawl tidak merayapi blog anda kembali, jadi anda perlu mempelajari tentang kode di setiap baris pada robot.txt dengan benar.

Oke cukup paham dan dapat menambah wawasan anda tentang ilmu SEO yang satu ini kan? oke mungkin itu saja yang bisa saya berikan mengenai "Apa itu Robot.txt? Cara Seting Robot.txt yang Benar" ini, semoga dengan apa yang sudah saya berikan ini dapat bermanfaat bagi Anda. Jangan lupa untuk like dan follow akun kami untuk mendapatkan info serta update terbaru dari kami. Jika ada Kesalahan atau ada Pertanyaan serta Tambahan bisa isi pada kolom komentar anda.

Thanks ... 

Cara Verifikasi Website/blog ke Google Webmaster Tools

Google Webmaster Tools (GWT) atau Google Search Console

Adalah tool online gratisan milik Google yang berfungsi sebagai alat evaluasi SEO (Search Engine Optimization / Optimasi). Salah satu fungsi terpentingnya adalah mengetahui data pengunjung website berdasarkan keyword / kata kunci yang mereferensikannya. Dengan GWT ini kita bisa tahu, ranking website berdasarkan keyword-keyword yang telah dioptimasi dan berapa banyak telah mendatangkan pengunjung web. Tentu informasi ini sangat penting bagi para aktivis SEO, sebab dirinya bisa menilai keberhasilan teknik SEO yang diterapkan.

Berikut contoh potongan data Search Analytic / Telusuri Analytics suatu website :

keterangan :

• Kueri : Keyword

• Klik : jumlah kunjungan ke website

• Tayangan : jumlah munculnya website di halaman pencarian Google

• RKT : Rasio prosentasi Klik dibagi Tayangan

• Posisi : Posisi / rangking website di halaman pencarian Google

Fungsi-fungsi lain Google Webmaster Tools

1. Mengetahui data Backlink yang diakui Google (klik untuk membaca tutorialnya di sini)
2. Menghilangkan Backlink negatif (klik untuk membaca tutorialnya >> Google Disavow Tools)
3. Membuat tampilan di halaman pencarian Google menjadi Featured Snippet
4. Melakun peng index an kembali website, agar bot Google merayapi kembali semua konten website
5. Mengetahui status indexing Google. Apakah masih terindex, apakah ada konten yang di blok dll
6. Memantau apakah website terjadi error atau tidak, terutama apakah server hosting sering down
7. Mengetahui apakah ada peringat dari Google atau tidak berkaitan dengan aktivitas seo, seperti apakah ada kegiatan nge backlink yang dianggap negatif oleh Google (Unnatural Link)
8. Dan masih banyak fungsi lainnya

Website-website yang bisa dipantau menggunakan Google Webmaster Tools :

1. Blogspot (blog gratisan masupun custom domain)
2. WordPress.com (blog wordpress gratisan maupun custom domain)
3. Wordrpess domain hosting sendiri (self hosted)
4. Web-web yang dibangun menggunakan CMS atau koding sendiri
5. Web-web lain seperti : sites.google.com
6. Aplikasi Android di Google Plays Store
7. Media-media online lainnya yang kita tidak mengakses kode html nya tidak bisa dipantau menggunakan GWT ini, seperti : Video Youtube, akun Facebook, akun Academia, akun Slideshare, akun Scribd, akun Twitter, akun Instagram dll

Cara Menambahkan (mem-verifikasi) Website ke Google Webmaster Tools

Google Webmaster Tools adalah milik Google, sehingga Anda harus menggunakan GMail untuk Login ke dalamnya.

1. Buka Google dan search : google webmaster tools. Klik >> https://www.google.com/webmasters/tools/

2. Login menggunakan akun GMail

3. Di halaman Google Webmaster Tools, isikan alamat website lengkap. Sebaiknya tidak diketik manual, tapi hasil copy paste dari internet browser. Misalnya, http://rivalharistaroy.web.id. Ingat, alamat website yang dimasukkan harus sama persih yang tampil di internet browser, apakah pake www atau tidak, apakah pake https atau tidak, akan sangat berpengaruh pada keberhasilan proses verifikasi atau menambahkan website ke Google Webmaster Tools.

Setelah di tambahkan klik tombol TAMBAHKAN PROPERTI

4. Berikutnya adalah proses Verifikasi. Langkah-langkahnya tergantung jenis website yang akan Anda masukkan ke Google Webmaster Tools

Berikut cara mem-verifikasi berdasarkan jenis website nya :

Mem-verifikasi website / blog Blogspot

1. Klik pilihan : Tag HTML

Copy kode yang mengandung <meta name=”google-site-verification” …… >

2. Masuk ke dalam Blogger.

3. Pada Dashboard Blooger, klik menu Theme, klik Edit HTML

4. Pada halaman kode HTML, carilah kode <head> yang letaknya ada di baris bagian atas. Setelah ketemu, Paste kode <meta name=”google-site-verification” …… > di bawah kode <head>. Lalu klik tombol Save theme

5. Kembali ke halaman Google Webmaster Tools, klik tombol VERFIKASI. Dan akan muncul notifikasi : Selamat. Anda berhasil memverifikasi kepemilikan http://……..

klik Lanjutkan

Kemudian tinggal menunggu Google Webmaster Tools mendata semua konten website, membutuhkan waktu sekitar 1 – 2 bulan, agar datanya terisi.

Mem-verifikasi website / blog WordPress.com

Verifikasi blog gratisan WordPress.com ke dalam Google Webmaster Tools, caranya mirip dengan verifikasi Blogspot :

1. Pada halaman utama Google Webmaster Tools, klik tombol TAMBAHKAN PROPERTI. Masukkan alamat WordPress.com secara lengkap, misalnya : https://alamtblognya.wordpress.com/. Ingat, untuk wordpress memakai https

Klik tombol Tambah.

2. Pada halaman verifikas Google Webmaster Tools, pilih Tag HTML, copy kode / karakter acak yang dibelakang kode content=”. . . . . . ”

Contoh kode verifikasi nya :

<meta name="google-site-verification" content="Rp_uuiQo_ZBb6LIkeURv5B7zX8pOgCDzGOLxC-My9iM">

Maka yang di copy hanya kode : Rp_uuiQo_ZBb6LIkeURv5B7zX8pOgCDzGOLxC-My9iM

Tanpa tanda dobel petik.

3. Login ke dalam dashboard WordPress.com, dengan mengunjungi :

http://alamatwebnya.wordpress.com/wp-admin

4. Setelah dalam Dashboard WordPress.com, klik menu Tools. Cari kolom Google Webmaster Tools, dan paste kode di langkah 3 ke kolom yang tersedia

Klik tombol Save Changes

5. Kembali ke halaman Google Webmaster Tools, klik tombol VERFIKASI. Dan akan muncul notifikasi : Selamat. Anda berhasil memverifikasi kepemilikan https://…..

Mem-verifikasi website / blog WordPress Domain Hosting Sendiri (Self Hosted)

Verifikasi blog WordPress self hosted ke dalam Google Webmaster Tools, caranya mirip dengan verifikasi WordPress.com, hanya saja kita butuh bantuan Plugin Yoast untuk mempermudah proses :

1. Pada halaman utama Google Webmaster Tools, klik tombol TAMBAHKAN PROPERTI. Masukkan alamat WordPress.com secara lengkap, misalnya : http://rivalharistaroy.web.id

2. Pada halaman verifikas Google Webmaster Tools, pilih Tag HTML, copy kode / karakter acak yang dibelakang kode content=”. . . . . . ”

Contoh kode verifikasi nya :

<meta name="google-site-verification" content="dBw5CvburAxi537Rp9qi5uG2174Vb6JwHwIRwPSLIK8">

Maka yang di copy hanya kode : dBw5CvburAxi537Rp9qi5uG2174Vb6JwHwIRwPSLIK8

Tanpa tanda dobel petik.

3. Login ke dalam dashboard website, dengan mengunjungi, misalnya :

http://rivalharistaroy.web.id/wp-admin

4. Setelah dalam Dashboard website, kita akan memasang Plugin Yoast.

Klik menu Plugins. Klik Add New. Ketik Yoast di kolom pencarian. Klik tombol Instal Now

5. Setelah plugin Yoast terinstal, kembali ke Dashboard website, dan klik menu : Y SEO

lalu klik menu Webmaster Tools.

6. Paste kode yang ada pada langkah 2 pada kolom Google Search Console. Lalu klik tombol Save Changes

Demikian cara memverifikasi / menambahkan website / blog ke dalam Google Webmaster Tools. Semoga bermanfaat.