Google Indexing Blog

10 Cara Membuat Google Mengindeks Situs Blog LENGKAP

Jika Google tidak mengindeks situs web Anda, maka Anda hampir tidak terlihat. Anda tidak akan muncul untuk permintaan pencarian apa pun, dan Anda tidak akan mendapatkan lalu lintas organik apa pun. nihil. Nada. Nol. Mengingat Anda ada di sini, saya kira ini bukan berita baru bagi Anda. Jadi mari kita langsung ke bisnis.

Artikel ini mengajarkan Anda cara memperbaiki salah satu dari tiga masalah berikut:

  • Seluruh situs web Anda tidak diindeks
  • Beberapa halaman Anda diindeks, tetapi yang lain tidak
  • Halaman web Anda yang baru diterbitkan tidak cukup cepat diindeks

Tapi pertama-tama, mari pastikan kita berada di halaman yang sama dan sepenuhnya memahami malarkey pengindeksan ini.

Apa itu perayapan dan pengindeksan?

Google menemukan laman web baru dengan merayapi web, lalu mereka menambahkan laman tersebut ke indeks mereka . Mereka melakukan ini menggunakan laba- laba web yang disebut Googlebot . Bingung? Mari kita definisikan beberapa istilah kunci.

  • Perayapan : Proses mengikuti hyperlink di web untuk menemukan konten baru.
  • Pengindeksan : Proses menyimpan setiap halaman web dalam basis data yang luas.
  • Laba- laba web : Perangkat lunak yang dirancang untuk melakukan proses perayapan dalam skala besar.
  • Googlebot : Laba- laba web Google .

Berikut video dari Google yang menjelaskan prosesnya lebih detail:

Saat Anda meng-Google sesuatu, Anda meminta Google untuk mengembalikan semua halaman yang relevan dari indeks mereka. Karena seringkali ada jutaan halaman yang sesuai dengan tagihan, algoritme peringkat Google melakukan yang terbaik untuk menyortir halaman sehingga Anda melihat hasil terbaik dan paling relevan terlebih dahulu. Poin kritis yang saya buat di sini adalah bahwa pengindeksan dan peringkat adalah dua hal yang berbeda. Pengindeksan muncul untuk balapan; peringkat menang anda tidak bisa menang tanpa muncul untuk balapan di tempat pertama.

Bagaimana cara memeriksa apakah Anda diindeks di Google

Buka Google, lalu cari site: websitemu.com

Angka ini menunjukkan secara kasar berapa banyak halaman Anda yang telah diindeks oleh Google. Jika Anda ingin memeriksa status indeks URL tertentu, gunakan site: websitemu.com/web-page-slug operator yang sama .

Tidak ada hasil yang akan muncul jika halaman tidak diindeks. Sekarang, perlu diperhatikan bahwa jika Anda adalah pengguna Google Search Console , Anda dapat menggunakan laporan Cakupan untuk mendapatkan wawasan yang lebih akurat tentang status indeks situs web Anda. Pergi saja ke:

Google Search Console > Indeks > Cakupan

Lihat jumlah halaman yang valid (dengan dan tanpa peringatan). Jika kedua angka ini berjumlah semuanya kecuali nol, maka Google memiliki setidaknya beberapa halaman di situs web Anda yang diindeks. Jika tidak, maka Anda memiliki masalah parah karena tidak ada halaman web Anda yang diindeks.

CATATAN SAMPINGAN.Bukan pengguna Google Search Console? Daftar. Gratis. Setiap orang yang menjalankan situs web dan peduli untuk mendapatkan lalu lintas dari Google harus menggunakan Google Search Console. Itu sangat penting .

Anda juga dapat menggunakan Search Console untuk memeriksa apakah halaman tertentu diindeks. Untuk melakukannya, rekatkan URL ke alat Inspeksi URL . Jika halaman itu diindeks, itu akan mengatakan "URL ada di Google."

Jika halaman tidak diindeks, Anda akan melihat kata-kata “URL tidak ada di Google”.

Bagaimana agar diindeks oleh Google

Menemukan bahwa situs web atau halaman web Anda tidak terindeks di Google? Coba ini:

  • Buka Google Search Console
  • Arahkan ke alat inspeksi URL
  • Tempelkan URL yang Anda ingin Google indeks ke dalam bilah pencarian
  • Tunggu Google untuk memeriksa URL
  • Klik tombol “Minta pengindeksan”

Proses ini adalah praktik yang baik saat Anda memublikasikan postingan atau halaman baru. Anda secara efektif memberi tahu Google bahwa Anda telah menambahkan sesuatu yang baru ke situs Anda dan mereka harus melihatnya. Namun, meminta pengindeksan tidak mungkin memecahkan masalah mendasar yang mencegah Google mengindeks halaman lama. Jika demikian, ikuti daftar periksa di bawah ini untuk mendiagnosis dan memperbaiki masalah. Berikut adalah beberapa tautan cepat ke setiap taktik—jika Anda sudah mencoba beberapa:

  • Hapus blok perayapan di file robots.txt Anda
  • Hapus tag noindex jahat
  • Sertakan halaman di peta situs Anda
  • Hapus tag kanonik nakal
  • Periksa apakah halaman tersebut tidak yatim piatu
  • Perbaiki tautan internal nofollow
  • Tambahkan tautan internal "kuat"
  • Pastikan halaman itu berharga dan unik
  • Hapus halaman berkualitas rendah (untuk mengoptimalkan "anggaran perayapan")
  • Bangun backlink berkualitas tinggi

1) Hapus blok perayapan di file robots.txt Anda

Apakah Google tidak mengindeks seluruh situs web Anda? Bisa jadi karena blok perayapan dalam sesuatu yang disebut file robots.txt . Untuk memeriksa masalah ini, buka yourdomain.com/robots.txt . Cari salah satu dari dua cuplikan kode ini:

User-agent: Googlebot
Disallow: / 
User-agent: *
Disallow: /

Keduanya memberi tahu Googlebot bahwa mereka tidak diizinkan untuk merayapi laman apa pun di situs Anda. Untuk memperbaiki masalah, hapus. Sesederhana itu . Blok perayapan di robots.txt juga bisa menjadi penyebab jika Google tidak mengindeks satu halaman web pun. Untuk memeriksa apakah ini masalahnya, rekatkan URL ke alat inspeksi URL di Google Search Console. Klik pada blok Cakupan untuk mengungkapkan detail lebih lanjut, lalu cari "Perayapan diizinkan? Tidak: kesalahan diblokir oleh robots.txt”. Ini menunjukkan bahwa halaman diblokir di robots.txt. Jika demikian, periksa kembali file robots.txt Anda untuk mengetahui aturan "larang" yang terkait dengan halaman atau subbagian terkait.

Hapus jika perlu.

2) Hapus tag noindex jahat

Metode 1: tag meta

Halaman dengan salah satu tag meta ini di <head>bagiannya tidak akan diindeks oleh Google:

<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>

Ini adalah tag robot meta, dan memberi tahu mesin pencari apakah mereka dapat atau tidak dapat mengindeks halaman.

CATATAN SAMPINGAN.Bagian kuncinya adalah nilai "noindex". Jika Anda melihatnya, maka halaman diatur ke noindex.

Untuk menemukan semua laman dengan tag meta noindex di situs Anda, jalankan perayapan dengan Audit Situs Ahrefs . Buka laporan Kemampuan Indeks . Cari peringatan “Halaman Noindex”.

Klik untuk melihat semua halaman yang terpengaruh. Hapus tag meta noindex dari halaman mana pun yang bukan tempatnya.

Metode 2: X-Robots-Tag

Crawler juga menghormati header respons HTTP X-Robots-Tag. Anda dapat menerapkan ini menggunakan bahasa skrip sisi server seperti PHP, atau dalam file .htaccess Anda, atau dengan mengubah konfigurasi server Anda. Alat pemeriksaan URL di Search Console memberi tahu Anda apakah Google diblokir agar tidak merayapi laman karena tajuk ini. Cukup masukkan URL Anda, lalu cari "Pengindeksan diizinkan? Tidak: 'noindex' terdeteksi di header http 'X-Robots-Tag'”

Jika Anda ingin memeriksa masalah ini di seluruh situs Anda, jalankan perayapan di alat Audit Situs Ahrefs , lalu gunakan filter “Informasi robot di header HTTP” di Penjelajah Halaman:

Beri tahu pengembang Anda untuk mengecualikan halaman yang ingin Anda indeks agar tidak mengembalikan header ini.

3) Sertakan halaman di peta situs Anda

Peta situs memberi tahu Google halaman mana di situs Anda yang penting, dan mana yang tidak. Ini juga dapat memberikan beberapa panduan tentang seberapa sering mereka harus dirayapi ulang. Google seharusnya dapat menemukan laman di situs web Anda terlepas dari apakah laman tersebut ada di peta situs Anda, namun tetap merupakan praktik yang baik untuk menyertakannya. Lagi pula, tidak ada gunanya mempersulit hidup Google. Untuk memeriksa apakah suatu halaman ada di peta situs Anda, gunakan alat pemeriksaan URL di Search Console. Jika Anda melihat kesalahan "URL tidak ada di Google" dan "Peta Situs: T/A", maka itu tidak ada di peta situs Anda atau diindeks.

Tidak menggunakan Search Console? Buka URL peta situs Anda—biasanya, domainanda.com/sitemap.xml—dan telusuri halaman tersebut.

Atau, jika Anda ingin menemukan semua laman yang dapat dirayapi dan diindeks yang tidak ada di peta situs Anda, jalankan perayapan di Audit Situs Ahrefs . Buka Page Explorer dan terapkan filter berikut:

Halaman ini harus ada di peta situs Anda, jadi tambahkan. Setelah selesai, beri tahu Google bahwa Anda telah memperbarui peta situs dengan melakukan ping ke URL ini:

http://www.google.com/ping?sitemap=http://websitemu.com/sitemap_url.xml

Ganti bagian terakhir itu dengan URL peta situs Anda. Anda kemudian akan melihat sesuatu seperti ini:

Itu akan mempercepat pengindeksan halaman oleh Google.

4) Hapus tag kanonik nakal

Tag kanonik memberi tahu Google versi halaman yang disukai. Ini terlihat seperti ini:

<link rel="canonical” href="/page.html/">

Sebagian besar halaman tidak memiliki tag kanonik, atau yang disebut tag kanonik referensi sendiri. Itu memberi tahu Google bahwa halaman itu sendiri adalah versi yang disukai dan mungkin satu-satunya. Dengan kata lain, Anda ingin halaman ini diindeks. Tetapi jika halaman Anda memiliki tag kanonik jahat, itu bisa memberi tahu Google tentang versi pilihan halaman ini yang tidak ada. Dalam hal ini, halaman Anda tidak akan diindeks. Untuk memeriksa kanonik, gunakan alat inspeksi URL Google. Anda akan melihat peringatan “Halaman alternatif dengan tag kanonik” jika kanonik menunjuk ke halaman lain.

Jika ini tidak seharusnya ada, dan Anda ingin mengindeks halaman, hapus tag kanonik.

PENTING Tag kanonik tidak selalu buruk. Sebagian besar halaman dengan tag ini akan memilikinya karena suatu alasan. Jika Anda melihat bahwa halaman Anda memiliki kumpulan kanonik, periksa halaman kanonik. Jika ini memang versi halaman yang disukai, dan halaman yang dimaksud juga tidak perlu diindeks, maka tag kanonik harus tetap ada.

Jika Anda ingin cara cepat untuk menemukan tag kanonik jahat di seluruh situs Anda, jalankan perayapan di alat Audit Situs Ahrefs. Buka Penjelajah Halaman. Gunakan pengaturan ini:

Ini mencari halaman di peta situs Anda dengan tag kanonik non-referensi mandiri. Karena Anda hampir pasti ingin mengindeks halaman di peta situs Anda, Anda harus menyelidiki lebih lanjut apakah filter ini mengembalikan hasil apa pun. Sangat mungkin bahwa halaman ini memiliki kanonik jahat atau tidak seharusnya ada di peta situs Anda.

5) Periksa apakah halaman tersebut tidak yatim piatu

Halaman yatim piatu adalah halaman tanpa tautan internal yang mengarah ke halaman tersebut. Karena Google menemukan konten baru dengan merayapi web, mereka tidak dapat menemukan halaman yatim piatu melalui proses itu. Pengunjung situs web juga tidak akan dapat menemukannya. Untuk memeriksa halaman yatim piatu, jelajahi situs Anda dengan Audit Situs Ahrefs . Selanjutnya, periksa laporan Tautan untuk kesalahan "Halaman yatim piatu (tidak memiliki tautan internal masuk)":

Ini menunjukkan semua halaman yang dapat diindeks dan ada di peta situs Anda, namun tidak memiliki tautan internal yang mengarah ke sana.

PENTING Proses ini hanya bekerja ketika dua hal benar:

  • Semua halaman yang ingin Anda indeks ada di peta situs Anda
  • Anda mencentang kotak untuk menggunakan halaman di peta situs Anda sebagai titik awal perayapan saat menyiapkan proyek di Audit Situs Ahrefs

Tidak yakin bahwa semua halaman yang ingin Anda indeks ada di peta situs Anda? Coba ini:

  • Unduh daftar lengkap halaman di situs Anda (melalui CMS Anda)
  • Jelajahi situs web Anda (menggunakan alat seperti Audit Situs Ahrefs)
  • Referensi silang kedua daftar URL

URL apa pun yang tidak ditemukan selama perayapan adalah halaman yatim piatu.

Anda dapat memperbaiki halaman yatim piatu dengan salah satu dari dua cara:

  • Jika halaman tidak penting , hapus dan hapus dari peta situs Anda
  • Jika halaman itu penting , masukkan ke dalam struktur tautan internal situs web Anda

6) Perbaiki tautan internal nofollow

Tautan nofollow adalah tautan dengan tag rel=“nofollow”. Mereka mencegah transfer PageRank ke URL tujuan. Google juga tidak merayapi tautan nofollow. Inilah yang dikatakan Google tentang masalah ini:

Pada dasarnya, menggunakan nofollow menyebabkan kami menghapus tautan target dari grafik web kami secara keseluruhan. Namun, halaman target mungkin masih muncul di indeks kami jika situs lain menautkannya tanpa menggunakan nofollow, atau jika URL dikirimkan ke Google dalam Peta Situs.

Singkatnya, Anda harus memastikan bahwa semua tautan internal ke halaman yang dapat diindeks diikuti. Untuk melakukannya, gunakan alat Audit Situs Ahrefs untuk merayapi situs Anda. Periksa laporan Tautan untuk halaman yang dapat diindeks dengan kesalahan "Halaman hanya memiliki tautan internal masuk nofollow":

Hapus tag nofollow dari tautan internal ini, dengan asumsi Anda ingin Google mengindeks halaman tersebut. Jika tidak, hapus halaman atau noindex.

7) Tambahkan tautan internal "kuat"

Google menemukan konten baru dengan merayapi situs web Anda. Jika Anda lalai menautkan secara internal ke halaman yang dimaksud, mereka mungkin tidak dapat menemukannya. Salah satu solusi mudah untuk masalah ini adalah menambahkan beberapa tautan internal ke halaman. Anda dapat melakukannya dari halaman web lain yang dapat dirayapi dan diindeks oleh Google. Namun, jika Anda ingin Google mengindeks halaman secepat mungkin, masuk akal untuk melakukannya dari salah satu halaman Anda yang lebih "kuat". Mengapa? Karena Google kemungkinan akan meng-crawl ulang halaman tersebut lebih cepat daripada halaman yang kurang penting. Untuk melakukannya, buka Site Explorer Ahrefs , masukkan domain Anda, lalu kunjungi laporan Best by links .

Ini menunjukkan semua halaman di situs web Anda diurutkan berdasarkan Peringkat URL (UR). Dengan kata lain, ini menunjukkan halaman yang paling otoritatif terlebih dahulu. Telusuri daftar ini dan cari halaman yang relevan untuk menambahkan tautan internal ke halaman yang dimaksud. Misalnya, jika kami ingin menambahkan tautan internal ke panduan pengeposan tamu kami , panduan pembuatan tautan kami mungkin akan menawarkan tempat yang relevan untuk melakukannya. Dan halaman itu kebetulan menjadi halaman paling otoritatif ke-11 di blog kami:

Google kemudian akan melihat dan mengikuti tautan itu saat mereka merayapi ulang laman tersebut.

TIP PROFESIONAL : Tempel halaman tempat Anda menambahkan tautan internal ke alat pemeriksaan URL Google. Tekan tombol "Minta pengindeksan" untuk memberi tahu Google bahwa ada sesuatu di halaman yang telah berubah dan mereka harus merayapinya kembali sesegera mungkin. Ini dapat mempercepat proses mereka menemukan tautan internal dan akibatnya, halaman yang ingin Anda indeks.

8) Pastikan halaman itu berharga dan unik

Google tidak mungkin mengindeks halaman berkualitas rendah karena tidak memiliki nilai bagi penggunanya. Inilah yang dikatakan John Mueller dari Google tentang pengindeksan pada tahun 2018:

Dia menyiratkan bahwa jika Anda ingin Google mengindeks situs web atau halaman web Anda, itu harus "luar biasa dan menginspirasi." Jika Anda telah mengesampingkan masalah teknis karena kurangnya pengindeksan, maka kurangnya nilai bisa menjadi penyebabnya. Karena alasan itu, ada baiknya meninjau halaman dengan pandangan baru dan bertanya pada diri sendiri: Apakah halaman ini benar-benar berharga? Apakah pengguna akan menemukan nilai di halaman ini jika mereka mengkliknya dari hasil pencarian? Jika jawabannya tidak untuk salah satu dari pertanyaan itu, maka Anda perlu meningkatkan konten Anda. Anda dapat menemukan lebih banyak laman berpotensi berkualitas rendah yang tidak diindeks menggunakan alat Audit Situs Ahrefs dan URL Profiler . Untuk melakukannya, buka Page Explorer di Audit Situs Ahrefs dan gunakan pengaturan ini:

Ini akan mengembalikan halaman "tipis" yang dapat diindeks dan saat ini tidak mendapatkan lalu lintas organik. Dengan kata lain, ada kemungkinan besar mereka tidak diindeks. Ekspor laporan, lalu tempel semua URL ke URL Profiler dan jalankan pemeriksaan Indeksasi Google.

PENTING Disarankan untuk menggunakan proxy jika Anda melakukan ini untuk banyak halaman (yaitu, lebih dari 100). Jika tidak, Anda berisiko IP Anda diblokir oleh Google. Jika Anda tidak dapat melakukannya, maka alternatif lain adalah mencari Google untuk “pemeriksa indeksasi Google massal gratis.” Ada beberapa alat ini di sekitar, tetapi kebanyakan dari mereka terbatas pada <25 halaman sekaligus.

Periksa halaman yang tidak diindeks untuk masalah kualitas. Tingkatkan jika perlu, lalu minta pengindeksan ulang di Google Search Console. Anda juga harus memperbaiki masalah dengan konten duplikat. Google tidak mungkin mengindeks halaman duplikat atau hampir duplikat. Gunakan laporan konten duplikat di Audit Situs untuk memeriksa masalah ini.

9) Hapus halaman berkualitas rendah (untuk mengoptimalkan "anggaran perayapan")

Memiliki terlalu banyak laman berkualitas rendah di situs web Anda hanya akan membuang anggaran perayapan . Inilah yang dikatakan Google tentang masalah ini:

Pemborosan sumber daya server pada [laman bernilai tambah rendah] akan menguras aktivitas perayapan dari laman yang benar-benar memiliki nilai, yang dapat menyebabkan penundaan yang signifikan dalam menemukan konten hebat di situs.

Anggap saja seperti seorang guru menilai esai, salah satunya adalah milik Anda. Jika mereka memiliki sepuluh esai untuk dinilai, mereka akan mendapatkan milik Anda dengan cukup cepat. Jika mereka memiliki seratus, itu akan memakan waktu lebih lama. Jika mereka memiliki ribuan, beban kerja mereka terlalu tinggi, dan mereka mungkin tidak akan pernah bisa menilai esai Anda. Google memang menyatakan bahwa “anggaran perayapan […] bukanlah sesuatu yang harus dikhawatirkan oleh sebagian besar penerbit,” dan bahwa “jika sebuah situs memiliki kurang dari beberapa ribu URL, sebagian besar waktu itu akan dirayapi secara efisien.” Namun, menghapus halaman berkualitas rendah dari situs web Anda bukanlah hal yang buruk. Ini hanya dapat memiliki efek positif pada anggaran perayapan. Anda dapat menggunakan templat audit konten kami untuk menemukan halaman yang berpotensi berkualitas rendah dan tidak relevan yang dapat dihapus.

10) Bangun backlink berkualitas tinggi

Tautan balik memberi tahu Google bahwa halaman web itu penting. Lagi pula, jika seseorang menautkannya, maka itu harus memiliki nilai. Ini adalah halaman yang ingin diindeks oleh Google. Untuk transparansi penuh, Google tidak hanya mengindeks halaman web dengan tautan balik. Ada banyak (miliaran) halaman yang diindeks tanpa backlink. Namun, karena Google menganggap laman dengan tautan berkualitas tinggi lebih penting, laman tersebut cenderung merayapi—dan merayapi ulang—laman seperti itu lebih cepat daripada yang tidak. Itu mengarah ke pengindeksan lebih cepat. Kami memiliki banyak sumber daya untuk membangun backlink berkualitas tinggi di blog.

Pengindeksan peringkat

Memiliki situs web atau halaman web Anda diindeks di Google tidak sama dengan peringkat atau lalu lintas. Itu dua hal yang berbeda. Pengindeksan berarti bahwa Google mengetahui situs web Anda. Itu tidak berarti mereka akan memberi peringkat untuk setiap pertanyaan yang relevan dan berharga. Di situlah SEO masuk—seni mengoptimalkan halaman web Anda untuk menentukan peringkat untuk kueri tertentu.

Singkatnya, SEO melibatkan:

  • Menemukan apa yang dicari pelanggan Anda
  • Membuat konten seputar topik tersebut
  • Mengoptimalkan halaman tersebut untuk kata kunci target Anda
  • Membangun backlink
  • Menerbitkan ulang konten secara teratur agar tetap "hijau"

Berikut adalah video untuk membantu Anda memulai SEO:

Pikiran terakhir

Hanya ada dua kemungkinan alasan mengapa Google tidak mengindeks situs web atau halaman web Anda:

  • Masalah teknis menghalangi mereka untuk melakukannya
  • Mereka melihat situs atau halaman Anda berkualitas rendah dan tidak berharga bagi penggunanya

Sangat mungkin bahwa kedua masalah itu ada. Namun, saya akan mengatakan bahwa masalah teknis jauh lebih umum. Masalah teknis juga dapat menyebabkan pembuatan otomatis konten berkualitas rendah yang dapat diindeks (misalnya, masalah dengan navigasi segi). Itu tidak baik. Namun, menjalankan daftar periksa di atas akan menyelesaikan masalah pengindeksan sembilan kali dari sepuluh. Ingatlah bahwa pengindeksan peringkat. SEO masih penting jika Anda ingin menentukan peringkat untuk setiap permintaan pencarian yang berharga dan menarik aliran lalu lintas organik yang konstan.