Apa itu Crawler Mesin Pencari?
Crawler mesin pencari (sering disebut sebagai bot atau spider) adalah alat otomatis yang bertugas untuk mengunjungi website di internet dan mengumpulkan dan membaca isinya agar bisa muncul di halaman pencarian.
Bagaimana Cara Kerja Crawler Mesin Pencari?
Cara kerja crawler mesin pencari adalah mencari alamat website (seed urls), mengunjungi (crawling), memahami (parsing), memasukkan ke mesin pencari (indexing) dan menentukan peringkat (ranking).
1. Mencari Alamat Website (Seed URLs)
Maksudnya, crawler mencari alamat website ini melalui dua sumber utama:
- Database internal: Crawler memeriksa kembali daftar alamat website lama yang sudah tersimpan di dalam pusat data Google untuk melihat apakah ada perubahan konten pada website lama tersebut.
- Kiriman pemilik website: Crawler mencari alamat website baru melalui dokumen sitemap (peta situs) yang dikirimkan oleh pemilik website ke sistem Google.
Setelah aktivitas mencari alamat website (URL) ini membuahkan hasil, daftar alamat tersebut langsung dijadikan rute dasar untuk memulai proses perayapan atau crawling.
2. Mengunjungi Website (Crawling)
Artinya saat mengunjungi website, bot membuka halaman tersebut sama persis seperti saat manusia membuka sebuah situs web. Bot mendatangi setiap halaman untuk melihat dan mengambil seluruh data yang ada di sana agar bisa dibawa ke sistem mesin pencari.
Berikut data-data yang diambil crawler pada website:
- Teks Konten: Meliputi judul artikel, subjudul, isi paragraf, meta title, meta description, serta teks pada link (anchor text).
- Media (Gambar & Video): Meliputi nama file, teks keterangan gambar (alt text), serta data teks pendukung video (judul, deskripsi, dan durasi video).
- Link (Alamat Website): Semua link, baik link yang mengarah ke halaman lain di dalam website sendiri (link internal), maupun link yang mengarah ke website orang lain (link eksternal
- Kode Website: Seluruh kode HTML (kerangka), CSS (desain/tampilan), dan JavaScript (fitur/kecepatan) untuk menilai performa halaman website.
3. Membaca dan Memahami Isi Website (Parsing)
Setelah selesai mengunjungi dan mengambil data, selanjutnya crawler mesin pencari membaca dan memahami data-data tersebut.
Pada tahap ini, sistem mesin pencari akan menyaring seluruh data yang didapatkan. Sistem akan membaca teks artikel untuk mengetahui topik yang dibahas, memeriksa link yang ada di dalam halaman, serta memahami kualitas tampilan website. Proses ini bertujuan agar mesin pencari tahu persis apa isi dan kegunaan dari website tersebut sebelum dimasukkan ke dalam database hasil pencarian Google.
4. Memasukkan Website ke Mesin Pencari (Indexing)
Setelah selesai membaca dan memahami seluruh isi konten website, selanjutnya crawler mesin pencari memasukkan website ke mesin pencari.
Semua halaman website yang sudah dinilai layak akan langsung didaftarkan dan disimpan ke dalam sistem Google. Proses memasukkan website ke mesin pencari inilah yang menjadi penentu utama agar artikel, produk, atau website bisa resmi terdaftar, muncul, dan ditemukan oleh orang lain saat mereka melakukan pencarian di Google.
5. Menentukan Peringkat Website di Google (Ranking)
Setelah website masuk ke dalam mesin pencari, langkah terakhir yang dilakukan Google adalah menentukan peringkat website.
Google akan membandingkan isi website dengan ribuan website lain yang membahas topik serupa. Berdasarkan kualitas tulisan, kecepatan akses, dan kemudahan penggunaan, Google kemudian akan menentukan peringkat (ranking) atau urutan posisi website.
Semakin menarik untuk dibaca dan bermanfaat isi website bagi pengunjung, semakin tinggi pula peringkat yang akan diberikan oleh Google.
Apa Fungsi Crawler Mesin Pencari?
Fungsi crawler mesin pencari adalah mengetahui perubahan, memeriksa link rusak (broken link), cek aktif atau tidaknya dan periksa keamanan pada website.
1. Memperbarui Konten Lama (Update Konten)
Jika pemilik website mengubah isi artikel, mengganti harga produk, atau mengedit informasi di halaman website yang sudah lama tayang, Google akan mengetahui secara otomatis. Karena crawler mesin mencari berfungsi untuk mengunjungi ulang website secara berkala untuk mengecek dan memperbarui informasinya di halaman pencarian Google agar tetap akurat bagi pengguna.
2. Menemukan dan Menghapus Link Rusak (Broken Link)
Crawler berfungsi sebagai alat untuk menemukan ada link yang mati (misalnya memunculkan halaman error 404), crawler akan mencatatnya. Ini membantu mesin pencari untuk tidak menampilkan link rusak tersebut kepada pengguna di halaman pencarian atau search engine.
3. Mendeteksi Website yang Tidak Aktif atau Dihapus
Jika sebuah website sudah tidak diperpanjang domainnya, servernya mati total, atau sengaja dihapus oleh pemiliknya, crawler berfungsi untuk memastikan status aktif website. Setelah crawler mencoba mengunjungi situs tersebut berkali-kali dan tetap gagal, Google akan menghapus website tersebut dari daftar pencarian agar tidak mengecewakan pengguna yang mengkliknya.
4. Memeriksa Keamanan Website
Saat mengunjungi masing-masing halaman website, crawler juga memeriksa apakah aman atau berbahaya. Jika crawler mendeteksi adanya skrip berbahaya (malware) atau tanda-tanda website sedang diretas (hack), crawler akan melaporkannya ke sistem Google untuk memberikan peringatan keamanan kepada pengguna internet sebelum mereka mengklik website tersebut.
Apa Hubungan Crawler dan Voice Search Google?
Hubungan keduanya terletak pada cara crawler membaca dan menyaring data. Agar website bisa muncul sebagai jawaban saat seseorang menggunakan pencarian suara (voice search), crawler harus bisa menemukan data yang sesuai dengan gaya bicara manusia.
Berikut adalah hubungan logis antara crawler dan optimasi voice search:
- Crawler Mencari Kalimat Tanya yang Natural: Saat orang menggunakan pencarian suara, mereka berbicara seperti mengobrol biasa, termasuk menanyakan cara atau lokasi (misal: “Bagaimana cara…” atau “Cafe terdekat dari sini”). Crawler bertugas menyisir isi website untuk mencari kalimat tanya alami ini beserta data pendukungnya. Misalnya jawaban langsung, alamat, nomor telepon, dan jam buka agar Google bisa langsung membacakan rekomendasi cepat kepada pengguna.
- Crawler Mencari dan Memprioritaskan Struktur Tanya-Jawab (FAQ): Saat mengunjungi halaman website, crawler akan lebih mudah menangkap informasi yang disusun dalam bentuk format FAQ atau ringkasan padat, lalu membawanya ke mesin pencari untuk dibacakan oleh asisten suara.
