Mencari informasi dengan perayapan

Kami menggunakan perangkat lunak yang disebut dengan “perayap web” untuk menemukan laman web yang tersedia untuk publik. Perayap yang paling terkenal disebut “Googlebot”. Perayap melihat laman web dan mengikuti tautan pada laman tersebut, hampir sama seperti yang Anda lakukan jika Anda menjelajahi konten di web. Perayap membuka tautan satu ke tautan lainnya dan membawa data tentang laman web tersebut kembali ke server Google.

Proses perayapan dimulai dari daftar alamat web dari perayapan petasitus sebelumnya yang diberikan oleh pemilik situs web. Saat perayap kami mengunjungi situs web ini, perayap mencari tautan laman lain untuk dikunjungi. Perangkat lunak ini memberikan perhatian khusus terhadap situs baru, perubahan terhadap situs yang sudah ada, dan tautan yang mati.

Program komputer menentukan situs mana yang akan dirayapi, seberapa sering, dan berapa banyak laman yang akan diambil dari setiap situs. Google tidak menerima pembayaran agar suatu situs bisa dirayapi lebih sering untuk hasil penelusuran web kami. Kami lebih peduli akan hasil sebaik mungkin karena dalam jangka panjang, itulah yang terbaik untuk pengguna dan bagi bisnis kami.

Pilihan untuk pemilik situs web

Kebanyakan situs web tidak perlu menyiapkan batasan untuk perayapan, pengindeksan, atau penayangan, sehingga laman mereka layak untuk muncul dalam hasil penelusuran tanpa kerja ekstra. Artinya, pemilik situs memiliki banyak pilihan tentang cara Google merayapi dan mengindeks situs mereka melalui Alat Webmaster dan sebuah file yang disebut “robots.txt”. Dengan file robots.txt, pemilik situs dapat memilih untuk tidak dirayapi oleh Googlebot, atau mereka dapat memberikan petunjuk yang lebih spesifik tentang cara memproses laman di situs mereka.

Pemilik situs memiliki pilihan detail dan dapat memilih cara konten diindeks dalam basis laman per laman. Contohnya, mereka dapat ikut serta untuk menampilkan laman tanpa cuplikan (ringkasan laman yang ditampilkan di bawah judul di hasil penelusuran) atau versi dalam cache (versi alternatif yang disimpan di server Google apabila laman langsung tidak tersedia). Webmaster juga dapat memilih untuk mengintegrasikan penelusuran ke dalam laman mereka sendiri dengan Penelusuran Khusus.

Mengatur informasi dengan pengindeksan

Web itu bagaikan perpustakaan umum yang terus berkembang dengan miliaran buku dan tanpa administrasi pusat. Google pada dasarnya mengumpulkan laman selama proses perayapan, lalu membuat indeks, sehingga kami tahu persis cara untuk mencari sesuatu. Hampir seperti indeks di bagian belakang buku, indeks Google meliputi informasi tentang kata dan lokasinya. Saat Anda menelusuri, pada level yang paling dasar, algoritme kami mencari istilah penelusuran Anda di indeks untuk menemukan laman yang sesuai.

Setelah itu, proses penelusuran menjadi jauh lebih kompleks. Saat menelusuri “anjing” Anda tidak menginginkan laman dengan kata “anjing” ratusan kali di dalamnya. Mungkin Anda menginginkan gambar, video, atau daftar jenis anjing. Sistem pengindeksan Google mencatat banyak aspek laman yang berbeda, misalnya kapan laman dipublikasikan, apakah laman tersebut berisi gambar atau video, dan masih banyak lagi. Dengan Grafik Pengetahuan, kami tidak sekedar mencocokkan kata kunci. Kami terus berusaha lebih memahami orang, tempat, dan hal yang penting bagi Anda.

Untuk kueri tertentu, ada ribuan, jika tidak jutaan, laman web dengan informasi yang bermanfaat. Algoritme adalah proses dan formula komputer yang membawa pertanyaan Anda dan mengubahnya menjadi jawaban. Algoritme Google hari ini mengandalkan lebih dari 200 sinyal unik atau “petunjuk” yang membuatnya dapat menebak apa yang mungkin benar-benar Anda cari. Sinyal ini meliputi hal-hal seperti istilah di situs web, kesegaran konten, wilayah Anda, dan PageRank.

Proyek Penelusuran

Ada banyak komponen untuk proses penelusuran dan laman hasil, dan kami senantiasa memperbarui teknologi dan sistem untuk memberikan hasil yang lebih baik. Banyak dari perubahan ini melibatkan inovasi baru yang menarik, seperti Grafik Pengetahuan atau Google Instan. Ada sistem penting lain yang senantiasa kami sempurnakan dan saring. Daftar proyek ini memberikan kilasan ke dalam berbagai aspek penelusuran yang berbeda.

Jawaban
Menampilkan jawaban dan informasi langsung untuk hal-hal seperti cuaca, skor olahraga, dan fakta cepat.

Pelengkapan otomatis
Memprediksi apa yang mungkin Anda telusuri. Ini mencakup pemahaman istilah dengan lebih dari satu arti.

Buku
Menemukan hasil dari jutaan buku, termasuk pratinjau dan teks, dari perpustakaan dan penerbit di seluruh dunia.

Kesegaran
Menunjukkan berita dan informasi terbaru. Ini mencakup pengumpulan hasil tepat waktu saat Anda menelusuri tanggal tertentu.

Google Instan
Menampilkan hasil langsung saat Anda mengetik.

Gambar
Menunjukkan hasil berbasis gambar dengan gambar kecil sehingga Anda dapat memutuskan laman mana untuk dikunjungi dengan sekilas.

Pengindeksan
Menggunakan sistem untuk mengumpulkan dan menyimpan dokumen di web.

Grafik Pengetahuan
Memberikan hasil berdasarkan basis data orang-orang, tempat, benda, dan hubungan di antaranya dari dunia nyata.

Seluler
Termasuk peningkatan yang dirancang khusus untuk perangkat seluler seperti tablet dan ponsel cerdas.

Berita
Termasuk hasil dari surat kabar online dan blog dari seluruh dunia.

Pemahaman Kueri
Memasuki arti yang lebih dalam dari kata-kata yang Anda ketikkan.

Penyempitan
Menyediakan fitur seperti "Penelusuran Lanjutan," penelusuran terkait, dan alat-alat penelusuran lainnya, yang semuanya membantu untuk menyempurnakan penelusuran Anda.

TelusurAman
Mengurangi jumlah laman web, gambar, dan video dewasa dalam hasil Anda.

Metode Penelusuran
Menciptakan cara baru untuk menelusuri, termasuk "telusuri pakai gambar" dan "penelusuran suara."

Kualitas Situs & Laman
Menggunakan sekumpulan sinyal untuk menentukan seberapa dapat dipercaya, bereputasi, atau otoritatif suatu sumber. (Salah satu sinyal tersebut adalah PageRank, salah satu algoritme pertama Google, yang tampak pada tautan antar-laman untuk menentukan relevansinya.)

Cuplikan
Menampilkan pratinjau kecil informasi, seperti judul laman dan teks deskriptif singkat, tentang setiap hasil penelusuran.

Ejaan
Mengidentifikasi dan memperbaiki kemungkinan kesalahan ejaan dan memberikan alternatif.

Sinonim
Mengenali kata-kata dengan arti yang serupa.

Terjemahan dan Internasionalisasi
Menyesuaikan hasil berdasarkan bahasa dan negara Anda.

Penelusuran Universal
Mencampurkan konten yang relevan seperti gambar, berita, peta, video, dan konten pribadi Anda, ke dalam satu laman hasil penelusuran terpadu.

Konteks Pengguna
Meneydiakan hasil yang lebih relevan berdasarkan wilayan geografis, Riwayat Web, dan faktor-faktor lainnya.

Video
Menunjukkan hasil berbasis video dengan gambar kecil sehingga Anda dapat memutuskan dengan cepat video mana yang akan ditonton.Eksperimen: Dari Ide hingga Peluncuran

Perubahan algoritme pada umumnya dimulai dari ide salah satu insinyur kami tentang cara meningkatkan penelusuran. Pendekatan kami didorong oleh data dan semua proposal perubahan algoritme menjalani evaluasi kualitas ekstensif sebelum dirilis.

Insinyur biasanya mulai dengan menjalankan rangkaian eksperimen, menyesuaikan variabel kecil, lalu mencari masukan dari rekan sampai mereka puas dan siap merilis eksperimen ini ke pemirsa yang lebih besar.

Lebih Singkatnya Seperti Ini.

Situs spam berusaha untuk berada pada penelusuran teratas melalui teknik seperti mengulangi kata kunci berkali-kali, membeli tautan yang melewati PageRank, atau meletakkan teks yang tidak terlihat pada layar. Teknik ini buruk untuk penelusuran karena situs web yang relevan akan tertimbun, dan buruk untuk pemilik situs web yang sah karena situs mereka menjadi lebih sulit untuk ditemukan. Berita baiknya adalah algoritme Google dapat mendeteksi sebagian besar spam dan menurunkannya secara otomatis. Untuk sisanya, kami memiliki tim yang meninjau situs secara manual.

Mengidentifikasi Spam

Situs spam muncul dalam semua bentuk dan ukuran. Beberapa situs merupakan omong kosong yang dihasilkan secara otomatis yang tidak dapat dimengerti oleh manusia. Tentu saja, kami juga melihat situs yang menggunakan teknik spam halus. Periksa contoh “spam murni” ini yang merupakan situs yang menggunakan teknik spam paling agresif. Ini adalah streaming tangkapan layar spam langsung yang telah kami identifikasi secara manual dan baru-baru ini dihapus agar tidak muncul di hasil penelusuran.

Contoh Spam Secara Langsung Dimonitoring Di Google

Jenis Spam

Selain spam yang ditunjukkan di atas, berikut adalah jenis spam lainnya yang kami deteksi dan kami tindak.

Pengalihan licik dan/atau penyelubungan
Situs sepertinya menyelubungi (menampilkan konten berbeda pada pengguna manusia, berbeda dari apa yang ditampilkan ke mesin telusur) atau mengarahkan ulang pengguna ke laman berbeda selain apa yang dilihat Google.

Situs yang diretas
Sebagian laman pada situs ini mungkin telah diretas oleh pihak ketiga untuk menampilkan konten atau tautan berisi spam. Pemilik situs web harus mengambil tindakan segera untuk membersihkan situs mereka dan memperbaiki kerentanan keamanan yang ada.

Teks tersembunyi dan/atau penjejalan kata kunci
Beberapa laman Anda mungkin berisi teks tersembunyi dan/atau penjejalan kata kunci.

Domain yang diparkir
Domain yang diparkir adalah situs placeholder dengan sedikit konten unik, jadi Google biasanya tidak memasukkan domain seperti ini ke dalam hasil penelusuran.

Spam murni
Situs tampaknya menggunakan teknik spam agresif seperti omong kosong yang dibuat secara otomatis, penyelubungan, konten yang dicuri dari situs web lain, dan/atau pelanggaran berat maupun berulang dari Pedoman Webmaster Google.

Penyedia DNS dinamis dan hosting gratis berisi spam
Situs ini dihosting oleh penyedia DNS dinamis atau layanan hosting gratis yang memiliki sebagian besar konten berisi spam.

Konten tipis dengan sedikit atau tanpa nilai tambah
Situs tampaknya terdiri dari laman dangkal atau berkualitas rendah yang tidak menyediakan nilai tambah yang banyak kepada pengguna (seperti laman afiliasi tipis, laman pintu, situs pemotong cookie, konten yang dibuat secara otomatis, atau konten salinan).

Tautan tidak wajar dari situs
Google mendeteksi pola tautan keluar yang tidak alami, palsu, menipu, atau manipulatif pada situs ini. Hal ini mungkin disebabkan oleh penjualan tautan yang lolos PageRank atau partisipasi dalam skema tautan.

Tautan tidak wajar ke situs
Google telah mendeteksi pola tautan tidak alami, palsu, menipu, atau manipulatif yang menunjuk ke situs ini. Hal ini mungkin disebabkan oleh pembelian tautan yang lolos PageRank atau partisipasi dalam skema tautan.

Spam buatan pengguna
Situs tampaknya berisi konten berisi spam yang dibuat pengguna. Konten yang bermasalah mungkin akan muncul pada laman forum, laman buku tamu, atau profil pengguna.

Mengambil Tindakan

Sementara algoritme kami mengatasi sejumlah besar spam, kami mengatasi spam lainnya secara manual untuk mencegahnya memengaruhi kualitas hasil Anda. Grafik ini menunjukkan jumlah domain yang telah dipengaruhi oleh tindakan manual sepanjang waktu dan yang telah dirusak oleh jenis spam yang berbeda. Jumlahnya mungkin terlihat amat banyak, tapi web adalah tempat yang sangat besar. Cuplikan indeks kami saat ini menunjukkan bahwa sekitar 0,22% dari domain telah ditandai secara manual untuk penghapusan.

Memberi tahu Pemilik Situs Web

Saat kami melakukan tindakan manual pada situs web, kami mencoba memperingatkan pemilik situs untuk membantunya mengatasi masalah. Kami ingin pemilik situs web memiliki informasi yang mereka butuhkan untuk memperbaiki situs mereka. Karenanya, sepanjang waktu, kami menginvestasikan sumber daya substansial dalam komunikasi webmaster dan jangkauan. Grafik berikut menunjukkan jumlah pemberitahuan spam yang dikirimkan ke pemilik situs melalui Alat Webmaster.

Mendengarkan Masukan

Tindakan manual tidak bertahan selamanya. Setelah pemilik website membersihkan situsnya untuk menghapus konten berisi spam, dia bisa meminta kami untuk meninjau situs kembali dengan mengajukan permintaan pertimbangan ulang. Kami memproses semua permintaan pertimbangan ulang yang kami terima dan membicarakannya dalam proses untuk memberi tahu pemilik situs tentang apa yang terjadi.

Dalam sejarahnya, sebagian besar situs yang telah mengajukan permintaan pertimbangan ulang tidak benar-benar terpengaruh oleh tindakan spam manual apa pun. Seringkali situs-situs tersebut hanya mengalami pasang surut alami dari arus lalu lintas online, perubahan algoritmik, atau mungkin masalah teknis yang mencegah Google mengakses konten situs. Grafik ini menunjukkan volume mingguan permintaan pertimbangan ulang sejak 2006.