Komponen utama dalam search engine

Sebuah search engine memiliki beberapa komponen agar dapat menyediakan layanan utamanya sebagai sebuah mesin pencari informasi. Komponen tersebut antara lain :

1. Web Crawler
   Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu.
   
   Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
   
   Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
   
   Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
   
   • Halaman mana yang harus dikunjungi terlebih dahulu.
     
   • Aturan dalam proses mengunjungi kembali sebuah halaman.
     
   • Performansi, mencakup banyaknya halaman yang harus dikunjungi.
     
   • Aturan dalam setiap kunjungan agar server yang dikunjungi tidak kelebihan beban.
     
   • Kegagalan, mencakup tidak tersedianya halaman yang dikunjungi, server down, timeout, maupun jebakan yang sengaja dibuat oleh webmaster.
   • Seberapa jauh kedalaman sebuah website yang akan dikunjungi.
   • Hal yang tak kalah pentingnya adalah kemampuan web crawler untuk mengikuti
     perkembangan teknologi web, dimana setiap kali teknologi baru muncul, web crawler harus dapat menyesuaikan diri agar dapat mengunjungi halaman web yang menggunakan teknologi baru tersebut.
     
     Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.
   
   
2. Indexing system
   Indexing system bertugas untuk menganalisa halaman web yang telah tersimpan sebelumnya dengan cara mengindeks setiap kemungkinan term yang terdapat di dalamnnya. Data term yang ditemukan disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya.
   
   Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.
   
   Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
   
   
3. Search system
   Search system inilah yang berhubungan langsung dengan pengguna, meyediakan hasil pencarian informasi yang diinginkan. Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan kata pencarian biasanya dengan beberapa kata kunci, search system akan mencari data dari indeks database, data yang cocok kemudian akan ditampilkan, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.

Cara kerja Search Engine

Mesin pencari web bekerja dengan cara menyimpan hampir semua informasi halaman web, yang diambil langsung dari www. Halaman-halaman ini diambil secara otomatis. Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data
tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.

Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.

Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.

Pengertian Search Engine

Mesin pencari web atau yang lebih dikenal dengan istilah web search engine merupakan program komputer yang dirancang untuk mencari informasi yang tersedia didalam dunia maya. Berbeda halnya dengan direktori web (seperti dmoz.org) yang dikerjakan oleh manusia untuk mengelompokkan suatu halaman informasi berdasarkan kriteria yang ada, web search engine mengumpulkan informasi yang tersedia secara otomatis.

mengambil dan menyimpan informasi

Ada beberapa cara menyimpan informasi yang telah kita dapatkan dari internet ke dalam computer yang kita gunakan antara lain :

1. Download (mengambil file dari server) halaman web

• Buka aplikasi browser (internet explorer, mozilla firefox, safari, opera, dll)
• Masukkan alamat web yang ingin kita tuju pada address bar, atau gunakan fasilitas search engine untuk mencari informasi yang diinginkan
• Untuk membuka halaman web, klik salah satu kata atau kalimat yang bergaris bawah (mengandung link) khusus pada penggunaan search engine
• Setelah halaman web terbuka, klik menu file pada toolbar menu, pilih sub menu Save Page As

• Arahkan tempat penyimpanan sesuai dengan keinginan pada kotak save in

• Isikan nama file sesuai dengan keninginan pada kotak file name
• Pilih jenis tipe penyimpanan pada kotak Save as type

• Web page, complete (menyimpan halaman web yang tampil secara keseluruhan beserta file gambar yang ada di halaman tersebut dan dapat ditampilkan mirip dengan halaman web aslinya)
• Web page, html only (menyimpan halaman web yang tampil dalam format  html
• Text Files, (menyimpan halaman web dalam bentuk teks saja)
• Buka halaman web penyedia file yang dapat didownload
• Klik menu download atau klik teks yang berisi link untuk menuju ke halaman download

1. Download file dari server tempat web tersebut berada

• Setelah masuk kehalaman download klik teks yang mengandung link (biasanya bertuliskan download atau unduh) untuk mendownload file

• Pilih Open untuk membuka file
• Save untuk meyimpan file
• Cancel untuk membatalkan

1. Copy (salin) dan paste (tempel)

• Buka halaman web yang ingin kita ambil informasinya
• Blok informasi yang akan kita ambil dengan cara klik kanan kemudian drag hingga informasi yang akan kita ambil terblok keseluruhannya

• Klik menu edit lalu pilih copy
• Buka aplikasi Microsoft Office Word kemudian pilih menu edit dan pilih paste, setelah itu simpan document MS word yang kita buat.

1. 4.      Menyalin gambar (copy image)

• Buka halaman web atau lakukan searching gambar yang akan kita diambil
• Setelah halaman web yang mengandung gambar tampil, klik kanan pada gambar kemudian pilih copy image
• Buka aplikasi MS word, atau aplikasi paint kemudian pilih menu edit lalu pilih paste untuk menempelkan gambar
• Edit kemudian simpan

Pengertian proxy server

proxy server adalah tekhnik standar utuk akses internet secara bersama-sama oleh beberapa komputer sekaligus dalam sebuah local area network (LAN) melalui sebuah modem atau sebuah salauran komunikasi.Secara sederhana proxy adalah seseorang atau lembaga yang bertindak atas nam dati orang lain/lembaga/negara lain.

Proxy server bekerja dengan menjembatani komputer ke Internet. Program Internet seperti browser, download manager dan lain-lain berhubungan dengan proxy server, dan proxy server tersebut yang akan berkomunikasi dengan server lain di Internet.

Pengertian mail server

Mail server adalah Perangkat lunak program yang mendistribusikan file atau informasi sebagai respons atas permintaan yang dikirim via email, juga digunakan pada bitnet untuk menyediakan layanan serupa FTP

Pengertian FTP server

FTP Server adalah suatu server yang menjalankan software yang memberikan layanan tukar menukar file dengan selalu siap memberikan layanan FTP apabila mendapat request dari FTP client.