ບົດຄວາມນີ້ຈະພາທ່ານໄປສຶກສາລົງເລິກກ່ຽວກັບເຄື່ອງຈັກຊອກຫາ, ຕັ້ງແຕ່ປະຫວັດຄວາມເປັນມາ, ວິທີການເຮັດວຽກ, ສ່ວນປະກອບທີ່ສໍາຄັນ, ບົດບາດສໍາຄັນໃນການຕະຫຼາດອອນລາຍ, ຈົນເຖິງອະນາຄົດຂອງມັນ. ພ້ອມທັງຍົກຕົວຢ່າງເຄື່ອງຈັກຊອກຫາທີ່ໄດ້ຮັບຄວາມນິຍົມໃນປັດຈຸບັນ ເພື່ອໃຫ້ທ່ານເຂົ້າໃຈເຖິງຄວາມສຳຄັນ ແລະ ອິດທິພົນຂອງມັນຕໍ່ໂລກອິນເຕີເນັດໄດ້ຢ່າງເລິກເຊິ່ງ.
ປະຫວັດຄວາມເປັນມາ ແລະ ວິວັດທ
ເຄື່ອງຈັກຊອກຫາບໍ່ໄດ້ເກີດຂຶ້ນມາໃນພິບຕາດຽວ, ແຕ່ມີວິວັດທະນາ ລາຍການໂທລະສັບມືຖືອ້າຍ ການຢ່າງຕໍ່ເນື່ອງຕັ້ງແຕ່ຍຸກທໍາອິດຂອງອິນເຕີເນັດ. ໃນຍຸກທໍາອິດ, ເວັບໄຊຕ໌ຍັງມີຈຳນວນຈຳກັດ ແລະ ການຄົ້ນຫາກໍບໍ່ໄດ້ສະດວກສະບາຍຄືໃນປັດຈຸບັນ.
ຈາກດັດຊະນີແບບຄູ່ມືສູ່ການສ້າງລະບົບອັດຕະໂນມັດ
Archie (1990): ຖືເປັນເຄື່ອງມືຄົ້ນຫາທໍາອິດທີ່ສຸດ. Archie ບໍ່ໄດ້ຄົ້ນຫາເວັບໄຊຕ໌, ແຕ່ມັນຄົ້ນຫາໄຟລ໌ທີ່ຢູ່ໃນ FTP Servers (File Transfer Protocol Servers). ຜູ້ໃຊ້ຕ້ອງປ້ອນຊື່ໄຟລ໌ທີ່ແນ່ນອນເພື່ອຄົ້ນຫາ.
ຍຸກແຫ່ງການຄອບຄອງຂອງ Google
ເຖິງແມ່ນວ່າເຄື່ອງຈັກຊອກຫາລຸ້ນກ່ອນໆຈະມີປະສິດທິພາບພໍສົມຄວນ, ແຕ່ມັນຍັງມີຈຸດອ່ອນໃນການຈັດອັນດັບຜົນການຄົ້ນຫາ. ຜົນການຄົ້ນຫາສ່ວນໃຫຍ່ແມ່ນອີງໃສ່ການປາກົດຕົວຂອງຄໍາສັບ (keyword) ໃນໜ້າເວັບເທົ່ານັ້ນ.
Google (1998): Larry Page ແລະ Sergey Brin ໄດ້ພັດທະນາ Google ໂດຍນໍາສະເໜີແນວຄິດໃໝ່ທີ່ປະຕິວັດວົງການຄື PageRank. PageRank ບໍ່ພຽງແຕ່ອີງໃສ່ຄໍາສັບ, ແຕ່ຍັງຄໍານຶງເຖິງຄຸນນະພາບຂອງເວັບໄຊຕ໌ໂດຍການວິເຄາະຈໍານວນ ແລະຄຸນນະພາບຂອງ Backlinks (ລິ້ງທີ່ຊີ້ກັບມາຫາເວັບໄຊຕ໌ນັ້ນ). ຖ້າເວັບໄຊຕ໌ທີ່ໄດ້ຮັບຄວາມເຊື່ອຖືສູງຊີ້ລິ້ງມາຫາເວັບໄຊຕ໌ຂອງທ່ານ, Google ກໍຈະໃຫ້ຄະແນນເວັບໄຊຕ໌ຂອງທ່ານສູງຂຶ້ນ. ນີ້ເຮັດໃຫ້ຜົນການຄົ້ນຫາຂອງ Google ມີຄວາມກ່ຽວຂ້ອງ ແລະຖືກຕ້ອງສູງກວ່າຄູ່ແຂ່ງຢ່າງຊັດເຈນ.
ການເຂົ້າມາຂອງ Google ໄດ້ປ່ຽນແປງພູມສັນຖານຂອງການຄົ້ນຫາອອນລາຍຢ່າງສິ້ນເຊີງ ແລະໄດ້ກາຍເປັນຜູ້ນໍາຕະຫຼາດທີ່ຄອບຄອງຕະຫຼາດມາຈົນເຖິງປັດຈຸບັນ. ພ້ອມກັນນີ້, Google ຍັງໄດ້ພັດທະນາ Algorithm ໃໝ່ໆຢ່າງຕໍ່ເນື່ອງ ເຊັ່ນ: Penguin, Panda, Hummingbird ແລະ RankBrain ເພື່ອປັບປຸງຄຸນນະພາບຂອງຜົນການຄົ້ນຫາ ແລະຕໍ່ສູ້ກັບເວັບໄຊຕ໌ທີ່ໃຊ້ກົນໄກທີ່ບໍ່ເປັນທໍາ (Black Hat SEO).
ວິທີການເຮັດວຽກຂອງເຄື່ອງຈັກຊອກຫາ
ເບື້ອງຫຼັງການເຮັດວຽກຂອງເຄື່ອງຈັກຊອກຫາມີຂະບວນການທີ່ຊັບຊ້ອນ ແຕ່ສາມາດອະທິບາຍໄດ້ເປັນ 3 ຂັ້ນຕອນຫຼັກ: Crawling, Indexing, ແລະ Ranking.
Crawling (ການລວບລວມຂໍ້ມູນ)
ເຄື່ອງຈັກຊອກຫາຈະນໍາໃຊ້ໂປຣແກຣມອັດຕະໂນມັດທີ່ເອີ້ນວ່າ Spider, Crawler ຫຼື Bot ເພື່ອທ່ອງໄປຕາມເວັບໄຊຕ໌ຕ່າງໆທົ່ວໂລກອິນເຕີເນັດ.
Bot ເຫຼົ່ານີ້ຈະເລີ່ມຕົ້ນຈາກເວັບໄຊຕ໌ທີ່ຮູ້ຈັກແລ້ວ ແລະຕາມລິ້ງທີ່ຢູ່ໃນເວັບໄຊຕ໌ເຫຼົ່ານັ້ນໄປຫາເວັບໄຊຕ໌ໃໝ່ໆ. ມັນຈະເຮັດວຽກຢ່າງຕໍ່ເນື່ອງ, ທ່ອງໄປຕາມເວັບໄຊຕ໌ເປັນລ້ານໆໜ້າຕໍ່ມື້ ເພື່ອຊອກຫາຂໍ້ມູນໃໝ່ ຫຼືຂໍ້ມູນທີ່ມີການປ່ຽນແປງ.
ໃນຂັ້ນຕອນນີ້, Bot ຈະອ່ານເນື້ອໃນຂອງໜ້າເວັບ, ລິ້ງ, ຮູບພາບ, ວິດີໂອ, ແລະຂໍ້ມູນອື່ນໆທີ່ສາມາດເຂົ້າເຖິງໄດ້.
ເຈົ້າຂອງເວັບໄຊຕ໌ສາມາດໃຊ້ໄຟລ໌ robots.txt ເພື່ອບອກ Bot ວ່າໜ້າໃດຄວນ ຫຼືບໍ່ຄວນໃຫ້ Crawler ເຂົ້າມາເກັບກໍາຂໍ້ມູນ.
Indexing (ການຈັດດັດຊະນີ)
ຫຼັງຈາກທີ່ Bot ໄດ້ລວບລວມຂໍ້ມູນມາແລ້ວ, ມັນຈະສົ່ງຂໍ້ມູນເຫຼົ່ານັ້ນໄປໃຫ້ເຄື່ອງແມ່ຂ່າຍ (Server) ຂອງເຄື່ອງຈັກຊອກຫາ.
ລະບົບຈະທໍາການຈັດປະເພດ ແລະເກັບຂໍ້ມູນເຫຼົ່ານັ້ນໄວ້ໃນຖານຂໍ້ມູນຂະໜາດໃຫຍ່ທີ່ເອີ້ນວ່າ Index.
Index ນີ້ຄືຫໍສະໝຸດຂະໜາດໃຫຍ່ທີ່ເກັບຂໍ້ມູນທັງໝົດທີ່ Bot ເຄີຍເຫັນມາ. ຂໍ້ຄວາມ, ຮູບພາບ, ວິດີໂອ, ແລະຂໍ້ມູນອື່ນໆຈະຖືກຈັດລະບຽບໄວ້ຢ່າງມີລະບົບ, ເຮັດໃຫ້ສາມາດຄົ້ນຫາໄດ້ຢ່າງວ່ອງໄວ.
ໃນຂັ້ນຕອນນີ້, ລະບົບຍັງຈະທໍາການວິເຄາະເນື້ອໃນຂອງໜ້າເວັບ ເພື່ອກໍານົດວ່າເນື້ອໃນນັ້ນກ່ຽວກັບຫົວຂໍ້ໃດ, ໃຊ້ຄໍາສັບໃດແດ່ ແລະມີໂຄງສ້າງແນວໃດ.