Hướng dẫn cách sử dụng và tối ưu Robots.txt

Robot.txt là một kĩ thuật trong SEO , khi các bot crawl trên web của bạn , nó sẽ tìm đến file robot.txt đầu tiên , file này sẽ chỉ định các phần cho phép máy tìm kiếm index trang của bạn và nhiều trang đăng nhập vào phần admin có thể tìm thấy link qua google

Ngoài ra robot.txt cũng là 1 phần trong kĩ thuật SEO giúp site bạn tăng rank . Cụ thể thì có thể tìm trên các site chuyên về SEO có rất nhiều. Ví dụ 1 file robot.txt như sau

User-agent: *
Disallow: /help/confidence/
Disallow: /help/policies/
Disallow: /disney/

Giải thích: User-agent: áp dụng với tất cả các bot

Nếu chỉ áp dụng cho 1 bot nào đó , googlebot chẳng hạn thì thay bằng

User-agent:Googlebot
Disallow: /help/confidence/
Disallow:/help/policies/
Disallow:/disney/

Các file trong các thư mục trên sẽ không được index

Về robot của joomla khuyên bạn chặn index các đường dẫn trong backend (Tất nhiên không có vẫn chạy tốt , nhưng để có thể sẽ bị các search engine nó index , tốt nhất nên tạo robot.txt và .htaccessbổ sung thêm những điều nên tránh trong robot.txt

Vậy file Robots.txt là gì? Khi một search engine tìm đến (nguyên văn Crawler) Website nào đó, nó sẽ tìm một file đặc biệt trước tiên, đó là file robots.txt. File robots.txt cho search engine đó biết rằng, Website này có thể index hoặc không (tùy theo lệnh được viết trong file robots.txt).

Thực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site, ví dụ *http://www.example.com/robots.txt.

Vậy, làm thế nào để tạo ra một file robots.txt? Rất đơn giản, bạn có thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file với tên robots.txt là xong. Các dòng lệnh trong file này có cấu trúc như sau:

User-agent: googlebot
Disallow: /cgi-bin/

Trong đó User-agent: là đại diện của một search engine, Googlebot là spider của Google. Trong ví dụ này, chỉ các spider của Google là được phép index web site. Disallow: là không cho phép thực hiện điều gì đó. ở ví dụ trên là không cho phép các spider index thư mục “cgi-bin” trong web site.

Một ví dụ nữa:

User-agent: googlebot 
Disallow: /support

Tất cả các trang nằm trong thư mục support, hay support-desk sẽ không được index.

Nếu bạn muốn tất cả các search engine có thể index web site của bạn, nhưng không được index các trang trong thư mục “cgi-bin” thì sử dụng lệnh sau:

User-agent: *
Disallow: /cgi-bin/

Những điều nên tránh:
+ Không sử dụng các chú thích trong file robots.txt, nó có thể làm cho các spider của search engine bị lầm lẫn. Ví dụ:

"Disallow: support # Don't index the support directory" might be misinterepreted as "Disallow: support#Don't index the support directory".

+ Không được để khoảng trắng ở đầu dòng lệnh, ví dụ:

User-agent: * 
Disallow: /cgi-bin/

+Không thay đổi trật tự của các dòng lệnh. Ví dụ:

Disallow: /support 
User-agent: *
+ Không sử dụng quá một thư mục trong dòng lệnh Disallow. Ví dụ:

User-agent: *
Disallow: /support /cgi-bin/ /images/

các search engine không hiểu định dạng trên. bạn nên viết thế này:

User-agent: * 
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/

+Phải chắc chắn các mệnh đề, từ sử dụng trong lệnh là đúng. Ví dụ, thư mục của bạn là “cgi-bin” (viết thường, không viết hoa), nhưng khí vào lệnh, bạn lại viết là “Cgi-Bin” thì các spider sẽ “bó tay”.

+ Không nên dùng lệnh Allow trong file robots.txt, bởi vì trong web site của bạn chắc chắn sẽ có một số trang hoặc một số thành phần bạn không muốn bị người khác “nhòm ngó”. nếu bạn sử dụng lệnh Allow, tất cả mọi ngóc ngách trong web site của bạn sẽ bị index!

Mở rộng thêm:

Website của mình muốn các robot crawl tất cả các trang, nhưng cái diễn đàn cài trong folder /diendan thì không muốn crawl, do vậy mình sử dụng google webmaster tool sinh ra file robots.txt như sau


User-agent: *
Disallow: /diendan/
Allow: /

Các bạn cho mình hỏi, nội dung file đó đã đảm bảo yêu cầu như trên chưa?Trả lời:

User-agent: *
Disallow: /diendan/


Ngoài ra, nếu bạn dùng wordpress, đây là cấu hình chuẩn file robots.txt (update 5/2012)


Sitemap: http://www.example.com/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

Biện pháp tốt cho cấu trúc URL

Sử dụng các từ trong URL

- URL chứa các từ liên quan đến nội dung và cấu trúc trang

web của bạn sẽ thân thiện với khách truy cập hơn khi điều hướng trang web của bạn. Khách truy cập sẽ nhớ chúng tốt hơn và có thể sẵn sàng liên kết đến chúng hơn.

Tránh: • sử dụng các URL dài dòng với các tham số và các ID phiên không cần thiết • chọn tên trang chung chung như “trang1.html” sử dụng quá nhiều từ khoá như “baseball-cards-baseball-cards-baseball-cards.htm”

• Tạo cấu trúc thư mục đơn giản

- Sử dụng cấu trúc thư mục tổ chức tốt nội dung của bạn và giúp khách truy cập dễ dàng biết vị trí của họ trên trang web của bạn. Thử sử dụng cấu trúc thư mục của bạn để chỉ định loại nội dung được tìm thấy tại URL đó.

Tránh:  có cấu trúc lớp thư mục con sâu như “…/dir1/dir2/dir3/dir4/dir5/dir6/page.html” • sử dụng tên thư mục không liên quan đến nội dung trong thư mục đó

• Cung cấp phiên bản URL để liên kết đến tài liệu

- Để ngăn người dùng liên kết tới phiên bản URL và ngăn những người khác liên kết tới phiên bản khác (điều này có thể chia cắt uy tín của nội dung đó giữa các URL), tập trung vào việc sử dụng và tham chiếu tới URL trong cấu trúc và liên kết bên trong trên trang của bạn. Nếu bạn phát hiện rằng mọi người đang truy cập cùng một nội dung thông qua nhiều URL, việc thiết lập 301 chuyển hướng từ các

URL không ưa thích đến URL vượt trội là giải pháp tốt cho vấn đề này.

Tránh: • có các trang từ các tên miền phụ và thư mục gốc (ví dụ: “domain.com/page.htm” và sub.domain.com/page.htm”) truy cập cùng một nội dung• lẫn lộn các phiên bản URL có www. và không có www. trong cấu trúc liên kết bên trong của bạn• sử dụng cách viết hoa URL kỳ quặc (nhiều người dùng mong đợi các URL được viết thường và nhớ chúng tốt hơn)

Công ty SEO cần có những gì để tạo niềm tin

Công cụ tìm kiếm tối ưu hóa là một quá trình dài, có thể mất nhiều thời gian và sự chú ý đến các chi tiết nhỏ. Bạn sẽ cần phải biết nghiên cứu từ khóa như thế nào, thay đổi trang web của bạn để đáp ứng các tiêu chuẩn SEO, và có thời gian để xem xét số liệu thống kê lưu lượng truy cập của bạn và thay đổi chiến lược của bạn.

Khi cá nhân hay doanh nghiệp không đủ thời gian để tự làm những công việc trên, họ có thể xem xét việc thuê một công ty chuyên nghiệp để tối ưu hóa công cụ tìm kiếm .

Trong khi có nhiều cá nhân, công ty SEO cung cấp các thông tin và khiến nhiều khách hàng hài lòng, thì cũng có một số nơi không làm được việc này dù rằng họ cũng có trình độ kỹ thuật làm SEO không kém ai. Vậy làm thế nào để có lợi cho cả 2 bên người cung cấp dịch vụ seo và người sử dụng dịch vụ seo , khi người cung cấp muốn có hợp đồng và người sử dụng muốn tiết kiệm nhiều thời gian, tiền bạc, sự thất vọng và để trang web của họ được tối ưu hóa một cách chuyên nghiệp thực sự. Dưới đây là 1 số lời khuyên của 1 số chuyên gia nước ngoài. Mình tổng hợp và dịch lại nhằm giúp anh em có thể đưa những tiêu chí để khách hàng tin tưởng sử dụng dịch vụ, tạo uy tín và tiếng vang cho nghành câu cơm của anh em :

1. Nên tránh sử dụng Black Hate Seo và dùng thủ thuật không bình thường

Nếu bạn là một chuyên gia SEO , hay là một người làm SEO có trách nhiệm, điều đầu tiên khi xem xét một dự án sẽ là xem xét website của khách để có kế hoạch tối ưu hóa và cho khách biết kế hoạch làm sao để website của họ đạt được vị trí mong muốn. Một số phương pháp sử dụng bao gồm xây dựng các liên kết với các website có uy tín, thêm từ khóa tạo nội dung phong phú , và gửi trang web của họ vào công cụ tìm kiếm được lập chỉ mục.

SEO thực sự vẫn còn rất nhiều điều mới mẻ với doanh nghiệp tổ chức vừa và nhỏ , nên việc họ hiểu rõ về seo là còn hạn chế. Vì vậy nếu bạn sử dụng black hate SEO chắc họ cũng không biết. Nhưng cái quan trọng là uy tín trách nhiệm và đạo đức làm SEO sẽ không cho SEOER tâm huyết với nghề làm những điều như vậy. Cho nên bạn cần phân tích cho khách hàng hiểu không có seo nào là “mì ăn liền”

2. Đánh giá một cách chuyên nghiệp

Để được đánh giá một công ty SEO , cá nhân SEO chuyên nghiệp thì ta cần phải tạo dựng niềm tin bằng khách hàng chứng thực ( đương nhiên chỉ show cho khách chứ không bô bô show lên mạng ). Trong thực tế, nếu bạn là 1 SEOER chuyên nghiệp bạn sẽ muốn chia sẻ tài liệu tham khảo của họ với bạn để chứng minh cho khách hàng thấy bạn không phải một người nói khoác. Điều quan trọng là bạn cần đưa ra địa chỉ ( nếu liên lạc được thì hay nhất ) cho khách về những sản phẩm bạn đã làm được, để khách hàng đánh giá 1 cách khách quan nhất có thể.

Nếu bạn không đưa được những tài liệu tham khảo , những địa chỉ khách hàng hay những sản phẩm thì việc thuyết phục khách hàng sử dụng dịch vụ SEO của bạn sẽ là rất thấp.

3. Tuyệt đối tránh những điều không thể đảm bảo

Tối ưu hóa website là một quá trình lâu dài cần phải có một đường đi chính xác để đáp ứng với những thay đổi trong công cụ tìm kiếm. Một SEOER có uy tín sẽ không hứa đảm bảo những gì mà họ chưa từng làm được.
_Không nên đảm bảo cho khách vị trí top10 mãi mãi . Điều này trên thế giới cũng đã được kiểm chứng. Một chuyên viên google đã khẳng định điều này.Có quá nhiều thứ ảnh hưởng đến thứ hạng từ khóa.
_SEO là 1 lĩnh vực rộng lớn , để có thể làm hết các thể loại SEO là rất khó và ở Việt Nam có lẽ số này đếm trên đầu ngón tay.Vì vậy khi nhận 1 hợp đồng khác với những lĩnh vực mình đã và đang thực hiện, bạn cần phân tích đánh giá lĩnh vực đó thật kĩ trước khi đưa ra câu trả lời về thời gian giá cả, phương thức..

4. Yêu cầu về mẫu công việc

Một bảng mẫu công việc được sắp xếp 1 cách khoa học sẽ giúp bạn tạo một niềm tin rất lớn với khách hàng. Họ sẽ nhận xét bạn thật là 1 người làm việc có khoa học có trách nhiệm với công việc. Vả lại 1 khi bạn đưa ra được 1 khung mẫu đó bạn sẽ có thể tiết kiệm thời gian cũng như tạo cho mình 1 tác phong làm việc thật hoàn hảo.

5. Có 1 khung giá nhất định

Cái này thì khá là khó để xác định cho mỗi công ty SEO hay cá nhân. Nhưng có lẽ bạn nên tham khảo ở 1 số công ty seo bạn bè hay đối tác để có 1 khung giá không cao không thấp so với thị trường. Tránh phá giá và thực sự đem lại niềm tin cho khách hàng, cũng như đóng góp cho thị trường SEO bình ổn hơn hiện nay.

Để Search engine optimised website cần những gì?

Các trang web thường được xây dựng với nội dung đã được tối ưu hóa, các trang web này có nội dung tốt bằng văn bản với từ khoá cụ thể. Điều quan trọng là làm vừa lòng cả khách hàng của bạn và các “spiders” tìm kiếm. Xây dựng nội dung có liên quan cho các từ khoá cụ thể hoặc các chuỗi từ khoá có nghĩa là bạn sẽ kết thúc với các trang có nội dung rất cụ thể.

Điều này sẽ thực hiện thông qua cách thiết kế web và cấu trúc menu trang web của bạn. Tốt hơn hết là nếu bạn có thể sử dụng các từ khóa chính cho trang web của bạn giống như là tên menu.Từ khoá , nội dung, tên menu là điều ”spider” tìm kiếm, và nó cũng sẽ làm cho dễ dàng hơn để xây dựng một bản đồ có ý nghĩa thông qua trang web của bạn.

Vì vậy, khi bạn đang viết nội dung của bạn, bạn cần phải cố gắng dẫn nội dung đó đến các từ khóa cụ thể mà bạn đã lựa chọn cho trang web. Bạn có thể sử dụng thêm các từ tương tự từ khóa cũng được, nhưng nên nhớ là phải tập trung đặc biệt vào các từ khoá chính nhất cho mỗi trang. Một khi điều này được thực hiện, hoặc ít nhất một dự thảo ban đầu, bạn có thể đặt nó vào các trang html được yêu cầu thử nghiệm trình đơn của bạn và liên kết văn bản như bạn đi.

Đó là một ý tưởng tốt để sử dụng một bộ xử lý từ đơn giản cho dự thảo ban đầu, nơi bạn có thể sử dụng một kiểm tra chính tả, nếu bạn cần. Tốt nhất không sử dụng một trình xử lý phức tạp bởi vì bạn có thể tìm thấy những gì bạn cần để tách nó của nó ẩn định dạng. Nếu bạn làm thế, lưu nó như văn bản, và bản sao đó để tài liệu html của bạn. Một chút của một chạy xung quanh, nhưng nếu bạn sao chép và dán từ bên trong Word. Đôi khi một số nền mã định dạng có thể được chuyển giao, mà có thể có một số hiệu ứng xấu trong tài liệu html. Bạn có thể viết trực tiếp vào trình biên tập html nếu bạn thích.

Khi bạn tiến hành hãy kiểm tra chắc chắn kĩ tên mạng, tiêu đề, mô tả, thẻ meta từ khoá và trang nhóm tất cả các bao gồm từ khoá chính của bạn cho các trang, tốt hơn là bắt đầu với nó. Chỉ cần có một nhìn vào mã nguồn trang web của trang này để xem những gì tôi có ý nghĩa. Thực hiện tìm kiếm chữ cho “Tối ưu hoá Web Content “. Xem bao nhiêu lần nó đã được sử dụng, và lưu ý nơi mà nó đã được sử dụng. Điều này sẽ cung cấp cho bạn một hướng dẫn tốt.

Hãy nhớ rằng nội dung để bán cho khách hàng. Hãy chắc chắn rằng nó là một định dạng đọc tốt. Bạn có thể đặt các liên kết từ văn bản đến các trang khác trên trang web của bạn khi bạn liên quan đến chủ đề cụ thể. Bạn cũng có thể liên kết đến các trang web khác hơn là của riêng bạn, nhưng hãy nhớ để tạo ra một cửa sổ trình duyệt mới với các liên kết bên ngoài, vì vậy trang của bạn vẫn còn có sẵn. Trong liên kết của bạn, đặt mục tiêu = “_blank” ngay trước khung dấu <>. Liên kết để có liên quan, các trang web không cạnh tranh nếu có thể.

Nó cũng là một ý tưởng tốt để sử dụng thẻ alt và thẻ tiêu đề cho mỗi ảnh. Công cụ tìm kiếm như thế này, và họ cho thấy một mô tả của hình ảnh khi dao động chuột lên nó. Nếu bạn có thể dệt từ khóa trang của bạn tại đây cũng có, bạn làm rất tốt.

Hãy nhớ, tối ưu hóa nội dung tốt là hết sức quan trọng để giúp bạn tốt trong danh sách các công cụ tìm kiếm. Hãy giữ nó thật thân thiện với người đọc, và và định dạng sao cho phù hợp.

Một số thuật ngữ quảng bá website

Quảng bá website - một khái niệm vốn không lạ lùng với những người nhiều năm kinh doanh trực tuyến – nhưng lại rất mới mẻ với những ai mới bước vào thế giới @.Trong bài này, chúng tôi mạn phép nêu lên một số khái niệm về lĩnh vực rất cũ của thế giới nhưng lại rất mới ở Việt Nam để các bạn tham khảo: Thuật ngữ Quảng bá website. website

+ SEO : Từ đầu tiên, nhiều người quan tâm nhất và cũng hay bị lầm lẫn nhất là SEO. SEO là từ viết tắt của Search Engine Optimization – dịch nôm na là tối ưu hóa website cho việc nâng thứ hạng web trên các cỗ máy tìm kiếm. Với khái niệm này, rất nhiều người làm kinh doanh trực tuyến thường đánh đồng SEO chính là Quảng bá website. Sự thật không phải vậy. SEO chỉ là một trong những công đoạn cơ bản và bắt buộc trong cả quá trình quảng bá một website trên hệ thống tìm kiếm. Để SEO một website, các webmaster thường phải sử dụng một số công cụ như phần mềm chuyên dụng hay các công cụ có sẵn trên Net để đo chỉ số Title, Keywords, Description, Body text, H1, H2,…H7, Các thẻ Alt, thẻ Images, Thẻ Robots, Refresh, Topic,…. và vô số những thông số kỹ thuật khác. Nguyên tắc chính của việc SEO một website là phải làm mọi cách để từng trang web và cả website chạy nhanh hơn, ít lỗi kỹ thuật hơn, mã nguồn trong sáng hơn, ít script hơn và đặc biệt: Không có các lỗi bị hệ thống tìm kiếm cho là kỹ thuật Cloaking – kỹ thuật đánh lừa các cỗ máy tìm kiếm. (Xin tham khảo bài: Các tiểu xảo trong quảng bá website)

+ SES – Search Engine Submission: Đăng ký website vào các cỗ máy tìm kiếm. Thuật ngữ này cũng rất được quan tâm vì đây là cách đơn giản và nhanh nhất giúp một website mới ra đời có thể được liệt kê trong danh bạ của các cỗ máy tìm kiếm. Để làm việc này, các webmaster thường sử dụng nhiều cách khác nhau, nhưng tựu trung có 2 cách chính:
- Tự động đăng ký: Các webmaster dạng này thường sử dụng một phần mềm chuyên về SES như AddWeb Promoter, Hello Search Engines, Dynamic Submission,… để đăng ký website vào hàng loạt cỗ máy tìm kiếm. Nhiều webmaster rất tự hào với những phần mềm dạng này khi cho rằng mình đã đăng ký website của mình (và cả của khách hàng) vào hàng ngàn – thậm chí hàng triệu “cỗ máy tìm kiếm” chỉ bằng một vài lần nhấn chuột – và phần mềm sẽ làm thay toàn bộ. Sự thật có đơn giản như thế? Hãy lấy Google, Yahoo và MSN làm ví dụ: Để đăng ký vào 3 cỗ máy này, bạn bắt buộc phải làm động tác: nhập mã số an toàn (đối với Google và MSN) hoặc đăng nhập tài khoản (nếu đăng ký vào Yahoo). Đây là việc chỉ con người mới làm được – không có một phần mềm nào đủ khả năng làm thay. Chưa hết, hiện 3 cỗ máy này đang chiếm thị phần tìm kiếm áp đảo với chỉ số: Google + Yahoo + MSN chiếm xấp xỉ 85% chỉ số tìm kiếm toàn thế giới. Ngoài ra, các Search Engine khác như AOL (sử dụng kết quả của Google), Altavista, Alltheweb, Inktomi (sử dụng kết quả của Yahoo), Ask/Teoma, Lycos, HotBot và Dogpile chiếm khoảng 14,5% thị phần còn lại. Như vậy hàng “ngàn”, hàng “triệu” “cỗ máy tìm kiếm” còn lại chỉ chiếm thị phần xấp xỉ 0,5% ! (Tham khảo: Đăng ký website vào Google, Yahoo, MSN và Ask/Jeeves).
- Đăng ký thủ công: Đây là cách làm đúng và cần thiết nhất để website của bạn sớm được nhận diện trên hệ thống tìm kiếm. Về cách đăng ký, xin vui lòng tham khảo bài viết: Đăng ký website vào Google, Yahoo, MSN và Ask/Jeeves.

+ Keywords: Từ khóa – những từ mà webmaster hoặc chủ nhân trang web cho là quan trọng đối với website của mình. Thường, mỗi website được chọn ra những từ đơn hay cụm từ nhau làm từ khóa. Ví dụ, trang web về du lịch thì các từ vietnam travel, vietnam tours, …; website về giải trí thì các từ: âm nhạc, phim ảnh, giải trí, am nhac, ca sy, nguoi mau, thoi trang,… thường được chọn làm từ khóa. Thời gian trước, từ khóa là vấn đề sống còn đối với một trang web. Nhưng nay với giải thuật mới từ các cỗ máy tìm kiếm thì từ khóa chỉ đóng vai trò thứ yếu.

+ Link Back – Link popularity: Mức độ phổ biến liên kết. Một website được đánh giá cao tại Google hay Yahoo khi nó có nhiều liên kết từ các website khác đến. Tuy nhiên, không phải cứ có nhiều liên kết là tốt vì nhiều liên kết hoàn toàn vô nghĩa vì nếu bạn liên kết đến một website bị liệt vào black list (danh sách đen vì đã sử dụng công nghệ spamming) hoặc một trang web quá ít người truy cập hay không đúng chủ đề thì lợi bất cập hại. Website của bạn có thể bị đánh giá là “cùng hội cùng thuyền” với các website kia và như thế, nguy cơ website của bạn bị rớt hạng là rất lớn.

+ Ranking, PageRank: Với ranking, thì Alexa đang chiếm uy tín tuyệt đối vì tính chính xác và độ tin cậy. Một website có thứ hạng Alexa ranking cao đồng nghĩa với việc website đó được nhiều người biết đến, nhiều người truy cập và nó cũng dễ dàng được tìm thấy với vị trí cao trên hệ thống tìm kiếm. PageRank là một công cụ đo đếm số link back của một website bất kỳ. nếu website của bạn có PageRank cao thì cũng đồng nghĩa với việc website được truy cập nhiều hơn nhờ người truy cập bấm trực tiếp vào link (hay banner, logo) để đến website của bạn và hệ thống tìm kiếm cũng ưu ái với bạn hơn.

+ Search Engine: Là các cỗ máy tìm kiếm như Google, Yahoo, Msn,… Những cỗ máy tìm kiếm này sử dụng một phần mềm gọi là Robot, hay Spider, hay Bot hoặc Crawler để tự động index và lập chỉ mục tất cả các website trên đường chúng “bò” qua. Sau đó, những thông tin này được gửi về Data Center của cỗ máy tìm kiếm để xử lý, sàng lọc, phân loại và đưa vào lưu trữ. Khi một người dùng internet cần tìm một nội dung, họ sẽ đánh từ khóa và nhiệm vụ của cỗ máy tìm kiếm là lục tìm trên danh bạ của nó các kết quả liên quan (đã lập chỉ mục trước đó). Công việc này được tiến hành hoàn toàn tự động và có thứ tự ưu tiên khác nhau cho từng site khác nhau. Các site tốt, giàu nội dung (như các trang báo điện tử, các blog lớn, các diễn đàn đông thành viên) sẽ được index thường xuyên hơn. Chính vì vậy, kết quả tìm kiếm thường tươi mới đối với những site lớn.

+ Internet Directory: Đây là các thư mục internet giống như kiểu Trang Vàng của Việt Nam. Những thư mục này chứa đựng rất nhiều website theo từng danh mục, từng chủ đề các nhau. Khác với các Cỗ máy tìm kiếm – các thư mục internet không hoạt động tự động mà thường do người quản trị cập nhật thông tin thông qua bản đăng ký của các chủ website gửi đến. Nếu website của bạn có mặt tại nhiều thư mục internet thì ranking, pagerank và cả vị trí trên các search engine cũng cao hơn.

+ SEM: Search Engine Marketing: Đây mới chính là cái mà các nhà quản trị website và người kinh doanh online nhắm đến. SEM chính là tổng hợp của tất cả các công đoạn nêu trên, gồm: tối ưu hóa website, đăng ký website vào hệ thống tìm kiếm và các thư mục internet, đặt liên kết với các site khác (trong đó bao gồm cả việc mua liên kết bằng cách đặt logo, banner quảng cáo) và nhiều việc làm khác nữa nhằm giúp website trở nên thân thiện hơn với các cỗ máy tìm kiếm để thứ hạng các từ khóa trong website ngày càng được cải thiện, website có nhiều người truy cập hơn.