구글 블로그, 맞춤 로봇 헤더 태그 설정 방법 # DreaMerZ-Note

안녕하세요. 잊지 않기 위해 기록하는 블로그. DreaMerZ-Note 입니다.

최근에 블로그를 다시 시작하면서 작성한 게시글이 검색 엔진에 정상적으로 색인되지 않는 것 같아 robots 설정에 대해 다시 알아보았습니다. 이번에 알게된 '맞춤 로봇 헤더 태그'에 대해서 설명해보고 추천 태그까지 살펴볼게요.

| Quick View

# 맞춤 로봇 헤더 태그 설정에서 추천하는 태그!

설정 항목	추천 태그
- 홈페이지 태그	all
- 보관함 및 검색 페이지 태그	noindex, nofollow
- 게시물 및 페이지 태그	all
- 이미지 및 미디어 파일 태그	all

| 맞춤 로봇 헤더 태그란?

구글 블로그의 설정을 보면, 맞춤 로봇 헤더 태그라는 설정이 있습니다. 영어로 Custom Robots Header Tags 이며, 해당 설정은 검색 엔진(Search Engine) 이 블로그나 사이트의 특정 페이지를 어떻게 색인(index)하고 표시할 지를 설정하는 기능입니다. 

아래와 같이 구글 블로그 설정에서, '크롤러 및 색인 설정' 하단에 '맞춤 로봇 헤더 태그 사용 설정' 옵션은 On/Off 할 수 있습니다.

| 맞춤 로봇 헤더 태그 옵션 설명

맞춤 로봇 헤더 태그는 총 3가지로 제공됩니다. 

# 홈페이지 태그 : 블로그의 메인 페이지에 적용

# 자료실 및 검색 페이지 태그 : 블로그 카테고리, 태그, 검색 결과 페이지에 적용

# 글 및 페이지 태그 : 개별 글과 페이지에 적용

그리고 각 태그에는 총 10개의 태그를 선택할 수 있습니다.

# all : 검색 엔진이 모든 컨텐츠를 색인하고 표시하는 태그

# noindex : 검색 엔진이 색인하지 않는 태그 (검색 결과 X)

# nofollow : 페이지 내 링크를 따라가지 않는 태그

# none : noindex, nofollow 와 동일한 태그

# noarchive : 검색 엔진이 캐시된 페이지를 저장하지 않는 태그

# nosnippet : 검색 결과에 설명(snippet)을 표시하지 않는 태그

# noodp : Open Directory Project (ODP) 설명을 사용하지 않는 태그

# notraslate : 검색 엔진이 페이지를 번역하지 않는 태그

# noimageindex : 검색 엔진이 이미지를 색인하지 않는 태그

# unavailable_after : 특정 일자가 지나면 검색 엔진이 해당 페이지를 검색 결과에서 제거하는 태그 (google Bot 만 지원)

그럼, 어떤 태그를 설정해야 검색 엔진 색인에 가장 적합할까요?

| 추천하는 맞춤 로봇 헤더 태그 설정

# 홈페이지용 맞춤 로봇 태그 추천!

  ㄴ all (필수) - 검색 엔진이 블로그의 메인 페이지를 정상적으로 색인할 수 있도록 설정

  ㄴ noodp (선택) - 대부분 directory indexing 을 사용하지 않으므로 활성

# 자료실 및 검색 페이지용 맞춤 로봇 태그 추천!

  ㄴ noindex (필수) - 카테고리, 태그, 날짜 별 보관 페이지 등의 중복 콘텐츠가 색인되지 않도록 설정

  ㄴ nofollow (필수) - 페이지에 추가된 링킹된 페이지를 검색 엔진이 색인하지 않도록 설정

# 글 및 페이지용 맞춤 로봇 태그 추천!

  ㄴ all (필수) - 개별 블로그 게시물이 검색 엔진에서 정상적으로 색인되도록 유지.

  ㄴ 만약, 글 및 페이지에 noindex, nofollow 를 적용하는 경우, 검색 엔진에서 제외될 수 있음. (주의!!)

위 처럼 설정하고 '저장'을 클릭하면 자동으로 설정이 완료됩니다. 다만, 설정 후에 각 검색 엔진의 bot이 색인한 후에 검색 결과가 반영되는 만큼 확인하는 데 까지 시간이 필요합니다. 다음 포스팅에서는 검색이 잘 되는 지 확인해볼게요.