robots.txt와 meta 태그 사용

robots.txt 파일과 meta 태그를 사용하여 로봇의 접근을 제한하거나 허용할 수 있습니다.

robots.txt 파일은 웹사이트의 루트 디렉토리에 위치한 텍스트 파일로, 검색 엔진 봇의 크롤링 및 인덱싱을 제어하는 데 사용됩니다. robots.txt 파일의 각 줄은 다음과 같은 형식으로 이루어집니다.

User-agent: [봇 이름]
Disallow: [접근을 제한할 URL 패턴]

예를 들어, 다음과 같은 robots.txt 파일은 "Bingbot" 봇이 "/admin" 폴더에 있는 모든 페이지를 크롤링하지 못하도록 합니다.

User-agent: Bingbot
Disallow: /admin/

meta 태그는 HTML 코드에 포함되는 태그로, 검색 엔진 봇의 크롤링 및 인덱싱을 제어하는 데 사용됩니다. meta 태그의 name 속성은 robots로 설정하고, content 속성은 noindex, nofollow, none 중 하나로 설정하여 로봇의 접근을 제한할 수 있습니다.

• noindex는 웹페이지를 검색 결과에 노출하지 않습니다.
• nofollow는 웹페이지의 링크를 따라가지 않습니다.
• none는 로봇의 모든 활동을 차단합니다.

예를 들어, 다음과 같은 HTML 코드는 /member 폴더에 있는 모든 페이지를 검색 결과에 노출하지 않고, 링크도 따라가지 않습니다.

HTML

<meta name="robots" content="noindex,nofollow">

코드를 사용할 때는 주의하시기 바랍니다. 자세히 알아보기

content_copy

robots.txt 파일과 meta 태그는 모두 로봇의 접근을 제어하는 데 효과적인 방법이지만, 다음과 같은 차이점이 있습니다.

• robots.txt 파일은 모든 봇에 적용되는 반면, meta 태그는 해당 페이지에만 적용됩니다.
• robots.txt 파일은 봇이 먼저 읽지만, meta 태그는 봇이 페이지의 콘텐츠를 읽은 후에 읽습니다.

따라서, 웹사이트의 모든 페이지에 대한 접근을 제어하려면 robots.txt 파일을 사용하는 것이 좋고, 특정 페이지에 대한 접근을 제어하려면 meta 태그를 사용하는 것이 좋습니다.