WordPress에서 robots.txt를 편집하는 방법(플러그인 포함 및 제외)

WordPress에서 robots.txt를 편집하는 가장 효과적인 방법을 찾고 계십니까? 검색 엔진 크롤러가 크롤링하고 색인을 생성해야 하는 웹사이트의 페이지와 섹션을 알게 하려는 경우에 중요합니다.

WordPress는 기본적으로 웹사이트에 대한 robots.txt 파일을 생성하지만 검색 엔진에서 볼 수 있는 내용을 관리하려면 파일을 변경해야 할 수도 있습니다. robots.txt에 익숙하지 않더라도 걱정하지 마세요. 이 튜토리얼을 통해 robots.txt가 무엇인지, 편집이 왜 필수적인지, 워드프레스 웹사이트에서 편집하는 다양한 방법에 대해 설명합니다.

robots.txt가 무엇인지 이해하기 위해 뛰어들어 봅시다.

Robots.txt는 무엇입니까?

Robots.txt 는 웹 로봇 또는 봇이 크롤링하고 색인을 생성해야 하는 사이트의 페이지 또는 영역에 대한 지침이 포함된 웹사이트 루트 디렉토리의 일반 텍스트 파일입니다 . 이 파일은 웹사이트의 특정 규정에 따라 페이지 또는 섹션을 색인화해야 하는지 여부를 검색 엔진에 알려줍니다.

예를 들어 Google 웹 크롤러와 같은 웹 크롤러는 웹사이트를 정기적으로 확인하여 페이지 색인을 업데이트합니다. Googlebot이라고도 하는 Google의 이러한 웹 크롤러는 robots.txt 파일에 명시된 지침에 따라 웹사이트를 확인합니다.

robots.txt 파일의 주요 목적은 웹마스터가 자신의 사이트에서 검색 엔진이 액세스할 수 있는 정보를 제어하는 ​​데 도움을 주는 것입니다. 파일을 사용하여 봇이 특정 사이트나 디렉터리에 액세스하지 못하도록 할 수 있습니다. 그러나 Googlebot 및 기타 유명한 웹 크롤러를 제외한 일부 봇은 파일의 지침을 따르지 않을 수 있습니다.

Robots.txt 파일을 편집해야 하는 이유는 무엇입니까?

WordPress에서 robots.txt 파일을 편집하면 몇 가지 이점이 있습니다. 다음은 몇 가지 고려 사항입니다.

• 원치 않는 봇 차단: 일부 봇은 웹사이트에 도움이 되지 않거나 서버의 귀중한 리소스를 소모할 수 있습니다. 이로 인해 웹사이트 로딩 시간이 느려지고 사이트 성능이 저하될 수 있습니다. 따라서 robots.txt 파일을 편집하면 원치 않는 봇이 사이트를 크롤링하는 것을 차단하고 웹사이트의 전체 속도를 개선할 수 있습니다.
• 민감한 정보 보호: 웹사이트의 특정 페이지에는 검색 엔진에서 색인을 생성하지 않기를 바라는 민감한 정보가 포함될 수 있습니다. 여기에는 개인 데이터, 기밀 비즈니스 정보, 암호로 보호된 콘텐츠 또는 법률 또는 규정 준수 관련 콘텐츠가 포함될 수 있습니다.
  robots.txt 파일을 편집하여 이러한 페이지가 크롤링 및 색인 생성되지 않도록 할 수 있습니다. 이는 웹사이트의 개인 정보 및 보안을 보호하는 데에도 도움이 됩니다.
• 봇을 특정 페이지로 안내 : robots.txt를 사용하여 검색 엔진이 크롤링하고 색인을 생성할 웹사이트의 특정 페이지로 봇을 안내할 수도 있습니다. 이를 통해 검색 엔진 결과에서 더 높은 순위를 매길 페이지의 우선 순위를 지정할 수 있습니다.
• 중복 콘텐츠 색인 생성 방지: 웹사이트에 카테고리 또는 태그 페이지와 같이 유사한 콘텐츠가 있는 페이지가 있을 수 있습니다. 그렇다면 robots.txt 파일을 사용하여 검색 엔진 봇이 해당 파일을 인덱싱하지 못하도록 할 수 있습니다. 이렇게 하면 웹 사이트의 검색 엔진 순위에 부정적인 영향을 미치는 중복 콘텐츠 문제를 방지할 수 있습니다.

이제 robots.txt 파일이 무엇이고 파일이 왜 중요한지 이해했으므로 다음 섹션으로 이동하여 파일을 사용자 정의하는 방법을 보여드리겠습니다.

WordPress에서 Robots.txt를 편집하는 방법

WordPress에서 3가지 주요 방법 으로 robots.txt 파일을 편집할 수 있습니다.

1. FTP 클라이언트 사용
2. cPanel
3. 플러그인으로

이러한 각 접근 방식을 자세히 살펴보겠습니다. 그러나 FTP 클라이언트 또는 cPanel 방식을 사용하는 경우 먼저 robots.txt 파일을 수동으로 생성 해야 합니다.

WordPress는 사이트를 시작할 때 기본적으로 가상 robots.txt 파일을 생성합니다 . 도메인 끝에 " /robots.txt " 경로를 추가하여 액세스할 수 있습니다.

예를 들어 "https://quadlayers.com/robots.txt" 링크를 사용하여 QuadLayers의 robots.txt 파일에 액세스할 수 있습니다.

그러나 기본 robots.txt 파일은 사용하지 않습니다. QuadLayers의 특정 요구 사항을 충족하도록 편집되었습니다. 그러나 WordPress에서 생성한 기본 robots.txt 파일에는 다음 정보만 포함되어 있습니다.

 사용자 에이전트: *
금지: /wp-admin/
허용: /wp-admin/admin-ajax.php

안타깝게도 이 파일은 가상 파일이므로 편집할 수 없습니다 . WordPress 웹사이트의 robots.txt 파일을 편집하려면 수동으로 만들어야 합니다.

이렇게 하려면 텍스트 편집기를 사용하여 빈 파일을 만들고 파일을 " robots.txt "로 저장할 수 있습니다.

또는 SEO 플러그인을 사용하여 파일을 편집하려는 경우 플러그인을 통해 자동으로 수행할 수 있습니다. 이 가이드의 뒷부분에서 이에 대해 배우게 됩니다.

그럼에도 불구하고 robots.txt 파일은 어떤 접근 방식을 사용하든 동일한 정보를 포함해야 합니다. 따라서 robots.txt 파일에도 무엇이 포함되어야 하는지 살펴보겠습니다.

Robots.txt 파일에 무엇을 포함해야 합니까?

검색 엔진이 귀하의 웹사이트를 올바르게 인덱싱할 수 있도록 robots.txt 파일에 포함할 수 있는 몇 가지 코드 명령 또는 명령은 다음과 같습니다.

• 사용자 에이전트: 지침이 적용되는 검색 엔진 또는 봇을 식별합니다. 제어하려는 봇에 따라 robots.txt 파일에 하나 이상의 사용자 에이전트를 포함할 수 있습니다. 예를 들어 'User-agent: Googlebot'은 Google의 웹 크롤러를 나타냅니다.
• Disallow: 이 지시문은 검색 엔진 봇이 크롤링하거나 색인을 생성하지 않아야 하는 페이지 또는 디렉토리를 봇에게 알려줍니다. 개별 페이지 또는 전체 디렉토리를 지정할 수 있습니다. 예를 들어 "허용 안 함: /wp-admin/"은 WordPress 관리 디렉터리 내의 페이지를 크롤링하는 모든 봇을 차단합니다.
• 사이트맵: 이 지시문은 봇에게 웹 사이트의 사이트맵 파일을 찾을 위치를 알려줍니다. 사이트맵 파일에는 검색 엔진에서 색인을 생성하려는 사이트의 모든 페이지가 나열됩니다.

robots.txt 파일에서 " 허용 " 지시문을 사용할 수도 있습니다. 크롤링하거나 색인을 생성해야 하는 페이지 또는 디렉토리를 봇에게 알려줍니다. 그러나 이는 선택 사항이며 필요한 경우에만 사용해야 합니다.

다음은 기본 robots.txt 파일의 예입니다.

 사용자 에이전트: *
금지: /wp-admin/
금지: /wp-includes/
사이트맵: https://www.example.com/sitemap.xml

이 예에서 user-agent는 "*"로 설정되어 있으며 이는 지침이 모든 봇에 적용됨을 의미합니다. "disallow" 지시문은 봇이 WordPress 관리자 및 "wp-include" 디렉터리를 크롤링하지 못하도록 차단합니다. 마찬가지로 사이트맵 지시문은 사이트맵 파일의 위치를 ​​지정합니다.

이제 robots.txt 파일에 포함할 항목에 대한 기본적인 이해가 있으므로 봇이 크롤링하거나 색인을 생성하지 않도록 할 모든 웹 페이지를 추가할 수 있습니다. 마지막으로 파일을 저장합니다.

1) FTP 클라이언트를 사용하여 Robots.txt 편집

FTP 클라이언트를 사용하여 WordPress에서 robots.txt를 편집하려면 FTP 클라이언트를 설치하고 웹사이트에 연결해야 합니다. 이 방법에 사용할 수 있는 FileZilla 및 Cyberduck과 같은 많은 FTP 클라이언트가 있습니다. 하지만 이 튜토리얼에서는 FileZilla를 사용할 것입니다.

1.1) WordPress 웹사이트를 FTP에 연결

FTP 클라이언트를 설치한 후 애플리케이션을 열고 파일 > 사이트 관리자 로 이동합니다. 키보드에서 Ctrl+S를 눌러 사이트 관리자를 열 수도 있습니다.

그런 다음 새 사이트를 클릭하고 내 사이트 아래에 웹사이트 이름을 입력합니다.

이제 일반 탭을 열고 사이트 자격 증명을 입력하십시오. 호스팅 서비스에서 웹사이트를 FileZilla에 연결하기 위한 자격 증명을 얻을 수 있습니다.

자격 증명을 입력한 후 연결 을 클릭합니다.

사이트가 연결된 후 컴퓨터에서 사이트의 파일 디렉터리에 액세스할 수 있습니다. 이제 컴퓨터에서 웹사이트로 robots.txt 파일을 업로드해 보겠습니다.

1.2) WordPress에 Robots.txt 파일 업로드

사이트를 FTP 클라이언트와 연결하면 robots.txt 파일이 있어야 하는 웹사이트의 루트 디렉토리로 이동 해야 합니다.

루트 파일은 " public_html " 파일이라고도 합니다.

최근 생성된 robots.txt 파일을 여기에서 업로드 할 수 있습니다. 이 파일에 robots.txt 파일이 이미 있으면 교체하십시오.

그게 다야!

이제 이전 예제에서 보여준 것처럼 도메인 끝에 "/robots.txt" 경로를 추가하여 robots.txt 파일을 테스트하기만 하면 됩니다.

2) cPanel을 사용하여 Robots.txt 편집

cPanel로 robots.txt 파일을 편집하는 것은 FTP 클라이언트 접근 방식과 매우 유사합니다. 먼저 웹사이트의 cPanel에 로그인 해야 합니다. 다시 말하지만 필요한 모든 로그인 자격 증명은 호스팅 서비스에서 이미 제공해야 합니다.

cPanel에 로그인한 후 파일 섹션으로 스크롤하고 파일 관리자를 클릭합니다.

그런 다음 " public_html " 파일 디렉토리로 이동하여 최근 생성된 robots.txt 파일을 여기에 업로드합니다 . 다시 한 번 여기 robots.txt 파일이 이미 존재하는 경우 새로 편집한 파일로 교체해야 합니다.

마지막으로 도메인 끝에 "/robots.txt" 경로를 추가하여 robots.txt 파일을 테스트합니다.

3) 플러그인을 사용하여 Robots.txt 편집

robots.txt 페이지를 편집하는 데 많은 시간과 번거로움을 줄이려면 플러그인을 사용할 수도 있습니다. Yoast SEO, All in One SEO 및 Rank Math SEO와 같은 여러 SEO 플러그인을 사용하면 robots.txt 파일을 만들고 편집할 수 있습니다.

사용하려는 플러그인을 결정하는 데 도움이 되는 추가 정보가 필요한 경우 최고의 WordPress SEO 플러그인 전체 목록을 볼 수 있습니다.

하지만 이 데모에서는 Rank Math SEO 플러그인을 사용할 것입니다. 이것은 가장 인기 있는 SEO 플러그인 중 하나이며 robots.txt 파일을 편집하기 위한 매우 간단한 인터페이스를 가지고 있습니다. 그럼 플러그인 설치부터 시작하겠습니다.

3.1) 플러그인 설치 및 활성화

플러그인을 설치하려면 워드프레스 대시보드에서 플러그인 > 새로 추가 로 이동하여 플러그인의 키워드를 먼저 검색해야 합니다. 검색 엔진에 플러그인이 표시되면 지금 설치 를 클릭합니다. 설치는 몇 분 밖에 걸리지 않습니다.

설치가 완료되면 활성화를 클릭하여 플러그인을 활성화합니다.

프리미엄 플러그인을 사용하려면 수동으로 업로드해야 합니다. 자세한 내용은 WordPress 플러그인 수동 설치에 대한 자세한 가이드를 참조하십시오.

또한 Rank Math SEO를 설정하는 동안 문제가 발생하는 경우 Rank Math 설정 방법에 대한 구체적인 가이드도 있습니다.

3.2) Robots.txt 파일 편집

플러그인이 활성화된 후 WordPress 대시보드에서 Rank Math > 일반 설정 으로 이동하고 Edit robots.txt 파일 탭을 선택합니다. 이 섹션에서 robots.txt 파일을 편집할 수 있도록 플러그인이 텍스트 편집기를 제공했음을 알 수 있습니다.

여기에서 봇이 크롤링하고 인덱싱할 웹 페이지에 따라 모든 코드와 명령을 추가해야 합니다. 도움이 필요한 경우 이전 단계 중 하나에서 이 자습서에 필요한 모든 지침을 제공했습니다.

robots.txt 파일에 필요한 명령과 명령을 모두 추가했으면 변경 사항 저장 을 클릭합니다.

엄청난! 이제 도메인 끝에 "/robots.txt" 경로를 추가하면 그에 따라 파일이 업데이트된 것을 볼 수 있습니다. 따라서 검색 엔진 봇은 robots.txt 파일을 기반으로 허용한 웹 페이지만 통과합니다.

결론

WordPress에서 robots.txt 파일을 만들고 편집하는 방법입니다. 검색 엔진 봇이 웹 사이트의 민감하거나 중복된 콘텐츠를 통과하는 것을 원하지 않는 경우 그렇게 하는 것이 필수적입니다. robots.txt 파일을 사용하여 봇이 웹 사이트의 특정 페이지를 크롤링하고 색인을 생성하도록 지시할 수도 있습니다.

요약하면 다음 세 가지 주요 방법을 사용하여 robots.txt 파일을 편집할 수 있습니다.

• FTP 클라이언트 사용
• cPanel
• 플러그인으로

FTP 클라이언트와 cPanel을 사용하는 것은 매우 유사합니다 . cPanel에 로그인하거나 웹사이트를 FTP 클라이언트에 연결하고 robots.txt 파일을 업로드하기만 하면 됩니다. 그런 다음 이전에 수동으로 생성한 robots.txt 파일을 업로드해야 합니다.

반면 플러그인을 사용하면 robots.txt 파일이 웹사이트에 자동으로 추가 됩니다. 플러그인은 robots.txt 파일을 편집하는 데 도움이 되는 텍스트 편집기도 제공합니다.

이제 웹사이트의 robots.txt 파일을 편집할 수 있습니까? 사용해 본 적이 있는지 댓글로 알려주세요.

한편, 이 기사가 도움이 되었으면 WordPress 웹 사이트를 사용자 정의하거나 개선하는 데 사용할 수 있는 추가 게시물이 있습니다.

• 워드프레스 SEO 개선 방법: 9가지 방법
• 최고의 WordPress SSL 플러그인(무료 및 유료)
• WordPress에 메타 설명을 추가하는 방법