크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들 > 개발

사이트 내 전체검색

개발

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

페이지 정보

작성자 관리자 (210.♡.35.28)
댓글 0건 조회 2,693회 작성일 21-03-01 22:13

본문

## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49

위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.

1. 좋은 bot

Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot

2. 나쁜 bot

AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot

추천0

댓글목록

등록된 댓글이 없습니다.

개발 목록
번호	제목	조회	날짜
114	CentOS 8 에서 sshfs 사용하기	2586	02-17
113	리눅스 tc 명령어로 아웃바운드 트래픽 제어하기	2644	02-17
112	EditPlus 에서 바꾸기 기능에 정규식 사용하기	2657	02-25
111	PHP 에서 닫는 태그를 사용하지 않는 이유와 세미콜론 생략	2231	02-26
110	CentOS 8 에 php memcached 를 yum 으로 설치 방법	2055	02-26
109	php-fpm 서비스 설정 방법	2240	02-27
108	mariadb 에서 slow_query_log 설정하는 방법	2005	02-27
열람중	크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들	2694	03-01
106	CentOS 8 에 memcached 설치하기	2791	03-06
105	그누보드에서 data 폴더에 쓰기 권한이 없거나 또는 웹하드 용량이 없는 경우 로그인을 못할수도 있으니, 용량 체크 및 쓰기 권한을 확인해 주세요	3577	03-06
104	Apache 2 VirtualHost 환경에서 PHP $_SERVER['HTTPS'] 환경변수 문제	3894	03-24
103	Apache 서버를 재시작할때, systemctl restart httpd와 systemctl reload httpd의 차이점	3734	03-25
102	웹사이트에 구글번역을 붙여서 다국어 홈페이지 만들기	3486	04-07
101	php 에서 배열에 데이터 값을 추가하는 방법	2573	04-07
100	Centos8 리눅스 서버에서 시간 동기화	3840	04-11
99	PHP 에서 배열의 중복값 제거 함수 array_unique	2790	04-12
98	그누보드의 기본 설정값이 다른 라이브러리들과 충돌을 일으키는 것들	2824	04-14
97	javascript 로 구현한 markdown 파서 함수 예제	2264	04-14
96	애드센스 Management API 버전 2 출시, 버전 1.4 2021.10.12. 중단	3576	04-22
95	python 에서 import 와 from import 의 차이점	2292	04-25

개발 목록

번호

제목

조회

추천

날짜

114

CentOS 8 에서 sshfs 사용하기

2586

02-17

113

리눅스 tc 명령어로 아웃바운드 트래픽 제어하기

2644

02-17

112

EditPlus 에서 바꾸기 기능에 정규식 사용하기

2657

02-25

111

PHP 에서 닫는 태그를 사용하지 않는 이유와 세미콜론 생략

2231

02-26

110

CentOS 8 에 php memcached 를 yum 으로 설치 방법

2055

02-26

109

php-fpm 서비스 설정 방법

2240

02-27

108

mariadb 에서 slow_query_log 설정하는 방법

2005

02-27

열람중

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

2694

03-01

106

CentOS 8 에 memcached 설치하기

2791

03-06

105

그누보드에서 data 폴더에 쓰기 권한이 없거나 또는 웹하드 용량이 없는 경우 로그인을 못할수도 있으니, 용량 체크 및 쓰기 권한을 확인해 주세요

3577

03-06

104

Apache 2 VirtualHost 환경에서 PHP $_SERVER['HTTPS'] 환경변수 문제

3894

03-24

103

Apache 서버를 재시작할때, systemctl restart httpd와 systemctl reload httpd의 차이점

3734

03-25

102

웹사이트에 구글번역을 붙여서 다국어 홈페이지 만들기

3486

04-07

101

php 에서 배열에 데이터 값을 추가하는 방법

2573

04-07

100

Centos8 리눅스 서버에서 시간 동기화

3840

04-11

PHP 에서 배열의 중복값 제거 함수 array_unique

2790

04-12

그누보드의 기본 설정값이 다른 라이브러리들과 충돌을 일으키는 것들

2824

04-14

javascript 로 구현한 markdown 파서 함수 예제

2264

04-14

애드센스 Management API 버전 2 출시, 버전 1.4 2021.10.12. 중단

3576

04-22

python 에서 import 와 from import 의 차이점

2292

04-25

1	1	탈주	46,999
2	1	탈출: 프로젝트 사일런스	34,571
3	2	인사이드 아웃 2	32,215
4		핸섬가이즈	24,393
5		하이재킹	13,471
6	1	플라이 미 투 더 문	3,719
7	1	콰이어트 플레이스: 첫째 날	1,848
8	1	퍼펙트 데이즈	1,649
9	3	극장판 도라에몽: 진구의 지구 교	1,416
10		우마무스메 프리티 더비 새로운 시	1,342