크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들 > 개발

사이트 내 전체검색

개발

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

페이지 정보

작성자 관리자 (210.♡.35.28)
댓글 0건 조회 2,671회 작성일 21-03-01 22:13

본문

## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49

위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.

1. 좋은 bot

Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot

2. 나쁜 bot

AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot

추천0

댓글목록

등록된 댓글이 없습니다.

개발 목록
번호	제목	조회	날짜
194	PHP 에서 missing argument 오류 방지하기	3588	02-02
193	그누보드에서 data 폴더에 쓰기 권한이 없거나 또는 웹하드 용량이 없는 경우 로그인을 못할수도 있으니, 용량 체크 및 쓰기 권한을 확인해 주세요	3547	03-06
192	애드센스 Management API 버전 2 출시, 버전 1.4 2021.10.12. 중단	3547	04-22
191	자바스크립트 함수에서 매개변수의 기본값 설정하기	3544	04-24
190	PHP 에서 문자열 치환 삭제 함수 str_replace	3542	06-29
189	CSS 이미지에 마우스 오버시 각종 효과 코딩	3539	07-11
188	www.youtube.com	3538	01-14
187	python selenium chrome webdriver 에 adblock extension 인 uBlock Origin 추가하기댓글1개	3535	04-29
186	PHP 폴더 생성 함수 - is_dir, mkdir, chmod	3518	07-11
185	phpMyAdmin 에서 bzip2 로 export import 기능	3497	01-06
184	자바스크립트에서 시간 지연을 위한 setTimeout 함수	3484	04-17
183	MySQL update replace 구문	3446	06-20
182	웹사이트에 구글번역을 붙여서 다국어 홈페이지 만들기	3446	04-07
181	Google Hosted Libraries	3422	06-10
180	PHP 에서 require 와 include 의 차이점	3419	07-28
179	PHP 에서 나숫셈의 나머지 연산자	3384	06-08
178	HTML 텍스트 박스에 엔터키 이벤트 주기	3369	04-10
177	CentOS 8 에 fail2ban 설치하기 및 트러블슈팅(troubleshooting)	3363	12-17
176	iframe 으로 YouTube 동영상을 삽입할 때, 더이상 rel=0 설정으로 관련 동영상을 안보이게 할 수 없다.	3353	01-06
175	PHP 에서 array 를 json 으로 변환하기 - json_encode	3351	07-22

개발 목록

번호

제목

조회

추천

날짜

194

PHP 에서 missing argument 오류 방지하기

3588

02-02

193

그누보드에서 data 폴더에 쓰기 권한이 없거나 또는 웹하드 용량이 없는 경우 로그인을 못할수도 있으니, 용량 체크 및 쓰기 권한을 확인해 주세요

3547

03-06

192

애드센스 Management API 버전 2 출시, 버전 1.4 2021.10.12. 중단

3547

04-22

191

자바스크립트 함수에서 매개변수의 기본값 설정하기

3544

04-24

190

PHP 에서 문자열 치환 삭제 함수 str_replace

3542

06-29

189

CSS 이미지에 마우스 오버시 각종 효과 코딩

3539

07-11

188

www.youtube.com

3538

01-14

187

python selenium chrome webdriver 에 adblock extension 인 uBlock Origin 추가하기댓글1개

3535

04-29

186

PHP 폴더 생성 함수 - is_dir, mkdir, chmod

3518

07-11

185

phpMyAdmin 에서 bzip2 로 export import 기능

3497

01-06

184

자바스크립트에서 시간 지연을 위한 setTimeout 함수

3484

04-17

183

MySQL update replace 구문

3446

06-20

182

웹사이트에 구글번역을 붙여서 다국어 홈페이지 만들기

3446

04-07

181

Google Hosted Libraries

3422

06-10

180

PHP 에서 require 와 include 의 차이점

3419

07-28

179

PHP 에서 나숫셈의 나머지 연산자

3384

06-08

178

HTML 텍스트 박스에 엔터키 이벤트 주기

3369

04-10

177

CentOS 8 에 fail2ban 설치하기 및 트러블슈팅(troubleshooting)

3363

12-17

176

iframe 으로 YouTube 동영상을 삽입할 때, 더이상 rel=0 설정으로 관련 동영상을 안보이게 할 수 없다.

3353

01-06

175

PHP 에서 array 를 json 으로 변환하기 - json_encode

3351

07-22

1		인사이드 아웃 2	332,685
2		탈주	197,027
3		핸섬가이즈	117,142
4		하이재킹	76,645
5		콰이어트 플레이스: 첫째 날	21,466
6	1	퍼펙트 데이즈	3,832
7	2	존 오브 인터레스트	2,637
8	2	듄: 파트2	2,442
9	3	극장판 하이큐!! 쓰레기장의 결전	2,018
10	2	언더더씨: 마법 산호초를 찾아서	1,888