크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들 > 개발

사이트 내 전체검색

개발

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

페이지 정보

작성자 관리자 (210.♡.35.28)
댓글 0건 조회 2,568회 작성일 21-03-01 22:13

본문

## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49

위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.

1. 좋은 bot

Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot

2. 나쁜 bot

AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot

추천0

댓글목록

등록된 댓글이 없습니다.

개발 목록
번호	제목	조회	날짜
392	nginx 로 proxy 서버 운영시에 trailing slash 문제N새글	9	06-23
391	nginx 403 Forbidden 오류 해결 방법N새글	7	06-23
390	PHP 의 사용자 설정파일 .user.ini 가 동작하지 않는 경우	15	06-20
389	윈도우 시작 시 PAGEANT 자동 실행 및 ppk 자동등록 방법	137	06-15
388	PHP 로 만든 웹사이트 서버 이전시 PHP timezone 변경 및 오류 대처 방법	53	06-15
387	Linux 시스템에서 ssh 포트 변경하는 방법 및 포트 여러개 설정하는 방법	145	05-27
386	PHP 에서 배열 조작 - array_pop, array_push, array_shift, array_unshift	631	04-07
385	그누보드 DB 업그레이드 후 STRICT_TRANS_TABLES 로 인한 오류 수정	1440	02-02
384	그누보드 g4 에서 g5 로 업그레이드를 위해서 g4_import.php 실행시에 오류가 발생하는 경우	1337	01-09
383	그누보드5 운영시에 DB 업그레이드시 로그인이 안되는 문제 해결 방법	1619	12-25
382	Windows 11 절전모드에서 깨어날때 비밀번호 요구를 해제하는 방법	1323	12-15
381	웹사이트 서버 이전시에 Letsencrypt 인증서 이전 방법	1047	12-10
380	sshfs 로 원격 연결시 서버의 심볼릭 링크 문제	681	12-03
379	Rocky Linux 9.x 에 bind dns 설치하기	757	11-26
378	그누보드 업데이트시 DB 업그레이드로 인해 로그인이 안되는 문제 해결 방법	642	11-04
377	HeidiSQL 에서 DB table field charset 일괄 변경하기	1307	09-08
376	Rocky Linux 9 서버 초기 설정 세팅 - epel, remi, mc, fail2ban, certbot, sshfs, bind, APM	1595	08-11
375	Rocky Linux 9 에 yum dnf 로 letsencrypt SSL 적용 및 인증서 관리	1717	08-10
374	jQuery document.ready window.onload 이벤트 순서 정리	2041	07-10
373	getElementById vs querySelector 의 차이점	1414	07-03

개발 목록

번호

제목

조회

추천

날짜

392

nginx 로 proxy 서버 운영시에 trailing slash 문제N새글

06-23

391

nginx 403 Forbidden 오류 해결 방법N새글

06-23

390

PHP 의 사용자 설정파일 .user.ini 가 동작하지 않는 경우

06-20

389

윈도우 시작 시 PAGEANT 자동 실행 및 ppk 자동등록 방법

137

06-15

388

PHP 로 만든 웹사이트 서버 이전시 PHP timezone 변경 및 오류 대처 방법

06-15

387

Linux 시스템에서 ssh 포트 변경하는 방법 및 포트 여러개 설정하는 방법

145

05-27

386

PHP 에서 배열 조작 - array_pop, array_push, array_shift, array_unshift

631

04-07

385

그누보드 DB 업그레이드 후 STRICT_TRANS_TABLES 로 인한 오류 수정

1440

02-02

384

그누보드 g4 에서 g5 로 업그레이드를 위해서 g4_import.php 실행시에 오류가 발생하는 경우

1337

01-09

383

그누보드5 운영시에 DB 업그레이드시 로그인이 안되는 문제 해결 방법

1619

12-25

382

Windows 11 절전모드에서 깨어날때 비밀번호 요구를 해제하는 방법

1323

12-15

381

웹사이트 서버 이전시에 Letsencrypt 인증서 이전 방법

1047

12-10

380

sshfs 로 원격 연결시 서버의 심볼릭 링크 문제

681

12-03

379

Rocky Linux 9.x 에 bind dns 설치하기

757

11-26

378

그누보드 업데이트시 DB 업그레이드로 인해 로그인이 안되는 문제 해결 방법

642

11-04

377

HeidiSQL 에서 DB table field charset 일괄 변경하기

1307

09-08

376

Rocky Linux 9 서버 초기 설정 세팅 - epel, remi, mc, fail2ban, certbot, sshfs, bind, APM

1595

08-11

375

Rocky Linux 9 에 yum dnf 로 letsencrypt SSL 적용 및 인증서 관리

1717

08-10

374

jQuery document.ready window.onload 이벤트 순서 정리

2041

07-10

373

getElementById vs querySelector 의 차이점

1414

07-03

1		인사이드 아웃 2	669,308
2		하이재킹	198,086
3	9	극장판 하이큐!! 쓰레기장의 결전	14,946
4	1	퓨리오사: 매드맥스 사가	9,141
5	1	존 오브 인터레스트	6,235
6	1	밤낚시	4,096
7	4	북극백화점의 안내원	3,311
8	1	프렌치 수프	3,120
9	4	키타로 탄생 게게게의 수수께끼	2,938
10		범죄도시4	2,830