크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들 > 개발

사이트 내 전체검색

개발

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

페이지 정보

작성자 관리자 (210.♡.35.28)
댓글 0건 조회 2,569회 작성일 21-03-01 22:13

본문

## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49

위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.

1. 좋은 bot

Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot

2. 나쁜 bot

AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot

추천0

댓글목록

등록된 댓글이 없습니다.

개발 목록
번호	제목	조회	날짜
392	nginx 403 Forbidden 오류 해결 방법N새글	7	06-23
391	nginx 로 proxy 서버 운영시에 trailing slash 문제N새글	9	06-23
390	PHP 의 사용자 설정파일 .user.ini 가 동작하지 않는 경우	15	06-20
389	PHP 로 만든 웹사이트 서버 이전시 PHP timezone 변경 및 오류 대처 방법	53	06-15
388	윈도우 시작 시 PAGEANT 자동 실행 및 ppk 자동등록 방법	137	06-15
387	Linux 시스템에서 ssh 포트 변경하는 방법 및 포트 여러개 설정하는 방법	145	05-27
386	PHP 에서 배열 조작 - array_pop, array_push, array_shift, array_unshift	631	04-07
385	그누보드 업데이트시 DB 업그레이드로 인해 로그인이 안되는 문제 해결 방법	642	11-04
384	sshfs 로 원격 연결시 서버의 심볼릭 링크 문제	681	12-03
383	Rocky Linux 9.x 에 bind dns 설치하기	757	11-26
382	웹사이트 서버 이전시에 Letsencrypt 인증서 이전 방법	1047	12-10
381	HeidiSQL 에서 DB table field charset 일괄 변경하기	1308	09-08
380	Windows 11 절전모드에서 깨어날때 비밀번호 요구를 해제하는 방법	1323	12-15
379	그누보드 g4 에서 g5 로 업그레이드를 위해서 g4_import.php 실행시에 오류가 발생하는 경우	1337	01-09
378	Rocky Linux 8.x 에 bind 네임서버 설치하기	1360	04-12
377	getElementById vs querySelector 의 차이점	1414	07-03
376	그누보드에서 제공해 주는 sql 관련 함수들과 활용법	1440	04-10
375	그누보드 DB 업그레이드 후 STRICT_TRANS_TABLES 로 인한 오류 수정	1441	02-02
374	그누보드에서 mysqli_stmt 사용하기	1471	07-27
373	php 에서 현재 실행되는 php 스크립트 파일 이름	1579	08-11

개발 목록

번호

제목

조회

추천

날짜

392

nginx 403 Forbidden 오류 해결 방법N새글

06-23

391

nginx 로 proxy 서버 운영시에 trailing slash 문제N새글

06-23

390

PHP 의 사용자 설정파일 .user.ini 가 동작하지 않는 경우

06-20

389

PHP 로 만든 웹사이트 서버 이전시 PHP timezone 변경 및 오류 대처 방법

06-15

388

윈도우 시작 시 PAGEANT 자동 실행 및 ppk 자동등록 방법

137

06-15

387

Linux 시스템에서 ssh 포트 변경하는 방법 및 포트 여러개 설정하는 방법

145

05-27

386

PHP 에서 배열 조작 - array_pop, array_push, array_shift, array_unshift

631

04-07

385

그누보드 업데이트시 DB 업그레이드로 인해 로그인이 안되는 문제 해결 방법

642

11-04

384

sshfs 로 원격 연결시 서버의 심볼릭 링크 문제

681

12-03

383

Rocky Linux 9.x 에 bind dns 설치하기

757

11-26

382

웹사이트 서버 이전시에 Letsencrypt 인증서 이전 방법

1047

12-10

381

HeidiSQL 에서 DB table field charset 일괄 변경하기

1308

09-08

380

Windows 11 절전모드에서 깨어날때 비밀번호 요구를 해제하는 방법

1323

12-15

379

그누보드 g4 에서 g5 로 업그레이드를 위해서 g4_import.php 실행시에 오류가 발생하는 경우

1337

01-09

378

Rocky Linux 8.x 에 bind 네임서버 설치하기

1360

04-12

377

getElementById vs querySelector 의 차이점

1414

07-03

376

그누보드에서 제공해 주는 sql 관련 함수들과 활용법

1440

04-10

375

그누보드 DB 업그레이드 후 STRICT_TRANS_TABLES 로 인한 오류 수정

1441

02-02

374

그누보드에서 mysqli_stmt 사용하기

1471

07-27

373

php 에서 현재 실행되는 php 스크립트 파일 이름

1579

08-11

1		인사이드 아웃 2	669,308
2		하이재킹	198,086
3	9	극장판 하이큐!! 쓰레기장의 결전	14,946
4	1	퓨리오사: 매드맥스 사가	9,141
5	1	존 오브 인터레스트	6,235
6	1	밤낚시	4,096
7	4	북극백화점의 안내원	3,311
8	1	프렌치 수프	3,120
9	4	키타로 탄생 게게게의 수수께끼	2,938
10		범죄도시4	2,830