크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들 > 개발

사이트 내 전체검색

개발

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

페이지 정보

작성자 관리자 (210.♡.35.28)
댓글 0건 조회 2,631회 작성일 21-03-01 22:13

본문

## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49

위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.

1. 좋은 bot

Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot

2. 나쁜 bot

AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot

추천0

댓글목록

등록된 댓글이 없습니다.

개발 목록
번호	제목	조회	날짜
112	SFTP 에서 상위 디렉토리(폴더) 접근 제한 - 미완성 문서	2551	02-18
111	CentOS 8 에서 sshfs 사용하기	2546	02-17
110	Apache 2.4 에서 SetEnvIf 를 이용해서 bot 차단하기	2541	06-30
109	php 에서 배열에 데이터 값을 추가하는 방법	2516	04-07
108	MySQL Got a packet bigger than 'max_allowed_packet' bytes Error	2511	02-06
107	PHP 배열 정렬에서 usort 와 uasort 의 차이점	2510	03-22
106	tar: Removing leading `/' from member names Error	2505	05-28
105	PHP 5.x vs PHP 7 syntax	2492	03-15
104	sshfs 원격 서버의 마운트 폴더를 아파치 웹서버에서 접근하기	2488	06-12
103	Apache 웹서버에서 internal dummy connection 로그 남기지 않기	2483	06-14
102	다음 카카오맵에 파라미터 넘기는 방법	2483	03-28
101	VisualStudio Code 에서 편집창 오른쪽에 있는 미니맵 없애기	2474	04-29
100	CentOS 7 에 phpMyAdmin 을 yum 으로 설치하기	2470	05-11
99	iptables 에서 --line-numbers 를 이용해서 특정 규칙 삭제하기	2461	06-30
98	phpMyAdmin 에서 mysql view 생성(create) 수정(edit) 삭제(drop) 방법	2461	02-08
97	SELinux 설정 audit.log httpd_read_user_content httpd_enable_homedirs httpd_can_network_connect	2446	09-27
96	CentOS 7 Apache 2.4 에서 mod_evasive 로 DoS 공격 차단	2424	06-06
95	scp 명령어 공개키 시스템을 이용해서 암호 없이 자동 로그인 사용하기	2412	06-22
94	http referer 정보 숨기기	2402	02-20
93	CentOS 7 에 python pip 설치하기	2390	05-01

개발 목록

번호

제목

조회

추천

날짜

112

SFTP 에서 상위 디렉토리(폴더) 접근 제한 - 미완성 문서

2551

02-18

111

CentOS 8 에서 sshfs 사용하기

2546

02-17

110

Apache 2.4 에서 SetEnvIf 를 이용해서 bot 차단하기

2541

06-30

109

php 에서 배열에 데이터 값을 추가하는 방법

2516

04-07

108

MySQL Got a packet bigger than 'max_allowed_packet' bytes Error

2511

02-06

107

PHP 배열 정렬에서 usort 와 uasort 의 차이점

2510

03-22

106

tar: Removing leading `/' from member names Error

2505

05-28

105

PHP 5.x vs PHP 7 syntax

2492

03-15

104

sshfs 원격 서버의 마운트 폴더를 아파치 웹서버에서 접근하기

2488

06-12

103

Apache 웹서버에서 internal dummy connection 로그 남기지 않기

2483

06-14

102

다음 카카오맵에 파라미터 넘기는 방법

2483

03-28

101

VisualStudio Code 에서 편집창 오른쪽에 있는 미니맵 없애기

2474

04-29

100

CentOS 7 에 phpMyAdmin 을 yum 으로 설치하기

2470

05-11

iptables 에서 --line-numbers 를 이용해서 특정 규칙 삭제하기

2461

06-30

phpMyAdmin 에서 mysql view 생성(create) 수정(edit) 삭제(drop) 방법

2461

02-08

SELinux 설정 audit.log httpd_read_user_content httpd_enable_homedirs httpd_can_network_connect

2446

09-27

CentOS 7 Apache 2.4 에서 mod_evasive 로 DoS 공격 차단

2424

06-06

scp 명령어 공개키 시스템을 이용해서 암호 없이 자동 로그인 사용하기

2412

06-22

http referer 정보 숨기기

2402

02-20

CentOS 7 에 python pip 설치하기

2390

05-01

1		인사이드 아웃 2	436,600
2		하이재킹	134,508
3		핸섬가이즈	126,950
4		콰이어트 플레이스: 첫째 날	83,453
5	7	극장판 하이큐!! 쓰레기장의 결전	4,639
6	4	밤낚시	3,936
7	7	언더더씨: 마법 산호초를 찾아서	3,589
8	3	존 오브 인터레스트	3,310
9	6	김준수 콘서트 무비 챕터 원 :	3,020
10	3	퓨리오사: 매드맥스 사가	2,716