크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들 > 개발

사이트 내 전체검색

개발

크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들

페이지 정보

작성자 관리자 (210.♡.35.28)
댓글 0건 조회 2,629회 작성일 21-03-01 22:13

본문

## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49

위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.

1. 좋은 bot

Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot

2. 나쁜 bot

AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot

추천0

댓글목록

등록된 댓글이 없습니다.

개발 목록
번호	제목	조회	날짜
392	nginx 403 Forbidden 오류 해결 방법	36	06-23
391	PHP 의 사용자 설정파일 .user.ini 가 동작하지 않는 경우	49	06-20
390	nginx 로 proxy 서버 운영시에 trailing slash 문제	51	06-23
389	PHP 로 만든 웹사이트 서버 이전시 PHP timezone 변경 및 오류 대처 방법	97	06-15
388	윈도우 시작 시 PAGEANT 자동 실행 및 ppk 자동등록 방법	172	06-15
387	Linux 시스템에서 ssh 포트 변경하는 방법 및 포트 여러개 설정하는 방법	191	05-27
386	PHP 에서 배열 조작 - array_pop, array_push, array_shift, array_unshift	649	04-07
385	그누보드 업데이트시 DB 업그레이드로 인해 로그인이 안되는 문제 해결 방법	678	11-04
384	sshfs 로 원격 연결시 서버의 심볼릭 링크 문제	723	12-03
383	Rocky Linux 9.x 에 bind dns 설치하기	801	11-26
382	웹사이트 서버 이전시에 Letsencrypt 인증서 이전 방법	1070	12-10
381	HeidiSQL 에서 DB table field charset 일괄 변경하기	1350	09-08
380	Windows 11 절전모드에서 깨어날때 비밀번호 요구를 해제하는 방법	1365	12-15
379	Rocky Linux 8.x 에 bind 네임서버 설치하기	1382	04-12
378	그누보드 g4 에서 g5 로 업그레이드를 위해서 g4_import.php 실행시에 오류가 발생하는 경우	1383	01-09
377	getElementById vs querySelector 의 차이점	1447	07-03
376	그누보드 DB 업그레이드 후 STRICT_TRANS_TABLES 로 인한 오류 수정	1459	02-02
375	그누보드에서 제공해 주는 sql 관련 함수들과 활용법	1462	04-10
374	그누보드에서 mysqli_stmt 사용하기	1524	07-27
373	php 에서 현재 실행되는 php 스크립트 파일 이름	1616	08-11

개발 목록

번호

제목

조회

추천

날짜

392

nginx 403 Forbidden 오류 해결 방법

06-23

391

PHP 의 사용자 설정파일 .user.ini 가 동작하지 않는 경우

06-20

390

nginx 로 proxy 서버 운영시에 trailing slash 문제

06-23

389

PHP 로 만든 웹사이트 서버 이전시 PHP timezone 변경 및 오류 대처 방법

06-15

388

윈도우 시작 시 PAGEANT 자동 실행 및 ppk 자동등록 방법

172

06-15

387

Linux 시스템에서 ssh 포트 변경하는 방법 및 포트 여러개 설정하는 방법

191

05-27

386

PHP 에서 배열 조작 - array_pop, array_push, array_shift, array_unshift

649

04-07

385

그누보드 업데이트시 DB 업그레이드로 인해 로그인이 안되는 문제 해결 방법

678

11-04

384

sshfs 로 원격 연결시 서버의 심볼릭 링크 문제

723

12-03

383

Rocky Linux 9.x 에 bind dns 설치하기

801

11-26

382

웹사이트 서버 이전시에 Letsencrypt 인증서 이전 방법

1070

12-10

381

HeidiSQL 에서 DB table field charset 일괄 변경하기

1350

09-08

380

Windows 11 절전모드에서 깨어날때 비밀번호 요구를 해제하는 방법

1365

12-15

379

Rocky Linux 8.x 에 bind 네임서버 설치하기

1382

04-12

378

그누보드 g4 에서 g5 로 업그레이드를 위해서 g4_import.php 실행시에 오류가 발생하는 경우

1383

01-09

377

getElementById vs querySelector 의 차이점

1447

07-03

376

그누보드 DB 업그레이드 후 STRICT_TRANS_TABLES 로 인한 오류 수정

1459

02-02

375

그누보드에서 제공해 주는 sql 관련 함수들과 활용법

1462

04-10

374

그누보드에서 mysqli_stmt 사용하기

1524

07-27

373

php 에서 현재 실행되는 php 스크립트 파일 이름

1616

08-11

1		인사이드 아웃 2	436,600
2		하이재킹	134,508
3		핸섬가이즈	126,950
4		콰이어트 플레이스: 첫째 날	83,453
5	7	극장판 하이큐!! 쓰레기장의 결전	4,639
6	4	밤낚시	3,936
7	7	언더더씨: 마법 산호초를 찾아서	3,589
8	3	존 오브 인터레스트	3,310
9	6	김준수 콘서트 무비 챕터 원 :	3,020
10	3	퓨리오사: 매드맥스 사가	2,716