크롤링봇 중에서 좋은봇과 나쁜봇에 대한 여러가지 의견들
페이지 정보
본문
## 참고
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49
위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.
1. 좋은 bot
Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot
2. 나쁜 bot
AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot
https://simtechdev.com/blog/good-and-bad-bots-to-control-to-save-server-resources-and-improve-performance/
https://linuxreviews.org/Web_crawlers
https://pitsec.tistory.com/49
위 참고 사이트들을 참고하여 공통적인 것을 골라내 보면 대충 아래처럼 정리할 수 있을 것 같다.
1. 좋은 bot
Googlebot
Bingbot - Microsoft
Slurp - Yahoo Search 로봇
DuckDuckBot
2. 나쁜 bot
AhrefsBot
BLEXBot
DotBot
MJ12bot
PetalBot
SemrushBot
추천0
댓글목록
등록된 댓글이 없습니다.
1
1
공공데이터포털 OpenAPI
