Crawling có lẽ không còn xa lạ với tất cả mọi người, rất dễ để bắt đầu lấy được data. Tuy nhiên khi gặp phải những thách thức như: crawl 1 vài triệu page mỗi ngày, tài nguyên thì ít mà muốn vít thật nhanh, đang crawl ngon lành thì recaptcha xuất hiện, cần phải giải bằng rockcaptcha.com