This AI Agent Can Scrape ANYTHING (100% Automatic)
1. AI 에이전트 소개 및 기능
오늘 우리는 당신을 위해 문자 그대로 무엇이든 스크랩할 수 있는 AI 에이전트를 구축할 것입니다. 인터넷 전체와 같이 정말 중요하지 않습니다. 예를 들어 Google 지도를 스크랩하거나 Yellow Pages, Apollo, Instagram, Tik Tok을 스크랩할 수 있으며 원하는 만큼 이러한 모듈을 추가하여 실제로 무엇이든 스크랩할 수 있습니다. 여기에 예가 있습니다. “Google 지도를 웹 스크랩해 주시겠습니까?”라고 요청하면 “요청을 처리하기 전에 도시, 산업, 주, 국가와 같은 추가 정보가 필요합니다.”라는 답변을 받을 수 있습니다. 그래서 “조경”이라고 말하고 “로스앤젤레스 캘리포니아”라고 말하면 해당 데이터를 가져와 Google 지도를 웹 스크랩합니다. 실제로 이 도구를 실행하는 것뿐입니다. 이는 기본적으로 Google 지도를 웹 스크랩하는 것이며, 그런 다음 결과를 AI 에이전트로 다시 보내 우리에게 모든 결과를 목록으로 제공합니다. 이 경우 지금은 두 개만 얻고 있지만 원하는 만큼 웹 스크랩할 수 있으며 이러한 요청을 처리하여 우리가 방금 본 Google 시트로 보냅니다.
2. 다양한 웹 스크래핑 소스 활용
Google 지도만 할 필요는 없습니다. 문자 그대로 이 모든 것을 동시에 할 수 있습니다. “모든 소스를 웹 스크랩해 주시겠습니까?”라고 요청하면 모든 리소스를 웹 스크랩하려고 한다는 것을 이해하고 모든 데이터를 가져와서 하나의 메시지로 집계하여 모든 웹 스크랩 결과를 목록으로 다시 보내고 이러한 모든 결과를 Google 시트에 실시간으로 덤프합니다. 틱톡과 인스타그램에서 이미 결과를 받았다는 것을 알 수 있습니다. 시트로 돌아가면 Google 지도와 옐로우 페이지가 있고 나머지는 곧 도착할 것입니다. 모든 것이 성공적으로 웹 스크랩되었고 결과가 여기에 있다는 메시지를 다시 보낼 것입니다. Google 지도에는 많은 기업이 있고, 옐로우 페이지에도 많은 기업이 있으며, Apollo에도 많은 기업이 있고, Instagram과 Tik Tok에도 많은 기업이 있습니다. 이 모든 것은 Google 시트에 있습니다. 이것이 당신에게 흥미로운 일이라면, 이러한 AI 에이전트를 사용하여 인터넷 전체에서 데이터를 웹 스크랩할 수 있는 능력을 갖는 것은 당신을 위한 것입니다. 이 정확한 AI 에이전트를 직접 구축하는 방법을 보여줄 것이기 때문입니다.
3. AI 에이전트 구축 시작
이것을 다운로드하고 싶다면 아래 설명에 무료로 제공됩니다. 청사진을 다운로드하여 계정으로 바로 가져올 수 있습니다. 이 세 개의 점을 누른 다음 파일에서 가져오기를 선택하면 이 워크플로와 제가 구축한 다른 5개의 워크플로에 액세스할 수 있습니다. 지금 바로 구축해 봅시다. 이것을 구축하기 전에 제 스쿨 커뮤니티를 방금 출시했다는 점을 지적하고 싶습니다. 관심이 있다면 이것은 저에게 직접 액세스할 수 있는 곳입니다. 여러분과 함께 그룹 통화를 할 것이고, 유튜브에 공개하지 않은 100개 이상의 청사진과 여러분의 사업 성장을 도울 같은 생각을 가진 사람들의 커뮤니티를 얻을 수 있습니다. AI 에이전트 모듈을 구축하는 것이 첫 번째 할 일입니다. 새 워크플로를 만들고 여기서 시작합니다. 첫 번째 할 일은 트리거를 만드는 것입니다. 이 워크플로의 트리거는 채팅 메시지에 있습니다. 기본적으로 채팅 메시지는 내장된 채팅 기능입니다. 이 메시지를 입력하면 아무 일도 일어나지 않습니다. 아무것도 연결하지 않았기 때문입니다.
4. AI 에이전트 및 시스템 메시지 설정
다음 단계는 AI 에이전트를 만드는 것입니다. 이 AI 에이전트는 모든 도구와 통신하여 Google 지도를 웹 스크랩해야 하는지, Tik Tok을 웹 스크랩해야 하는지, 무엇을 정확히 웹 스크랩해야 하는지 묻습니다. 기본적으로 이것은 훌륭합니다. 시스템 메시지를 추가해야 합니다. 개요로 당신은 웹 스크래핑에 뛰어난 개인 비서입니다. 당신의 임무는 사용자 쿼리를 올바른 도구로 보내는 것입니다. Google 지도라면 Google 지도로 보내고, 다른 것이라면 다른 것으로 보냅니다. 각 도구를 진행하는 방법에 대한 지침을 제공합니다. 그리고 도구에 전달해야 할 몇 가지 정보가 있습니다. 검색 구문, 도시, 위치, 주 또는 국가입니다. 여기서 변경하고 싶은 것은 산업처럼 되어야 한다는 것입니다. 검색은 산업을 삽입해 주십시오. 예를 들어 조경, 배관 등입니다. 시스템 프롬프트는 대체로 핵심입니다. 채팅 모델을 선택합니다. 채팅 모델은 이 AI 에이전트의 두뇌라고 생각할 수 있습니다. 그것은 당신이 말하는 것을 어떻게 이해하고, 당신에게 응답을 어떻게 주고, 모든 것을 어떻게 합니까? 이것을 당신만의 미니 채팅 GPT라고 생각할 수 있습니다. 언어 모델을 선택합니다. 저는 개인적으로 채팅 GPT를 사용하는 것을 좋아합니다.
5. 메모리 도구 및 하위 에이전트 활용
얼굴이 이것을 가리고 있을 수도 있지만, Openi 채팅 모델을 선택할 것입니다. 이것은 뒤에 있는 두뇌 또는 채팅 GPT입니다. 당신과 앞뒤로 인터페이스합니다. 기본적으로 이것은 괜찮아 보입니다. 여기서는 많이 바꾸지 않을 것입니다. 추론이 있습니다. 메모리 도구가 있습니다. 이것은 창 버퍼 메모리입니다. 본질적으로 컨텍스트 창 길이는 얼마나 많은 메시지를 기억하고 싶은지 말하는 것입니다. 예를 들어 과거 5개의 메시지를 기억하고 싶습니까? 10개를 기억하고 싶습니까? 5개가 좋습니다. 실제로 그 이상은 필요하지 않습니다. 여기서 채팅을 열고 예를 들어 Google 지도를 웹 스크랩한다고 말하면 산업 도시 주 지방 코드와 같은 것을 제공해 달라고 말할 수 있습니다. 제가 조경이라고 말하면 올바른 도구로 푸시하는 것을 알 수 있는 유일한 이유는 컨텍스트 기록을 기억하기 때문입니다. 이것이 창 버퍼 메모리 저장소입니다. 과거 메시지를 기억하여 앞뒤로 따라 채팅할 수 있습니다. 마법은 실제로 도구와 함께 일어납니다. 여기서 이 하위 에이전트를 호출하여 Google 지도를 웹 스크래핑하고 Google 시트로 보내는 것과 같은 작업을 수행할 것입니다. 오늘은 이러한 에이전트 중 하나를 구축할 것입니다. 하나를 구축하는 방법을 알면 다른 모든 에이전트는 대체로 동일합니다. 따라서 거의 완료된 것입니다.
6. Google 지도 웹 스크래퍼 구축
Google 지도 웹 스크래퍼라고 부를 것입니다. 설명을 하자면 이 AI 에이전트가 언제 이 도구를 호출해야 하는지, 즉 어느 도구를 사용해야 하는지 아는 방법을 알려주는 것입니다. 사용자가 Google 지도를 스크랩하기를 원할 때 이 도구를 호출하십시오. Google 지도가 키워드라는 것을 알았습니다. 홈 섹션으로 돌아가서 워크플로를 만듭니다. 채팅 메시지 대신 다른 워크플로에서 실행되도록 할 것입니다. 본질적으로 무슨 일이 일어나고 있는지는 이 워크플로가 스스로 실행되지 않고 이 AI 에이전트가 호출하기로 결정할 때만 실행된다는 것입니다. Google 지도 버전 2라고 하고 저장합니다. Google 지도 버전 2라고 부를 수 있습니다. 다른 것들은 링크되어 있습니다. 추가 정보를 이 Google 지도 도구로 전달해야 합니다. 오류가 발생했습니다. 이것을 변경하고 JSON 예제를 사용하여 정의할 것입니다. JSON은 데이터를 형식화하는 방법입니다. 이전 모듈에서 데이터를 전달하는 데 사용할 것입니다. 기본적으로 몇 가지 사항을 추가해야 합니다. 검색어는 무엇입니까? 어떤 산업입니까? 청소 회사입니까? 조경입니까? 무엇입니까? 어떤 위치에서 검색해야 합니까? 뉴욕입니까? 로스앤젤레스입니까? 주와 국가는 무엇입니까? 이것들은 우리가 필요한 중요한 정보입니다.