[AI 노코더 자동화] 치트 코드: 2025년의 AI 자동화 make
CHEAT CODE: AI Automation in 2025 [번역 및 요약]
1. RAG 시스템 소개 및 필요성
RAG(Retrieval Augmented Generation) 시스템은 2025년에 AI 에이전시가 20만 달러 이상의 추가 수익을 창출하는 데 도움을 줄 수 있는 핵심 AI 자동화 기술입니다. RAG 시스템은 챗GPT 또는 클로드와 같은 대규모 언어 모델(LLM)과 일반 데이터베이스에 저장된 외부 지식 기반을 결합합니다. 이 시스템은 일반적인 LLM에서 볼 수 있는 프롬프트를 받지만, 먼저 관련 전문 지식을 얻기 위해 개인 데이터베이스를 처리합니다. 그런 다음, 이 지식을 챗GPT 또는 클로드와 같은 LLM과 결합하여 모든 정보를 사용자에게 다시 보냅니다. 이를 통해 사용자는 자체 AI 도구를 구축하고 최신 정보와 회사 고유의 도메인별 지식을 기반으로 질문에 대한 답변을 제공할 수 있습니다. 이러한 시스템을 구축하는 것은 2025년에 경쟁에서 눈에 띄는 데 필요한 가장 중요한 기술이 될 것입니다. 많은 회사들이 AI와 함께 사용하고 싶어하는 특화된 데이터를 가지고 있지만, 이러한 시스템을 구축하는 데 능숙한 AI 자동화 전문가는 많지 않습니다. RAG 시스템과 같은 약간 더 복잡한 시스템을 구축하는 방법을 배울 수 있다면 경쟁이 심하지 않고 진정한 전문 지식에 대한 비용을 지불할 수 있는 자금 지원이 잘 된 회사가 많기 때문에 활용할 수 있는 광범위한 분야입니다. 컨설턴트가 현재 이러한 솔루션을 구축하는 데 도움을 주고 있지만, 여전히 제한 사항이 있으므로 사용자에게 기회가 됩니다.
2. 기존 솔루션의 한계 및 RAG 시스템의 장점
현재 사람들이 이 문제를 해결하려고 시도하는 한 가지 방법은 기존 지식 기반(예: PDF 또는 TXT 파일)의 내용을 프롬프트에 직접 사용하는 것입니다. 예를 들어 클로드를 사용하는 경우 메시지를 추가하여 프롬프트를 만들고 텍스트를 사용할 수 있습니다. “아래 지식 기반을 사용하여 X, Y, Z에 대한 기사를 작성하십시오.”와 같이 작성한 다음, 지식 기반의 모든 내용을 복사하여 자동화에 직접 붙여넣거나 정보를 동적으로 로드하고 변수를 전달할 수 있습니다. 이러한 방법은 특정 크기까지는 작동하지만, 지식 기반이 이 예제처럼 성장하기 시작하면 수백 개의 비디오, 게시물, 스쿨 게시물, 스쿨 코스 및 모듈이 있는 경우 해당 콘텐츠를 잘라내어 붙여넣거나 이러한 모듈에 포함할 수 없습니다. 클라우드가 주어진 시간에 처리하기에는 너무 많은 데이터입니다. 지식 기반을 PDF로 직접 삽입할 수 있지만 항상 실용적이거나 효율적이지는 않습니다. GPT 및 어시스턴트도 있지만, 노코드 아키텍트 툴킷 API용 GPT도 있습니다. 그러나 GPT는 자동화에서 직접 사용할 수 없습니다. GPT는 사용자가 대화할 수 있는 특정 유형의 인터페이스에서만 제대로 작동합니다. 지식 데이터베이스를 자동화에 통합하려는 경우 GPT는 작동하지 않습니다. GPT 어시스턴트는 자동화와 함께 작동하지만, 제 경험상 GPT만큼 잘 작동하지 않습니다. 오픈AI Playground에서 자체 사용자 지정 GPT 어시스턴트를 구축하고 자체 지식 기반을 업로드하고 시스템 지침을 사용하여 해당 어시스턴트의 동작 방식을 정의할 수 있지만, 제 경험상 이러한 어시스턴트는 GPT만큼 잘 작동하지 않습니다. GPT 또는 어시스턴트를 사용하면 구조화 방식을 제어할 수 없으므로 솔루션의 성능과 유연성이 제한됩니다. 따라서 여기에 데이터를 업로드할 때 어떤 유형의 데이터베이스가 사용되고 있는지 또는 모든 것이 어떻게 인덱싱되는지 제어할 수 없습니다. 다시 말하지만 괜찮게 작동하고 여기 GPT 내에서도 훨씬 더 잘 작동합니다. 노코드 아키텍트 툴킷에 대한 정보를 업로드한 지식 기반이 있음을 알 수 있지만, 시스템에 인덱싱되는 방식과 실제로 사용하는 방법에 제한이 있습니다. 따라서 여기서 비법은 자체 RAG 시스템을 구축하는 방법을 배우는 것입니다. 자체 데이터베이스와 다양한 API를 사용하여 다른 데이터 소스에 연결하고 파인콘과 같은 벡터 데이터베이스와 동기화할 수 있습니다. 그런 다음, 자동화된 도구에 들어오는 질문과 함께 해당 데이터를 사용하여 자체 데이터베이스에서 전문 지식을 검색하고 챗GPT 또는 클라우드와 함께 데이터를 원하는 방식으로 가져와서 사용자에게 응답하고 최종적으로 사용자에게 다시 응답할 수 있습니다. 이러한 시스템을 마스터하고 수익을 창출하는 방법에 대해 말씀드리고 싶은 핵심 사항은 2025년의 진정한 기술은 데이터를 관리하고 다양한 API 엔드포인트에 연결하고 데이터를 일관된 방식으로 가져오고 쿼리할 수 있는 자체 데이터베이스를 보유하고 이를 사용하여 더 스마트한 AI 솔루션을 구축할 수 있는 사람들에게서 나올 것입니다. 따라서 다른 AI 자동화 회사가 화려한 새로운 AI 도구에 집중하는 동안 데이터 관리에 집중하여 높은 소득 기술과 AI 도구와 개인 지식 기반을 통합하여 스스로를 차별화할 수 있습니다.
3. RAG 시스템 구축 방법 및 핵심 요소
RAG 시스템을 구축하는 데 사용되는 도구는 Air Table, Make 및 Pine Cone이라는 데이터베이스 플랫폼입니다. 에어 테이블 데이터베이스에서 시작하여 데이터 수집기와 에어 테이블 데이터베이스에서 벡터 데이터베이스로 데이터를 가져오는 방법에 대해 이야기합니다. Pine Cone은 이 벡터 데이터베이스이며 이에 대해 자세히 설명하겠습니다. 벡터 데이터베이스와 챗GPT 또는 클라우드와 같은 LLM을 연결하여 시스템에 들어오는 질문에서 고도로 세분화된 답변을 생성하는 방법에 대해 이야기합니다. 실제로 만들기 위해 YouTube 콘텐츠와 스쿨 커뮤니티의 모든 과정 자료로 채워진 데이터베이스가 있습니다. 또한 커뮤니티에 작성한 실제 게시물도 인덱싱했습니다. URL과 썸네일, 제목 설명 및 문서 형식의 기록을 포함하여 이 모든 데이터를 실제로 동기화하는 방법 또는 이와 같은 데이터베이스 필드에 직접 작성했습니다. 이 모든 데이터를 동기화하고 구성하는 프로세스는 다이어그램의 이쪽에서 수행됩니다. Air Table과 벡터 데이터베이스 파인콘으로 데이터를 가져오는 방법을 이야기합니다. Air Table에서 데이터를 동기화하는 가장 중요한 프로세스는 데이터 수집기입니다. 데이터 수집기가 이 다이어그램 전체에 흩어져 있으며 자세히 설명하겠지만, 핵심적으로 데이터 수집기는 두 개의 서로 다른 소스 간에 데이터를 동기화하고 해당 데이터가 양호한 상태인지 확인하는 역할을 담당합니다. 여기에 있는 데이터가 여기에 있는 데이터와 동일하다고 신뢰할 수 있어야 합니다. 새 행이 에어 테이블 데이터베이스에 들어오면 벡터 데이터베이스에 표시되는지 확인하고 싶습니다. 에어 테이블 데이터베이스에 대한 업데이트가 있을 때 벡터 데이터베이스에서도 업데이트되는지 확인하고 싶습니다. 데이터 수집기가 복제본을 찾고 필요한 경우 제거할 수 있는지 확인하고 싶습니다. 데이터 수집기는 벡터 데이터베이스에 데이터 격차가 없는지 확인해야 합니다. 에어 테이블 데이터베이스에 있는 정보가 누락되지 않아야 합니다. 이 데이터를 여기에서 저기로 가져오는 프로세스가 비용 효율적인지 확인하고 싶습니다. 이 벡터 데이터베이스가 정기적으로 업데이트되기를 원하고 이 데이터가 항상 변경되는 경우 이 프로세스의 효율성을 고려하는 것이 중요합니다.
4. 데이터 수집기의 역할 및 Air Table-Pine Cone 연결 방법
데이터 수집기란 데이터가 서로 다른 두 소스 간에 동기화되도록 보장하고 데이터가 양호한 상태인지 확인하는 역할을 담당합니다. 새 행이 Air Table 데이터베이스에 들어오면 벡터 데이터베이스에 표시되는지 확인하고, Air Table 데이터베이스에 대한 업데이트가 있을 때 벡터 데이터베이스에서도 업데이트되는지 확인하고 싶습니다. 데이터 수집기가 복제본을 찾고 필요한 경우 제거할 수 있는지 확인해야 합니다. 데이터 수집기는 벡터 데이터베이스에 데이터 격차가 없는지 확인해야 합니다. Air Table 데이터베이스에 있는 정보가 누락되지 않아야 합니다. 이 데이터를 Air Table에서 Pine Cone으로 가져오는 프로세스가 비용 효율적인지 확인하고 싶습니다. 이 벡터 데이터베이스가 정기적으로 업데이트되기를 원하고 이 데이터가 항상 변경되는 경우 이 프로세스의 효율성을 고려하는 것이 중요합니다. Air Table과 Pine Cone을 연결하는 데이터 커넥터를 살펴봅니다. YouTube 비디오와 스쿨 과정이 가득한 Air Table 데이터베이스가 있습니다. 원한다면 무엇이든 가질 수 있습니다. Air Table의 특정 보기에서 레코드를 검색하는 이 자동화 기능이 있습니다. 기본적으로 이 필터가 구성되는 방식은 새롭고 수정된 행만 이 특정 보기에 표시되도록 하는 것입니다. 해당 레코드가 보기로 들어오면 파인콘과 동기화됩니다. 데이터 커넥터의 정의로 돌아가서 Air Table에서 벡터 데이터베이스로 데이터를 동기화하는 특정 시나리오에서 Air Table 및 벡터 데이터베이스를 연결하는 데 도움이 되는 데이터 커넥터를 살펴봅니다. 에어 테이블 데이터베이스가 다시 있습니다. YouTube 비디오와 스쿨 과정이 가득합니다. 소스를 보면 스쿨 페이지와 룸 교육도 있을 수 있습니다. 원하는 것은 무엇이든 가질 수 있습니다. 추가하기만 하면 데이터를 가져올 API를 연결하는 데 필요한 데이터 커넥터를 개발해야 합니다. Air Table의 특정 보기에서 레코드를 검색하는 이 자동화 기능이 있습니다. 다시 돌아와서 데이터 커넥터의 정의를 보면 새롭고 수정된 레코드 동기화 및 다양한 레코드에 대한 업데이트를 이 특정 보기와 필터를 사용하여 제어하고 있습니다. 따라서 이 보기의 기술적 설계 선택과 필터를 통해 데이터 커넥터의 처음 두 가지 요소를 충족할 수 있습니다. 이제 계속하겠습니다. 첫 번째로 발생하는 일은 Air Table 데이터베이스와 벡터 데이터베이스를 동기화하는 데 도움이 되는 데이터 커넥터는 이 보기와 필터를 사용하여 제어하고 있습니다. 첫 번째로 발생하는 일은 물론 이 보기에서 동기화할 새 데이터 행을 가져옵니다. 그런 다음 모든 행을 통해 반복됩니다.
5. 데이터 수집 및 변환 과정: 임베딩 생성 및 Pine Cone 데이터베이스 동기화
에어 테이블로 돌아가서 YouTube 비디오마다 기록 문서가 있음을 알 수 있습니다. 이 자동화는 해당 문서를 다운로드한 다음 자동화 내에서 사용할 수 있는 데이터로 구문 분석합니다. 여기에는 12개의 작업이 있었는데, 이는 12개의 행이 이 특정 검색으로 풀링되었음을 의미합니다. 이제 여기에 데이터가 있고 파인콘 데이터베이스에 저장할 수 있는 일반 텍스트 기록이 있습니다. 사용자가 자동화된 도구에 요청을 처리할 때 나중에 검색할 수 있습니다. 이러한 모듈은 일부 데이터를 정리하는 데 도움이 됩니다. 그런 다음 이 모듈은 기록 텍스트를 분할하는 데 도움이 됩니다. 모든 기록 텍스트를 가지고 있습니다. 데이터베이스는 텍스트 데이터를 숫자 표현으로 나타냅니다. 챗GPT를 사용하고 있습니다. API 호출을 하고 있고 API 엔드포인트 임베딩을 호출하고 있으며 텍스트 값을 보내고 있습니다. 텍스트 데이터의 숫자 표현인 이러한 숫자를 제공하는 임베딩이 있습니다. 그 숫자가 정확히 어떻게 작동하는지 알 수 없지만 이러한 숫자는 큰 데이터베이스에서 특정 항목을 검색하려고 할 때 관련 데이터를 빠르게 찾는 데 사용됩니다. 우리가 반복하고 있는 모든 청크에 대해 임베딩 중 하나를 만들었습니다. URL을 사용하여 벡터를 구축하고 있습니다. Air Table 데이터 수집기로 돌아가면 중복이 없는지 확인해야 합니다. URL을 키로 사용하면 동일한 URL이 있는 경우 해당 중복을 찾아 제거할 수 있습니다. 이렇게 하면 새 벡터를 만들어야 하는지 아니면 기존 벡터를 업데이트해야 하는지 알 수 있습니다. 파인콘 데이터베이스 내부를 보면 이미 일부 레코드가 있습니다. 팝업에서 볼 수 있듯이 YouTube 비디오에 대한 기록의 일부인 일부 텍스트가 있습니다. 파인콘 데이터베이스의 모든 항목에는 이러한 벡터가 있지만 데이터를 찾는 데 사용하는 것은 텍스트 자체가 아니라 이러한 값입니다. 이러한 텍스트를 사용하여 쿼리를 강화하고 이러한 텍스트를 보내 응답을 생성합니다. Air Table 데이터베이스를 동기화 상태로 유지합니다.