Scrape Any Email & Website Automatically Using Make.com Parsers (game changing)

 

1. 텍스트 파서의 정의 및 활용 목적

Make.com에서 텍스트 파서는 시나리오 자동화 과정에서 텍스트 데이터의 추출, 변환 및 가공을 가능하게 하는 중요한 모듈이다. 텍스트 파서의 주요 활용 목적은 크게 두 가지로 나눌 수 있다. 첫째, 웹 스크래핑을 통해 웹사이트에서 필요한 정보를 수집하는 것이다. 예를 들어, 웹페이지에서 이름, 연락처, 이메일 주소, 전화번호 등의 데이터를 추출하여 데이터베이스나 CRM 시스템에 저장할 수 있다. 이는 잠재 고객 발굴(lead generation)에 유용하게 활용될 수 있으며, 이 외에도 다양한 웹 스크래핑 활용 사례가 존재한다. 둘째, 이메일 스크래핑을 통해 수신된 이메일에서 특정 정보를 추출하는 것이다. 예를 들어, 리드 구매 사이트에서 전송되는 리드 정보를 자동으로 추출하여 CRM 시스템에 연동할 수 있다. 이러한 리드 정보는 일반적으로 이벤트 날짜, 고객 이메일 주소, 전화번호, 장소 등 다양한 세부 정보를 포함하고 있다. 하지만 이러한 정보는 API 형태로 제공되지 않고 이메일 본문 텍스트에 포함되어 있는 경우가 많다. 따라서 텍스트 파서를 사용하여 이메일 본문에서 필요한 정보를 추출하고, CRM 시스템에 자동으로 입력하여 문자 메시지나 이메일을 발송하는 등의 후속 조치를 자동화할 수 있다. 이러한 자동화는 수동으로 정보를 처리하는 데 소요되는 시간을 절약하고, 업무 효율성을 향상시키는 데 크게 기여한다. 특히, 리드 정보의 경우 신속한 대응이 중요하므로, 텍스트 파서를 활용한 자동화는 경쟁 우위를 확보하는 데 매우 효과적이다. 텍스트 파서는 이처럼 다양한 방식으로 활용될 수 있으며, Make.com 자동화 워크플로우에서 핵심적인 역할을 수행한다.

2. Make.com 텍스트 파서의 주요 기능 소개

Make.com 텍스트 파서 모듈은 다양한 기능을 제공하여 사용자가 텍스트 데이터를 효율적으로 처리할 수 있도록 지원한다. 이러한 기능들을 적절히 활용하면, 웹 스크래핑, 이메일 파싱, 데이터 정제 등 다양한 자동화 시나리오를 구축할 수 있다. Make.com 텍스트 파서의 주요 기능들을 살펴보자.

2.1. 일치하는 요소 찾기 (Match Elements)

‘일치하는 요소 찾기’ 기능은 텍스트 내에서 특정 패턴과 일치하는 요소를 추출하는 데 사용된다. Make.com에서 텍스트 파서를 사용하는 주된 이유 중 하나는 웹 스크래핑이나 이메일에서 데이터 추출하기 때문이다. 예를 들어, 이메일 주소나 전화번호와 같은 특정 패턴을 가진 정보를 추출할 때 유용하다. 이 기능을 사용하면 HTML 태그(예: 태그, 태그, 태그)를 기반으로 데이터를 추출할 수도 있다. 하지만 이메일 주소나 전화번호를 추출하는 경우가 더 흔하다. ‘일치하는 요소 찾기’는 텍스트 내에 여러 개의 일치하는 요소가 있을 경우 모든 요소를 추출하므로, 추출된 요소 중에서 원하는 요소를 선택하는 추가적인 단계를 거쳐야 할 수도 있다.

2.2. 패턴 일치 (Match Pattern, Match Pattern Advanced)

‘패턴 일치’ 기능은 텍스트 내에서 특정 패턴과 일치하는 부분을 찾는 데 사용된다. ‘일치하는 요소 찾기’와 유사하지만, ‘패턴 일치 고급’은 정규 표현식(Regular Expression)을 사용하여 더욱 복잡하고 정교한 패턴을 정의할 수 있다는 장점이 있다. 정규 표현식은 텍스트 내에서 특정 문자열을 검색하고, 추출하거나, 대체하는 데 사용되는 강력한 도구이다. Make.com에서는 정규 표현식을 사용하여 텍스트 파싱을 자동화할 수 있다. 일반적인 프로그래밍에서 정규 표현식은 복잡하고 이해하기 어려울 수 있지만, Make.com에서는 ChatGPT와 같은 AI 도구를 활용하여 정규 표현식을 쉽게 생성하고 테스트할 수 있다. ChatGPT는 사용자가 원하는 패턴을 설명하면, 해당하는 정규 표현식을 자동으로 생성해준다. 이렇게 생성된 정규 표현식을 Make.com의 ‘패턴 일치 고급’ 기능에 적용하면, 텍스트 내에서 원하는 정보를 정확하게 추출할 수 있다.

2.3. 텍스트 바꾸기 (Replace)

‘텍스트 바꾸기’ 기능은 텍스트 내에서 특정 문자열을 찾아 다른 문자열로 대체하는 데 사용된다. 예를 들어, 텍스트 내에 있는 특정 단어를 수정하거나, 불필요한 문자열을 제거할 때 유용하다. ‘텍스트 바꾸기’ 기능은 ‘일치하는 요소 찾기’ 또는 ‘패턴 일치’ 기능과 함께 사용하여, 텍스트 내에서 특정 패턴과 일치하는 부분을 찾은 후, 해당 부분을 다른 문자열로 대체하는 방식으로 활용할 수 있다. 텍스트 바꾸기 기능은 Make.com의 내장 함수를 사용하거나, 텍스트 파서 모듈을 사용하여 수행할 수 있다. Make.com은 동일한 작업을 수행하는 다양한 방법을 제공하므로, 사용자는 자신의 상황에 맞는 최적의 방법을 선택할 수 있다.

2.4. HTML에서 텍스트 추출 (HTML to Text)

‘HTML에서 텍스트 추출’ 기능은 HTML 코드에서 텍스트만 추출하는 데 사용된다. 웹 스크래핑을 할 때 HTML 코드 내에 있는 텍스트 정보를 추출해야 하는 경우가 많다. 이 기능을 사용하면 HTML 태그, 스타일 정보, 스크립트 등 불필요한 요소를 제거하고, 텍스트 데이터만 추출할 수 있다. HTML에서 텍스트 추출 기능을 사용하는 방법은 두 가지가 있다. 첫째, 텍스트 파서 모듈에서 ‘HTML에서 텍스트 추출’ 기능을 직접 사용하는 것이다. 둘째, Make.com의 내장 함수인 ‘stripHTML’ 함수를 사용하는 것이다. 두 가지 방법 모두 동일한 결과를 얻을 수 있지만, 사용자는 자신의 워크플로우에 더 적합한 방법을 선택할 수 있다.

3. 텍스트 파서를 활용한 웹 스크래핑 및 자동화 예시

텍스트 파서는 웹 스크래핑 과정에서 추출한 데이터를 정제하고 활용하는 데 필수적인 도구이다. 텍스트 파서를 활용하면 웹 페이지에서 특정 정보를 추출하고, 추출한 정보를 바탕으로 다양한 자동화 워크플로우를 구축할 수 있다. 웹 스크래핑을 통해 웹사이트에서 데이터를 수집하고, 텍스트 파서를 사용하여 수집된 데이터에서 필요한 정보를 추출하는 과정을 살펴보자.

3.1. HTTP 요청을 통한 웹 페이지 데이터 수집

웹 스크래핑의 첫 번째 단계는 HTTP 요청을 통해 웹 페이지의 HTML 코드를 가져오는 것이다. Make.com의 HTTP 모듈을 사용하면 특정 URL에 HTTP 요청을 보내고, 웹 서버로부터 응답을 받을 수 있다. HTTP 모듈은 GET, POST, PUT, DELETE 등 다양한 HTTP 메서드를 지원하며, 요청 헤더, 요청 바디, 인증 정보 등 다양한 옵션을 설정할 수 있다. 웹 페이지의 HTML 코드를 가져오기 위해서는 GET 메서드를 사용하고, 웹 페이지의 URL을 입력하면 된다. HTTP 모듈은 웹 서버로부터 응답을 받으면, 응답 헤더, 응답 코드, 응답 바디 등의 정보를 제공한다. 응답 바디에는 웹 페이지의 HTML 코드가 포함되어 있으며, 이 코드를 텍스트 파서 모듈에 입력하여 원하는 정보를 추출할 수 있다.

3.2. HTML 요소 매칭을 통한 정보 추출

 웹 페이지의 HTML 코드를 수집한 후에는 텍스트 파서 모듈을 사용하여 원하는 정보를 추출해야 한다. Make.com의 텍스트 파서 모듈은 ‘일치하는 요소 찾기’, ‘패턴 일치’, ‘HTML에서 텍스트 추출’ 등 다양한 기능을 제공한다. 웹 페이지에서 특정 HTML 태그(예: 태그)로 둘러싸인 정보를 추출하기 위해서는 ‘일치하는 요소 찾기’ 기능을 사용하면 된다. 예를 들어, 웹 페이지에 있는 모든 링크( 태그)를 추출하고 싶다면, ‘일치하는 요소 찾기’ 기능에서 HTML 태그를 ‘a’로 설정하고, HTML 코드를 입력하면 된다. 텍스트 파서 모듈은 HTML 코드에서 ‘a’ 태그로 둘러싸인 모든 요소를 추출하여 결과로 반환한다. 텍스트 파서를 활용한 웹 스크래핑은 웹 페이지에서 필요한 정보를 자동으로 수집하고, 추출된 정보를 바탕으로 다양한 자동화 워크플로우를 구축할 수 있도록 지원한다. 예를 들어, 웹 페이지에서 상품 정보를 추출하여 데이터베이스에 저장하거나, 웹 페이지에서 뉴스 기사를 추출하여 소셜 미디어에 공유하는 등의 자동화 워크플로우를 구축할 수 있다. 웹 스크래핑과 텍스트 파싱을 통해 얻은 데이터를 바탕으로 다양한 비즈니스 가치를 창출할 수 있다.

 

[백링크]

1. Make.com 공식 웹사이트: https://www.make.com/en/ – Make.com의 기능과 특징, 사용법에 대한 자세한 정보를 제공합니다.
2. 정규 표현식(Regular Expression) 튜토리얼: https://regexone.com/ – 정규 표현식의 기본 개념과 사용법을 익힐 수 있는 인터랙티브 튜토리얼입니다.
3. ChatGPT: https://openai.com/blog/chatgpt – 복잡한 정규표현식을 생성하는데 도움을 받을 수 있습니다.