외부 데이터 허브

다음은 온체인 및 오프체인 데이터를 수집·처리한 후, 빠른 조회 및 집계를 위해 최적화된 DB 구조에 저장하는 컴포넌트에 대한 설명입니다. 이 플랫폼은 서비스 도메인별로 독립된 데이터 파이프라인을 다수 지원하며, 주요 서브 모듈은 다음과 같습니다:

• 소셜 크롤러 (Social Crawler): 주요 소셜 네트워크 서비스에서 생성되는 데이터를 수집합니다. 대부분 해당 서비스에서 제공하는 OpenAPI를 활용하거나 상용 데이터 제공자를 통해 데이터를 확보합니다.

• 게임 크롤러 (Game Crawler): 게임 플레이 중 실시간으로 생성되는 대용량 데이터를 수집하거나, 주요 게임 포털에서 얻을 수 있는 데이터를 타겟으로 합니다. 실시간 데이터의 경우 게임 서비스 업체가 제공하는 SDK나 OpenAPI를 사용해 도메인 특화 데이터를 수집하고, 후속 분석에 용이한 형태로 처리 및 저장합니다.

• 디파이 크롤러 (DeFi Crawler): 주요 탈중앙화 프로토콜에서 온체인으로 발생하는 거래 이벤트를 수집, 처리, 저장합니다. 또한 오프체인 상의 디파이 관련 커뮤니티 데이터도 함께 수집 대상에 포함됩니다.

• 이커머스 크롤러 (eCommerce Crawler): 토큰으로 구매 가능한 상품들을 오픈 마켓플레이스에서 지속적으로 수집하고 리스트화합니다. 핫딜, 기프팅, 이벤트 등과 같은 활용 시나리오에 적합하며, 구매 링크를 소셜 채널에 게시하는 툴 기능을 통해 에이전트에 쉽게 연동할 수 있습니다.