데이터브릭스가 6월 16일(현지시간) 샌프란시스코 데이터+AI 서밋에서 트랜잭션 데이터베이스와 분석 시스템을 통합하는 새로운 데이터 아키텍처 LTAP(Lake Transactional/Analytical Processing)을 공개했다.
LTAP 아키텍처
LTAP는 데이터 레이크에 저장된 하나의 데이터로 운영(OLTP)과 분석(OLAP) 작업을 동시에 처리한다. 애플리케이션, 분석 시스템, AI 에이전트가 같은 데이터에 접근할 수 있어, 기존의 CDC(Change Data Capture) 파이프라인, ETL 처리, 복제 데이터베이스가 필요 없다.
배경: AI 에이전트가 바꾸는 데이터 요구사항
“에이전트는 사람보다 빠르게 데이터를 분석하고 실행해야 한다. 이로 인해 데이터 스택이 병목이 되고 있다” — 샹쿠 니요기, 데이터브릭스 제품관리 부사장
기존 아키텍처는 운영 DB와 분석 DB를 분리해 ETL/CDC 파이프라인으로 연결하는 구조였으나, 이는 지연·복잡성·거버넌스 문제를 일으킨다. AI 에이전트가 실시간에 가깝게 데이터를 읽고 분석·실행해야 하는 시대에는 맞지 않는다는게 데이터브릭스의 분석이다.
핵심 기술
- LTAP: Lakebase(지난해 출시) 기반. 트랜잭션 데이터를 델타레이크·아파치 아이스버그 같은 개방형 컬럼형 포맷에 직접 기록하면서 PostgreSQL 호환성 유지.
- Lakehouse//RT: 신형 실행 엔진 레이든(Radium) 기반 실시간 분석 엔진. 소규모 작업 최저 10ms, 대규모 작업 100ms 이하 응답 속도.
제공 방식
- LTAP: Lakebase 고객에 업그레이드 형태로 제공
- Lakehouse//RT: 베타 테스트 중, 기존 Lakehouse 고객은 현재 구독으로 이용 가능
관련 개체: 데이터브릭스