다양한 파일 형식으로 오브젝트 스토리지서 수백테라바이트 데이터 처리 가능

[중앙뉴스= 이광재 기자] 오라클이 신규 MySQL 히트웨이브 레이크하우스(MySQL HeatWave Lakehouse)를 발표했다. 해당 제품은 오로라(Aurora) 및 레드시프트(Redshift) 백업 자료뿐만 아니라 CSV, 파케이(Parquet)와 같은 다양한 파일 형식으로 오브젝트 스토리지(Object storage)에서 수백 테라바이트(TB)의 데이터를 처리하고 쿼리를 생성할 수 있도록 지원한다.

MySQL 히트웨이브 포트폴리오는 단일 MySQL 데이터베이스 내에서 트랜잭션 처리, 분석, 머신러닝 및 머신러닝 기반 자동화를 결합할 수 있는 클라우드 서비스이며 이번에 출시된 MySQL 히트웨이브 레이크하우스는 해당 제품군에 새롭게 추가된 최신 제품이다.

대규모 병렬 확장이 가능한 MySQL 히트웨이브 아키텍처를 기반으로 MySQL 히트웨이브 레이크하우스는 타 클라우드 데이터베이스 서비스 대비 훨씬 더 뛰어난 쿼리 처리 및 데이터 로드 성능을 제공하며 단일 쿼리에서 고객은 MySQL 데이터베이스에서 트랜잭션 데이터 쿼리를 구성하고 표준 MySQL 신택스(Syntax)를 사용해 오브젝트 스토리지의 데이터와 결합할 수 있다는 것이 오라클의 설명이다.

오라클은 성능을 더욱 개선하고 MySQL 히트웨이브 레이크하우스 사용이 용이한 신규 MySQL 오토파일럿(MySQL Autopilot) 기능도 발표했다. MySQL 히트웨이브 레이크하우스는 현재 베타 버전으로 시험 사용이 가능하고 2023년 상반기에 정식 출시될 예정이다.

타사 제품 및 온프레미스(사내구축형) 환경에서 마이그레이션한 고객은 마케팅 분석 특히 광고 캠페인 성과의 실시간 분석 그리고 효과적인 캠페인 계획을 위한 고객 데이터 분석 등 다양한 목적을 위해 MySQL 히트웨이브를 사용해오고 있다.

에드워드 스크레븐(Edward Screven) 오라클 최고기업아키텍트(Chief Corporate Architect)는 “MySQL 히트웨이브는 수년 간에 걸친 연구와 한단계 더 나아간 개발 과정의 결과물이라 할 수 있다. 이제 우리는 이러한 결과를 가지고 모든 MySQL 고객이 마주한 더 큰 과제를 해결하기 위해 혁신을 이루어 나가고 있다. 실제로 MySQL 히트웨이브 레이크하우스는 올해만해도 세번째로 공개된 MySQL 히트웨이브 주요 발표 제품이다”며 “데이터베이스 외부에 저장된 데이터가 크게 증가하고 있는 상황에서 MySQL 히트웨이브 레이크하우스를 사용하면 고객은 오브젝트 스토리지에 있는 데이터에서 히트웨이브의 모든 혜택을 누릴 수 있다. MySQL 히트웨이브는 이제 트랜잭션 처리, 데이터 웨어하우스 및 데이터 레이크를 아우르는 애널리틱스, ETL(추출, 변환, 로드)이 필요 없는 머신러닝 기술을 위해 멀티 클라우드 환경에서 단일 통합 서비스를 제공한다. 이러한 통합 서비스를 통해 MySQL 히트웨이브는 성능, 자동화 및 비용을 대폭 개선함으로써 다른 클라우드 데이터베이스 서비스와는 더 차별화된 서비스를 제공한다”고 말했다.

오라클은 또 새로운 레이크하우스 벤치마크를 발표해 MySQL 히트웨이브 레이크하우스와 MySQL 오토파일럿의 새로운 혁신적인 역량을 소개했다.

론 웨스트폴(Ron Westfall) 퓨처럼 리서치(Futurum Research) 수석 애널리스트겸 리서치 디렉터는 “MySQL 히트웨이브 레이크하우스는 획기적인 속도로 400TB 클라우드 데이터베이스 벤치마크라는 새로운 영역을 개척해 경쟁을 더욱 촉진하고 있다”며 “MySQL 히트웨이브 레이크하우스는 처리 용량과 컴퓨팅 역량 면에서 히트웨이브를 비약적으로 발전시켰다. 32TB와 64개 노드에서 400TB와 512 노드에 이르기까지 타사를 가볍게 뛰어넘는 성능과 가격대비 성능으로 제공한다. 한편 여타 클라우드 데이터베이스 기업들은 데이터베이스 내 컨버전스와 멀티 클라우드에서 제공되는 MySQL 히트웨이브에 맞수를 두지 못하고 있다. 400TB의 MySQL 히트웨이브 레이크하우스와 겨루기는 어렵다”고 전했다.

오라클에 따르면 MySQL 히트웨이브 레이크하우스를 사용해 최대 400TB의 데이터 쿼리를 생성할 수 있으며 히트웨이브 클러스터는 512개 노드로 확장 가능하다. 데이터 쿼리에 표준 MySQL 신택스 사용도 가능하다.

또 MySQL 히트웨이브는 MySQL 데이터베이스 내부 또는 오브젝트 스토리지에 저장된 데이터에 대해 동일한 쿼리 성능을 제공한다. 또 가능한 압축 양과 노드당 처리할 수 있는 데이터 양은 두 인스턴스에서 동일하다.

이와 함께 MySQL 히트웨이브 레이크하우스 사용시 고객은 CSV 및 파케이(Parquet)와 같은 다양한 파일 형식으로 저장된 데이터뿐만 아니라 AWS의 오로라 및 레드시프트 백업 자료를 로드하고 처리할 수 있다. 이를 통해 고객은 데이터가 MySQL 데이터베이스에 저장되지 않더라도 MySQL 히트웨이브의 이점을 활용할 수 있다. 쿼리 성능은 데이터가 저장되는 파일 형식에 관계없이 동일하다.

뿐만 아니라 MySQL 히트웨이브 레이크하우스를 사용하는 고객은 MySQL 데이터베이스에 저장된 OLTP 데이터로 쿼리를 생성하고 이를 오브젝트 스토리지에 저장된 데이터와 결합할 수 있다. OLTP 데이터에 대한 모든 변경 사항은 실시간으로 업데이트되고 쿼리 결과에 반영된다.

MySQL 오토파일럿은 MySQL 히트웨이브용 머신러닝 기반 자동화 기능을 제공한다. 자동 프로비저닝 및 자동 쿼리 계획 개선과 같은 기존 MySQL 오토파일럿 기능이 MySQL 히트웨이브 레이크하우스에서 개선되어 데이터베이스 관리의 간접비용이 절감되고 성능은 향상되었다.

또 MySQL 히트웨이브 레이크하우스에서는 자동 스키마 추론, 적응형 데이터 샘플링, 자동 로드, 적응형 데이터 흐름 등 다양한 새로운 MySQL 오토파일럿 기능을 사용할 수 있다.

오라클은 머신러닝에서 VS 코드 플러그인에 이르기까지 MySQL 히트웨이브의 향상된 다양한 기능을 발표했다. MySQL 히트웨이브의 데이터베이스 내 머신러닝 기능은 예측 모델을 지원하도록 더욱 강화됐다.

MySQL 히트웨이브에 최적화된 새로운 머신러닝 설명 기술도 추가되었다. 이제 데이터 과학자는 알고리즘 선택, 기능 선택, 점수 지표 및 설명 기법을 포함하여 자동화된 히트웨이브 ML(HeatWave ML) 학습 파이프라인의 다양한 단계에 영향을 줄 수 있다. 히트웨이브 ML은 고객이 머신러닝 모델을 히트웨이브로 가져올 수 있도록 향상됐다.

저작권자 © 중앙뉴스 무단전재 및 재배포 금지