システム構築の世界では往々にして、かつてのベストプラクティスが現在の“アンチパターン”と化してしまうケースがある。データプラットフォームに関していえば、企業の情報システムで長年にわたり当たり前のように行われてきた「ETL」がそれにあたるかもしれない。従来のプロセスでは、テクノロジーのクラウド化やデータの大型化への対応が困難になりつつあるばかりか、運用エンジニアに与える負荷といった面でも大きな課題を抱えている。これに対して、ETLなしでさまざまなデータを統合し、基幹システムのデータを移動・加工する手間なく分析を可能にする「ゼロETL」のコンセプトが提案され、それを具現化するためのサービスが各社から登場している。現代の大規模なデータ活用に向けた、データ基盤のあるべき姿とはどのようなものか。
（取材・文／五味明子、編集／日高 彰）
 

基幹系のデータを分析する際の時間と負荷を解消

　オンプレミス全盛期では当たり前だった従来のETL－－トランザクションデータをOLTPデータベースから抽出“Extract”し、データウェアハウス（DWH）などの分析システム（OLAPデータベース）に合わせて変換“Transform”し、変換データをOLAPシステムに格納“Load”するという一連のプロセスは、クラウドネイティブ化が進む現在のデータ基盤にとってコストやオーバーヘッドの負荷が大きく、データのスケーラビリティーや処理の複雑化に対応することが難しくなっている。また、いったん構築したETLパイプラインの管理・運用がインフラエンジニアに苦痛を与える作業となっているケースも少なくない。
 
　クラウドの普及にともなっていくつもの課題が浮き彫りになってきたETLに対し、米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）のアダム・セリプスキーCEOは2022年11月、年次カンファレンス「AWS re:Invent 2022」の基調講演において「ゼロETLという未来（A Zero ETL future）」というコンセプトを打ち出し、データプラットフォーム業界に強いインパクトを与えた。また、ほぼ同時期に米Databricks（データブリックス）や米Snowflake（スノーフレイク）といったクラウドネイティブなデータプラットフォームベンダーが、基幹システムであるOLTPと分析システムであるOLAPの統合、あるいはデータレイクとDWHの統合といったアプローチを打ち出しており、筆者はこのころからゼロETLというキーワードを見かける機会が増えたように記憶している。
 
　現在では主立った大手クラウド事業者やデータプラットフォームベンダーの多くが、ゼロETLを銘打ったサービスを提供しており、米Salesforce（セールスフォース）のようにこれらのプラットフォーマーと連携して、双方のプラットフォーム間をゼロETLでデータ共有可能な環境を提供しているケースもある。

　ここで注意しておきたいのが、どのベンダーも「ゼロETL」という強い言葉から想起されるような、“すべてのETLが完全になくなる世界”を実現しようとしているわけではない点だ。現時点でプラットフォーマーの多くが目指しているのは、基幹システムに置かれているトランザクションデータを分析に適したかたちに整えるための準備時間の短縮と、パイプライン構築／運用にかかる負荷の軽減である。

　たとえばゼロETLの提唱者であるAWSの場合、リレーショナルデータベースの「Aurora」やNoSQLデータベースの「DyanamoDB」など、同社が提供するマネージドデータベースサービスに書き込まれたデータを、DWHサービスである「Redshift」に自動的にレプリケーションする「zero-ETL integrations」を、ゼロETLサービスのメインに位置づけている。zero-ETL integrationsを利用することで、ユーザーは自らデータを動かすことなく、またパイプラインを構築することなく、ペタバイト級のトランザクションデータであってもリアルタイムにデータベースからDWHへと格納することができる。

　つまりETLのE（抽出）とL（格納）を同時に自動で実行し、DWHへの格納後にSQLでT（変換）を行うことで、パイプライン構築の負荷を大幅に削減しているのだ。加えて、BIサービスの「QuickSight」や機械学習サービスの「SageMaker」といったAWSの分析サービスをRedshiftと連携させることで、意思決定に必要なインサイトを迅速に提供することも可能になる。また、ストレージサービスの「S3」のデータをRedshiftに自動コピーする機能も提供されており、今後もRedshiftをコアにした各種データサービスのインテグレーションが続くと見られる。