trocco® Product Update & Roadmaps

trocco®はリリース以後、ETL/ELTやワークフローなど「データ統合」に関するサポート機能を充実させてきました。しかしながらデータエンジニア・分析基盤に求められる役割はどんどん複雑化しています。そうした情勢を踏まえ、trocco®は「データマネジメント」全般をサポートするプラットフォームに進化していきます。本セッションでは新機能「データカタログ」を始めとする直近のアップデートや、2022年の開発ロードマップを公開します。

セッションレポート

データマネジメントプラットフォームへと進化を続ける「trocco®」

小林 寛和

企業におけるデータ活用の重要性が高まり、データ分析基盤に求められる役割も変貌しています。そうした状況の変化に対応するため、データ統合自動化サービス「trocco®」は、データマネジメント全般をサポートするプラットフォームへの進化を目指し、データカタログをはじめ、データエンジニアリング業務に役立つ様々な新機能を拡充。trocco®の開発責任者である株式会社primeNumber 取締役執行役員 CPOの小林寛和が、直近のアップデートと開発ロードマップを紹介しました。

小林 寛和 (株式会社primeNumber 取締役執行役員 CPO)

データエンジニアが“攻めの仕事”に集中できる機能を追加

trocco®は、2018年10月にデータ転送のETL(抽出・変換・格納)に特化したサービスとしてリリースされて以降、データマートやジョブ管理のワークフローといったデータ統合にかかわるサポート機能を拡充してきました。セッションの冒頭、小林は「trocco®の歩みと今」について話しました。

「最近では2021年7月にデータリネージ、12月にはデータカタログ機能を追加するなど、データマネジメント全般をサポートし、データエンジニアの皆様が“攻めの仕事”に集中できることをコンセプトに、より広範なサービスへと進化しています」(小林)

そして、直近のアップデートについて解説します。主なアップデートとして、以下4つが挙げられました。

  1. コネクタの拡充
  2. データマート
  3. テンプレートETL
  4. データカタログ

まず、コネクタの拡充では、新たに転送元のコネクタを追加しました。Apple Search Adsや国内ASPのA8など、6つのサービスを転送元として利用できるようになりました。
また、転送先BigQueryのクラスタ化テーブルの対応や、転送元・転送先Salesforceでオブジェクトの自動補完が可能になるなど、コネクタのアップデートについて説明しました。

「データマートのアップデートでは、BigQueryのデータマートに自由記述モードを追加しました。これにより、SELECT文以外にも、DDL文などが実行可能となり、テーブルスナップショットの取得など、ワークフローの柔軟性が向上します。従来のAmazon Redshift、BigQueryに加え、Snowflakeに対応することも、今回のデータマートのアップデートのポイントです」(小林)

テンプレートETLのアップデートでは、Unicode正規化の手法の1つであるNFKC方式の文字列正規化処理を追加しています。カラム名と変換方法を指定することにより、全角英数を半角に変換したり、半角カナを全角に変換したりするなど、扱いやすい形でデータ転送が可能です。

欲しいデータがすぐ見つかり、誰でも理解できるデータカタログ機能

データカタログ機能は2021年12月にリリースしました。その背景には、データにかかわる様々な悩みが寄せられていたことがあるといいます。例えば、trocco®を使ってデータ分析基盤を構築したものの、「いざというときに分析データが見つからない」「データの意味・構造の理解が難しい」「データが多過ぎて複雑化してしまった」といったことです。

「こうした悩みを解消するのが、データカタログ機能です。欲しいデータがすぐ見つかり、誰でもすぐに理解できるようになります。具体的には、まずtrocco®が『BigQueryのテーブルやカラムには何があるのか』といったカタログデータを抽出します。そして、そのデータを元にカタログを構築します。更に、データソースから抽出したメタデータを自動的に紐付けることが可能です。BigQuery上にある分析データに対し、テーブル・カラムの情報といったメタデータを自動で拡充することにより、検索性が大幅に向上され、テーブル同士の関係性を可視化するのが特徴です」(小林)

また、自動メタデータ統合対象となるデータソースには、BigQueryやMySQL、Salesforce、Google Analyticsなどに加え、近々、kintone、PostgreSQLなどにも対応する予定だといいます。

その他にも、DWH(データウェアハウス)上にあるメタデータを横断的に検索できる「メタデータ検索」や、DWH上のテーブルを可視化してデータの依存関係などの把握が可能な「ER図」、より詳細な分析データの理解を支援する「カタログ詳細」、2つのテーブルの関係性をベン図で可視化できる「JOIN分析」、データカタログを見ながらクエリを書き、その結果を参照できる「クエリエディタ」といった機能があります。

「これらの機能を含め、2022年3月末を目処にデータカタログ機能をオープンβ版として公開予定で、利用をご希望されるtrocco®ユーザーの方はどなたでもお使いいただけます」(小林)

このほか、イベント当日のアップデートとして、以下の3つについても説明しました。

  1. 「ユーザー定義メタデータ※」機能のリリース
  2. trocco®ヘルプセンター」のリニューアル
  3. 「trocco®英語版」のリリース

※ユーザー自身がフィールドを定義し、独自のメタデータを保存できる機能。

データ転送やエンタープライズ対応などアップデートを計画

次に、今後の開発ロードマップについて、以下の4つが挙げられました。

  1. データ転送
  2. データカタログ
  3. エンタープライズ対応
  4. グループ機能

「データ転送では、コネクタを追加する予定です。転送元・転送先にGoogleドライブ、転送元にExcel形式のファイルが加わります。また、転送元にtrocco®を指定し、ジョブの履歴やデータカタログで取得したメタデータをBigQueryなどへ転送可能になります。これにより、trocco®の利用状況の分析などが行えます」(小林)。

また、1つのデータソースに複数のテーブル・オブジェクトが紐づく場合、個別に転送設定を作成するのではなく、trocco®︎上でテーブルリストにチェックをつけるだけで一括作成ができる「一括インポート機能」も大幅にアップデートします。対応コネクタの拡充や、インポート後のテーブル追加・削除に自動追従、また「一括インポート」単位での操作に対応します。

現状trocco®のインフラ基盤にはAWS(Amazon Web Services)のみを採用しておりますが、基盤としてGoogle Cloud Platformをご選択いただける「マルチクラウド対応」の追加も予定しています。

エンタープライズ対応は、オンプレミス環境のデータソースとtrocco®をセキュアに接続する「フレッツ閉域網」に対応するほか、お客様AWS環境とtrocco® AWS環境をAWS Private Linkで接続する仕組みを用意します。加えて、trocco®の稼働率などに関するSLA(サービス品質保証)を拡充する計画です。

オプションの「グループ機能」では、より細かな権限管理や、作成した設定を複数グループへ共有可能になるアップデートを実施予定です。

このほか、trocco®の情報交換、機能要望などにご活用いただけるご契約者専用の「trocco®ユーザーSlack」の開設などについて述べたうえで、小林は次のように語り、セッションを終えました。

「trocco®は、データカタログ機能を皮切りに、メタデータ領域へとカバー範囲を広げてきました。今後はさらにデータモデリングの領域へと機能を追加・拡充していく予定です。その結果、データマネジメントにおいて出来ることが、さらに増えていくと思いますので、ご期待ください」(小林)

登壇者
小林 寛和
小林 寛和
株式会社primeNumber
取締役執行役員CPO
慶應義塾大学卒業後、2014年より株式会社リブセンスへ入社し、データエンジニアとして同社分析基盤立ち上げをリード。2017年より現職に入社し、自社プロダクト「systemN」におけるSpark/Redshift活用等のデータエンジニアリング業務を行う。そんな中、データ統合業務における工数削減が課題だと感じ、データ統合を自動化するサービス「trocco®」を立ち上げる。

セッション関連情報については、こちらよりご覧ください。

trocco®️
trocco®️

関連するセッション

メニュー