全ての職種で求められる "データエンジニアリング力" とは

本セッションは以下3つのアジェンダで進行しました。

1. 職種とデータフロー
2. 求められるデータエンジニアリング力とは
3. エン・ジャパン様における取り組み

セッションの前半を担当した弊社の岩田は、独立系SI企業に新卒で入社し、データベースエンジニアや機械学習におけるR&D所属を経験したのち、AIベンチャーにプロジェクトマネージャーとして従事。その後、弊社のHead of Solution Architectとして活動しています。

最初のアジェンダは「職種とデータフロー」について。セールスはSFAのデータ、マーケティングであればMAのリード情報、経理であればバックオフィスのデータ、といったように職種ごとに異なるデータを管理しています。

では、ビジネス部門では現状、職種ごとでどのようにデータが扱われているのでしょうか。今回はセールスとマーケティングを例に挙げて、フロー全体を追っていきます。

「例えば大企業の新規事業チームのような、10人以内の小規模なチームでデータを管理する場合、シンプルな表計算ソフトで作成した1つのシートを、セールスとマーケティングが共有して運用していることが多いと思います。

中規模の組織では、セールスではSFAを、マーケティングではMAを導入することが増えるでしょう。それぞれの業務にあったツールを選んだ結果、データを分けて管理していくことになり、それぞれのデータをうまく連携したいと考えるようになります。

その結果、SaaSサービスごとに異なるデータや項目を共有するための連携数が増えていくのです」（岩田）

今後ますます重要な要素になっていくのが、SaaS間のデータ連携です。アメリカではSaaSサービスの数が大きく増えており、2020年の数字では1社あたり80サービス導入しています。一方の日本では、1社あたり約8.7サービスに留まっているため、今後も日本企業のSaaS導入は今後も増えていくでしょう。

「SaaS利用が当たり前になる環境で、職種ごとの担当者がデータ専門の担当者にデータ分析を依頼していたら、市場の変化にビジネスが追いつきません。自分たちが扱うデータを、自分たち自身で理解を深めていくことは、より重要な要素になっていくはずです」（岩田）

将来的にさまざまな職種でデータに対する理解が必要となる中で、どのような能力が私たちには求められるのでしょうか。今回の講演では以下の3つのスキルが提示されました。

• ビジネス力
• データサイエンス力
• データエンジニアリング力

「今回のテーマでもある『データエンジニアリング力』に必要な要素を追いかけてみましょう。

例えば、SFAのデータがあったとします。まずはデータを見える化するために、分析に必要な要素を洗い出して整理します。データをグラフで見える化して分析していくためには、データをクレンジングするETL（抽出・変換・格納）やELT処理が必要です。

そこから具体的なインサイトを見つけて仮説を立て、アクションに移していく、という流れです。このデータをさらに深く掘っていくアプローチはデータサイエンスにつながっていくのですが、その流れの土台となるエンジニアリング要素が非常に重要になってきます。

全ての職種に求められるデータエンジニアリング力とは、ビジネスに必要なデータを理解した上で、自分たちに必要なツールや手段、環境を考えられる力だと思います。それによって、必然的にコストやリスク、今後の拡張性までも検討できるのではないでしょうか」（岩田）

primeNumberでは、データエンジニアリング力を高めるワークショップをご用意しています。「企業のステップアップを支える」を掲げ、お客様が抱える課題に対して、知識・データ・組織という3つの観点から取り組んでいることが特徴です。

後半のセッションでは、エン・ジャパン社のワークショップ事例をご紹介します。「ボトムアップの観点からデータエンジニアリング力を理解したい」「将来的に現場のチームだけで自走させたい」という課題に対してどのように取り組み、どのような成果が得られたのでしょうか。エン・ジャパン社のデジタルプロダクト開発本部BIグループのマネージャー、松尾 祐太郎氏にお話を伺いました。

「今回のセッションでは、弊社プロダクトの『engage（エンゲージ）』というHRテックのサービスにおける事例をご紹介させていただきます。『engage』はゼロ円から求人ページや採用ホームページを作成できるBtoB向けのプロダクトです。国内で40万社にご利用いただいており、現在50万件以上の求人情報が掲載されています。

この数字からも分かる通り、BtoBとBtoCの両面で日々大量のデータが発生しています。サービスの価値を高めていくため、この大量のデータを活用していくことが競合優位性に大きく関わってくるビジネスモデルなのです」（松尾氏）

同社が「データエンジニアリングワークショップ」の取り組みを決めた背景には、どのような課題があったのでしょうか。「データエンジニアリング力が不足していた」と語る松尾氏より、取り組み以前の状況についてお話しいただきました。

「データエンジニアリング力の不足には、2つの要因がありました。1つはデータ分析基盤が整備されていないこと、もう1つはデータエンジニアリング力を高めていく人材とスキルが不足していたことです。

データ分析基盤が未整備であったため、レポーティングや資料の作成の際はツールの管理画面から直接確認するしかありませんでした。アド（広告）データの例では、Yahoo!、Google管理画面からデータをエクスポートし、それを手作業でGoogleスプレッドシートに貼り付けてグラフ化し、PowerPointに落として資料に使っていました。手作業が発生するため、時間が掛かるだけでなく、数値がずれるといったミスも起きていたのです。

弊社では、多くの社員にTableauのアカウントを渡し、Amazon Redshiftから自由に分析ができる仕組みを整えていました。その結果、別の人が同じようなデータを毎回処理して分析をするという、ダブルコストが発生したのです。加えて、同じように処理しているにも関わらず、なぜかデータがズレてしまったため、データへの信頼性も課題となりました」（松尾氏）

これらの課題に対して、まずTableau PrepというTableauの前処理ツールを用いて解決しました。同じ処理が発生する工程については、分析用途に応じてお墨付きをつけたデータマートを提供し、これによって前処理のダブルコストは発生せず、データのズレもなくなっています。

このようにデータ分析基盤の整備を進めたものの、まだ課題は残っていたといいます。その課題が「人材とスキルの不足」です。

「私のグループでは、15名のうち10名が未経験か経験が浅い若手で、データ活用のスキルが足りていない状況だったのです。そこでまず、デジタルマーケティングに必要なスキルを三層に分けて定義しました。

・ポータブルスキル

ロジカルシンキングや問題解決の思考といった、どんな職種でも必要となるスキルです。このスキルは、社内研修で既にボトムアップできていました。

・ツールスキル

KARTEやTableauを扱うスキルです。デジタルマーケティングにおいて、ツールの活用はもはや必要不可欠であり、人材育成や社員1人ひとりの生産性を上げるためにも大事なポイントになります。このスキルについては、ツールベンダーさん主催の勉強会や書籍によって補完していました。

・汎用テクニカルスキル

JavaScriptやPHP、SQLの概念や基礎といった、デジタルマーケティングを進める上で汎用的に使えるスキルであり、今回の取り組みで最も重要な要素でした。なぜならば、ツールの裏側では必ずプログラミングが動いているので、そのプログラムの基礎を理解することはツールを最大限活用し、成果に繋げていくために必須となります。

以前はProgateや社内研修である程度はカバーしていたのですが、まさに『データエンジニアリング力』がブラッシュアップできていないことが課題でした。『データエンジニアリング力』は幅が広く、言語化が難しい領域だからです。このスキルのボトムアップがしたいと感じてはいたものの、最適な打ち手がないために八方ふさがりでした。

そのタイミングで、岩田さんより『データエンジニアリングワークショップ』の研修パッケージをご提案をいただきまして、導入を決めました」（松尾氏）

「データエンジニアリングワークショップ」を受講することになったエン・ジャパン社のデジタルマーケティング部では、ワークショップ後にどのような成果が得られたのでしょうか。実際にワークショップを受講した参加者からの声をご紹介させていただきます。

「KARTE Datahubを用いてMAツール（Adobe Marketo Engage）と情報を連携し、パーソナライズされた接客を実現できました。Howの部分だけでなく、連携の仕組みやデータの流れから体系的に学べたため、新しい施策を実施する際にどのようなデータが必要か議論したり、自分自身でデータを取得できるようになりました。結果として施策の幅が広がり、スピード感も上がっています」（入社3年目のマーケター）

データ取得をエンジニアへ依頼する必要がなくなり、マーケター自身が完結できるようになったことも、データ活用のスピード感が上がった背景にあると松尾氏が補足しました。

「『機械学習の施策で、SQLを活用することで自分自身で前処理を行えました』というコメントも寄せられています。Googleアナリティクスのログデータからデータを取得する場合、その仕様が特殊だったためにエンジニアの理解に時間が掛かっていたのです。

しかし、今回のワークショップでは、GoogleアナリティクスのデータをSQLでどう扱うかというコンテンツも用意いただけたため、マーケター自身で自己完結できるようになりました」（松尾氏）

今回のワークショップ全体を振り返り、松尾氏が最も変化を実感したエピソードが、異動1年目のマーケターから自主的に課題の指摘と、改善施策の提案があったことだった。以前はアドのデータをスプレッドシートに移して手作業で分析しており、その分析プロセスの改善にtrocco®を導入してみないかと提案されたのだという。

「以前からアドのデータを手作業で分析していることを課題だと感じていましたが、なかなか手が回っていなかったのです。しかも、データパイプラインの全体像を理解していないと、そもそも課題だと気が付かない部分なので、他の人には任せられないと思い込んでいました。

しかし今回のワークショップによって、メンバーのデータエンジニアリング力が向上し、パイプライン全体を理解できるようになり、課題感を共有できるように変化したことは大きいポイントだったと感じています」（松尾氏）

課題はいくつか残っているものの、「engage」の基本的なデータ分析基盤は概ね完成していると松尾氏は評価しています。その一方で、今後取り組んでいきたいミッションに「データの民主化」「AI推進（内製化）」「データレイク整備」「trocco®の活用（データ分析基盤の整備）」の4項目を掲げています。セッションの最後に、今後のミッションについてお話しいただきました。

「まず『データの民主化』について。データ分析が強い人と弱い人の分布が、組織内で偏っていると感じています。Tableauの活用をもっと進め、データパイプラインへの理解を促進していくことで、誰もがデータドリブンで意思決定ができる状態が理想です。

『AI推進（内製化）』としては、機械学習・AIを活用したプロダクト開発をどんどん進めていきたいと考えています。そのためにもデータを集めて整えていくこと、そして非構造化データを分析していくことが重要であり『データレイクの整備』が必要です。

そして最後に、『trocco®の活用』を進めていきたいですね。私のチームでは、データ活用の推進にあたって、エンジニアだけに頼らない組織体制を目指しています。マーケターやアナリスト自身がデータを活用できれば、あらゆる施策をスピーディに回していくことができるでしょう。データ活用において「trocco®」はとても強力なツールだと感じていますので、さらに活用を進めていきたいですね」（松尾氏）