外資就活ネクストの開発チームです。
プロダクト開発では、新しい機能をリリースすること自体が目的になってしまうと、その機能がユーザーや事業にどのような変化をもたらしたのかを十分に振り返れません。また、利用が広がる一方でエラーが発生していないか、ユーザーとの接点であるメールが実際に読まれているかといった点も、継続的な改善には欠かせない情報です。
そこで今回は、リリース後の変化を開発チーム自身が確認し、次の改善につなげるために整備した3つのダッシュボードについてご紹介します。
背景: リリース後の状況をすぐに確認できるようにしたい
これまでも、事業KPIは社内の各種レポート、ユーザー行動はGA4、システムのエラーはDatadogというように、それぞれのデータ自体は取得していました。
一方で、確認したい内容ごとに複数の画面やクエリを行き来する必要があり、機能をリリースした後に「どの指標が、どの程度変化したのか」「主要な操作でエラーが増えていないか」を素早く把握することが難しい状態でした。
また、メール配信については、GA4でメールからサービスへ遷移した後の行動を確認できるものの、メールそのものがどの程度開封され、本文中のリンクがどの程度クリックされたのかまでは把握できませんでした。
そこで、次の3つの観点で可視化を整備しました。
- リリースした機能が事業KPIに与えた変化
- 新機能や主要機能で発生しているエラー
- メールの配信数、開封率、クリック率などの配信実績
取り組んだこと
1. 機能リリースと事業KPIを結びつけるダッシュボード
まず、開発チームがリリースした機能と、事業上重視している指標を同じ画面で確認できるダッシュボードを作成しました。
ダッシュボードでは、機能ごとに関連するユーザー行動を整理し、リリース前後や一定期間の推移を確認できるようにしています。単純なページビューだけでなく、機能の目的に応じて、利用者数やコンバージョンに至るまでの行動を追える構成にしました。
これにより、リリース後の振り返りで感覚的に成果を判断するのではなく、共通の数字を見ながら、次の改善方針を話せるようになりました。
2. Datadogで新機能・主要機能のエラーを可視化
次に、新しくリリースした機能や、サービス上の主要な操作に関するエラーをDatadogのダッシュボードに集約しました。
バックエンドのAPIや非同期処理だけでなく、フロントエンドで発生したブラウザエラーも対象にし、機能単位で状況を確認できるようにしています。エラー件数の推移に加えて、影響を受けた画面や処理を確認できるため、異常が起きた際の調査にも入りやすくなりました。
従来はエラー通知を起点に個別調査することが中心でしたが、ダッシュボードを定期的に確認することで、通知の閾値には達していないものの増加傾向にあるエラーや、特定画面に偏っている問題にも気づきやすくなります。
また、事業KPIのダッシュボードとあわせて見ることで、「利用が増えた結果としてエラーも増えていないか」といった、利用状況と品質の両面からリリースを評価できるようになりました。
3. メール配信サービスのAPIを利用した効果測定
外資就活ネクストでは、ユーザーへの情報提供やサービスの利用促進のために複数種類のメールを配信しています。
これまではGA4を利用し、メール内のリンクからサービスに遷移した後の行動を計測していました。しかし、この方法だけでは、メールが届いてからサービスへ遷移するまでの状況は分かりません。
そこで、メール配信サービスのAPIから配信実績を取得し、メール種別ごとの配信数、開封率、クリック率などを確認できるダッシュボードを整備しました。
メールごとに集計できるよう、配信時に識別用の情報を付与し、その単位でAPIのデータを集計しています。これにより、メールの件名や配信対象が開封につながっているか、本文の内容や導線がクリックにつながっているかを分けて考えられるようになりました。
GA4のデータと組み合わせることで、メールの配信から開封、クリック、その後のサービス上での行動までを段階的に確認できます。
なお、メールの開封率はメールクライアントのプライバシー保護機能などの影響を受けるため、絶対値だけで判断せず、同じ条件での推移やメール種別間の比較を中心に利用しています。
ダッシュボードを作って終わりにしない
ダッシュボードは、作成しただけでは継続的な改善につながりません。今回の整備では、開発チームや事業側のメンバーが定期的に確認しやすい単位に指標をまとめ、振り返りの場で共通の情報として使えることを重視しました。
また、新しい機能を開発する際には、実装だけでなく「リリース後に何を見れば成果と品質を判断できるか」もあわせて検討するようにしています。計測に必要なイベントや識別情報が不足している場合は、機能開発の中で追加します。
おわりに
今回の取り組みにより、リリースした機能について、事業への影響、システムの品質、メールを通じたユーザーとの接点を、それぞれ継続的に確認できるようになりました。
機能を作ることと、その結果を計測することを一つの開発サイクルとして扱うことで、データを根拠に改善の優先順位を考えやすくなります。今後も、プロダクトの変化に合わせて指標やダッシュボードを見直し、開発と事業の両面から改善を続けていきます。
弊社では、一緒に技術的な課題に取り組んでくれるエンジニアを募集中です！
現在募集中の採用情報の詳細は下記をご覧ください。
https://herp.careers/v1/howtv/requisition-groups/dfc2cc4a-edcc-49c0-9d83-b5870b734c04
