#BotFramework の Telemetry データを #PowerBI で分析する

本稿は「Bot Framework の Telemetry データを Power BI で分析する」というテーマです。
多くの Power BI ユーザーの皆さんにはかなり変化球な投稿かもしれませんが、こういう使い方もあるよという例として、参考にしていただければ。

bf_pbi_dashboard_01

今回は Power BI メインで、Bot アプリの実装についてはかなり薄めの紹介です。
(ブログ上での投稿の)順序は逆になりますが、どうやって実装するのか? についてはまた改めて。


■ 前提

Bot アプリケーションは、十分な設計を行わなかったり運用時のことまで考えずに実装したりしてしまうことがあるようです。
それはマズいよねという話は、Tech Summit 2018 セッション「ユーザー インターフェースとしてのチャット ボット開発手法と Microsoft Bot Framework v4」でも取り上げました。

運用については、Bot アプリケーションでは以下を考えることになると思います。

  • Web アプリとしての Bot の稼働状況
  • ユーザーと Bot との対話の分析

一つ目はいわゆるアプリログですが、二つ目の「対話の分析」は Bot ならではの考慮点ですね。
「ユーザーが求めているものは何か(=Bot に何を聞きたいのか、何をさせたいのか)」を Power BI で分析することにします。


■ Bot の Telemetry データ

Bot Framework V4 には、ユーザーが入力した内容を Application Insights に送信するミドルウェアが用意されています。

  • ユーザーが入力したメッセージ
  • Bot が応答したメッセージ
  • LUIS (自然言語処理でユーザーの意図を解析する) の解析結果
  • QnA Maker (Q&A=ユーザーの質問に対して回答を返す) の質問と回答

が自動的に Application Insights に送信されます。”ConversationalAI” というテーブルに保存されます。


■ Power BI で分析

ここまで来れば Power BI に慣れている人なら、ユーザーが Bot に求めているものを簡単に分析できますね。
最初から自前で ConversationalAI を分析してもいと思います。

もう一つとっつきやすい方法として、Bot Framework V4 の Enterprise Bot Template で Bot アプリケーションを作成する方法があります。
ConversationalAI に接続する Power BI テンプレートを一緒に出力してくれます。これをベースにすると簡単に分析できます。

例えば、こんな感じ。(大きな部屋でのセッションを想定したコンテンツなので、フォントが大きく、ページの構成もシンプルですが)

メッセージ受信の概要
enterprisebot_overall_jp

“channel” のカウントを円グラフと、“channel” を日別(“timestamp”)に集計した積み上げグラフ

会話フローの日別集計(Intent = ユーザーの意図 ごとの集計)
enterprisebot_flow_jp

Intent 別(“Message Type”)・日別(“timestamp”)の積み上げグラフと、それをカウント順に並べなおしたグラフ

Intent (=ユーザーの意図)の比率で集計
enterprisebot_intent_counter

Intent(”Message Type”)の比率の円グラフと、Intent 別メッセージ数の遷移の面グラフ

 


ユーザーの入力が英語の場合は、Common Word や Word Cloud も有用なページです。
が、残念ながら日本語に対応していません。
ミドルウェアが形態素解析に対応してくれることを期待しましょう。

enterprisebot_commonwords_en

enterprisebot_wordcloud_en

 


Bot アプリを作る場合は、必ずユーザーの利用状況を把握できるような仕組みを入れましょう。
Application Insights に Telemetry データを送信して Power BI を使うと、簡単に分析できますよというお話でした。

Bot アプリを開発する方は、Power BI の利用を検討してみてください。
Power BI のプロフェッショナルな方は、社内の Bot アプリチームに Power BI 連携が簡単にできるんだよということを教えてあげてください。

広告
カテゴリー: Application Insights, Bot Builder SDK, Bot Framework, Bot Service, Cogbot, Power BI タグ: , , , , , , パーマリンク

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト /  変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト /  変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト /  変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト /  変更 )

%s と連携中