Azure のサービスであるApplication Insights と接続することで、Microsoft Copilot Studioのテレメトリのキャプチャを行うことができます。
Capture telemetry with Application Insights – Microsoft Copilot Studio | Microsoft Learn
この記事では、Microsoft Copilot Studioを使用している方向けに、Application Insightsを活用することで、エージェントのパフォーマンスやユーザーインタラクションを詳細に分析することができます。以下では、そのメリットと手順について詳しく説明します。
メリット
以下のようなメリットを享受します。
- 詳細な分析:
- ログメッセージとイベント: エージェントとのやり取りを詳細に追跡。
- カスタムテレメトリエベント: 特定のトピックやイベントに関するデータを収集。
- パフォーマンスの向上:
- リアルタイムモニタリング: ライブアプリケーションのパフォーマンスを監視し、問題を迅速に特定。
- ユーザー行動の分析: ユーザーのインタラクションデータを基に、エージェントの改善点を見つける。
- カスタマイズ可能なクエリ:
- Kustoクエリ (KQL): データを詳細に分析するための強力なクエリ言語を使用可能。
手順
目次
Application Insights のデプロイ
Application Insightsへの接続
設定ページに移動し、上級 を選択。
Application Insightsセクションで、Connection string (接続文字列)を設定。
テレメトリデータの分析
Azureポータルのログセクションに移動します。
クエリライブラリを閉じ、直接記載します。
KQL形式でデータをクエリすることができます。例えば、過去14日間のユニークユーザー数を日別に表示するクエリは以下のように記載します。
コピーしました！
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechartユーニークユーザーとしない場合は、以下の行を削除します。
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)1日でグループ化せず、1時間とする場合は以下の部分を1hと変更します。
let groupByInterval = 1h;その場合こちらの行も削除できます。
| where timestamp < queryEndDate結果として以下のようなクエリで詳細を取得することができます。
コピーしました！
let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1h;
customEvents
| where timestamp > queryStartDate
| render timechart実行履歴の詳細が要約されず表示されます。
こちらからクエリに名前をつけ保存することができます。
クエリ名を修正する場合はこちらで変更できます。
カスタムディメンション
カスタムディメンションとして以下の軸が用意されています。
| Field | Description | Sample Values |
|---|---|---|
| type | Type of activity | message, conversationUpdate, event, invoke |
| channelId | Channel identifier | emulator, directline, msteams, webchat |
| fromId | From Identifier | <id> |
| fromName | Username from client | John Bonham, Keith Moon, Steve Smith, Steve Gadd |
| locale | Client origin locale | en-us, zh-cn, en-GB, de-de, zh-CN |
| recipientId | Recipient identifier | <id> |
| recipientName | Recipient name | John Bonham, Keith Moon, Steve Smith, Steve Gadd |
| text | Text in message | find a coffee shop |
| designMode | Conversation happened within the test canvas | True / False |
Capture telemetry with Application Insights – Microsoft Copilot Studio | Microsoft Learn
まとめ
Microsoft Copilot StudioとApplication Insightsを組み合わせることで、エージェントのパフォーマンスを詳細に分析し、ユーザー体験を向上させることができます。これにより、エージェントの効果的な運用と継続的な改善が可能となります。
ぜひ、この手順を参考にして、エージェントのパフォーマンスを最大限に引き出してください！
