Copilot Studio で作成したCopilot の生成型の回答の実行ログを利用して、継続的な改善を行うためのアプリです。GitHub にソリューションを公開しておりますのでCopilot の改善を考えていらっしゃる方は是非ご利用ください。
こちらの利用方法とインストール方法はYouTubeで紹介しております。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-1024x572.png)
Copilot for Microsoft 365 には対応しておりません。
Copilot 改善アプリ(CopilotImprove)はあくまでもDataverse に保存されているCopilot の実行履歴をJSON形式から情報を抽出、さらにUnicodeエスケープシーケンスとなってしまっている会話内容を読める形式に変換、表示し、さらに改善活動につなげていくワークベンチを実行するアプリです。
参考までに、標準で会話履歴が表示されているConversationTranscript
テーブルには以下のように複雑に会話履歴が保存されております。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-1-1024x524.png)
目次
動画
1分ぐらいで実際に改善を行う流れを紹介しています。
作成した背景
Copilot の会話の改善を簡単に行えるようにしたい、ということで開発を思いつきました。
動いたよ、できたよという結果は是非、 ギークフジワラのXアカウント までメンションしてご報告ください!!
標準のレポートではCopilot 毎の情報は提供してくれますが、こちらのアプリは環境毎のCopilot の情報を提供してくれます。
Copilot の実際の改善活動を行うチームは、環境ごとに配置されている想定で作成しています。
例えば、環境が会社毎などで分けれれている場合、その会社ごとでCopilot の改善活動を行っていくのではないか、として想定しています。
テナント全体ではCoE Starter Kit による管理を想定しており、環境はこちらのアプリ、テナントはCoE Starter Kit という分担で考えております。
Copilot 改善アプリの利用イメージ
各種レポート
Copilot Studio で作成したCopilotの、環境内で生成型の回答(Generative Answers)を行った際、そしてその改善活動の各種レポートを確認することが出来ます。
利用イメージ
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-2-1024x524.png)
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-3-1024x524.png)
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-4-1024x524.png)
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-5-1024x524.png)
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-6-1024x524.png)
改善対象のログに対して、バックグラウンドで連携されてきます。
Copilot を利用しているユーザーや管理者はデータの収集に関して特に何もする必要がありません。
一度、このアプリを環境にインポートしたら自動的に収集されるようになります。
ただし、Copilot での会話実行後、データ収集まで1時間ほどのタイムラグがあります。
詳細を確認するとメッセージとして送った内容と回答内容、そしてその結果等について確認することが出来ます。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-8-1024x524.png)
改善アクションへの活用
可視化できるだけでなく、担当者の割当や改善アクションにつなげることが出来ます。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-9-1024x524.png)
ビジネスプロセスフローでステージを管理することも出来ます。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-10-1024x524.png)
生成AI による結果の確認
成功したパターン
回答の生成に成功した場合は「回答した」という結果となり、その応答も返ってきます。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-11-1024x524.png)
返答が実行されなかったパターン
不正なメッセージなどでは「OpenAI によってフィルターされた」などの履歴も確認することが出来ます。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-12-1024x524.png)
Copilot Studio 側でコンテンツ モデレーションによってフィルターされた結果も反映されてきます。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-13-1024x524.png)
データソースに関連性が高い情報がなかったときには「検索結果なし」として返ってきます。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-14-1024x524.png)
Power Automate で行っている処理
Power Automate クラウドフローにて各種変換、Dataverse カスタムテーブルであるCopilot 改善
テーブルへ格納処理を行っています。
ConversationTranscript
テーブルにデータが作成されると、フローが起動します。そして、生成AIでの処理が行われるとGenerativeAnswersSupportData
に関するActivity
が発生しますのでヲの情報を見を抽出しています。値がないときはCopilot 改善
テーブルへの値の保存は実行されません。
![](https://www.geekfujiwara.com/wp-content/uploads/2024/07/image-15.png)
環境へのインストール
前提条件
以下のライセンスが必要です。
- Copilot Studio
- Power Apps Premium またはPower Apps per app
ソリューションのインポート
ソリューションはリリースに提供されています。不定期でアップデートします。最新のリリースを利用するようにしてください。
アップデート情報は ギークフジワラのXアカウント でご案内します。フォローしてお待ち下さい。
ソリューションをダウンロードして、Zip形式のままインポートを行います。
インポート後、カスタマイズをすべて公開し、クラウドフローがオフになっている場合オン(有効)にしてください。
ウイザードに則って行えば問題なくインポートができるはずです。ご不明な方はインポート方法は以下を参考にしてください。
記事内の画像のリンクが切れて、せっかくの内容がわかりにくくなっているので、更新頂けると大変うれしいです。
失礼しました。画像リンクを修正しました。ご指摘いただきましてありがとうございました。
アプリを試用させて頂いております。ただ、意図した動作にならない部分あり困っております。恐らくCopilot Studio側で仕様変更が発生しているのではと推測しています。
1)
生成型の回答のノードを通る質問をしているにも関わらず、GenerativeAnswersSupportData がJSONの中に含まれないケースがあります。
2)
必ずではありませんが、クラウドフローがエラーになります。
条件2のノードで「ActionFailed. An action failed. No dependent actions succeeded.」というエラーが出ます。
実際のエラー箇所は「はいの場合」に分岐した後のPurseJSONのノードのようで、「ValidationFailed. The schema validation failed.」というエラーです。