Dataverse のレコードをページングして大量に取得する | Power Automate

Power Automate から Dataverse の行を一覧にするアクションを利用すると、既定ではページングにより5,000レコードが取得できます。こちらはページングの量を設定から増やすと100,000行まで取得できますが、それ以上のレコードを取得するにはひと工夫が必要です。

For each やDo until は、特にPower Platform の保護機能であるPower Platform 要求 (Power Platform リクエスト) の制限に気をつける必要がある開発です。こちらはライセンス契約によって異なる要求数の上限があります。上限を超えると、フローが低速化します。超えている状態が続くと、フローはオフになります。リクエスト数が短時間で多くなりそうな時は、インターバルを1日程度開けて実行するとよいです。
本件は記事の最後に注意点として説明を行います。

今回はその方法をご紹介します。

ページングとはなんですか？

WebサイトAPIのページングとは、APIが大量のデータを返す際に、そのデータを複数の小さな部分（ページ）に分割して返す方法のことです。これにより、クライアントが一度に大量のデータを処理する負担を軽減し、サーバーの負荷も分散されます。

作成するフローのイメージ

このようなフローを作成します。Do untilとFetch XML を利用します。

作成方法

変数の準備

ページ番号と取得したレコードの件数を保管する変数をInteger形式で宣言します。

FetchXMLの式を取得する

FetchXMLでのフィルター条件を取得します。モデル駆動型アプリにて、フィルターを編集します。

設定したフィルター条件にて、FetchXMLをダウンロードします。

Power Automate の行を一覧にするアクションにFetchXMLを利用

ダウンロードしたFetchXMLをDataverseの行を一覧にするアクションのFetchXMLクエリのフィールドにペーストします。

page = "" を以下のように加えて、pageNumber変数を追加します。これにより、ページ送りができるようになります。

pageパラメータがFetchXMLに入っていない

FetchXMLにはpageの記載がありません。自分で手入力しましょう。

ページ数の設定

続けて、取得できたレコードの件数を変数に格納します。以下のようにLength関数を利用します。

Do until

ページ送りをしていくと、いつか値がなくなり件数が0になります。するとストップするようにします。それはDo untilに記載します。

Countフィールド

このCountは最大ページ数に当たります。Do untilの制限で5,000が最大です。この方法でページ送りをすると、1ページあたり5,000件のため、5,000×5,000件のレコードを取得できます。

つまり、25,000,000(2千5百万)件のレコードを取得できます。これを上回る場合、Fetch XMLのフィルター条件で分割して取得するとよいでしょう。例えば、オートナンバーなどで番号が割り振られている場合、下一桁0～9でフィルターしてそれぞれDo untilすれば、10倍のレコードを取得することができます。下2桁にすれば100倍です。