Dynamic Workflowsは、AIが書いた台本で複数のAIを動かします。
記事チェックの10項目を10体に分けたら、22件の指摘が返ってきました。
そのうち、実際に記事を直したのは1件でした。
Dynamic Workflowsは、AIが台本を書いて、その台本どおりに動く
機能の説明は、ここだけにします。
名前だけ見ると、「AIをたくさん動かす機能」に読めます。
ただ、核はそこではありませんでした。
・AIが、やることの段取りを台本に書く
・その台本どおりに、AIが何体も動く
公式ドキュメントの説明を借ります。
Dynamic Workflowsは、多数のサブエージェントを一度に動かすスクリプトです。
言語はJavaScriptで、そのスクリプトはClaudeが書きます。
ここでいう台本が、スクリプトのことです。
普通に頼むと、AIはその都度「次に何をするか」を考えます。
逆に、こちらは先に段取りを決めてしまいます。
公式の比較表も、この違いを「誰が次を決めるか」で整理していました。
サブエージェントやエージェントチームでは、Claudeが順番に決めます。
一方、こちらではスクリプトが決めます。
違いは体の数ではなく、段取りを先に決めるかどうかです。
先に決めてあるので、同じ手順をもう一度そのまま回せます。
途中の結果は台本の側に置かれ、Claudeが受け取るのは最後の答えだけです。
動いているあいだはバックグラウンドに回るので、待っているあいだもチャットは使えます。
同時に動くのは16体までです。
使えるのは、全ての有料プランです。
Proの場合は、/configの「Dynamic workflows」の行からオンにします。
用語は、Claude Code初心者が最初に理解すべき用語まとめ【非エンジニア向け・完全版】にまとめています。
何を渡して、どう採点したか
試したのは、自分のブログの記事です。
渡したのは、機械では判定できないチェック10項目でした。
先に、採点の決め方まで書いておきます。
渡したのは、機械で判定できない10項目
このブログには、記事を出す前のチェックが2種類あります。
スクリプトで自動判定できるものと、できないものです。
できないほうは10項目あり、いまは私が1つずつ目で見ています。
・事実以外を書いていないか
・同じ内容を別の言い回しで2回書いていないか
・体験談が記事全体の3割を超えていないか
チェックの中身そのものは、AIで作ったブログ記事、そのまま公開していいのか？品質チェックの方法に書きました。
今回は、その方法を人ではなくAIに渡したことになります。
渡した記事は、8月に公開した自分の記事の修正前バージョンです。
この版のあとに指摘を受けて直しているので、答え合わせができます。
| 項目 | 実測 |
|---|---|
| 動いたAIの数 | 10体（1項目に1体） |
| かかった時間 | 8分12秒 |
| 使ったトークン | 545,566 |
| 出てきた指摘 | 22件 |
| 途中で落ちたAI | 0体 |
トークンは多く使います。
ただ、プランによって意味が変わるので、金額には換算しません。
◯△×の決め方を、結果より先に書いておく
結果を見せる前に、何を正解とするかを決めておきます。
・○＝問題のある文にたどり着き、なぜ問題かも一致した
・△＝文にはたどり着いたが、理由が違った
・×＝たどり着かなかった
△は成功に数えません。
理由が違えば、その指摘どおりに直しても記事は直らないからです。
渡していなかった2点を、分母から外した
採点の前に、分母を決めます。
人が直した7点は、そのままでは分母にできませんでした。
7点のうち2点は、渡した10項目に入っていませんでした。
・「Googleが最後に取得した状態」という表現が、公式の言い方と違っていた
・レポートの初期表示で何が見えるかについて、仕様の理解が違っていた
どちらもGoogleの公式ドキュメントとの突き合わせです。
10項目の1つ目は「事実以外を書いていないか（実体験のないことを「試みた」と書いていないか）」です。
公式との照合は、ここに入っていません。
この2点は拾えなかったのではなく、そもそも頼んでいませんでした。
この2点を外すと、分母は5になります
5点のうち、理由まで当てたのは1点だった
ここがこの記事の芯です。
数字から先に出します。
AIにレビューを頼んだことがある人なら、この分かれ方に見覚えがあると思います。
| 人が直した点 | 結果 | 見つけたAI |
|---|---|---|
| 断定が強すぎた一文 | ○ 理由まで一致 | 断定回避の担当 |
| 評価が混じっていた一文 | △ 文は当てたが理由が違う | 前を向く一文の担当 |
| 裏が取れない日付 | △ 文は当てたが理由が違う | 図解余地の担当 |
| 件数の不正確さ | △ 文は当てたが理由が違う | 意味の重複の担当 |
| 対象を限定していない3箇所 | × たどり着かなかった | — |
理由まで当てたのは1件、文にたどり着いたのは4件でした
×だった1点は、同じ種類の食い違いが3箇所あったものです。
AIはその3箇所を1つも拾いませんでした。
ただし、同じ種類の4箇所目は拾っています。
4箇所目の件は、次の見出しで書きます。
△の中身を2件出します。
noindexの説明の一文について、AIは「同じことを2回書いている」と指摘しました。
人の指摘は違います。
「404が1件減っていて、数が合わない」でした。
文の位置は同じで、直すべき理由のほうが別でした。
もう1件も同じ形です。
日付を並べた一文について、AIは「日付が散っていて図が要る」と言いました。
人の指摘は「その日付は裏が取れない」でした。
前者を直すと図が増え、後者を直すとその一文が消えます。
同じ文を指していても、行き先が逆でした。
同じ文を指しても、なぜ直すかが違えば直し方も変わります。
今回の3件では、AIの指摘は「どこを見ろ」としては当たっていました。
理由のほうは、こちらで決める必要がありました。
人が挙げていなかった1件を、実際に直した
22件の中に、人が挙げていなかった指摘がありました。
正しいかどうかを確かめたうえで、実際に記事を直しています。
なぜこれを採用したのか、判断の基準も書きます。
・内部リンクを並べた一文には、17本と9本の記事が未登録と書いてある
・別の場所には、検査した時点で未登録だったのは1本と書いてある
数が合いません。
どちらが正しいかは、別の場所に残していた運用の記録で決まりました。
内部リンク9本の記事は、検査の時点で登録済みでした。
人は同じ種類の食い違いを3箇所直しています。
4箇所目だけが残っていました。
公開は8月14日、直したのは9月9日です。26日間そのまま出ていました。
採用の基準は、1つだけです。
本文の外にある記録で、どちらが正しいか決まるかどうか。
この1件は、記事の中の2つの記述が食い違っていました。
そのうえで、運用の記録を見れば正解が決まりました。
人の指摘と重ならなかったものの中で、記録で真偽を確かめたのはこの1件です
1週間前に、ブログ運用はどこまで自動化できたか。人に残った2つの判断を書きました。
品質と事実の確認は、人が入らないと成立しないと書いています。
その人が、1件落としていたことになります。
だからAIのほうが優れている、という話にはなりません。
5件のうち4件は、理由に届いていないからです。
22件のうち、17件は正しいかどうかを確かめていない
ここまでの数字の帳尻を合わせます。
22件を受け取って、この実測をきっかけに直したのは1件でした。
| 区分 | 件数 |
|---|---|
| 人の指摘と、理由まで一致 | 1 |
| 人の指摘と、場所だけ一致 | 3 |
| AIだけが見つけて、実際に直した | 1 |
| 正しいかどうかを確かめていない | 17 |
| 合計 | 22 |
残り4件は、人がすでに直していた場所と重なっています。
17件の中身は、重複しているか、断定が強いか、図解が要るか、といった判断の指摘が中心です。
内訳は、判断を保留にした1件と、手をつけていない16件です。
確かめていない指摘を、正しかった件数には数えません。
誤検出について書けることは1つです。
人が挙げた指摘のうち3点は人側の勘違いでしたが、その3点と同じ主張は22件の中にありませんでした。
それでも、誤検出がゼロだとは言い切れません。
確かめた範囲の外に、17件が残っています。
今回言えること、まだ言えないこと
1回動かしただけなので、言えることと言えないことがあります。
分けて書きます。
今回の実測で言えること
・22件が返ってきて、この実測をきっかけに直したのは1件だった
・渡した5点のうち、理由まで当てたのは1件、文にたどり着いたのは4件だった
・26日間そのまま出ていた食い違いを、1件見つけた
確かめようとして、確かめられなかった件も1つあります。
AIは8月10日の作業記録を見に行こうとしました。
ただ、その記録はこの環境に入っていませんでした。
まだ言えないこと
ここから先は仮説です。
・1項目ずつ分けて渡すのが良いとは、今回の実測では言えない
・並列にしたから速いとも言えない
比べる相手を作っていないので、どちらも結論にはなりません。
この結果を、人とAIの勝ち負けにはしません。
抜け方が違った、が実測でした。
人は4箇所目を落とし、AIは残る3箇所を落としています。
網の目の細かさが違う2枚を、同じ記事にかけた形です
＼ ブログ更新が止まっている・記事運用を任せたい方へ ／
企画から執筆・公開まで、まるごとお任せください。お気軽にご相談を。
