AI 營運 ·
研究流程逐步拆開——AI 接得住哪些步驟,哪些接不住
結構化輸出與工具協定,把語言模型由展示推進到營運。真正該問的已不是模型寫得出甚麼,而是哪一步可以信得過交給它。
有兩項能力改變了語言模型可以被託付甚麼,而兩者都與寫作質素無關。
第一項是受約束輸出。各服務商現時提供的模式,能保證回應符合指定 schema,而不只是要求它照做——OpenAI 的文件稱之為 structured outputs。一個保證解析得到的回應,可以不經人手閱讀就交給流程的下一步;「會起草的模型」與「參與流程的模型」,分別就在這裡。
第二項是連接工具與資料的標準介面。Anthropic 於 2024 年 11 月公佈 Model Context Protocol,並以開放規格發佈,現時由 modelcontextprotocol.io 維護。在共同協定出現之前,每一條模型與系統之間的連接都要度身訂造;有了共同協定,這條連接由一個項目降級為一項設定。MCP 本身能否長存並非重點,重點是它標誌著:把模型接上事實來源,已經不再是難的那一部分。
兩者合起來,令一條以往問不出口的營運問題變得可問。「模型寫不寫得出這份簡報」是個陷阱——它一定產得出形狀像簡報的東西。真正有用的問法是:產出這份簡報的哪些步驟可以無人執行,而當中出錯時,錯會長成甚麼樣子。
按「錯誤會否自己現形」來分類
我們的分類原則不是難度,而是一個錯誤答案會不會自我宣告。
| 步驟 | 出錯的形態 | 適合自動化 |
|---|---|---|
| 抓取指名的來源 | 抓取失敗會直接報錯 | 適合 |
| 把欄位抽入 schema | 格式不符會被 schema 拒絕 | 適合,須加驗證 |
| 統一單位與貨幣 | 規則寫錯時無聲無息 | 須有已知答案的對照案例 |
| 摘要一份文件 | 貌似合理但錯,讀起來與正確一模一樣 | 不適合,只可當草稿 |
| 把數字歸因到來源 | 貌似合理但錯,而這恰好是必須對的一項 | 不適合 |
可以安全自動化的步驟都有同一項特徵:系統自己講得出「我失敗了」。抓取失敗會拋錯,schema 不符會拒絕。相對地,一份悄悄漏掉限定子句的摘要,外觀與保留了限定子句的摘要完全相同;一個掛錯來源的引用,在有人真的打開那條來源之前,與正確引用無法分辨。
受約束輸出的意義因此比初看時大。它不會令模型更準確,但它把一類錯誤由無聲變成有聲——而有聲的錯誤,才是流程處理得到的錯誤:
抓取 → 驗證 schema → 統一單位 → 對照已知案例 → 人手審核 → 發佈
↑ 機器檢查得到 ↑ 這條線以上全部只是草稿
對一間研究機構的實際含義
把收集與整形交出去,把判斷與歸因留住。研究工作中昂貴而重複的部分,是按時把同一批來源拉一次,再整成一致的形狀,而這一部分現在確實變得便宜。扛住機構名字的那一部分——數字代表甚麼、一個數字是否真的有它所引來源支持——正正是「自信的錯答案」與「對的答案」無法分辨的地方。
檢查要放在錯誤無聲的位置。驗證應該擺在 schema 管不到的那些接口:若有規則在換算貨幣,就每次執行都用一個已知答案的案例去測它;若有數字掛住來源,審核者的工作是打開那條來源,而不是評估那句話讀不讀得順。
產量亦應當作審核問題,而非生產問題。收集自動化之後,產出不再是瓶頸,審核才是。一條每週產得出二十份簡報、卻只審得完四份的流程並沒有加速,它只是排了一條隊。
所以呢
如果你正在評估 AI 進入研究或分析職能,要問的不是模型產得出甚麼,而是:你打算自動化的每一步,錯的時候會不會自己現形?會的,交出去;不會的,模型就只是起草工具,審核留在原位——而一份誠實的計劃書,會講明哪些步驟屬於哪一邊。
關於平台公開資料的讀法(正是值得在收集層自動化的定期抓取之一),另見〈平台收費表本來就公開〉。