Google Ads新發表一套資料篩選與專家標註流程，針對大型語言模型在廣告安全領域的應用，能在維持甚至提升模型品質的同時，將微調所需的訓練資料量縮減至原本的萬分之一。此方法結合主動式學習與專家標註，專注挑選最具判斷價值的樣本，特別適合處理政策規範變化頻繁、正類比例（Positive Rate）極低且需深度語境理解的分類任務，例如偵測點擊誘餌或違規廣告內容。

整個流程從零或少樣本的初始模型LLM-0開始，透過提示對大量廣告自動分類為可疑或正常。由於真實流量中正類，也就是違規或不安全內容比例通常不到1％，且初始模型的真正率有限，研究團隊會先將正、負類資料分類，再找出兩者重疊的交集，這些區域正是模型最容易混淆的判斷邊界。

系統會從中選取距離最近但標籤不同的樣本對，交由兩位人類專家進行審核，確保資料同時具備高度資訊價值與多樣性。

標註後的資料分為評估資料集與微調資料集，前者用於衡量模型與專家的一致性，後者用於進一步微調模型。評估階段採用Cohen's Kappa統計量，衡量針對定性項目標註的一致性與評分者間信度，不依賴唯一正確的基準真相標籤，適用於廣告安全、詐騙偵測等本質上具爭議性的分類任務。整個過程反覆進行，直到模型與專家的一致性接近專家彼此的內部一致性，或進入無法再提升的平臺期。

在實驗中，Google以兩款不同規模的模型，分別是18億與32.5億參數在低與高複雜度任務上進行測試，並與使用10萬筆群眾外包標註資料的傳統基準相比。

結果顯示，對於32.5億參數模型，新流程在僅使用250至450筆專家標註資料的情況下，能將模型與專家的一致性提升55％至65％，且在高複雜度任務中也有明顯改善。即使資料量減少三至四個數量級，模型的分類品質仍與基準持平甚至更佳。

研究團隊指出，要穩定優於群眾外包標註，標註品質需達Cohen's Kappa 0.8以上。這項成果顯示，結合大型語言模型的大範圍涵蓋能力與專家在困難樣本上的精準判斷，可以更有效應對廣告安全等快速變動的場景，降低資料蒐集與訓練成本，並在政策或內容型態變化時迅速調整模型。