OpenAI的研究團隊近日提出了一種名為“深思熟慮的對齊”（Deliberative Alignment）的新方法，旨在解決大語言模型（LLMs）在遵守道德和安全準則方面的挑戰(zhàn)。現(xiàn)有的對齊技術，如監(jiān)督微調(diào)（SFT）和來自人類反饋的強化學習（RLHF），雖然有效，但存在被操縱的風險，可能導致生成有害內(nèi)容或拒絕合法請求。

“深思熟慮的對齊”方法通過直接教授模型安全規(guī)范，并訓練它們在生成響應之前推理這些準則，將安全原則融入推理過程中。該方法分為兩個階段：第一階段，監(jiān)督微調(diào)訓練模型參考并推理安全規(guī)范；第二階段，強化學習使用獎勵模型，根據(jù)安全基準評估性能，進一步完善模型的推理。

與依賴人工標注數(shù)據(jù)的方法不同，“深思熟慮的對齊”使用模型生成的數(shù)據(jù)和思維鏈（CoT）推理，降低了安全訓練的資源需求。OpenAI的o1模型已部署該技術，在抵抗越獄提示方面表現(xiàn)出色，在StrongREJECT基準測試中得分為0.88，顯著高于GPT-4o的0.37。此外，該技術還可以減少誤拒，在XSTest數(shù)據(jù)集的良性提示中，o1模型的準確率高達93%。

“深思熟慮的對齊”通過訓練模型明確推理安全策略，為復雜的倫理挑戰(zhàn)提供了可擴展且可解釋的解決方案。