AI大模型技術(shù)正成為推動高質(zhì)生產(chǎn)力發(fā)展的關(guān)鍵力量，在與千行百業(yè)的融合中發(fā)揮著重要作用。騰訊混元大模型通過采用混合專家模型 (MoE) 結(jié)構(gòu)，已將模型擴展至萬億級參數(shù)規(guī)模，增加“腦”容量提升預(yù)測性能的同時，推動了推理成本下降。作為通用模型，騰訊混元在中文表現(xiàn)上處于業(yè)界領(lǐng)先水平，尤其在文本生成、數(shù)理邏輯和多輪對話中性能表現(xiàn)卓越。

近日，騰訊混元大模型正式對外發(fā)布256k長文模型，并通過騰訊云向廣大企業(yè)和個人開發(fā)者開放，以支持更廣泛的創(chuàng)新和應(yīng)用。騰訊混元256k模型版本具備處理超過38萬字符的超長文本能力。在對話應(yīng)用場景中，該模型能夠“記憶”更多的對話內(nèi)容，有效避免“忘記”信息等問題。此外，它還具備出色的上下文分析能力，能夠為對話參與者提供更為精確和相關(guān)的反饋，從而輔助他們做出更明智的決策。

此外，該模型版本在長文檔的閱讀理解和大規(guī)模數(shù)據(jù)分析方面也展現(xiàn)出強大性能。它能夠為金融、醫(yī)療、教育、出行等行業(yè)的專業(yè)人士提供強有力的工作支持，顯著提高他們的工作效率。模型在推理性能上也進行了深入優(yōu)化，確保了在騰訊云等平臺上的實際應(yīng)用中，用戶能夠享受到更加流暢和高效的使用體驗。?

減少“健忘”，讓大模型更聰明

在大模型產(chǎn)品中，處理對話式需求是一項核心功能。但由于長文本處理能力的局限，傳統(tǒng)大模型在對話中容易“迷失方向”或出現(xiàn)“記憶缺失”，隨著對話長度的增加，遺忘的信息量也隨之增多。?

騰訊混元256k模型針對這一挑戰(zhàn)進行了專門優(yōu)化。它采用了先進的“專家混合”（MoE）架構(gòu)，并融合了RoPE-NTK和Flash Attention V2等創(chuàng)新技術(shù)，既保持了對通用短文本（少于4,000字符）的高效處理能力，同時在長文本處理的深度和廣度上實現(xiàn)了突破。?

目前，騰訊混元大模型已經(jīng)具備256k的超長上下文理解能力，單次處理字符數(shù)超過38萬個，在經(jīng)過嚴(yán)苛的“大海撈針”任務(wù)測試后，該模型在長文本處理上的準(zhǔn)確率已達到99.99%，在國際上也處于領(lǐng)先地位。

持續(xù)穩(wěn)定迭代，大模型應(yīng)用效率提升

騰訊混元大模型在業(yè)界率先采用了混合專家模型（MoE）結(jié)構(gòu)，并在此過程中積累了大量自研技術(shù)。在上一個版本32K中，該模型已顯著超越市面上的開源同類模型，并在多種應(yīng)用場景中展現(xiàn)出優(yōu)異性能。

經(jīng)過全新迭代，騰訊混元256k在通用領(lǐng)域的GSB評測中，相較于前一版本，勝出率50.72%。同時，騰訊混元256k的訓(xùn)練集融合了醫(yī)療、金融等多個領(lǐng)域的長文本數(shù)據(jù)、翻譯數(shù)據(jù)和多文檔問答等高質(zhì)量標(biāo)注數(shù)據(jù)，這使得模型在實際應(yīng)用中，尤其是在需要頻繁分析和處理大量長文本資料的醫(yī)療和金融行業(yè)，能夠提供更為精準(zhǔn)和高效的工作支持。

例如，當(dāng)將一份央行發(fā)布的金融報告輸入騰訊混元256k模型時，該模型能夠迅速提煉和總結(jié)報告的要點，在處理速度和準(zhǔn)確性上均達到了令人滿意的水平。

?

推理性能優(yōu)化，帶來更強的大模型理解能力

與此同時，騰訊混元256k在推理性能上進行了深入優(yōu)化。在INT8精度模式下，與FP16精度相比，模型的QPM（每秒查詢率）實現(xiàn)了23.9%的顯著提升，而首字耗時僅增加了5.7%。這些改進顯著增強了模型在實際應(yīng)用中的響應(yīng)速度和整體效率。

以《三國演義》的分析為例，騰訊混元256k能夠迅速閱讀并檢索這部數(shù)十萬字的古典小說，不僅能夠準(zhǔn)確識別出小說中的關(guān)鍵人物和事件情節(jié)，甚至對于天氣、角色著裝等細節(jié)描述也能提供精確的信息。

?

AI大模型作為新質(zhì)生產(chǎn)力的關(guān)鍵組成部分，對推動產(chǎn)業(yè)升級和實現(xiàn)高質(zhì)量發(fā)展具有至關(guān)重要的作用。騰訊混元256k模型的推出為整個行業(yè)注入了全新活力，并開拓了更廣泛的應(yīng)用前景。

目前，騰訊混元256k長文模型已經(jīng)通過騰訊云向廣大企業(yè)和個人開發(fā)者開放，用戶可通過hunyuan-standard版本256k長文模型接入。這使得更多的開發(fā)者和用戶能夠便捷地接入并使用騰訊混元大模型的強大功能，進而為各行各業(yè)提供智能化的解決方案，推動更多創(chuàng)新應(yīng)用場景的實現(xiàn)。