4月29日，阿里新一代的大模型 Qwen 3發(fā)布。以 DeepSeek+Qwen 的中國(guó)開(kāi)源組合，正在以中國(guó)開(kāi)源生態(tài)“雙子星”之勢(shì)，取代過(guò)去 Llama 為主，Mistral 為輔的開(kāi)源生態(tài)。 Qwen 3 發(fā)布后，F(xiàn)ounder Park采訪(fǎng)了不同行業(yè)的 AI 創(chuàng)業(yè)公司代表，就開(kāi)源閉源如何選擇、模型的微調(diào)、模型能力瓶頸，以及大模型創(chuàng)業(yè)的坑等方面進(jìn)行了訪(fǎng)問(wèn)。心言集團(tuán)開(kāi)源布道師、高級(jí)算法工程師“左右”在接受采訪(fǎng)的過(guò)程中，從心言集團(tuán)的實(shí)踐視角剖析了中國(guó)開(kāi)源模型的崛起路徑，并分享了自己在開(kāi)源生態(tài)賦能下的業(yè)務(wù)探索與技術(shù)思考。
以下為采訪(fǎng)實(shí)錄：
開(kāi)源、閉源模型如何選擇?
左右：從我們目前的業(yè)務(wù)角度看，絕大部分(可能 90% 以上)需要使用我們自己微調(diào)(fine-tuned)的模型，因此主要是本地化部署后供線(xiàn)上使用。同時(shí)，對(duì)于某些特定任務(wù)，比如數(shù)據(jù)構(gòu)造、數(shù)據(jù)蒸餾，或者需要利用特定大模型(如 GPT、豆包、Qwen)的能力時(shí)，我們會(huì)直接調(diào)用它們的 API。
本地部署的主要是基于 Qwen 的微調(diào)模型，根據(jù)不同的業(yè)務(wù)入口，我們會(huì)使用不同量級(jí)的模型。常用的是 7B、32B 和 72B 這幾個(gè)版本。此外，我們還有一些具身智能的業(yè)務(wù)，考慮到用戶(hù)隱私和多模態(tài)處理需求，會(huì)采用更小量級(jí)的多模態(tài)模型，比如 0.5B、1.5B 等。7B 模型主要用在對(duì)并發(fā)要求非常高，但對(duì)模型本身能力要求沒(méi)那么極致的業(yè)務(wù)場(chǎng)景。選用 7B 的原因有三：一是推理速度快;二是部署成本相對(duì)較低;三是在兼顧性能和速度方面，它比較適合我們的某些特定任務(wù)。
至于為什么選 Qwen 模型，主要有以下幾點(diǎn)考慮：
生態(tài)系統(tǒng)成熟度與穩(wěn)定性： Qwen 的生態(tài)相對(duì)完善和穩(wěn)定，包括推理框架(如 vLLM， SGLang 等很早就適配)、微調(diào)工具鏈以及其他配套設(shè)施。相比之下，有些模型(比如 DeepSeek 的早期大參數(shù)版本)生態(tài)成熟和穩(wěn)定使用可能需要更長(zhǎng)時(shí)間。
技術(shù)能力與業(yè)務(wù)契合度： 我們做的是情感陪伴、泛心理相關(guān)的業(yè)務(wù)，主要面向國(guó)內(nèi)用戶(hù)。
首先排除了 Llama，雖然它生態(tài)好，但在中文能力，尤其是泛心理、情感陪伴這些垂直領(lǐng)域的能力上可能不足。
Qwen 對(duì)中文支持較好，并且在其預(yù)訓(xùn)練數(shù)據(jù)中也包含了一些泛心理、情感陪伴相關(guān)的內(nèi)容。基于這樣的模型進(jìn)行微調(diào)，更容易貼合我們的業(yè)務(wù)需求。
模型系列完整性： 我們的業(yè)務(wù)涉及從 0.5B 到 72B 的多種尺寸。目前來(lái)看，只有Qwen提供了這樣完整的尺寸系列。如果不同尺寸用不同模型(比如 7B 用 Llama，72B 用 Qwen)，會(huì)增加微調(diào)成本，需要在不同模型之間反復(fù)測(cè)試數(shù)據(jù)和超參數(shù)等。全系列使用 Qwen 系列，模型同宗同源，試錯(cuò)成本相對(duì)較低。
開(kāi)源的持續(xù)性與可信賴(lài)度： 我們之前用過(guò)零一萬(wàn)物的模型，但后來(lái)他們?cè)陂_(kāi)源方面的策略調(diào)整了，這對(duì)我們來(lái)說(shuō)比較被動(dòng)。阿里(Qwen)在開(kāi)源上的舉措讓我們覺(jué)得比較可靠，相信他們會(huì)持續(xù)投入開(kāi)源，這對(duì)我們長(zhǎng)期依賴(lài)其模型進(jìn)行開(kāi)發(fā)是重要的保障。
當(dāng)前大模型的使用和微調(diào)，面臨的挑戰(zhàn)有哪些?
左右：分開(kāi)說(shuō)一下，因?yàn)槲覀冇芯呱碇悄芎途€(xiàn)上互聯(lián)網(wǎng)業(yè)務(wù)兩塊業(yè)務(wù)。
在具身智能方面，主要挑戰(zhàn)是推理成本和生態(tài)適配。
成本： 為了隱私，模型需本地部署。如果用英偉達(dá)方案，端側(cè)推理卡很貴(幾百到幾千元)，遠(yuǎn)超機(jī)器人本身的成本。推理速度也可能不夠快。
生態(tài)適配： 如果換用國(guó)產(chǎn)算力芯片降低硬件成本，又會(huì)面臨生態(tài)不完善的問(wèn)題。比如，讓國(guó)產(chǎn)芯片兼容最新的 Qwen 模型(特別是像 Qwen2-VL 等多模態(tài)模型)，適配周期可能很長(zhǎng)(比如一兩個(gè)月)，我們等不起。由誰(shuí)來(lái)做軟硬件適配(硬件廠?模型廠?我們自己?)也是個(gè)問(wèn)題，我們自己做成本很高。
在線(xiàn)上互聯(lián)網(wǎng)業(yè)務(wù)方面，主要挑戰(zhàn)是模型能力和推理成本/延遲。微調(diào)成本相對(duì)較好。
模型能力： 我們做情感陪伴，對(duì)情感的細(xì)粒度理解要求非常高。模型需要準(zhǔn)確捕捉用戶(hù)復(fù)雜的情感狀態(tài)。比如，用戶(hù)語(yǔ)音內(nèi)容積極但語(yǔ)氣糟糕，如果只靠 ASR 轉(zhuǎn)文本，會(huì)丟失大量情感信息。這就對(duì)模型的多模態(tài)理解能力提出了很高要求(結(jié)合文本、語(yǔ)音、視覺(jué)等)。
推理成本/延遲： 我們的用戶(hù)量和 AI 使用量增長(zhǎng)很快，推理成本壓力大。尤其是在高峰時(shí)段(如凌晨 0-1 點(diǎn)，峰值可能是平時(shí)的 3-4 倍)，需要有效調(diào)度潮汐算力，以低成本覆蓋流量洪峰，同時(shí)保證模型和算力能承載。
當(dāng)前模型的能力，滿(mǎn)足你們的業(yè)務(wù)場(chǎng)景需求了嗎?
左右：我們做的業(yè)務(wù)場(chǎng)景專(zhuān)注于情感、情緒化的泛心理應(yīng)用場(chǎng)景，大多數(shù)模型廠商在預(yù)訓(xùn)練或后訓(xùn)練階段都不會(huì)特別關(guān)注這部分?jǐn)?shù)據(jù)。另外，即使是數(shù)據(jù)合成或蒸餾，其結(jié)果和真實(shí)用戶(hù)的查詢(xún)之間仍有很大差距。這就是我們堅(jiān)持要做 Post-training(后訓(xùn)練/微調(diào))的原因。
我們對(duì)基礎(chǔ)模型的要求主要是通用能力(General Ability)，而不是特定領(lǐng)域能力(Domain Ability)。如果基礎(chǔ)模型的通用能力足夠好，我們?cè)谧?Post-training 時(shí)就更容易把它擬合到我們想要的方向。如果通用能力不行(像 2023 年那樣)，即使有高質(zhì)量的領(lǐng)域數(shù)據(jù)也很難調(diào)好。
而且需要注意，針對(duì)特定領(lǐng)域(如泛心理、情感陪伴)做 Post-training，通常會(huì)對(duì)模型的其他通用能力(如代碼、數(shù)學(xué))造成一定的損害。我們的目標(biāo)是把這種損害控制在可接受范圍內(nèi)(比如通用指標(biāo)下降 2 個(gè)點(diǎn)以?xún)?nèi))，同時(shí)在我們的核心領(lǐng)域能力上實(shí)現(xiàn)顯著提升(比如比通用模型高 10 個(gè)點(diǎn))。最近我們也會(huì)把內(nèi)部的泛心理基座模型面向社區(qū)開(kāi)源，反哺開(kāi)源社區(qū)，推動(dòng)此方向上的技術(shù)發(fā)展。
如何看待目前以 DeepSeek、Qwen、Llama 為代表的開(kāi)源模型的發(fā)展?
左右：對(duì)開(kāi)源模型整體的期待是盡可能追平閉源頂尖模型(如 Claude， GPT-4/4o)。雖然現(xiàn)在還沒(méi)有完全追上，但開(kāi)源模型比閉源更 Open，至少能拿到權(quán)重。
更具體的期待是希望它們能 release 更多的技術(shù)細(xì)節(jié)。Llama 3 和 DeepSeek 的技術(shù)報(bào)告相對(duì)詳細(xì)，希望 Qwen 也能更開(kāi)放地分享技術(shù)路線(xiàn)、探索出的數(shù)據(jù)配比等。
從差異性看：
DeepSeek 更激進(jìn)、理想化，在 MoE、原生多模態(tài)、代碼等方面探索較前沿。
Qwen 和 Llama(Qwen 早期 follow Llama，現(xiàn)在已逐漸超越)更注重社區(qū)和通用性，需要考慮更廣泛的用戶(hù)和場(chǎng)景，技術(shù)選型上可能相對(duì)穩(wěn)健。
這種差異化定位在開(kāi)源社區(qū)里是正常的。
覺(jué)得當(dāng)前大模型創(chuàng)業(yè)最容易被忽視的坑是什么?
左右：我覺(jué)得一個(gè)比較大的問(wèn)題是模型與產(chǎn)品的適配度，以及對(duì) AI 在產(chǎn)品中角色的理解。
很多人認(rèn)為 AI 來(lái)了，可以用它重做一遍舊需求，或者簡(jiǎn)單地把 AI API 接到舊產(chǎn)品上。但我認(rèn)為 AI 更多是后端能力，是處理信息的工具，而不是直接交付結(jié)果的前端界面。
現(xiàn)在很多產(chǎn)品給用戶(hù)的感覺(jué)是直接在和一個(gè)聊天機(jī)器人對(duì)話(huà)。但在我看來(lái)，AI 應(yīng)該藏在后端，用來(lái)深度處理用戶(hù)的輸入，實(shí)現(xiàn)真正的個(gè)性化，然后再交付結(jié)果。
例如，在情感陪伴中：
用戶(hù)發(fā)來(lái)語(yǔ)音，AI 不僅是轉(zhuǎn)文本，更應(yīng)該分析語(yǔ)氣、語(yǔ)調(diào)，并將這些情感信息融入 Prompt。
AI 應(yīng)該分析對(duì)話(huà)上下文的邏輯、情緒變化，讓下一輪的回復(fù)體現(xiàn)出這種個(gè)性化，而不是千篇一律地遵循某個(gè) System Prompt。
很多開(kāi)發(fā)者追求簡(jiǎn)單的「端到端」，認(rèn)為大模型能簡(jiǎn)化一切。但在很多領(lǐng)域(尤其情感)，原本需要復(fù)雜處理的環(huán)節(jié)，現(xiàn)在依然需要，甚至可以借助 AI 做得更精細(xì)。直接用 AI 替代這些環(huán)節(jié)，可能導(dǎo)致產(chǎn)品缺乏深度和個(gè)性化。
我認(rèn)為正確的模式應(yīng)該是 「X + AI」**，而不是 「AI + X」。核心是挖掘和理解用戶(hù)需求(X)，然后思考如何用 AI 更好地解決這個(gè)需求。而不是有了 AI 技術(shù)，再去找一個(gè)場(chǎng)景(X)去套用。
一個(gè)重要的觀察指標(biāo)是用戶(hù)留存。很多 AI 產(chǎn)品(如一些角色扮演應(yīng)用)留存很差，這往往意味著產(chǎn)品沒(méi)有抓住用戶(hù)的真實(shí)痛點(diǎn)，個(gè)性化做得不夠好。如果你的產(chǎn)品是基于真實(shí)需求(X)構(gòu)建的，留存通常不會(huì)是核心問(wèn)題。現(xiàn)在很多產(chǎn)品可能是在做一個(gè)偽需求。
隨著Qwen、DeepSeek等中國(guó)開(kāi)源模型在國(guó)際舞臺(tái)嶄露頭角，一場(chǎng)由技術(shù)生態(tài)驅(qū)動(dòng)的全球化進(jìn)程正在加速。心言集團(tuán)的實(shí)踐表明，開(kāi)源不僅為中國(guó)企業(yè)提供了彎道超車(chē)的技術(shù)路徑，更創(chuàng)造了“全球協(xié)作-垂直創(chuàng)新-生態(tài)反哺”的良性發(fā)展模式。在這場(chǎng)靜水深流的技術(shù)革命中，心言集團(tuán)也將聚焦泛心理發(fā)展的AI化與具身化，繼續(xù)以開(kāi)源為舟，以創(chuàng)新為帆，駛向情感計(jì)算領(lǐng)域的星辰大海。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
