GLM-Realtime

智譜 AI 推出的一款獨(dú)具特色的模型。其最大亮點(diǎn)在于具備實(shí)時(shí)且端到端的交互能力，能夠迅速理解視頻內(nèi)容，并及時(shí)與用戶展開語音對話，這種即時(shí)性為用戶帶來了無比流暢的交互體驗(yàn)。比如在智能監(jiān)控等即時(shí)場景中，它能瞬間對監(jiān)控畫面里的內(nèi)容作出反應(yīng)并告知用戶。
該模型支持長達(dá)兩分鐘的記憶功能，這確保了對話的連貫性。在交流過程中，模型不會輕易遺忘之前提及的關(guān)鍵信息，從而在處理多輪對話時(shí)能夠更好地理解上下文，就如同日常聊天中對方能記住先前話題一樣，使對話自然且順暢。
此外，其具有創(chuàng)新性的大模型清唱功能為交互增添了趣味和娛樂性，在娛樂、陪伴等場景中具有潛在應(yīng)用價(jià)值。
從應(yīng)用角度來看，當(dāng)它被集成至智能眼鏡或陪伴玩偶等設(shè)備時(shí)，就宛如一個(gè)隨身助理。例如，使用者佩戴智能眼鏡看到周圍事物后，能夠即刻提問，GLM-Realtime 幾乎能實(shí)時(shí)理解眼前狀況并給出回應(yīng)。對于未來的硬件設(shè)備，這種即看即理解、即問即答的模式極有可能成為標(biāo)配。其 API 已在智譜開放平臺上線，并且對標(biāo) GPT-4o，現(xiàn)階段還可免費(fèi)調(diào)用，這為開發(fā)者帶來了極大便利，在商業(yè)場景拓展方面也極具潛力，比如能夠通過 FunctionCall 功能調(diào)用外部知識和工具，以滿足不同的業(yè)務(wù)需求。

GLM-4V-Plus

在計(jì)算機(jī)視覺領(lǐng)域?qū)崿F(xiàn)了顯著升級。它具有極強(qiáng)的適應(yīng)性，能夠處理從 224×224 等低分辨率到 4K 超清等高分辨率的圖像輸入。不管是較為模糊、信息含量較少的小圖像，還是細(xì)節(jié)豐富、高清的大圖像，它都能出色應(yīng)對。這恰似一位擅長處理各類難度任務(wù)的能手，無論任務(wù)簡單還是復(fù)雜，都能游刃有余。
它支持極長寬比圖像的識別，并且在減少 Token 消耗的同時(shí)確保了高效識別。Token 消耗的降低意味著在處理相同任務(wù)時(shí)能夠節(jié)省計(jì)算資源，提升處理效率，這在大規(guī)模數(shù)據(jù)處理或資源有限的情況下尤為關(guān)鍵。
在視頻處理方面，新版本能夠應(yīng)對長達(dá) 2 小時(shí)的視頻。這為長視頻內(nèi)容的分析、摘要和監(jiān)控等需求提供了全新的解決方案。可以想象，在影視制作中，當(dāng)面對一段上百分鐘的素材需要?dú)w納剪輯時(shí)，GLM-4V-Plus 能夠先為用戶進(jìn)行初篩與摘要，幫助用戶迅速定位重要內(nèi)容，為創(chuàng)作者節(jié)省大量繁瑣的人工操作。而且無論是小圖還是 4K 圖像都能有效應(yīng)用，大大提高了不同規(guī)格圖像數(shù)據(jù)處理的效率。它還擁有卓越的圖像理解能力，并具備基于時(shí)間感知的視頻理解能力，比如在一個(gè)視頻場景中，它能夠精準(zhǔn)描述出隨著時(shí)間推移畫面中各種元素的動態(tài)變化。在多個(gè)公開榜單上，均展現(xiàn)出顯著的效果提升，對比 Gemini-2.0、GPT-4o、Claude3.5 等美國企業(yè)最新的標(biāo)桿模型，可見其在視覺理解能力方面處于領(lǐng)先水平。

GLM-4-Air

是一個(gè)以高性價(jià)比見長的模型。智譜 AI 針對對話和文本創(chuàng)作需求對其進(jìn)行了升級，推出的 GLM-4-Air-0111 版本性能良好。它在訓(xùn)練數(shù)據(jù)和流程上進(jìn)行了全面優(yōu)化。通過優(yōu)化，在部分任務(wù)上能夠接近更大規(guī)模模型的性能。這就如同一位接受了特殊訓(xùn)練的運(yùn)動員，雖然自身?xiàng)l件可能不如大型選手，但通過技巧和策略（優(yōu)化訓(xùn)練數(shù)據(jù)和流程），能夠在一些項(xiàng)目上取得與大型選手相近的成績。
它保持著相對精簡的配置，然而精簡并不意味著性能受損。相反，在某些任務(wù)場景下能夠發(fā)揮出與大型模型類似的效果。同時(shí)，它的調(diào)用費(fèi)用降低為原先的一半。這一優(yōu)勢極具吸引力，大幅降低了開發(fā)和部署的門檻。對于個(gè)人和初創(chuàng)開發(fā)者來說，這非常重要，尤其是那些資源有限、預(yù)算緊張，但又渴望涉足大模型應(yīng)用開發(fā)的個(gè)人和團(tuán)隊(duì)。對于他們而言，GLM-4-Air-0111 無疑是邁向大模型應(yīng)用的輕便之選，在花費(fèi)不多的情況下就能體驗(yàn)和應(yīng)用大模型的技術(shù)能力，滿足諸如進(jìn)行簡單對話測試、初稿創(chuàng)作等任務(wù)需求。

對比分析：GLM-Realtime、GLM-4V-Plus 與 GLM-4-Air

功能特點(diǎn)對比

GLM-Realtime：側(cè)重于多模態(tài)的實(shí)時(shí)交互，尤其在視頻內(nèi)容理解和語音對話方面表現(xiàn)卓越。其記憶功能和清唱功能獨(dú)具特色。實(shí)時(shí)性和娛樂性在一定程度上是其賣點(diǎn)，并且主要應(yīng)用于需要及時(shí)響應(yīng)、與外界環(huán)境（如視覺場景）互動的場景，例如輔助智能穿戴設(shè)備、智能監(jiān)控中的實(shí)時(shí)反饋等。
GLM-4V-Plus：主要聚焦于視覺理解能力，無論是圖像的分辨率適應(yīng)性、長寬比適應(yīng)性等都十分出色，而且在視頻處理時(shí)長方面可達(dá)兩小時(shí)，相比之下這個(gè)功能在另外兩個(gè)模型中并非重點(diǎn)。它更適用于對計(jì)算機(jī)視覺處理有較高要求的場景，如長視頻內(nèi)容創(chuàng)作輔助、復(fù)雜圖像識別監(jiān)控等。
GLM-4-Air：走的是性價(jià)比路線，對于預(yù)算不充裕的個(gè)人和初創(chuàng)開發(fā)者是理想的選擇。它在自然語言處理中的對話和文本創(chuàng)作等需求上能夠滿足基本使用，并且接近較大規(guī)模模型的表現(xiàn)，精簡配置和低調(diào)用費(fèi)用是其主要特點(diǎn)，主要在對成本敏感的語言應(yīng)用開發(fā)場景中占據(jù)優(yōu)勢。

應(yīng)用場景對比

GLM-Realtime：因其實(shí)時(shí)交互能力，主要應(yīng)用于即時(shí)通信、智能硬件等場景。例如集成到智能眼鏡，當(dāng)使用者看到某個(gè)物體或場景后能馬上詢問相關(guān)信息并獲得反饋，在智能語音助手類設(shè)備、智能監(jiān)控場景的實(shí)時(shí)告警與信息反饋等場景中也具有巨大的應(yīng)用潛力。
GLM-4V-Plus：主要應(yīng)用于影視制作、圖像與視頻監(jiān)控安防、計(jì)算機(jī)視覺研究等場景。例如影視編導(dǎo)能夠利用它對視頻素材進(jìn)行快速理解、歸納整理出重點(diǎn)內(nèi)容，安防監(jiān)控系統(tǒng)可以運(yùn)用其對不同攝像頭采集到的變化多樣的圖像與視頻進(jìn)行高效識別。
GLM-4-Air：主要應(yīng)用于一些基礎(chǔ)的對話系統(tǒng)開發(fā)，適合小型聊天機(jī)器人開發(fā)、文本創(chuàng)作輔助等場景。像是自主開發(fā)個(gè)人寫作助手或者小型客服聊天界面之類的場景，開發(fā)者無需承擔(dān)過高費(fèi)用和復(fù)雜配置就能開展相關(guān)開發(fā)工作。

技術(shù)能力對比

GLM-Realtime：技術(shù)上體現(xiàn)為端到端的多模態(tài)交互、短時(shí)間的記憶功能、可拓展的 FunctionCall 功能等。例如在視頻通話場景下，可以一邊理解視頻畫面一邊利用 FunctionCall 功能調(diào)用外部知識解答畫面中的問題。
GLM-4V-Plus：主要是視覺技術(shù)上的突破，如處理多種分辨率組合的圖像、不同時(shí)長視頻處理、減少 Token 消耗的同時(shí)保證高效識別等。這些技術(shù)手段使其在視覺理解領(lǐng)域展現(xiàn)出強(qiáng)大實(shí)力。
GLM-4-Air：重點(diǎn)在于訓(xùn)練數(shù)據(jù)和流程的優(yōu)化，在不占用過多資源的情況下能夠達(dá)到接近大規(guī)模模型的性能表現(xiàn)，體現(xiàn)在技術(shù)上就是一種高效的語言處理精煉方式。

市場評價(jià)：GLM-Realtime、GLM-4V-Plus 及 GLM-4-Air

創(chuàng)新帶來的期待

這三個(gè)模型在發(fā)布時(shí)均帶有不同程度的創(chuàng)新點(diǎn)，受到市場的一定期待。GLM-Realtime 以其實(shí)時(shí)交互和清唱等獨(dú)特創(chuàng)新功能在市場上引發(fā)關(guān)注。對于智能硬件廠商來說，他們看到了未來在實(shí)時(shí)反應(yīng)類智能設(shè)備交互上運(yùn)用其技術(shù)的潛力，普通消費(fèi)者也對兼具聊天和娛樂功能（清唱）的智能交互產(chǎn)生興趣。GLM-4V-Plus 在視覺理解能力上的升級，特別是長視頻處理能力和對不同分辨率的適應(yīng)能力，讓影視制作、監(jiān)控安全等行業(yè)的眾多從業(yè)者看到了其可能帶來的效率提升和成本降低的希望。許多人期待它能成為視覺內(nèi)容處理的新解決方案，減少人力成本并提高處理下限（如適應(yīng)低分辨率等）。GLM-4-Air 的高性價(jià)比使得更多個(gè)人開發(fā)者和小企業(yè)開發(fā)者有機(jī)會參與大模型開發(fā)，這在市場上是一次降低開發(fā)門檻的積極嘗試。尤其是在開發(fā)語言服務(wù)類應(yīng)用小產(chǎn)品時(shí)，提供了價(jià)格適宜的選擇，被認(rèn)為是打開了部分市場需求的窗口。

市場定位差異好評

它們各自不同的市場定位獲得了受眾的正面評價(jià)。GLM-Realtime 由于主打?qū)崟r(shí)交互，市場將其定位為未來即時(shí)智能交互設(shè)備或者短互動場景下的可能技術(shù)支撐，需要此類技術(shù)的廠商與開發(fā)者對其持積極肯定的態(tài)度。GLM-4V-Plus 定位于視覺理解的強(qiáng)化版，在圖像和視頻相關(guān)的商業(yè)場景中備受看好，比如在廣告制作中的視頻素材分析篩選、監(jiān)控領(lǐng)域的圖像智能分析等方面，市場對其在視覺理解領(lǐng)域深度和廣度的拓展給予好評。而 GLM-4-Air 因高性價(jià)比，以個(gè)人開發(fā)者和初創(chuàng)企業(yè)的開發(fā)者為目標(biāo)群體，這個(gè)群體對其評價(jià)頗高，擁有了更親民的大模型解決方案。

潛力與競爭并存

盡管獲得了積極評價(jià)，它們?nèi)悦媾R著一些競爭和挑戰(zhàn)。在 GLM-Realtime 方面，雖然清唱等功能獨(dú)特，但在實(shí)時(shí)交互和語音對話領(lǐng)域已有其他競爭對手布局，如谷歌等在語音助手方面不斷探索實(shí)時(shí)交互性的改進(jìn)，它需要進(jìn)一步鞏固自身在多場景尤其是智能硬件交互中的獨(dú)特地位。GLM-4V-Plus 盡管視覺能力出眾，但人工智能視覺領(lǐng)域競爭激烈，國內(nèi)外多家廠商都在不斷提升自身的視覺處理能力極限，它需要持續(xù)在視頻時(shí)長處理、分辨率適應(yīng)等方面保持優(yōu)勢，并拓展新的技術(shù)能力。GLM-4-Air 雖然性價(jià)比高，但也存在性能或許并非頂級的擔(dān)憂，在面對一些成熟的免費(fèi)或低成本語言模型（如某些互聯(lián)網(wǎng)巨頭推出的基礎(chǔ)對話模型）時(shí)，它需要在功能優(yōu)化、應(yīng)用案例拓展上不斷前進(jìn)，提升在開發(fā)者心中的地位。