o3出圈玩法“看圖猜位置”，豆包也安排上了！
而且不只是猜位置那么簡單，玩法“更上了一層樓”，例如我們給出下面這張圖：
醒目的東方明珠，一眼便知是上海。但現(xiàn)在的問題是：
你知道這是幾幾年嗎？
對我們?nèi)祟悂碚f可能會有點難以判斷，不過在豆包這里，現(xiàn)在可以精確回答：1999年左右。
這就是豆包APP最新的一個功能——升級了視覺推理，圖片也能深度思考！
具體而言，現(xiàn)在豆包的深度思考過程不再只是文字的處理，對圖片也能進行分析。
操作上也非常簡單，只需開啟深度思考模式，然后拍照或上傳圖片即可：
而且細看豆包APP分析的整個深度思考的過程，也是有點意思在身上的。
例如它先會以圖搜圖，大致判斷一下圖片位置是上海；然后再調(diào)用圖片分析工具（包括放大、裁剪和旋轉(zhuǎn)等等），根據(jù)圖片中的具體細節(jié)內(nèi)容，進一步分析確定年份的證據(jù)。
總而言之，是屬于邊思考邊搜邊巧用工具的那種。
那么接下來，一波實測，走起！
這第一關，咱先來點好玩的——讓AI識別AI。
左右兩邊的西紅柿都非常逼真，僅憑肉眼實在難以區(qū)分。
而豆包一擊即中，一番思索后得出了正確答案：右側(cè)為AI生成。
展開其推理過程，才發(fā)現(xiàn)它是通過“放大細節(jié)”得出結(jié)論的。
尤其是右圖左下角的西紅柿暴露了身份，其蒂部呈現(xiàn)出不自然的卷曲和分叉blabla。
既然它“眼力”不錯，咱們接著整個大的——請找出下圖中熊貓里的足球。
人類 VS AI，計時開始……
很好，肉眼找了一圈又一圈，最后還是只能求助于AI。
豆包APP給的答案是醬嬸兒的：
怕你還是找不到，所以在思考過程中特意“放大”了足球所在的區(qū)域。
注意看，這里同樣涉及到豆包對圖片分析工具的調(diào)用，整個過程如下：
初步識別→可疑區(qū)域鎖定
放大區(qū)域→局部圖案對比
空間定位→精準敘述
看來一些比較考眼力的小游戲，尤為適合請豆包APP這位外援。
此外，作為一款日常工具，平時看到任何不懂的東西也都可以隨時丟給豆包APP。
例如網(wǎng)上沖浪時，看到有人分享一款小眾樂器，這就第一時間問問豆包：
豆包老師直接開課，采用最直接的方法——相似圖片檢索，確認這是少數(shù)民族鄂溫克族的口弦琴。
又或者遇到云南這樣的“新奇物種大省”，反手也是一個求助的動作。
原來這是云貴一帶的小苦瓜，學名翅果藤，可以素炒、涼拌或曬干泡茶。
對于這種可能豆包自己都少見的東西，它會結(jié)合圖片檢索+文字檢索來雙重保障信息準確。
這下好了，以后人人都有一個7x24小時響應的生活助手了。
而且它的本事可不止幫忙搞定生活瑣事，用來提升工作效率一樣拿得出手。
這不，讓無數(shù)父母越來越頭疼的作業(yè)輔導，現(xiàn)在也能全權(quán)交給豆包APP了。
為了加大難度，這里我們直接上今年IMO（國際數(shù)學奧林匹克競賽）的第一題：
看不懂不要緊，直接交給豆包——在經(jīng)過明顯時間更長的思考后，它通過一步步推理最終給出了正確答案。
有一說一，答案是否正確我等凡人也看不太懂，所以交給了ChatGPT這個第三方裁判，讓它來對比一下豆包APP和網(wǎng)上公開的人類選手給出的正確答案是否一致。
ChatGPT經(jīng)過分析后認為，雖然解答方法不一樣，但二者的結(jié)論是一致的。
與此同時，豆包APP也能用于日常工作——比如將一份財報數(shù)據(jù)一鍵提取成表格。
話不多說，直接丟一份蘋果公司財報試試：
逐一檢查后，豆包有效hold住了數(shù)據(jù)準確性的考驗，而且還支持橫向全屏查看。
當識圖準確性這個“攔路虎”搞定后，豆包APP能夠發(fā)揮作用的空間也就更廣泛了，包括但不限于：
從上面種種的實測中，我們不難發(fā)現(xiàn)豆包的思考鏈所具備的一個亮點——邊想邊搜。
傳統(tǒng)AI的思考過程，大多采用的是“先搜后想”模式，也就是先一次性抓取海量信息，然后基于已經(jīng)搜到的這些信息進行推理，范圍相對有限、靈活性不足。
而豆包APP的“邊想邊搜”更像是一個“動態(tài)推理+多輪搜索”的過程。
在這個模式下，AI會根據(jù)推理的需要，在深度思考的過程中多次調(diào)用搜索、圖片分析等不同工具來獲取和驗證信息，從而提供更加全面、準確的結(jié)果。
這個完整的思考鏈條，會根據(jù)用戶問題的具體情況，靈活地接入圖片理解和信息搜索。
例如，在思考推理過程中，它既可能需要通過文字信息去檢索和分析圖片（文搜圖），也可能需要根據(jù)圖片內(nèi)容去反向查找相關信息（圖搜文、圖搜圖）。
為了更直觀地展示這個過程，我們嘗試用它來找一部記憶模糊的童年動畫片：
而就是這樣寥寥幾句，豆包APP通過多輪關鍵詞檢索和圖片分析，幫忙成功找到了《Super Why》這部童年經(jīng)典。
圖搜圖就和開頭展示的例子類似，在此不再過多贅述。
至于在思考過程中展現(xiàn)圖搜文，下面根據(jù)某張技術截圖反向查找原始論文出處的例子就淋漓盡致地展現(xiàn)了這種能力。
豆包APP通過3輪搜索+調(diào)用圖片分析工具，一步步鎖定了這是OpenAI發(fā)表的論文《Training language models to follow instructions with human feedback》。
而經(jīng)過實際對比，這張圖也的確是該論文中的Figure 1。
Okk，林林總總體驗下來，豆包APP現(xiàn)在確實屬于邊思考邊搜邊巧用工具的“六邊形戰(zhàn)士”了。
一句話，以后遇到啥問題都能隨手一拍或截圖丟給它。
事實上，不止豆包APP，如今幾乎整個行業(yè)都在朝視覺推理這個方向狂飆突進。
今年以來，以OpenAI為代表推出的o3、o4-mini等推理模型，幾乎憑一己之力將圖像納入推理鏈，開啟了多模態(tài)深度理解的新范式。
隨后，視覺推理能力迅速成為衡量大模型綜合實力的新技術門檻，在國內(nèi)外掀起了新一輪競速熱潮。
細究起來，這背后其實有兩大核心驅(qū)動力：一曰技術，二曰需求。
一方面，多模態(tài)技術的持續(xù)發(fā)展，為視覺推理提供了強有力的技術支撐。
由于主流大模型均采用Transformer架構(gòu)，它具備天然的多模態(tài)融合能力，能夠?qū)ξ淖?、圖像、音頻等不同模態(tài)的信息進行統(tǒng)一編碼和高效處理。
因此，帶圖推理在技術上實際并非遙不可及。
而且發(fā)展多模態(tài)目前已成為AI圈的共識之一，顯而易見，作為多模態(tài)智能重要組成部分的視覺推理，也大概率將隨之水漲船高，成為競逐熱點之一。
更不必提，視覺推理也確實存在真真切切的行業(yè)及用戶需求。
從行業(yè)角度來看，視覺推理是落地多種應用場景的關鍵能力。
比如在工業(yè)制造領域，視覺推理可用于無序分揀、晶圓缺陷檢測、電池極片3D輪廓測量等復雜場景；在醫(yī)療領域，視覺推理能夠助力手術導航、病理圖像分析等應用……如此種種不勝枚舉。
而對普通用戶來說，鑒于現(xiàn)實中圖文混合的信息越來越多，人們越來越需要的不只是“識圖”，而是真正理解圖中的邏輯與內(nèi)容。
就像我們在實測環(huán)節(jié)看到的那樣，在圖像問答、文檔解析等多個場景中，具備視覺推理能力的模型已經(jīng)可以像人類一樣識別細節(jié)、分析關系、做出判斷，極大提升了信息獲取和處理的效率。
綜上所述，可以說技術的成熟與需求的涌現(xiàn)，在此時此刻實現(xiàn)了高度契合，從而帶動了視覺推理能力迅速升溫，成為新階段的核心看點之一。
當然，大道理歸大道理。對我們普通用戶來說，最直接的變化是：o3、o4-mini等需要氪金才能用的功能，如今已經(jīng)能在豆包APP里低門檻、免費用上。
豆包這波，也算是真正把“帶圖推理”打下來了~
p.s. 豆包APP現(xiàn)已全量上線帶圖推理功能，不過需要更新至最新的9.5.0版本才能體驗哦。
