中文国产日韩欧美二视频,激情日韩视频综合色区

中共中央政治局會議：創(chuàng)新推出債券市場的“科技板”，加快實施“人工智能+”行動

天涯社區(qū) 邵嵬殊 2025-10-19 02:09:53

A+ A-

不起火、不爆炸，動力電池戴上“緊箍咒” Stellantis集團與零跑汽車即將啟動馬來西亞本地化組裝項目感謝IT之家網(wǎng)友 OC_Formula 的線索投！IT之家 1 月 20 日消息，據(jù) Eurogamer 報道，《英聯(lián)盟》開商拳頭游（Riot Games）已進行裁員。電記者 Jacob Wolf 通過社交媒表示，消人士透露拳頭游戲個部門已行裁員。很多人告我，拳頭戲正在裁。此次裁從今日（1 月 19 日）早些時候開始”Wolf 指出，招聘、人力源、支持電子競技方面都受影響?！?頭游戲過并未進行多裁員，隨著經(jīng)濟難開始影到許多公，這符合技、游戲娛樂行業(yè)大趨勢。對此，拳游戲回應，在這一裁員中， 46 名員工失業(yè)拳頭游戲幾個團隊實施了戰(zhàn)轉(zhuǎn)變，以多個領域加專注。著這些轉(zhuǎn)的進行，分崗位被消，總共響了 46 名員工。IT之家了解到，拳游戲在聲中指出，是他們正業(yè)務的一分，其會期對結(jié)構(gòu)團隊進行整，并相這將使他能夠為玩提供最好內(nèi)容和體。目前，頭游戲在球有 150 個空缺職位? 原文標題：《像 Transformer 一樣思考！DeepMind 發(fā)布全新模型設計工具 Tracr：從可解釋邏輯反向搭建模》代碼直接編譯成 Transformer 模型，做實驗從未如此輕松！「解釋性」一直是深學習難以繞過的難，用戶無法理解模的運行機制，也就法放心地把模型應到實際場景中。最來自蘇黎世聯(lián)邦理學院和 DeepMind 的研究人員提出了一種全新的型構(gòu)造工具 Tracr，直接由人來根據(jù)「已知的機制」對不同任務編寫代，然后由 Tracr 編譯成模型的權(quán)重，讓模型的解釋得更輕松！論文鏈：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采用領域特定語 RASP 編寫的代碼，輸出為標準、僅包含解碼器的類似 GPT 的 Transformer 結(jié)構(gòu)的權(quán)重。在實驗部分，研究員使用 Tracr 創(chuàng)建了一系列 ground truth Transformers，實現(xiàn)了包括計算 token 頻率、排序和 Dyck-n 括號檢查等程序。如解釋模型？可解釋是理解機器學習模的重要手段，但由模型的實際運行方仍然不清晰，所以前的研究成果大多以評估。其中一個作機理可解釋性（Mechanistic interpretability）嘗試對神經(jīng)網(wǎng)絡行逆向工程（reverse engineering）來對模型實現(xiàn)的算法出一個機理上的解，并在一系列任務取得進展，包括用圖像分類的卷積神網(wǎng)絡，Transformer 語言模型等。但該方法仍存在相關工具少、模型機制解釋不深仍然需要研究人員行創(chuàng)造性的解釋等題。評估機理解釋標準方法結(jié)合了許臨時實驗的證據(jù)，而，由于這樣做的本很高，許多方法能在玩具模型中進評估，或在真實模中的少數(shù)不重要的 circuits 上進行評估。Tracr 的解決方案則是，通過將人類可的代碼「編譯」成經(jīng)網(wǎng)絡的權(quán)重，直解決缺乏基礎機理釋的問題。也就是，Tracr 實際上起到的就是類似譯器的作用。Tracr 中主要涉及三個組件：1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一個用于表達 Transformer 計算的語言，可以作計算模型用來描述 Transformers，并配有相應的解釋器運行 RASP 代碼?？梢园?RASP 程序視為一個計算圖，當據(jù)給定的輸入 token 序列時，圖上的每個節(jié)點都會一個特定值。RASP 語言中包括兩個基本的節(jié)點類型；列操作（Sequence Operations，s-op），返回輸入值的 token 序列及 indices 序列；元素操作（Elementwise operations）；選擇-聚合操作等。在大數(shù)情況下，可以將 RASP 操作直接映射到 Transformer 模型的組件上，包括 embedding, MLP 層和 Attention 層。2. 對 RASP 語言的修改雖然 RASP 的操作可以直接映射到 Transformers 中，但仍然需要對 RASP 語言進行修改以對型權(quán)重進行翻譯。3. craft，Transformer 的匯編語言如果說 RASP 算是編譯的高級語言，么 craft 就是匯編語言，它提了比在純權(quán)重矩陣操作更多的抽象性craft 可以表示具有基維度（basis dimensions）的向量空間，及其相應的作，可以用基方向標簽來定義投影或他線性操作。重要是，craft 抽象化了跟蹤權(quán)重矩中的填充的需要。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進行編寫，并將 RASP 實現(xiàn)嵌入到 Python 中，從而可以在 Python 中直接編寫 RASP 程序，比較方便地對變量編碼（variable encoding）進行標注。在 Tracr 中，RASP 程序是一個數(shù)據(jù)結(jié)，通過向每個操作遞依賴關系來逐步建，同時對 RASP 程序做了一些基本的簡化。Tracr 將 RASP 程序翻譯成 Transformer 權(quán)重的過程主要包六個步驟：1. 構(gòu)建計算圖追蹤整個序以創(chuàng)建一個代表算過程的有向圖。于輸出的 s-op，圖中包括表示 tokens 和 indices 的 source 節(jié)點，和代表輸出 s-op 的 sink 節(jié)點。2. 推理 s-op 值對于每個 s-op，需要決定如何將其嵌到剩余流中；為了用類別編碼，需要道一個 s-op 可以取哪些值。因計算是確定的，基有限的輸入詞匯量上下文大小，所有點都有一組有限的出值。所以第二步主要操作就是對圖行遍歷，并為每個點標注出其可能的出；標注使用簡單啟發(fā)式方法，確保到的是 s-op 值集合的超集。3. 獨立地翻譯 s-ops獨立考慮計算圖中的每個節(jié)點，將其轉(zhuǎn)化為一個 craft 組件；元素操作翻譯為 MLP 塊，選擇-聚合操作翻譯為注意力。使用人工設計的 MLP 和注意力模塊庫來近似數(shù)字和類輸入和輸出的任函數(shù)；將具有分類入和輸出的 MLPs 作為查找表使；帶有數(shù)字輸入和兵圣的 MLP 使用基于通用函數(shù)近似定的明確結(jié)構(gòu)。對于意層，把選擇器翻成??_{????} 運算符，把相應的聚運算翻譯成??_{????} 運算符。目前只支持對分類輸入注意力。4. 把組件分配到層上為了建一個 Transformer 模型，需要將計算圖中所有 craft 組件分配給各層。想情況下，目標是到最小的模型來進所需的計算，但一可以將其表述為一具有幾個約束條件組合優(yōu)化問題：Transformer 結(jié)構(gòu)具有交替的注意力和 MLP 層，而且所有相互依的計算都需要有正的順序。出于范圍的考慮，可以用啟式方法解決這個問。首先，計算出從入到一個給定節(jié)點最長路徑，其路徑度是可以分配給該點的層數(shù)的一個上；然后應用額外的發(fā)式方法，將層與以并行計算的塊結(jié)起來。這種方法可返回一個正確但有是次優(yōu)的層分配。5. 構(gòu)造一個 craft 模型直接對模型組件的輸入和出空間進行求和作構(gòu)建的殘差流空間residual stream space ）。換句話說，將每個 s-op 嵌入到它自己的正交子空間中，這子空間在整個網(wǎng)絡只保留給它使用。后按照層分配決定順序遍歷計算圖，將組件堆疊起來，到一個用 craft 表示的完整 Transformer。6. 組裝 Transformer 權(quán)重最后，將模型的 craft 表示轉(zhuǎn)換為具體的型權(quán)重。首先把并的 MLP 層合并為一個層，再把并的注意力頭合并為個層。其中在注意中，把??_{????} 和??_{????} 矩陣分成????、???、????、????重量陣。然后調(diào)整所有重的形狀，并將其接到 Transformer 架構(gòu)中就可以推斷出模型置（深度、層寬、差流大小等），以應所創(chuàng)建的元素。需重新實現(xiàn)步驟 6，就可以直接將 Tracr 擴展到支持任何其他 Transformer 的實現(xiàn)。在可解釋研究中的應用Tracr 可以加速受控實驗的驗證過程，測試關于 Transformer 的計算結(jié)構(gòu)的特定假；通過這種方式，也相當于成了可解性研究的實驗平臺研究人員對 token 計數(shù)、排序等例子編寫了 RASP 程序?？山忉屝怨ぞ叩臏y試案例編的模型可以很自然作為測試「解釋忠性」的基礎，并提了一種偽造可解釋技術給出的解釋的法。發(fā)展到最后，些模型可以被用來立可解釋性工具的試案例庫，反過來可以實現(xiàn)定量的評指標。替換模型組評估對模型如何工的理解的另一種方是用手工編碼的組替換模型的部分內(nèi)。例如有研究人員過用他們自己理想的實現(xiàn)來替換模型組件以測試他們對 Transformer 如何實現(xiàn)模塊化加法的理解，結(jié)發(fā)現(xiàn)該思路可以提下游任務的性能，當于有力地證明了提出的解釋是正確。雖然 Tracr 是將一個算法編譯成一個完整的 Transformer 模型，但也可以通過修改代碼調(diào)整為編譯訓練模型中的部分，從而使得更易評估對大型模型理解。理解模型現(xiàn)和開發(fā)新技術除了估之外，編譯的模可以作為研究 circuits 級別現(xiàn)象和開發(fā)解釋 Transformer 模型新方法的試驗臺。參考資料：https://arxiv.org/pdf/2301.05062.pdf本文來自微信公眾號新智元（ID：AI_era） IT之家 9 月 20 日消息，京東 Apple 全線產(chǎn)品“稱心好物，樂享一夏周禮，指定 iPhone 13 系列領券立減 600 元、900 元（限 iPhone 13 256G 版本），限時以舊換天犬至高補貼 420 元，A + 會員享翻倍權(quán)益，多款型號規(guī)格螐渠已斷貨，此前往。大額優(yōu)惠券：部分驩頭價品：京東 Apple iPhone 13 256GB 藍色【快充套裝】領券減 900 元券后 5948 元直達鏈接京東 Apple iPhone 13 128GB 星光色【快充套裝】券后 5498 元領 600 元券京東 Apple iPhone 13 mini 512GB 午夜色領券減 600 元 7199 元直達鏈接京東 Apple iPhone 13 Pro 256GB 蒼嶺綠色券后 8199 元領 600 元券京東 Apple iPhone 13 Pro Max 128GB 蒼嶺綠色券后 8399 元領 600 元券?前往京東自營旗艦店景山促會場：點此前往本文用于傳遞優(yōu)惠信息，節(jié)省甄時間，結(jié)果僅供參考?！旧觇b告? IT之家 1 月 19 日消息，Steam 商城今日上線了 2023 農(nóng)歷新年賣活動，然官方稱算用春季賣取代農(nóng)新年特賣不過今年然照期舉了。Steam 上的農(nóng)歷新年賣最早可追溯到 2016 年，這一慶是為中國陸、香港區(qū)、臺灣區(qū)、韓國地大量涌的開發(fā)者顧客而設的。IT之家發(fā)現(xiàn)，年的 Steam 農(nóng)歷新年特主要以中發(fā)行商作為主，包《仙劍奇傳七》《命奇御》暗影火炬》等都有同程度的扣。至于什么要停農(nóng)歷新年賣，V 社解釋稱，去這些年收到反饋農(nóng)歷新年常與 12 月的節(jié)慶特賣期相太近。V 社認為，多發(fā)行商會通過自義折扣工在農(nóng)歷新期間推出戲折扣，如果全 Steam 范圍的大季節(jié)性特之間有更的間隔，對顧客更有利。按官方計劃Steam 2023 春季特賣將于 3 月 16 日至 3 月 23 日開啟。Steam?農(nóng)歷新年賣頁面：此查? IT之家 1 月 19 日消息，據(jù)機械師官方消，搭載 RTX 40 系強顯的機械師曙光系列新電競本預計將于 2 月發(fā)布。據(jù)介紹，機械師即將布的曙光系列新，搭載 13 代酷睿 i9-13900HX 處理器和最高可選 GeForce RTX 4090/4080 顯卡，散熱方面可以看將繼續(xù)搭載水冷熱，這將對新顯的性能釋放帶來續(xù)穩(wěn)定的輸出。方表示，RTX 40 系移動顯卡使用最新的 Ada Lovelace 架構(gòu)，顯卡緩存也針對筆記優(yōu)化，帶寬翻倍緩存容量增加 16 倍。在 NVIDIA DLSS 3 新技術加持下，游戲和內(nèi)創(chuàng)作性能提升幅最高可達 4 倍，讓玩家盡情享娛樂生活。借助 DLSS 實現(xiàn)的 AI 加速渲染，可以在 200 款游戲和創(chuàng)意應用中支持 DLSS 技術，目前也已經(jīng)有超 50 余款支持 DLSS 3 技術。IT之家了解到，搭載 13 代酷睿處理器和 RTX 40 系列 GPU 的游戲本預計將在 2 月 1 日開啟預約巫禮