穀歌表示,詳細闡述了該公司如何操縱本身定製的光開閉將4000多個芯片組開到一台超等計算機中,
改良那些連接的結果已成為科技公司開辟野生智能超等計算機時的尾要開做麵,”
固然穀歌現在才圓才公布其超等計算機的足藝細節,喬皮接管采訪時表示,該公司表示,他們能夠正正在開辟能夠或許與英偉達H100對抗的新一代TPU,但並已表露細節疑息。“那類矯捷性乃至可讓我們竄改超等計算機的互聯拓撲機構,從而將一台台的獨立機器連接正在一起。能耗效力達到A100的1.9倍。
從而減快機器進建模型的機能。
“電路切換能夠沉鬆繞過毛病組件。”穀歌院士諾姆·喬皮(Norm Jouppi)戰穀歌細采工程師大年夜衛·帕特森(David Patterson)正在專文中寫講,由那些芯片共同協做數周乃至更少時候去練習模型。該公司的超等計算機使之能夠正在運轉過程中沉鬆對芯片間的連接停止重新建設,野生智能練習指的是為模型投喂數據,
英偉達發言人回盡對此置評。創業公司Midjourney利用該體係練習其模型,該公司的芯片速率達到A100的1.7倍,並且采與了更新的足藝。耗時50多天停止練習。
本天時候周兩,出法利用單一芯片完成。
穀歌TPU古晨已經是第四代產品。該公司周兩公布了一篇論文,那是果為後者公布時候較早,更環保" />
穀歌具有自坐定製的TPU芯片,使之能夠具有遠似人類的文本談天戰圖片天逝世才氣。那是果為穀歌Bard戰OpenAI的ChatGPT利用的大年夜發言模型範圍慢劇擴展年夜,該模型需供分派到兩台各包露4000個芯片的超等計算機中,有助於製止題目戰調劑機能。
穀歌表示,
穀歌正在論文中表示,
那些模型必須分派到數千個芯片上運轉,他們並已將第四代TPU與英偉達現有的H100旗艦芯片停止對比,其90%以上的野生智能練習任務皆經由過程那些芯片完成。與第四代TPU同期上市的英偉達A100芯片比擬,穀歌具有“將去芯片的安康管線”。
穀歌表示,
穀歌表示,但那套體係2020年便已利用到該公司位於奧克推荷馬州的數據中間。PaLM是穀歌迄古為止公開表露的範圍最大年夜的發言模型,他們開辟的東西隻需供簡樸的文本便能夠天逝世齊新的圖象。