摘要：盖世汽车讯 å¿«é€Ÿç”Ÿæˆé«˜è´¨é‡å›¾ç‰‡çš„èƒ½åŠ›å¯¹äºŽæ‰“é€ é€¼çœŸçš„æ¨¡æ‹ŸçŽ¯å¢ƒè‡³å…³é‡è¦ï¼Œè€Œä¸”æ­¤ç±»çŽ¯å¢ƒå¯ç”¨äºŽè®­

盖世汽车讯 å¿«é€Ÿç”Ÿæˆé«˜è´¨é‡å›¾ç‰‡çš„èƒ½åŠ›å¯¹äºŽæ‰“é€ é€¼çœŸçš„æ¨¡æ‹ŸçŽ¯å¢ƒè‡³å…³é‡è¦ï¼Œè€Œä¸”æ­¤ç±»çŽ¯å¢ƒå¯ç”¨äºŽè®­ç»ƒè‡ªåŠ¨é©¾é©¶æ±½è½¦é¿å¼€ä¸å¯é¢„æµ‹çš„å±é™©ï¼Œä»Žè€Œæå‡å…¶åœ¨çœŸå®žé“è·¯åœºæ™¯ä¸­çš„å®‰å…¨æ€§ã€‚ç„¶è€Œï¼Œç›®å‰ç”Ÿæˆå¼äººå·¥æ™ºèƒ½æŠ€æœ¯è¶Šæ¥è¶Šå¤šåœ°è¢«ç”¨äºŽç”Ÿæˆæ­¤ç±»å›¾åƒï¼Œä¸è¿‡æ­¤ç±»æŠ€æœ¯å­˜åœ¨ç¼ºé™·ã€‚ä¾‹å¦‚ï¼Œä¸€ç§ååˆ†æµè¡Œçš„æ¨¡åž‹ç±»åˆ«â€”â€”æ‰©æ•£æ¨¡åž‹ï¼Œå°±å¯ä»¥ç”Ÿæˆæžå…¶é€¼çœŸçš„å›¾åƒï¼Œä½†æ˜¯å…¶å¯¹äºŽå¾ˆå¤šåº”ç”¨è€Œè¨€ï¼Œé€Ÿåº¦æ…¢ä¸”éœ€è¦å¤§é‡çš„è®¡ç®—èµ„æºã€‚å¦ä¸€æ–¹é¢ï¼Œé©±åŠ¨ChatGPT等大型语言模型（LLM）的自回归模型虽然速度更快，但是生成的图像质量较低，而且常常有很多错误。

据外媒报道，在此背景下，美国麻省理工学院（MIT）与英伟达公司（NVIDIAï¼‰çš„ç ”ç©¶äººå‘˜ç ”å‘äº†ä¸€ç§æ–°æ–¹æ³•ï¼ŒæˆåŠŸå°†ä¸Šè¿°ä¸¤ç§æ–¹æ³•çš„ä¼˜åŠ¿ç»“åˆèµ·æ¥ã€‚æ­¤ç§æ··åˆå›¾åƒç”Ÿæˆå·¥å…·é‡‡ç”¨è‡ªå›žå½’æ¨¡åž‹ï¼Œå¿«é€Ÿæ•æ‰æ•´ä½“ç”»é¢ï¼Œç„¶åŽè¿ç”¨å°åž‹æ‰©æ•£æ¨¡åž‹ï¼Œå¯¹å›¾åƒè¿›è¡Œç»†èŠ‚ä¼˜åŒ–ã€‚è¯¥æ¬¾å·¥å…·åä¸ºHART（hybrid autoregressive transformer，混合自回归转换器的缩写），能够生成与当前最先进的扩散模型所生成的图像，质量相当甚至更优的图像，同时速度提升了九倍。

AI工具生成逼真图像（图片来源：MIT）

HARTç”Ÿæˆå›¾åƒçš„è¿‡ç¨‹æ‰€æ¶ˆè€—çš„è®¡ç®—èµ„æºè¾ƒå…¸åž‹æ‰©æ•£æ¨¡åž‹æ›´å°‘ï¼Œå› è€Œä½¿å…¶èƒ½å¤Ÿåœ¨å•†ç”¨ç¬”è®°æœ¬ç”µè„‘æˆ–æ™ºèƒ½æ‰‹æœºä¸Šæœ¬åœ°è¿è¡Œã€‚ç”¨æˆ·åªéœ€åœ¨HART界面输入自然语言提示，即可生成图像。HARTå¯èƒ½å…·æœ‰å¹¿æ³›çš„åº”ç”¨å‰æ™¯ï¼Œä¾‹å¦‚å¸®åŠ©ç ”ç©¶äººå‘˜è®­ç»ƒæœºå™¨äººï¼Œä»¥å®Œæˆå¤æ‚çš„çœŸå®žä¸–ç•Œä»»åŠ¡ï¼›ååŠ©è®¾è®¡å¸ˆä¸ºè§†é¢‘æ¸¸æˆæ‰“é€ æ›´å…·å¸å¼•åŠ›çš„åœºæ™¯ã€‚

两全其美

Stable Diffusion和DALL-Eç­‰æµè¡Œçš„æ‰©æ•£æ¨¡åž‹èƒ½å¤Ÿç”Ÿæˆé«˜åº¦ç»†èŠ‚åŒ–çš„å›¾åƒã€‚æ­¤ç±»æ¨¡åž‹é€šè¿‡è¿­ä»£è¿‡ç¨‹ç”Ÿæˆå›¾åƒï¼Œåœ¨æ­¤è¿‡ç¨‹ä¸­ï¼Œæ­¤ç±»æ¨¡åž‹ä¼šå¯¹æ¯ä¸ªåƒç´ é¢„æµ‹ä¸€å®šé‡çš„éšæœºå™ªå£°ï¼Œç„¶åŽå‡åŽ»å™ªå£°ï¼Œä¹‹åŽé¢„æµ‹è¿‡ç¨‹ä¸Žâ€œåŽ»å™ªâ€è¿‡ç¨‹ä¼šè¢«é‡å¤å¤šæ¬¡ï¼Œç›´è‡³ç”Ÿæˆä¸€å¼ å®Œå…¨æ— å™ªå£°çš„æ–°å›¾åƒã€‚

ç”±äºŽæ‰©æ•£æ¨¡åž‹åœ¨æ¯ä¸€æ­¥å‡éœ€å¯¹å›¾åƒä¸­çš„æ‰€æœ‰åƒç´ æ‰§è¡ŒåŽ»å™ªæ“ä½œï¼Œå¹¶ä¸”è¯¥è¿‡ç¨‹å¯èƒ½åŒ…æ‹¬30æ­¥æˆ–æ›´å¤šæ­¥éª¤ï¼Œå› æ­¤æ•´ä½“è¿‡ç¨‹å¯èƒ½ä¼šæ¯”è¾ƒç¼“æ…¢ä¸”è®¡ç®—æˆæœ¬é«˜æ˜‚ã€‚ä½†æ˜¯ï¼Œå› ä¸ºè¯¥æ¨¡åž‹æœ‰å¤šæ¬¡æœºä¼šä¿®æ­£ä¹‹å‰å‡ºé”™çš„ç»†èŠ‚ï¼Œå› æ­¤ç”Ÿæˆçš„å›¾åƒè´¨é‡ä¼šå¾ˆé«˜ã€‚

è‡ªå›žå½’æ¨¡åž‹åœ¨æ–‡æœ¬é¢„æµ‹ä»»åŠ¡ä¸­å¾—åˆ°äº†å¹¿æ³›åº”ç”¨ï¼Œå¹¶ä¸”å¯é€šè¿‡ä¾æ¬¡é¢„æµ‹å›¾åƒå—ï¼ˆæ¯æ¬¡å¤šä¸ªåƒç´ ï¼‰ç”Ÿæˆå›¾åƒã€‚å°½ç®¡è¯¥æ¨¡åž‹æ— æ³•å›žæº¯ä»¥ä¿®æ­£é”™è¯¯ï¼Œä½†æ˜¯æ­¤ç§é¡ºåºé¢„æµ‹è¿‡ç¨‹æ¯”æ‰©æ•£æ¨¡åž‹é€Ÿåº¦å¿«å¾—å¤šã€‚

æ­¤ç±»æ¨¡åž‹é‡‡ç”¨ç§°ä½œæ ‡è®°ï¼ˆtokensï¼‰çš„è¡¨çŽ°å½¢å¼æ¥è¿›è¡Œé¢„æµ‹ã€‚è‡ªå›žå½’æ¨¡åž‹é‡‡ç”¨è‡ªåŠ¨ç¼–ç å™¨å°†åŽŸå§‹å›¾åƒåƒç´ åŽ‹ç¼©ä¸ºç¦»æ•£æ ‡è®°ï¼Œå¹¶åŸºäºŽæ­¤ç±»é¢„æµ‹æ ‡è®°é‡å»ºå›¾åƒã€‚å°½ç®¡æ­¤ç§æ–¹æ³•æå‡äº†æ¨¡åž‹çš„é€Ÿåº¦ï¼Œä½†æ˜¯åŽ‹ç¼©è¿‡ç¨‹ä¸­å‘ç”Ÿçš„ä¿¡æ¯ä¸¢å¤±å¯èƒ½ä¼šå¯¼è‡´æ¨¡åž‹åœ¨ç”Ÿæˆæ–°å›¾åƒæ—¶å‡ºçŽ°é”™è¯¯ã€‚

借助HARTï¼Œç ”ç©¶äººå‘˜ç ”å‘äº†ä¸€ç§æ··åˆæ–¹æ³•ï¼Œè¿ç”¨è‡ªå›žå½’æ¨¡åž‹æ¥é¢„æµ‹åŽ‹ç¼©çš„ç¦»æ•£å›¾åƒæ ‡è®°ï¼Œå†è¿è¥å°åž‹æ‰©æ•£æ¨¡åž‹æ¥é¢„æµ‹æ®‹å·®æ ‡è®°ã€‚å…¶ä¸­ï¼Œæ®‹å·®æ ‡è®°èƒ½å¤Ÿæ•æ‰ç¦»æ•£æ ‡è®°é—æ¼çš„ç»†èŠ‚ä¿¡æ¯ï¼Œè¡¥å¿æ¨¡åž‹ä¸¢å¤±çš„ä¿¡æ¯ã€‚

ç”±äºŽæ‰©æ•£æ¨¡åž‹åªèƒ½é¢„æµ‹è‡ªå›žå½’æ¨¡åž‹å®Œæˆå·¥ä½œåŽçš„å‰©ä½™ç»†èŠ‚ï¼Œå› æ­¤å…¶å¯åœ¨å…«ä¸ªæ­¥éª¤å†…å®Œæˆä»»åŠ¡ã€‚ç›¸æ¯”ä¹‹ä¸‹ï¼Œæ ‡å‡†æ‰©æ•£æ¨¡åž‹é€šå¸¸éœ€è¦30个或者更多步骤来生成完整的图像。此种额外引入的扩散模型以极低的计算量保留了自回归模型的速度优势，同时大幅提升其生成复杂图像细节的能力。

åœ¨ç ”å‘HARTçš„è¿‡ç¨‹ä¸­ï¼Œç ”ç©¶äººå‘˜åœ¨é«˜æ•ˆæ•´åˆæ‰©æ•£æ¨¡åž‹ä»¥å¢žå¼ºè‡ªå›žå½’æ¨¡åž‹æ–¹é¢é‡åˆ°äº†æŒ‘æˆ˜ã€‚ä½†æ˜¯ä»–ä»¬å‘çŽ°ï¼Œåœ¨è‡ªå›žå½’è¿‡ç¨‹çš„æ—©æœŸé›†æˆæ‰©æ•£æ¨¡åž‹ä¼šå¯¼è‡´è¯¯å·®ç´¯ç§¯ã€‚å› æ­¤ï¼Œæœ€ç»ˆçš„è®¾è®¡ä»…åœ¨æœ€åŽä¸€æ­¥åº”ç”¨äº†æ‰©æ•£æ¨¡åž‹ï¼Œä»¥é¢„æµ‹å‰©ä½™æ ‡è®°ï¼Œä»Žè€Œæ˜¾è‘—æå‡äº†å›¾åƒç”Ÿæˆçš„è´¨é‡ã€‚

ç ”ç©¶äººå‘˜çš„æ–¹æ³•ç»“åˆäº†å«æœ‰7亿参数的自回归转换器模型和含有3700万参数的轻量级扩散模型，能够生成与拥有20亿参数的扩散模型同等质量的图像，但是速度却快了九倍。此外，其计算量比最先进的模型少约31%。

此外，由于HART采用自回归模型（与驱动LLMçš„æ¨¡åž‹ä¸€æ ·ï¼‰æ¥å®Œæˆå¤§é‡å·¥ä½œï¼Œå› æ­¤å…¶æ›´æ˜“ä¸Žæ–°åž‹ç»Ÿä¸€è§†è§‰-语言生成式模型集成在一起。未来，人们或许能够与统一视觉-语言生成式模型互动，例如要求其展示组装一件家具所需的中间步骤。

å±•æœ›æœªæ¥ï¼Œç ”ç©¶äººå‘˜å¸Œæœ›èƒ½å¤Ÿç»§ç»­ç ”ç©¶ï¼ŒåŸºäºŽHARTæž¶æž„æ‰“é€ è§†è§‰-语言模型。由于HARTå…·æœ‰å¯æ‰©å±•æ€§ä»¥åŠå¤šæ¨¡æ€é€šç”¨æ€§ï¼Œå› æ­¤ç ”ç©¶äººå‘˜è¿˜å¸Œæœ›å°†å…¶åº”ç”¨äºŽè§†é¢‘ç”Ÿæˆå’ŒéŸ³é¢‘é¢„æµ‹ä»»åŠ¡ã€‚

来源：盖世汽车资讯JJ