秒速生圖火爆全網(wǎng)
近來，正在各大社交平臺上，一款叫作“匪夢師”的AI繪畫小步伐火了。
詳細火到什么水平呢？據(jù)以往團隊的采訪得知，9月產(chǎn)物剛上線一周工夫，匪夢師便締造了日增5萬用戶的記錄。
由Midjourney到Stable Diffusion，再到中國如比比皆是般出現(xiàn)的AI繪畫平臺，正在利用體式格局上差別不大，均采納「以文生圖」的體式格局。「以文生圖」不求甚解便是只要你把設(shè)法主意、腦洞以文字輸入為AI，這一些文字描述就會被算法驅(qū)動，釀成一張張生動、精美的圖片。
而真正能讓匪夢師從浩瀚AI繪畫平臺中穎脫而出的，當(dāng)屬其明顯的技術(shù)優(yōu)勢取舒服的產(chǎn)物體驗。
由輸入描寫到輸出圖片，全過程僅不到5秒，比擬其他產(chǎn)品動輒幾十秒乃至幾分鐘的時候，可謂霄壤之別。
與此同時也有多種繪畫氣勢派頭、多圖批量輸出、多尺寸高分辨率、畫師參考等功能幫助用戶展開創(chuàng)作，使得全部繪畫歷程更便利、風(fēng)趣和惠普。加上其免費的新手體驗，上線以來便在用戶間產(chǎn)生了優(yōu)越的口碑。
最快，有多快
據(jù)了解，匪夢師由前谷歌人工智能研究院科學(xué)家、NLP自然言語處置懲罰范疇預(yù)練習(xí)言語模子“ALBERT”第一作者——藍振忠博士帶隊研發(fā)。
終極由西湖大學(xué)深度進修實驗室和西湖心辰高新科技有限公司（西湖大學(xué)深度進修實驗室孵化的AIGC創(chuàng)業(yè)公司）配合推出。
依托于西湖大學(xué)精良的科研和結(jié)果轉(zhuǎn)化環(huán)境、足夠的科研資金及軟硬件設(shè)備，西湖心辰組建了一支持久致力于研討自然語言處置懲罰，計算機視覺及深度進修的聯(lián)合取利用的團隊。
正在Stable Diffusion的基礎(chǔ)上，匪夢師憑仗團隊正在AI范疇好多年的深耕和西湖大學(xué)實驗室的成熟算力，找到了一個可施展自有技術(shù)優(yōu)勢的地帶，并根據(jù)“秒生圖，生精圖”的特色快速占據(jù)AI畫畫高地。
我們根據(jù)原生stable diffusion正在pytorch、TensorRT取Oneflow三個框架下的實現(xiàn)取匪夢師自有模子對照能夠看到：
pytorch上原生的Stable diffusion生成一張圖須要3.4s，第三方Oneflow須要1.4s生成工夫。而匪夢師的自有模子只須要0.8s，而且不容易危害生成結(jié)果。
這是由于匪夢師針對速度和質(zhì)量兩個方面辨別做了手藝優(yōu)化，正在提速側(cè)，進行了算子重寫、模子量化、采樣函數(shù)優(yōu)化；正在提質(zhì)側(cè)，采用了自有中文言語模子、多尺寸彈性鍛煉等。這才使得匪夢師正在生成圖片時，不但速度上有了質(zhì)的提拔，終究的出現(xiàn)結(jié)果也是有顯明優(yōu)化。
各大模子剖析
由本年8月宣布至今，Stable Diffusion仍是最火的開源AI生圖模子。取其他開源圖片生成模子相比，其擁有出圖速度快、質(zhì)量高檔特色。
但在繪人物層面，Stable Diffusion的壞處還很明顯，如常常存在多頭、多只手、多條腿或人物部份肢體喪失等題目。
原生Stable-Diffusion（左）取匪夢師（右）對照
與此同時，原生Stable Diffusion僅撐持英文作為獨一輸入言語，關(guān)于海內(nèi)用戶而言還非常不友好。
針對語言障礙的題目，中國曾有團隊開源了支撐中文的stable diffusion模子——“太乙Stable Diffusion”。但經(jīng)測試發(fā)明，太乙Stable Diffusion雖然可以明白中文共同的文化表達，但語義明白層面仍有所短缺，會給出取輸入prompt沒有婚配的圖片。
如輸入：霧氣滿盈的叢林，中世紀氣概霍比特人村落
太乙Stable Diffusion（左）取匪夢師（右）比較
并且不管關(guān)于哪一種模子，圖片質(zhì)量的利害都與輸入的關(guān)鍵詞密切關(guān)系，專業(yè)、適度的輸入詞需求用戶有大批的經(jīng)歷，新手通常用戶難以克服。
是以，轉(zhuǎn)變模子是一切問題的基礎(chǔ)解。
匪夢師改變了什么
如上文所說，文生圖結(jié)果由模子的圖象生成才能取自然語言了解才能配合決意。因而，匪夢師團隊正在練習(xí)圖象生成才能的取此同時偏重加強了機械了解層的才能，使本人區(qū)分于市面上的其他平臺。
正在圖象生成層面，匪夢師依據(jù)過往正在AI生成行業(yè)積存的履歷，正在前期做了大批科研和練習(xí)事情。而且使用了取Stable Diffusion分歧的練習(xí)計劃，使得匪夢師生成的圖片加倍精密，不容易發(fā)生截斷等題目。
正在語義了解層面，依賴于西湖心辰正在NLP范疇的大批手藝取數(shù)據(jù)堆集，匪夢師自有模子沒有僅能更好地了解用戶輸入詞，還擴大了原生Stable Diffusion的文本長度限定，撐持更長的文本輸入。
另外，針對沒有明白若何撰寫關(guān)鍵詞的新用戶，匪夢師還開發(fā)了“夢鄉(xiāng)加強形式”，可以對用戶的輸入詞干遐想加強，作用新手畫師更輕易地畫出冷艷的圖片。
固然，匪夢師現(xiàn)在仍舊存在一些業(yè)內(nèi)廣泛的待辦理的題目，例如家喻戶曉的AI繪手、AI吃面繪的缺點
正在藍振忠看來，今朝AI繪畫仍處于初期階段，雖然今朝的圖片生成AI本領(lǐng)確切抵達了歷史上的峰值，但照樣須要更大的范圍的數(shù)據(jù)和更長工夫的鍛煉。
延續(xù)迭代后的AI，繪畫速度會更快，能夠立即調(diào)控的才能還會更強。以匪夢師自我學(xué)習(xí)的速度和深度來看，我們有理由信任它將是將來引領(lǐng)AIGC潮水的前鋒。