秒速生圖火爆全網
近來，正在各大社交平臺上，一款叫作“匪夢師”的AI繪畫小步伐火了。
詳細火到什么水平呢？據以往團隊的采訪得知，9月產物剛上線一周工夫，匪夢師便締造了日增5萬用戶的記錄。
由Midjourney到Stable Diffusion，再到中國如比比皆是般出現的AI繪畫平臺，正在利用體式格局上差別不大，均采納「以文生圖」的體式格局。「以文生圖」不求甚解便是只要你把設法主意、腦洞以文字輸入為AI，這一些文字描述就會被算法驅動，釀成一張張生動、精美的圖片。
而真正能讓匪夢師從浩瀚AI繪畫平臺中穎脫而出的，當屬其明顯的技術優勢取舒服的產物體驗。
由輸入描寫到輸出圖片，全過程僅不到5秒，比擬其他產品動輒幾十秒乃至幾分鐘的時候，可謂霄壤之別。
與此同時也有多種繪畫氣勢派頭、多圖批量輸出、多尺寸高分辨率、畫師參考等功能幫助用戶展開創作，使得全部繪畫歷程更便利、風趣和惠普。加上其免費的新手體驗，上線以來便在用戶間產生了優越的口碑。
最快，有多快
據了解，匪夢師由前谷歌人工智能研究院科學家、NLP自然言語處置懲罰范疇預練習言語模子“ALBERT”第一作者——藍振忠博士帶隊研發。
終極由西湖大學深度進修實驗室和西湖心辰高新科技有限公司（西湖大學深度進修實驗室孵化的AIGC創業公司）配合推出。
依托于西湖大學精良的科研和結果轉化環境、足夠的科研資金及軟硬件設備，西湖心辰組建了一支持久致力于研討自然語言處置懲罰，計算機視覺及深度進修的聯合取利用的團隊。
正在Stable Diffusion的基礎上，匪夢師憑仗團隊正在AI范疇好多年的深耕和西湖大學實驗室的成熟算力，找到了一個可施展自有技術優勢的地帶，并根據“秒生圖，生精圖”的特色快速占據AI畫畫高地。
我們根據原生stable diffusion正在pytorch、TensorRT取Oneflow三個框架下的實現取匪夢師自有模子對照能夠看到：
pytorch上原生的Stable diffusion生成一張圖須要3.4s，第三方Oneflow須要1.4s生成工夫。而匪夢師的自有模子只須要0.8s，而且不容易危害生成結果。
這是由于匪夢師針對速度和質量兩個方面辨別做了手藝優化，正在提速側，進行了算子重寫、模子量化、采樣函數優化；正在提質側，采用了自有中文言語模子、多尺寸彈性鍛煉等。這才使得匪夢師正在生成圖片時，不但速度上有了質的提拔，終究的出現結果也是有顯明優化。
各大模子剖析
由本年8月宣布至今，Stable Diffusion仍是最火的開源AI生圖模子。取其他開源圖片生成模子相比，其擁有出圖速度快、質量高檔特色。
但在繪人物層面，Stable Diffusion的壞處還很明顯，如常常存在多頭、多只手、多條腿或人物部份肢體喪失等題目。
原生Stable-Diffusion（左）取匪夢師（右）對照
與此同時，原生Stable Diffusion僅撐持英文作為獨一輸入言語，關于海內用戶而言還非常不友好。
針對語言障礙的題目，中國曾有團隊開源了支撐中文的stable diffusion模子——“太乙Stable Diffusion”。但經測試發明，太乙Stable Diffusion雖然可以明白中文共同的文化表達，但語義明白層面仍有所短缺，會給出取輸入prompt沒有婚配的圖片。
如輸入：霧氣滿盈的叢林，中世紀氣概霍比特人村落
太乙Stable Diffusion（左）取匪夢師（右）比較
并且不管關于哪一種模子，圖片質量的利害都與輸入的關鍵詞密切關系，專業、適度的輸入詞需求用戶有大批的經歷，新手通常用戶難以克服。
是以，轉變模子是一切問題的基礎解。
匪夢師改變了什么
如上文所說，文生圖結果由模子的圖象生成才能取自然語言了解才能配合決意。因而，匪夢師團隊正在練習圖象生成才能的取此同時偏重加強了機械了解層的才能，使本人區分于市面上的其他平臺。
正在圖象生成層面，匪夢師依據過往正在AI生成行業積存的履歷，正在前期做了大批科研和練習事情。而且使用了取Stable Diffusion分歧的練習計劃，使得匪夢師生成的圖片加倍精密，不容易發生截斷等題目。
正在語義了解層面，依賴于西湖心辰正在NLP范疇的大批手藝取數據堆集，匪夢師自有模子沒有僅能更好地了解用戶輸入詞，還擴大了原生Stable Diffusion的文本長度限定，撐持更長的文本輸入。
另外，針對沒有明白若何撰寫關鍵詞的新用戶，匪夢師還開發了“夢鄉加強形式”，可以對用戶的輸入詞干遐想加強，作用新手畫師更輕易地畫出冷艷的圖片。
固然，匪夢師現在仍舊存在一些業內廣泛的待辦理的題目，例如家喻戶曉的AI繪手、AI吃面繪的缺點
正在藍振忠看來，今朝AI繪畫仍處于初期階段，雖然今朝的圖片生成AI本領確切抵達了歷史上的峰值，但照樣須要更大的范圍的數據和更長工夫的鍛煉。
延續迭代后的AI，繪畫速度會更快，能夠立即調控的才能還會更強。以匪夢師自我學習的速度和深度來看，我們有理由信任它將是將來引領AIGC潮水的前鋒。