什么,？這些不是真人照片,，都是AI畫(huà)出來(lái)的？,！
最近這樣一組美女圖片刷屏了，許多人看到第一反應(yīng)都是“AI逼真到這個(gè)份上了,？”,。
直到看到手部露出了破綻,，才敢確定確實(shí)是AI畫(huà)的,。
原來(lái)在ChatGPT的光芒掩蓋一切的這段時(shí)間，圖像生成AI已經(jīng)從從畫(huà)畫(huà)悄悄進(jìn)化到了“畫(huà)照片”,。
這種風(fēng)格和質(zhì)量的AI照片,，還有很多在各大網(wǎng)絡(luò)社區(qū)流傳，國(guó)內(nèi)貼吧,、微博,、NGA，國(guó)外推特,、油管,，到處都是。
有網(wǎng)友表示：AI聊天+AI照片,，快進(jìn)到AI網(wǎng)戀詐騙。
而Cosplay風(fēng)格的AI照片也讓一些人感嘆“商業(yè)Coser和攝影師可能雙雙下崗”,。
根據(jù)各帖子發(fā)布者透露，這些AI照片都出自同一個(gè)模型,，Chilloutmix,。
多個(gè)模型融合進(jìn)化,，照片級(jí)AI誕生
ChilloutMix，二月初出現(xiàn)在模型分享社區(qū)CivitAI（不少愛(ài)好者稱(chēng)之為c站）,。
不到兩周時(shí)間,，下載數(shù)量超過(guò)5萬(wàn)。
簡(jiǎn)單來(lái)說(shuō),，這個(gè)模型還是基于大家熟悉的Stable Diffusion，1.5版本,，但是由許多衍生模型合并（Merge）而來(lái),。
主要組件包括兩大模型，首先是Basilmix,，專(zhuān)攻逼真的紋理和亞洲臉型,。
但這個(gè)模型主要還是擅長(zhǎng)半寫(xiě)實(shí)的“2.5D風(fēng)格”,。
接下來(lái)合并了用照片集數(shù)據(jù)優(yōu)化的Dreamlike的衍生模型，讓最終生成結(jié)果更接近3D寫(xiě)實(shí)風(fēng)格,。
除了兩個(gè)主要模型之外,，作者還添加了一些小的Embeddings（相當(dāng)于給AI模型打補(bǔ)丁）,。
比如第一個(gè)Pure Eros Face，提供的.pt文件只有3.92KB,，可以合并到任何基于SD1.5的模型,，專(zhuān)門(mén)負(fù)責(zé)生成“純欲系面孔”。
所有這些模型和Embeddings,，各自擅長(zhǎng)不同的地方，如一種畫(huà)風(fēng),、一種紋理,、人物臉型甚至姿勢(shì)。
Merge在一起后,，可通過(guò)不同提示詞調(diào)用它們的能力,，一般原作者都會(huì)附上使用指南。
如果還是不太會(huì)用，CivitAI社區(qū)里還會(huì)有很多網(wǎng)友曬使用相應(yīng)模型生成的作品,，其中還有很多標(biāo)記了“NSFW”或“18+”,，懂得都懂。
除了ChilloutMix之外,，文章開(kāi)頭的那組圖片之所以能固定生成同一張面孔，還使用了另一項(xiàng)技術(shù)LoRA,。
LoRA本來(lái)是微軟研究團(tuán)隊(duì)早在2021年提出的一項(xiàng)大語(yǔ)言模型微調(diào)的技術(shù),，可以大大提高微調(diào)訓(xùn)練速度。
去年底,，韓國(guó)科學(xué)技術(shù)院KAIST一位研究員@cloneofsimo與HuggingFace合作,，將此方法擴(kuò)展到Stable Diffusion上。
不僅實(shí)現(xiàn)了單塊11GB顯存的RTX2080Ti實(shí)現(xiàn)模型完整微調(diào),，同時(shí)原始模型權(quán)重凍結(jié),，新訓(xùn)練出來(lái)的權(quán)重可以保存為3MB大小的單個(gè)文件發(fā)布。
這項(xiàng)技術(shù)被AI繪畫(huà)愛(ài)好者用來(lái)讓模型固定生成一個(gè)物體,，最流行的就是固定一個(gè)人物形象,。
現(xiàn)在，在CivitAI社區(qū)里,，每個(gè)微調(diào)好的權(quán)重就叫做一個(gè)Lora,，就相當(dāng)于一個(gè)人物模版,，所有人都可以方便下載使用。
如開(kāi)頭的那組圖片就是來(lái)自叫“Korean Doll Likeness”的Lora,，目前下載量排名第一,。
對(duì)于ChilloutMix+LoRA這樣的技術(shù),，作者也意識(shí)到了可能被濫用的風(fēng)險(xiǎn),，并著重提示了法律風(fēng)險(xiǎn)，特別強(qiáng)調(diào)不要用于真實(shí)存在的人物,。
為什么AI還是不會(huì)畫(huà)手？
對(duì)于這個(gè)問(wèn)題,，最近也有了研究進(jìn)展,。
Stability AI 發(fā)言人表示，在AI數(shù)據(jù)集中,，手的圖像不夠顯著,，“在源圖像中，手（比面部部分等）要小得多,。”
佛羅里達(dá)大學(xué)AI和藝術(shù)副教授Amelia Winger-Bearskin解釋說(shuō),，AI基于從互聯(lián)網(wǎng)上收集的數(shù)十億張圖像進(jìn)行訓(xùn)練，它并不能真正理解“手”是什么,，至少不理解解剖學(xué)意義上手和人體的關(guān)聯(lián),。
在用來(lái)訓(xùn)練生成AI的圖像中,，手通常會(huì)抓住一些東西,，或者另一只手。如此一來(lái),，手指的情況就不容易辨清,。
如果所有的訓(xùn)練圖像中，手都是五指張開(kāi),，AI就能夠畫(huà)出正常的手,。
文章出處：量子位
