從品牌網站建設到網絡營銷策劃,從策略到執行的一站式服務
來源:公司資訊 | 2021.12.17
好久沒出趣味 AI 的教程了,今天安排一期。
只需要一張圖片或者視頻,就可以生成相應的二次元“老婆”。
感受一下:
放個視頻,感受更強烈:
GANsNRoses展示
二次元“老婆”,是跟隨視頻的動作,而改變的。
之前我寫過一階運動模型的算法教程:
讓圖片動起來,特朗普和蒙娜麗莎深情合唱
功能看起來類似,但是算法實現是不同的。
真人驅動動漫圖片的算法,這種效果比較好:
二次元的正確打開方式
這個動畫臉控制變換算法,采用的是 GAN,只需要一個輸入即可,生成+控制,用這一個算法即可。
GANsNRoses
這個算法的名字叫 GANsNRoses,一種風格遷移算法。
簡單來講,就是一種以人臉圖像的內容代碼為輸入并輸出具有多種隨機選擇風格代碼的動漫形象。
算法實現也并不復雜:
生成器負責生成動畫臉,辨別器負責辨別是否為動畫臉。
生成器分為內容編碼器c和樣式編碼器s。
樣式編碼器s,負責整體的風格,比如頭發樣式,臉的位置,發色等。
內容編碼器c,負責細節的把控,比如頭部傾斜角度等。
想了解更詳細,可以直接看論文:
https://arxiv.org/pdf/2106.06561.pdf
測試
目前有三種方式:
網頁 Demo
Colab
本地搭建
網頁 Demo
網頁 Demo,用起來最簡單,上傳圖片就行。
https://gradio.app/g/AK391/GANsNRoses
不過貌似只支持圖片的制作。
測試了龍母的效果,她看了估計會哭暈在廁所。
Colab
Colab 運行也很簡單,有個梯子就行。
https://colab.research.google.com/github/mchong6/GANsNRoses/blob/main/inference_colab.ipynb
省去了部署環境的煩惱,傻瓜式運行即可,圖片和視頻,都可以測試。
本地搭建
主要是搭建環境,這個直接用 Conda 創建虛擬環境,然后安裝各種第三方庫即可:
conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=<CUDA_VERSION>
pip install tqdm gdown kornia scipy opencv-python dlib moviepy lpips aubio ninja
Conda 使用可以參考這一篇:
別再折騰開發環境了,一勞永逸的搭建方法
然后下載模型權重文件,就可以,模型權重文件還是蠻大的,1.6G,從 Google Drive 下載比較慢,建議直接用 Colab 測試。
總結
這種算法,其實蠻多的,單從效果來講,還有很大提升空間的。
最后,我看B站有個up主,籽岷自己做了鬼畜,新寶島版:
GANsNRoses展示2
目前,這類算法,做個鬼畜其實還行。
最后再送大家一本,幫助我拿到 BAT 等一線大廠 offer 的數據結構刷題筆記,是一位 Google 大神寫的,對于算法薄弱或者需要提高的同學都十分受用:
谷歌和阿里大佬的Leetcode刷題筆記
以及我整理的 BAT 算法工程師學習路線,書籍+視頻,完整的學習路線和說明,對于想成為算法工程師的,絕對能有所幫助:
我是如何成為算法工程師的,超詳細的學習路。