開局三連抽的 Adobe Photoshop Beta 的 Generative Fill 試玩心得
Adobe 近來消息不斷，除了上個月 2023/4 在 Adobe Lightroom 發布 noise reduction 功能，可以把 RAW 檔照片用 AI 降噪，拯救了不少高 ISO 噪點很多的照片。在本週 2023/5/23 的時候又發生了推特瘋傳美國五角大廈爆炸的 AI 假圖，導致美股 SP500 插了好大一根針…
啊不是，本文主題是 2023/5/23 的時候，Adobe 發布了 Photoshop 的新功能 Dream bigger: Get started with Generative Fill, powered by Adobe Firefly Generative AI now in Photoshop，基於上次介紹過的 Adobe Firefly，這次把 AI 生圖功能直接整合進了 Photoshop 裡面。
Adobe Firefly 網頁上也有更多功能可以用了，這次多了 AI 線上版的重新上色圖稿(如下圖左下角)，上傳 SVG 就可以重新配色。
Generative Fill 使用範例
本次新推出的 Generative Fill 其實還沒有上正式版，目前也只有 Windows 或 macOS 上的 Desktop 版本能用，其餘像是 iPad 版的 Photoshop，網頁版的 Adobe Photoshop 都是沒有的，幾個月後都開放了。
想要用的話:
– 到 Adobe Firefly 試用網頁線上版
– 或是從 Creative Cloud Desktop 軟體中的左列「Beta 版應用程式」下載安裝 Photoshop Beta，版本號 24.6
– 從 Creative Cloud Desktop 軟體中的左列「應用程式」下載安裝 Photoshop 正式版，版本號 25
– 運用網頁版 Photoshop 中的生成式 AI 重新發想您的影像
– 使用 Adobe Express 支援的生成式 AI，創作出色的精彩作品。嶄新且全方位的 Adobe Express 可用來設計傳單、TikTok、履歷和 Reel。不僅助您輕鬆創作，還能讓您勇敢追夢。
安裝之後，只要畫布上有內容是選取的狀態，
浮動工具列的按鈕就會自動變換，跑出一個輸入框和「產生」按鈕，
然後就是開始抽卡碰運氣…
下圖範例1，圖庫買的圖是直式的，想要改成橫式的，圖片內容不重要，只是要一個氛圍感而已?
嘗試用 Generative Fill 把左右補滿…以下第一張小的是原圖，更下面左右擴張的是成品:
Generative Fill 一次給出三種不同的畫面。
但現階段無法透過 prompt 直接把光源裡的所有物體保留，但換成月光、日落，或其他位置的光源。
也沒辦法把照片或繪畫「換角度」(行業笑話：客人給背影的照片，要把正面畫出來)
想要把自己的產品顯示在桌上，還是要拍好符合的角度和光線的產品照，再手工合成上去。
或是把現有的商品照去背，然後靠 prompt 生成上圖中的物件…
下圖範例2，原圖為 Japan Osaka Night – Free photo on Pixabay – Pixabay
感覺原本的照片太沒話題性，改成學生孤身走暗巷，開局一張圖，內容全靠編，比較好讓新聞製造業掰社會新聞。
嘗試用 Generative Fill 把撐傘的人換掉…
-圖1:將人物選起來
-輸入一些 prompt 之後得到圖2，可以按左右箭頭選擇覺得合適的
-人物周圍有一圈雨傘的痕跡，把那些區域隨便選取起來
-繼續產生填色，把那圈補起來。
同樣是 AI 技術，這新功能跟 Photoshop 已經出好幾年的內容感知填滿(Content Fill) 相比起來，
內容感知填滿常常是發佈會上的 DEMO 很神奇，實際使用時…一言難盡。
所以現在看到各種 AI 產品在發布會或論文，放上各種看似神奇的成果展示，基本上一點感覺都沒有，等到實際上手實際使用才是真的。
而 Generative Fill 一次可以出三組圖給人選，
還可以輸入 prompt 控制畫面要出現什麼，
變得更加實用了。
可惜的是…目前此功能不允許用於商業用途。
1.Generative Fill 不可用於商業用途 (2023/9 後的正式版新版本可以商用)
不管是 Adobe 官方介紹文章最下方、使用條款、操作簡介，都一再強調
Generative Fill is currently not available for commercial use。
至於什麼時候可以用? 我也不曉得，可能等美國法界對於 AI 繪圖的遊戲規則設計完成吧?
現在還是大亂鬥時代，一些「AI 警察」拿著之前的國外判例，逢人就說用生成式 AI 繪圖沒有著作權，只是按按鈕，東西又不是自己畫的，這也能叫創作麼? 同樣的論述下，有人會說那攝影也只是按相機拍照按鈕，景物則是上帝生成的，那攝影作品又算什麼?
一些人也打著「創作自由」的大旗說生成式 AI 的付費平台工具不應該管制太多、NSFW 檢查器常常會誤判，AI 變笨是影響付費使用者的權益云云…
在這類爭論中，不只是對於 AI 生成藝術作品和攝影的對比觀點，還牽涉了法律框架的不確定性、惡意或非惡意的使用用途、各種相關職業的公平利益，看來還有得吵了。但是 Adobe Photoshop 有了這功能，以後不管是用繪圖版和筆刷等工具畫的，還是純粹靠 prompt 生成的，都還是可以稱為「這是用 Photoshop 做的」。
而對於 Adobe 的 AI 生圖是用 Adobe Stock 的圖來做訓練，創作者們提供素材不但沒人買，還被拿去利用於其他用途，在 Adobe Stock Contributor 的 Firefly 常見問題 也可以看到未來可能的構思:
如果投稿人的內容被用於訓練 Adobe Firefly 生成輸出，投稿人是否會獲得補償?
我們正在為 Stock 投稿人開發補償模式，並會在 Firefly 結束測試時分享此模式的詳細資訊。
2023/9 此功能發佈到 Photoshop 正式版，不用再裝測試版，正式版更新到版本 25.0 也可以使用。並在官方的 Photoshop 中有關生成式 AI 功能的常見問題 也有寫到可以商用。
2.不支援中文 prompt (後來 2023/7 開放中文了)
實際使用之後發現 Generative Fill 是一個很不 beta 版的 beta 版功能，因為所有操作指引、工具列都已經有中文化了。
想當然爾，prompt 還是只能輸入英文。
使用前要同意條款Adobe Generative AI Beta User Guidelines，嘗試想要輸入一些違禁詞，跑完之後什麼都不會得到，AI 直接不理你。
2023/7 月底的時候發佈Photoshop 發布全新生成式擴展工作流程 以及為Firefly驅動的功能提供繁體中文支援
除此之外 , Adobe 也宣布 Photoshop (beta 版 ) 中基於創意生成式人工智慧模型集 Firefly 的功能已支援包括繁體中文在內的 100 多種語言的文字輸入指令 , 這意味著全球各地的使用者都能輕鬆運用自己偏好的語言來輸入指令 , 讓創作願景不再受限 。
3.China 地區不可使用
出自Adobe 官方介紹文章最下方，還有使用說明都有提到
Generative Fill is not available in China at this time.
出於中國大陸地區對網路的監管，Adobe Firefly 在中國使用受限，Adobe Fonts 也是沒辦法用的 Adobe Fonts not available to Adobe IDs registered in China。
4.要花錢訂閱 Adobe Creative Cloud
Adobe 官方使用說明頁 Experience the future of Photoshop with Generative Fill) 有提到此功能有年齡和購買方案限制，
Generative Fill in the Photoshop (beta) app is only available to users of at least 18 years of age with a Creative Cloud Individual license along with CC Teams, CC Enterprise, and our Educational customers.
台灣的方案頁面也有4級 : 個人、企業、學生與教師、學校與大學，剛好對應原文提到的，現階段應該是每個方案都能用，不用另外加錢，也沒有說限制算圖張數。
有些叫設計師工作要自備電腦、自備軟體，公司不提供 RTX 顯卡的電腦，也不買任何軟體的，這些資方在 AI 工具戰中又省了一大筆錢。
5.竟然可以生成文字在畫面上
嘗試時意外發現可以指定生成英文字在畫面上，但是成功機率不是特別高。
要是太貪心，想要多打一些形容詞想要控制文字的風格樣式，AI 又開始失控了。
(明明打 GOOD，卻產出 GOD…)
嘗試產生中文，也還是一堆蝌蚪文。我想這只是巧合，只是剛好訓練資料的圖片裡有那個單字而已，只要輸入一些英文人名就破功了。
工作時都會碰到要修改內容，需要可編輯的原始檔，結果最後只拿到一張 JPG。
使用 Generative Fill 產生東西，就像拿到 JPG 的工作人員，AI 產生出來的圖也不會依照物件「分圖層」，有些東西想要保持可編輯性，要嘛自己再拆圖層，或是建立文字和形狀，再慢慢調樣式。
6.檔案很大
AI 繪圖一次就是三連抽，生成的圖會一直堆積在工作區域內，從右邊的內容工具列可以看到圖片清單。
失敗的圖記得要刪除，不然存成 PSD 的時候檔案會超級無敵大! 動輒幾 GB 起跳。
有個牌子的電腦，RAM 和 SSD 比黃金還貴，還有用 8G+256G 電腦配置的使用者，用起 Photoshop 的 Generative Fill 可能都要慢冷汗了。
7.Generative Fill 的圖片不是在本機運算的
此功能一樣是在 Adobe 的伺服器上遠端產生圖片，網路斷線或不穩時，「產生」的按鈕會變成灰色不能按的狀態。
這種線上遠端生圖的非常方便，不用進行繁瑣的環境配置和煩惱硬體需求，但是就怕網路斷線，還有想算的圖被系統認為違規了，非常的不自由。
例如繪圖區域剛好有人體，想要做人體部位鍊成時，無可避免很高機率都會碰到五官、手指、膝蓋有問題，但是單單選取手指、膝蓋，可能因為都是肉色區域，相當容易被系統誤判為裸體或性器官，而造成生成失敗，
但想要「自由的代價」也很高:
– 裝一些感覺來路不明的 PhotoShop SD 外掛
– Stable Diffusion 裝一大堆擴充套件
– 安裝某大神整合好的謎之 SD 安裝包
– 下載一堆 MODEL 跟 LORA 檔佔硬碟空間
– 電腦算圖時顯卡風扇呼呼起飛
但有些東西就是用 SD 做會更快，就看個人需求。
結語 : 直接與 Photoshop 結合，讓 AI 輔助製圖更方便
一些人可能對 AI 繪圖有美好的想像，就是在手機上輸入一串咒語，然後幾 10 張精美又細節超多的圖瞬間就做好了，再從中挑喜歡的，人人都可以成為繪師、設計師，幹嘛花錢找人做? 可能就跟「高中生也會做網站，政府XX部會還花幾百萬做網站?」的思考邏輯一樣。
看了一些號稱 AI 繪圖作品的製作花絮，例如號稱 AI 製作的可口可樂廣告，先不論美感、設計理念、廣告創意提案歷程與背後的策略，大半部分仍是實景拍攝合成、3D 和 VFX 等硬功夫，AI 繪圖看起來只用在處理最後的影片序列圖，微調風格產生抖動感。
(可口可樂廣告的幕後特輯，如果被刪掉的話，就在網路上自己找看看吧…)
像 Stable Diffusion + Matte Painting 全流程掌控 By：Mazz 仍然是花大把時間在構思和處理素材，物件一個一個分開製作，處理出足夠的細節，最後分區裁切放大後再重組。
或是先用小圖試出適合的 seed，有好圖的再 upscale 放大，在 SD 跟 PS 之間來回切換拼接圖片、製作草圖，持續的 inpaint 增補修飾細節、outpaint 外擴背景再不斷疊圖，最後把 AI 無法製作的，像是文字之類的東西或細節補上去。
只靠一串 prompt 就一次到位，可遇不可求。
現在 AI 製圖工具的痛點之一，多半需要在於另一個地方產圖，可能是 Discord 的對話視窗裡面，可能是某個號稱有 AI 產圖功能的搜尋引擎、圖庫網，或是線上網頁、本機端網頁。操作介面上可能只有一個文字輸入框，或是一堆小控制桿、核取方塊、GAN 之類的 AI 術語。
無可避免工作時來回切換視窗，等待下載圖片、等待上傳圖片、等待算圖、測試各種參數的排列組合，有時候還要查字典，相當忙碌…
而點陣圖的繪圖軟體直接有 AI 繪圖功能，而且由於 PS 長久以來的發展，各種好用的筆刷和選取工具，要選擇 inpaint 或 outpaint 畫面中的哪個部分都非常簡單，減少上述各種軟體來回切換的製作流程。
達不到想要的效果? 就是持續不斷的三連抽….
2023/6 更新: Firefly for enterprise 企業版
2023/6 月初有外媒報導，Adobe 在一次公開會議上發布了企業版 Adobe Firefly for enterprise，官方網頁上最令人矚目的一段內容，科技媒體普遍解讀為使用 Adobe 的 AI 生成繪圖產生的內容，如果違反 IP 版權，Adobe 會負責賠償。
在 Stability AI、Midjourney 等公司陸續被告的時候，Adobe 的這個服務真是為市場注入一劑強心針。但是這個服務目前沒有任何公告的費用資訊，要填寫 contact sales 的表單才能取得更多資訊。
Enterprises also have the opportunity to obtain an IP indemnity from Adobe for content generated by select Firefly-powered workflows.*
*We are looking into providing IP indemnification only for text to image features in Adobe Express and Adobe Stock under certain Adobe offers. Terms will apply.
2023/9 更新: AI 生成功能已更新至 Photoshop 25.0 正式版，可商用
使用測試版進行生成式填色，看到提示說此功能已更新至正式版，可商業使用。
只要把 Photoshop 更新到版本號 25.0，就可以使用此功能。
在官方的 Photoshop 中有關生成式 AI 功能的常見問題 也有寫到
「生成填色」和「生成擴張」的設計是否能安全用於商業用途?
是。您可以自信地創作，因為「生成填色」和「生成擴張」採用 Adobe Firefly 技術，這是專為安全用於商業用途而設計的創意生成式 AI 模型系列。這確保您可以有信心地突破創造力的極限，並瞭解目前的 Firefly 生成式 AI 模型由 Adobe Stock 資料集訓練而成，並具備已公開授權的作品和其中的著作權已過期的公共域內容。
另外多出了「生成式點數」制度，就是依訂閱方案的不同，每個月會有一些點數可以使用，沒用完的無法接續到下個月。
生成式點數的規則從 2023 年 11 月 1 日起實施，如果點數用完了會怎樣? 目前只有寫說:
付費使用者可能會覺得使用功能時速度變慢，或收到每日產生內容的上限。此外，Adobe 也計畫讓使用者透過新的訂閱方案購買額外的優先處理生成點數，從每月 $4.99 美元開始可獲得 100 點。
更多內容可參閱 生成式點數的常見問題集。