“對我們充滿惡意的，不是AI研究者，而是那些Pro AI但并不太懂的人”。

作者｜田思奇

編輯｜王博

求救的信號來得很快。

伴隨著AI創作的畫作《太空歌劇院》在2022年8月一舉奪得藝術比賽冠軍，AI繪畫在ChatGPT發布前掀起當時最火爆的生成式AI浪潮。

但金·范·德恩（Kim van deun）感到了前所未有的不安。

作為一位藝術創作者，他自然不希望AI模型未獲授權就拿走自己具有獨特風格的作品去訓練。但誰能來保護自己呢？

他立刻想到了曾經反抗AI肆意抓取網絡人臉數據的芝加哥大學研究團隊。該團隊曾在2017年推出Fawkes防護工具抵制非法人臉識別——這個名字來自戴著白色微笑面具的英國反叛者蓋伊·?？怂梗℅uy Fawkes）。

5年后，該團隊的負責人之一單思雄（Shawn Shan）已經從芝加哥大學的計算機系本科生升為博士生。一直沉浸在AI安全與隱私領域的單思雄，在金·范·德恩的引領下，走入了藝術家的世界，感受到了他們對現狀不滿的呼聲。

為什么不開發一款可以從AI模型“手中”保護藝術作品的工具呢？

2023年3月，單思雄所在團隊開發的Glaze免費上線，迄今為止下載量超過260萬。Glaze可以阻止AI模型學到藝術作品的特定風格。其名稱的中文是“上釉”，相當于為畫作添加一層保護膜。

然而它引發了巨大的網絡輿論反彈。郵件、Reddit和Twitter上充斥著批評的聲音，稱它會阻擋AI行業的創新，或者嘲諷它很快就會被破解。

“如果他們的創新要犧牲別人的飯碗，那當然可以阻擋，”單思雄回應道，至于那些意料之中的惡意，“他們越憤怒，越在乎，意味著我們成功的概率就越高?！?/span>

2024年4月，優化了效果和速度的Glaze 2.0及其網頁版也順利發布，但該實驗室想做的還不僅如此。他們在今年2月就推出了另一個更具有攻擊性的數據投毒（data poisoning）工具——Nightshade，它可誘導偷拿數據的AI模型訓練出截然不同的錯誤結果。

簡單來說，只要通過Nightshade修改足夠多的像素點，一幅肉眼看起來是“狗”的照片，可能已經被AI學習為“貓”，導致輸出的結果“貓狗不分”。相關論文已在今年5月發表于信息安全領域的頂級會議之一IEEE S&P。

Nightshade的名字取自能開出紫色小花的茄科植物。它帶有微弱毒性，只有大量服用才會出現中毒癥狀，“我認為這符合我們工具的特性，” 單思雄說道。在4個月內下載量突破50萬后，Nightshade正成為藝術家手中的利器。

身為95后，單思雄與“不道德AI”的斗爭已持續7年之久。他不斷強調自己希望AI能發展得更好，但在完善的監管措施出臺之前，他可能還會繼續為視頻、音頻等多種作品形式開發類似的防護工具。

他似乎總是在回避當下非常有利潤前景的那些方向。用他的話來說，這樣的選擇“或許是有一些叛逆在里面”，更重要的是，“我對‘對與錯’的重視要比對金錢的重視要高一些。”單思雄說。

本文，「甲子光年」獨家對話AI數據投毒工具Nightshade主創之一、芝加哥大學博士生單思雄。

單思雄，圖片來源：受訪者提供

1.像素級的隱秘防線

甲子光年：如果一位藝術家來找你尋求幫助，你會如何解釋Glaze和Nightshade的技術原理？

單思雄：人類與AI看畫的方式很不一樣。人類通常是通過觀察線條、色彩等視覺元素來感知藝術作品，而AI是基于純數學的方式進行分析。人類在觀看時不會關注到每一個像素的細節，但計算機會讀取每個像素。即使是肉眼看來微小的改動，也可能對AI的理解造成顯著影響。

例如，梵高的畫作經過這些微調后，可能被AI誤理解為當代藝術作品，導致AI模型無法準確學習梵高的繪畫風格，從而實現對原作藝術風格的保護。大多數小改動對AI的影響可能并不顯著，但通過不斷嘗試，我們可以進行數百萬次的實驗，找到對AI影響最大的變化。

甲子光年：感覺Glaze是防御工具，而Nightshade更像是一種攻擊工具？

單思雄：Glaze的設計理念是專注于保護藝術家自己的作品，它的自我保護能力是最強的。而Nightshade不同，它不僅保護自己，還試圖影響整個模型，因此它的攻擊性更強。但這種全面攻擊的特性也意味著它在自我保護方面可能會有不足。

站在藝術家的角度來看，對于剛入行的新人或者學生來說，用Glaze更合適，因為它主要幫助他們保護自己的藝術作品。對于那些已經小有名氣的藝術家，如果他們不太擔心自己的作品被用于AI訓練，或者作品已經被納入訓練集了，他們可以考慮使用Nightshade這樣的攻擊性工具。從公司的視角出發，像迪士尼這樣擁有大量版權的公司，他們的作品很可能已經被AI模型學習過了，所以他們對Nightshade這種攻擊性工具更感興趣。

甲子光年：我們知道，圖片上傳再下載就會有大幅壓縮，被改變的像素點可能都沒有了，這是否意味著保護也沒有了？

單思雄：我們測試過圖像壓縮的影響，因為壓縮確實很常見。但我們發現壓縮對保護效果的影響相對較小。如果壓縮導致圖像質量極低，變得模糊，那么保護會去除得更明顯，但它被用來訓練AI模型的效果也會很差。從這個角度來看，保護仍然是成功的。

甲子光年：有個比喻說想要去除Glaze的效果，相當于你已經把毒藥投到一杯水里溶解，現在要想把毒性從這杯毒水里完全去除，是非常困難的。

單思雄：對，大概是這樣。

甲子光年：你們認為Glaze和Nightshade的局限是什么？

單思雄：在我們最初開發時，主要用梵高、莫奈這樣的藝術作品進行測試，效果都不錯。但后來我們發現，對于一些風格較為平整、沒有太多紋理的漫畫作品，保護效果就差了很多。

甲子光年：漫畫的保護效果不好，是因為要保證肉眼看到的效果差不多，改變的像素點會比較少。對于這種特定類型的繪畫作品，工具的效果就會弱一些，或者說犧牲質量會多一些。

單思雄：如果你對數值進行相同的改動，在漫畫上肉眼看到的變化會更明顯。不過我們也找到了其他的改動方法，比如微調線條的位置，把線條整體向右移動一個像素。雖然從數學角度來看變化很大，但對人眼來說，這種變化幾乎察覺不到。Glaze 2.0版本對于沒有紋理的圖畫保護也比以前進步了很多。

甲子光年：還有很多人反饋操作一張圖的時間太慢了。

單思雄：如果是沒有GPU的話，可能一張圖確實需要20-30分鐘，一些很老的CPU上可能需要一個小時。但是我們現在與公司合作，提供了服務器服務。藝術家可以注冊賬戶，使用我們的GPU來處理，完成后會再通過郵件發給他們。

甲子光年：除了圖像方面，在視頻和文字方面也會想做類似的工具嗎？

單思雄：文字的處理確實比較棘手，因為與圖片不同，圖片由許多像素組成，我們可以只改變其中一小部分。另外對于文字作品，即便是知名作者，也很難形成自己獨特的風格，也不好判斷是否被用于訓練了。

我們目前有個項目專注于視頻內容的保護，確保視頻不會被AI模型學習。視頻本質上也是由一幀一幀的圖片也就是像素點組成，只是數量更多。但視頻中有很多幀看起來非常相似，這就很容易通過對比分析找出差異，并清除特定區域的改變。為了增加清洗難度，我們也在開發一種新的技術。

甲子光年：如果要對作品形成保護，其實把作品放在平臺的付費墻內也行？

單思雄：現在很多藝術家只能這樣采取一些折中的方法，比如公開展示低分辨率的作品，而把高質量的高分辨率作品留起來。畢竟他們還是需要讓人看到自己的作品才能吸引關注和工作機會。

但現在這種做法也有風險，因為即使是低分辨率的圖片，AI也能通過算法提升至高分辨率，意味著無論藝術家如何展示作品，都難以完全避免作品被AI抓取用于訓練，尤其是對于那些名氣不大的新藝術家來說，既要讓自己的作品不被輕易發現，同時又要展示自己的才華是很難的。

甲子光年：目前有和作品平臺的合作嗎？

單思雄：感興趣的平臺很多，但是我們還是比較小心一點，因為我們要把代碼給他們。我們已經和（藝術社區）Cara合作過，藝術家把作品發到那個網站上時可以勾選我要保護這張圖，那就會自動在公司層面完成。我們比較信任Cara，跟它的創始人合作很多，他不會跟那些Pro AI（支持AI）的人有聯系。別的平臺就不太相信，我們還是比較保守的。

2.鍵盤上的惡意

甲子光年：試想一種情況，我是一位藝術家，能用上Glaze和Nightshade當然很好。但這意味著我必須花很多時間和精力主動保護我的作品，負擔比較重。而我本來可以依靠外部法律和監管環境來幫我。你怎么看？

單思雄：我希望目前的工作只是一個開始。至少在歐美，人們正在積極探討如何通過法律法規來保護藝術家，因為即使在AI技術出現之前，就已經有多種技術手段用于保護版權。我相信現在依然需要計算機專業人士的參與和幫助，我也希望能有更多法律手段來為藝術家提供保護。

但我也不是特別看好這方面。無論是在國內還是歐美，AI的發展都受到極大的重視，很難從保護藝術家的角度出發來阻止AI技術的快速發展。

一些AI繪畫軟件可以選擇生成特定藝術家的風格

甲子光年：所以你也會認同你們所打造的這些工具，只能起到短期的保護作用？長期還是要靠監管立法。

單思雄：這是一定的，不可能就靠我們幾個AI安全實驗室去跟OpenAI和微軟進行真正長期的較量。但我們現在可以暫時阻止他們一段時間，等待或者迫使相應的法律法規出來。

長遠來看，法律法規可能主要影響的是大型公司。對于個人黑客來說，他們想要抄襲作品也很難被現有法規限制。這方面我希望我們的工作能夠持續發揮效果。

甲子光年：Glaze可能還好，但是Nightshade屬于數據投毒行為，有些人認為這是有倫理爭議的，而且也會阻擋AI的創新。

單思雄：如果他們的創新要犧牲別人的飯碗，那當然可以阻擋。如果AI公司能夠通過合法途徑獲取藝術家授權，支付報酬，或者從公司購買版權，那么這并不會對它們造成任何負面影響。問題在于，一些公司選擇走捷徑，影響了藝術家的收入。

甲子光年：這些公司就好像是無論如何我先拿來用了，你到時候再找我解決版權糾紛好了。

單思雄：我們在保護自己的藝術，如果你拿來用，沒有經過我的同意，你中毒了也跟我沒關系，對不對？

甲子光年：但是對于更廣義的數據投毒，比如在自動駕駛系統上出現數據投毒，它會對人身安全構成威脅。

單思雄：在AI安全領域，針對數據投毒的研究已經存在很多年了，至少從2017年就開始了。我們也會研究如何保證自動駕駛模型不受數據投毒的影響。但自動駕駛的數據主要來自內部或購買的路況信息，真正的數據投毒問題可能在于其他方面。

甲子光年：你們一直保持非營利的免費運行模式，是不是為了規避潛在的倫理風險？

單思雄：確實有這樣的考慮，但主要還是出于支持藝術家的角度。在AI出現之前，藝術家就面臨著賺錢難、資源有限的問題，我們不會再想從他們身上賺錢，這樣做也能提高我們的可信度。之前一些App聲稱可以幫助藝術家保護作品，或者與AI公司協商不要拿作品訓練，但后來發現這些都是假的，作品還是被用于訓練模型了。我們從完全免費的角度出發，會更有說服力。

甲子光年：你們的資金成本大概是多少？

單思雄：我們導師和整個實驗室在AI安全領域發表了大量論文，這些都是我們正常工作的一部分。

甲子光年：所以就是把研究過程中的一些成果免費公開了。但好像也有很多風投找過你們？

單思雄：非常多，但我們把他們都拒絕了。

甲子光年：為什么要拒絕他們？

單思雄：風投介入對我們的影響會很大，因為他們的主要目的是盈利，我們也不可能一直提供免費服務了。他們對我們的許多決策也會有影響，我們的初衷還是從研究和保護藝術家的角度出發。

甲子光年：不過Webglaze（Glaze的網頁版）是用了亞馬遜AWS的研究基金做的？

單思雄：那個是很久以前拿到的，對我們也沒有約束，只要把錢用在研究上就可以?，F在那個基金也到期用完了。目前我們主要依靠實驗室的正常研究撥款來運作。

甲子光年：你們從來沒想過這些工具的商業模式應該是什么嗎？

單思雄：從來沒有。但我們可能會想和大公司合作，這些公司可能會提供一些資源支持，不一定是資金。這樣可以提高我們的可信度，并擴大我們的影響力。

甲子光年：你從2017年開始進入這個領域，這七年里有沒有遇到比較大的挑戰，或者感覺很迷茫困惑的時候？

單思雄：整體還好，但有段時間我對AI保護的效果不滿意，低迷了很長時間。Glaze出來以后壓力又很大，經常有人說把我們破解了。我們之前與藝術家們進行了深入的交流，還向他們保證我們的技術一定能夠成功，因此他們也給予了我們很多支持。萬一發布沒兩天，我們的保護效果就被別人清洗掉了，壓力就很大。

甲子光年：等于沒有發布的時候感覺沒做出什么東西，做出來了又擔心效果不好。

單思雄：如果是普通的學術論文發表，可能也不會有太多人關注我們。但現在我們感覺更面向大眾，很多人對我們的工作持反對態度，這也是我們預料之中的。一開始我們導師經常在Twitter上回應，壓力非常大。后來很多藝術家在使用后覺得效果不錯，也會幫我辟謠。

甲子光年：這些對你們充滿惡意的是什么人？是你說的Pro AI的人，AI研究者？

單思雄：AI研究者并不多，主要是一些Pro AI但并不太懂的人，不是真正從事AI開發的人。大公司的人不會直接攻擊我們，因為這會涉及法律問題，他們不會直接發郵件表達不滿。但在Reddit上，有些人認為我們的工作不好，就會批評我們。

甲子光年：這種“鍵盤上的惡意”都在表達什么意思？

單思雄：就說我們讓AI研發停滯了，以及我們這個根本行不通。

甲子光年：那他們的邏輯就不合理。如果你們做的東西行不通，其實對他在意的事情就不會構成威脅了。

單思雄：所以我們自己的理解也是，他們越憤怒，越在乎，我們成功的概率就越高。

3.站在Pro AI的對立面

甲子光年：你們團隊的構成是怎樣的？

單思雄：我算是Co-Lead，就是負責人之一，幾篇論文的一作一般是我。寫代碼主要是我和四五位學弟學妹在做，另外有兩位學姐已經畢業了。還有我的兩位導師（趙燕斌教授和鄭海濤教授）會提供很多資源，對我們有很多指導，包括怎么和公司合作來保護，也都是導師來決定。

（注：單思雄和已經畢業的Jenna Cryan, Emily Wenger憑借Glaze的成果共同入選2024福布斯北美U30榜單）

甲子光年：你打算博士畢業后做什么？

單思雄：我可能明年這個時候畢業，應該會找教職。

甲子光年：不會考慮投身業界嗎？

單思雄：確實有可能，但也可能做一些咨詢工作，核心還是繼續推動這個領域的研究。

甲子光年：你是上高中的時候就很確定想來芝加哥大學讀本科，學習計算機相關專業嗎？

單思雄：當時在早申階段申請了芝加哥大學，也沒覺得自己肯定能被錄取，不過還是很驚喜真的錄了我，我也就沒申請別的學校。專業當時還沒太想好，其實挺想做環境保護這方面。來到芝加哥以后選修了一節計算機的課，那位教授特別好，讓我開始對這方面感興趣，所以就學了這個專業。

甲子光年：芝加哥大學就是在你剛上本科的時候大力發展計算機系了吧，挖來了很多人。

單思雄：對，我剛開始讀的時候計算機系可能只有20位教授，而且都是比較年長的，做理論相關的教授。后來請到了原來加州大學伯克利分校的計算機系主任Michael Franklin做我們的系主任，發展到現在系里有60多位教授了，各方面資金很充裕，我也算比較幸運。

（注：單思雄的兩位導師趙燕斌教授和鄭海濤教授在2017年從加州大學圣芭芭拉分校跳槽至芝加哥大學，共同領導SAND實驗室）

甲子光年：你在計算機領域內從事AI安全相關的研究，是因為剛好加入了趙教授和鄭教授的實驗室才做，還是對這方面感興趣？

單思雄：我一直都對這類保護比較感興趣，我發的論文不管是不是和趙老師合作，都是以保護為主。

甲子光年：你最早想學的環境科學，其實也是一種“保護”性質的專業。這算是“叛逆”的選擇嗎？你好像一直都不想做當下非常有利潤的領域。

單思雄：是有一些叛逆在里面，主要我還是對“對與錯”的重視要比對金錢的重視高一些。

甲子光年：你會用“對與錯”這樣是非分明的描述，所以你覺得當下主流的AI研究方向是錯的。

單思雄：不能說是錯的。從美國這個資本主義國家的角度來說，可以賺錢的模式當然要大力發展，公司角度也是如此。當微軟發展很好，谷歌有點落后的時候，谷歌壓力就很大。他們不可能不要經濟價值，一味地去保護藝術，我沒覺得他們做錯了什么。只是現在的形勢發展，讓我不希望繼續往這個方向走，我希望我的研究成果可以強制他們轉向更符合道德的角度。

甲子光年：在主流業界大公司里，還會有你比較欣賞或者想一起共事的榜樣嗎？

單思雄：還是有很多的，比如Ed，他之前是Stability的VP，但是辭職了。他說其實很多真正下面做事情的人都不太同意公司的做法。所以我也相信很多人知道不應該是這樣，但現實在壓迫他們繼續?，F在無論是在公司還是業界，已經出現越來越多的警告，未來還會有更多人站出來說自己在公司內看到的不好的事情，這樣就會迫使法律保護創作者。

（注：2023月11月，Stability負責音頻的副總裁Ed Newton-Rex辭職，因為他認為使用受版權保護的內容開發AI模型是不合法的。）

甲子光年：從事AI安全，抵制AI挪用作品去訓練的研究，會讓你把自己定義為一個反AI的人嗎？

單思雄：我覺得不是。我們之前做的很多研究都是在保護AI模型，讓它不會被投毒，被擾動攻擊。我還是想讓AI更好。但現在這種直接拿數據沒版權的訓練模式我覺得是不對的。短期來說它可能讓AI發展更快，長期來看對AI沒有好結果。我希望自己或者別人的研究可以讓AI走上正軌，正式獲得一些版權。

甲子光年：但你剛剛提到你們不想合作和接觸的就是“Pro AI”的人，你已經站到他們的對立面了？

單思雄：我指的是Pro現在生成式AI模型的一些人。他們的角度是以盈利為目的，任何犧牲都可以接受?？墒且呀浻泻芏嘌芯孔C明AI不能在自己生成出來的數據上訓練，否則模型會出問題。但現在大力開發AI模型，要是讓所有藝術家和創作者都失業，沒有人去學了，長期肯定會對AI造成影響。AI的發展仍然需要很多人為的新作品、新創作。

甲子光年：所以你是更多的希望鼓勵人類去創作。

單思雄：也是鼓勵AI公司會至少分一些利潤給這些創造者，獲得一些數據授權。

甲子光年：但大公司多半主要和大公司合作，就像OpenAI會很快和新聞集團達成合作，中小媒體就被遺忘了。藝術可能也是，大公司只和平臺合作，獨立藝術家無人在意。

單思雄：肯定會出現這種情況。但就像Spotify這樣的音樂平臺和環球音樂集團（UMG）合作獲得版權，環球音樂會把錢分給內部的創作者，可能沒有以前那么多錢，但得到一些分成的模式是正確的。現在的藝術家面對AI幾乎是一點都拿不到，甚至都算不上被外包的感覺。如果OpenAI和迪士尼達成合作，迪士尼多少會給自己合作的藝術家一些分成。

甲子光年：你有沒有想要實現的終極目標？

單思雄：兩方面吧。一方面是推動AI企業給創作者一些補償。如果我是畫師，我想每天開心畫畫，每天發一張圖給OpenAI，OpenAI掙錢了也會分紅給我；另一方面，即使OpenAI做到了我說的，藝術家現在也不敢把畫發給OpenAI，因為它訓練幾張以后也就學差不多了。可能這不會是一種直接的合作，還會有一些中間步驟，讓藝術家去信任它們，這樣就比較健康。

甲子光年：你會如何看待你與AI的關系，你之于AI在扮演什么角色？剛剛你說希望它變得更健康，所以你是代入了醫生的角色嗎？

單思雄：對，我相信AI未來的影響肯定還是很好的，但是目前有一些問題。除了版權，還有Deepfake帶來的詐騙問題等等。我覺得我打造的一些工具可以幫助減少這些錯誤的應用以及它帶來的傷害，讓AI更好地發展，更好地被使用。

甲子光年：你將來畢業后還會繼續研究當前的方向，并拓展到比圖像更大的保護范圍嗎？

單思雄：還是會繼續做，但保護也只是一方面，還要關注實施的過程。比如歐洲的《通用數據保護條例》（GDPR）或者美國一些新的法律要想真正實現，也還需要技術上的支持。版權辦公室不想給AI生成的作品版權保護，但他們的挑戰在于不知道哪些是AI生成的，所以我可以做一個檢測工具。

甲子光年：你認為AI生成的圖像可以有版權保護嗎？

單思雄：即使有，也不應該只屬于寫prompt的那一個人。

（封面圖來源：攝圖網，文中圖片來自Glaze團隊）