【有梗學習】111文化學習講座紀錄-情感式學習系統與AI共創-結合AI畫畫與現代詩
撰文／廖冠智 所長 日期／112年03月31日
#情感式學習系統與AI共創
#藝術的形式與研究的體魄
人類與機器之間的距離有多遠？這問題很弔詭，人類與機器並不在同一個比較基準上，怎能如此草率地衡量兩者間的距離。但電影、漫畫裡可不這麼想，堪稱經典的1984年魔鬼終結者（The Terminator）、以及著名的1989年日本漫畫攻殻機動隊（Ghost in the Shell），都進一步描述出人類與機器的可能關係，讓生化人Cybernetic Organism（Cyborg）、仿生人Android、甚至是人造人的描繪想像都躍上檯面，你可以說是人類對自己未來延伸樣態的嘗試，也是人類與其他物質結合的大突破。
人類之中也有幾位瘋狂的人士，如英國Kevin Warwick是著名的人類神經系統與電腦機械對接介面研究的科學家，自1992開始專研人類與機械結合的可能性，透過機械訊號將人類神經系統對接，直到2004年時出版Warwick, K. (2004). I, cyborg. University of Illinois Press.，揭露了有機生命與無生機器結合的方式，書中介紹了他如何將晶片嵌入體內的幾種應用，把自己改造為半人半機器，接受手術植入控制晶片在他的中樞神經系統中，讓他有了超感官的生活經驗extra-sensory ，此舉也帶給人類許多震撼。
人類一旦有了想像，就不再滿足。機器一旦有了意識，就不再安分。或許人類與機器之間的距離，就是想像力與意識存在所構成的距離？
不僅人類急著想與機器結合，除前面所說Warwick的生化人創舉之外，機器人也想變成真實的人類。如在1999年美國電影『變人Bicentennial Man』裡，描述一個機器人Andrew與人類長久生活，瞭解到人類的習慣、動作表情與文化認知，包含社會習俗與禁忌，揣摩人類如何表現情感及其背後意義，開始學習“活得“像一個真實的人類，但Andrew並不滿足自己只有人類的外觀，還要進一步有人類最獨一無二的缺陷：生命會消失的特質，因此改造自己體內為有機生命循環系統的方式，自此開始學習面對“死亡”，電影裡世界公民組織才得以承認“他“是真實的人類。
雖然人類與機器結合（或說機器遷入人類體內）能增強人類許多感官上的提示與刺激，但並非人人樂見。或許，讓機器可以進一步接收辨識人類的狀態，可說是一種折衷方式，情感運算（Affective Computing，AC）即為一例，人類開始好奇機器可以了解人類情感的各種方式。美國麻省理工學院媒體實驗室的 Picard最早於1995在Affective Computing. M.I.T Media Laboratory Perceptual Computing Section Technical Report No. 321. 提及AC，結合計算機科學、認知神經科學、心理學領域，探究計算機如何“讀懂”與“處理”人類的情緒，認為電腦能透過感測器來接收使用者生理訊號，並辨識訊號對應的意義，致使計算機系統能參照使用者的生理訊號推斷其心理狀態，並能自動調整環境參數，以滿足使用者的需求。這當中牽涉到感知器能夠接收哪些資訊，接收後該如何辨識與計算出對應的意義。
對應於情感研究的發展，可知情緒表達、感知、處置和理解，皆與人類個體的身體喚醒機制有密切相關。如在2007年時，心理學家James Laird於2007年提出Embodied Emotion Theory，認為情感不是獨立存在的內部狀態，而是與行動有密切關聯，是由人體的感覺系統、動作系統與外部環境相互作用而產生。也就是說，情感才是身體對外界刺激的反應，包括肌肉張力、心率、呼吸和身體姿勢等，而這些身體反應又可以影響大腦的神經活動，才進而產生情感體驗。
這部分林豪鏘教授在3/27的講座一開始時就有提到，研究介紹了曾以文字輸入的資訊內容，來辨識使用者的情緒狀態，使用者與情意式家教系統的（ATS）的課程區塊、課程選單的操作互動過程，該系統將科技藝術的教材分成難中易不同程度的教材，從中間程度開始不斷辨識使用者所輸入的情緒文字於輸入框，由情感代理人玩偶（Avatar）表達出對應的情緒反應。使用者在學習過程，假使輸入的文字能描述expression自己的感受，代理人玩偶就呈現對應的表情，試圖喚起或取得與使用者的共鳴，並適性地提供不同的課程安排。鏘鏘不愧是洞悉人類情感的專家，連研發系統中常使用到的Log視窗，發現一旦在實驗過程中置於螢幕左下角，還兼具取信於使用者的功能，增強受試者對系統精確計算的信任感受，同時也特別提到該系統正與chatGPT結合，也面臨到AI迅速發展，讓AC的應用有了跨時代的不同。
鏘鏘也介紹了AC如何貼近我們的日常生活，譬如情感咖啡攤與香水實驗室， AC從過去以視覺、聽覺為主的訊息計算，轉而延伸其他感官知覺如觸覺、味覺、嗅覺的發展，可說是數位知覺的延伸與完整。這讓我想起了Google曾在2013年以愚人節的趣味角度提出Digital Smell：搜尋氣味技術的使用原型，雖然莞爾一笑卻讓許多使用者趨之若鶩，期待傳統搜尋方式能跨時代進展到氣味的數位搜尋。事實上，早在1982年開始，科學家就開始構思如何將嗅覺透過數位方式計算、保存，以及傳遞，而DigiScents 1999發展iSmell的原型機器，真正開始有了Digital Scent Technology （或說電子鼻Electronic Nose）數位嗅覺科技的應用雛形。
瑞士曾有花店將數位嗅覺商業化的應用，只要購買專屬的機器，顧客可以在網路上購買花束，購買前在裝置上就能聞到花的芬芳氣味，在遠端體驗嗅覺，是另一種形式的數位存在（Digital Presence）。除數位嗅覺外，數位風味（Digital flavor）的味覺型式延展了數位知覺，Ranasinghe, Cheok, Nakatsu & Do （2013）提出虛擬食物：味覺風味的模擬方式（Taste Simulator Lets You Try Virtual Food），以Digital Taste Interface讓味覺以數位形式再現於真實生活中，這也意味著未來享受美食，可以口含晶片來感覺體會鹹、甜、酸、苦、鮮味等味覺感受。另外在觸覺部分，日本產業研究DigInfo TV在2013年報導Feel the edges and contours of virtual objects with this haptic system，此觸覺反饋驅動的原型系統，讓手指偵測到物件空間位置的訊息，當前方沒有物體時，手指能自由移動，當手指觸碰到某物時，就會感受到前方有物體擋住，以偽觸覺強化感受虛擬物件的存在。
既然AC是接收資訊來辨識人類的情感狀態，那麼哪天一旦人類輸入的資訊不再僅限於文字，而是包含人體的感覺系統、動作系統與外部環境所產生的情意參數（affective parameters），這才是AC最期待的終極目標。這部分的研究趨勢，隨著AI更週延地與AC嘗試多種結合方式，特別在ACII2023：AFFECTIVE COMPUTING & INTELLIGENT INTERACTION年會（今年在MIT Media Lab），著重在Context、Multimodality，亦即追求能夠充分檢測多種情境因素（如性別、人格、人際關係、目標、環境、情境和文化）、資訊模式（如音訊、圖像、文本、觸覺和氣味），進而周延理解、預測和產生情感的過程，以及未來能進一步整合評估於生態環境中。自此我們有理由相信，AC的發展結構若有AI的挹注後，將有更期待卻也難以想像的可能性發生。
回到前面談到Cyborg，AC結合後會是什麼關聯呢？既然AC是人類情感與計算機之間的交互領域，讓計算機能夠理解和處理人類的情感和情緒，而Cyborg技術將機器與人體結合，實現對人類情感和情緒的感知。那麼，若感知器偵測人類心率、皮膚電反應等指標的生物傳感器和生物反饋設備後，能夠移轉至人類進行情感互動的智能機器人和虛擬人物，這些設備可以藉由對人類情感的感知分析，讓avatar更具象地提供個性化和貼心服務，與真實的人類進行溝通與交互體驗，特別在醫療、娛樂、教育等領域的應用，是最值得期待的範疇，此次ACII2023也特別認為，AI與AC結合後，在Health and well-being、Education、Entertainment、Consumer Products、User Experience等將有令人驚艷的應用表現。
AI發展下，更凸顯出人類想像力(Association)的重要。聯想力是人類天生的能力，透過聯想、想像的過程，讓人類思維得以突破真實世界的限制，也讓思維廣度延伸與多樣。鏘鏘在講座中不僅呈現出在AC研究上的成果，更展現出身為藝術家、美食家的專注與熱情。你可以看見鏘鏘讓AI讀入自己所做詩集內容後，委託AI創製出一幅幅接近鏘鏘內心情感的圖像，鏘鏘以文字來描述心中對意境的聯想，慢慢雕琢出AI圖像中各個部分的意境詮釋，讓prompter的語彙能力，更牽動、關聯、而且左右於圖像中美感符號的形成。因而，你可以說鏘鏘像是一位『藝術圖像』的『文字作家』，像在文學書寫與創作裡，藉由文字聯想所凝聚出唯美浪漫的情境，以臨摹出膾炙人口的詞句式圖像，更像是藝術創作中，藝術家透過想像讓內在意識轉換成真實作品，鏘鏘邀請AI來感受自己的詩文詞句，以文字當楔子，一同雕琢圖像的構成，也pixelize出意境的形態。
擁有豐富聯想力的人，更需要內心情感上的出口。鏘鏘做起研究來敏捷且饒富趣味，做起藝術來從畫作輸出為撫慰母親的棉被，溫暖、親切且共鳴，唱起歌來，也能展現自己無比渾厚的嗓音，瞇起眼沈浸在自己的世界中，讓你不自覺地欣賞其中的氣魄。這就是我跟鏘鏘聊到他內心裡沒有自己會害怕的事情，是一種無懼的精神，寄託在藝術的形式裡，也存在於研究的體魄中，而這也是我認為的『情感』與『創意』的多模態Multimodality。謝謝鏘鏘所帶來的講座，其實講座早已不是講座，而是一場藝術創作😆。
❤️
#情感式學習系統與AI共創
#藝術的形式與研究的體魄
人類與機器之間的距離有多遠？這問題很弔詭，人類與機器並不在同一個比較基準上，怎能如此草率地衡量兩者間的距離。但電影、漫畫裡可不這麼想，堪稱經典的1984年魔鬼終結者（The Terminator）、以及著名的1989年日本漫畫攻殻機動隊（Ghost in the Shell），都進一步描述出人類與機器的可能關係，讓生化人Cybernetic Organism（Cyborg）、仿生人Android、甚至是人造人的描繪想像都躍上檯面，你可以說是人類對自己未來延伸樣態的嘗試，也是人類與其他物質結合的大突破。
人類之中也有幾位瘋狂的人士，如英國Kevin Warwick是著名的人類神經系統與電腦機械對接介面研究的科學家，自1992開始專研人類與機械結合的可能性，透過機械訊號將人類神經系統對接，直到2004年時出版Warwick, K. (2004). I, cyborg. University of Illinois Press.，揭露了有機生命與無生機器結合的方式，書中介紹了他如何將晶片嵌入體內的幾種應用，把自己改造為半人半機器，接受手術植入控制晶片在他的中樞神經系統中，讓他有了超感官的生活經驗extra-sensory ，此舉也帶給人類許多震撼。
人類一旦有了想像，就不再滿足。機器一旦有了意識，就不再安分。或許人類與機器之間的距離，就是想像力與意識存在所構成的距離？
不僅人類急著想與機器結合，除前面所說Warwick的生化人創舉之外，機器人也想變成真實的人類。如在1999年美國電影『變人Bicentennial Man』裡，描述一個機器人Andrew與人類長久生活，瞭解到人類的習慣、動作表情與文化認知，包含社會習俗與禁忌，揣摩人類如何表現情感及其背後意義，開始學習“活得“像一個真實的人類，但Andrew並不滿足自己只有人類的外觀，還要進一步有人類最獨一無二的缺陷：生命會消失的特質，因此改造自己體內為有機生命循環系統的方式，自此開始學習面對“死亡”，電影裡世界公民組織才得以承認“他“是真實的人類。
雖然人類與機器結合（或說機器遷入人類體內）能增強人類許多感官上的提示與刺激，但並非人人樂見。或許，讓機器可以進一步接收辨識人類的狀態，可說是一種折衷方式，情感運算（Affective Computing，AC）即為一例，人類開始好奇機器可以了解人類情感的各種方式。美國麻省理工學院媒體實驗室的 Picard最早於1995在Affective Computing. M.I.T Media Laboratory Perceptual Computing Section Technical Report No. 321. 提及AC，結合計算機科學、認知神經科學、心理學領域，探究計算機如何“讀懂”與“處理”人類的情緒，認為電腦能透過感測器來接收使用者生理訊號，並辨識訊號對應的意義，致使計算機系統能參照使用者的生理訊號推斷其心理狀態，並能自動調整環境參數，以滿足使用者的需求。這當中牽涉到感知器能夠接收哪些資訊，接收後該如何辨識與計算出對應的意義。
對應於情感研究的發展，可知情緒表達、感知、處置和理解，皆與人類個體的身體喚醒機制有密切相關。如在2007年時，心理學家James Laird於2007年提出Embodied Emotion Theory，認為情感不是獨立存在的內部狀態，而是與行動有密切關聯，是由人體的感覺系統、動作系統與外部環境相互作用而產生。也就是說，情感才是身體對外界刺激的反應，包括肌肉張力、心率、呼吸和身體姿勢等，而這些身體反應又可以影響大腦的神經活動，才進而產生情感體驗。
這部分林豪鏘教授在3/27的講座一開始時就有提到，研究介紹了曾以文字輸入的資訊內容，來辨識使用者的情緒狀態，使用者與情意式家教系統的（ATS）的課程區塊、課程選單的操作互動過程，該系統將科技藝術的教材分成難中易不同程度的教材，從中間程度開始不斷辨識使用者所輸入的情緒文字於輸入框，由情感代理人玩偶（Avatar）表達出對應的情緒反應。使用者在學習過程，假使輸入的文字能描述expression自己的感受，代理人玩偶就呈現對應的表情，試圖喚起或取得與使用者的共鳴，並適性地提供不同的課程安排。鏘鏘不愧是洞悉人類情感的專家，連研發系統中常使用到的Log視窗，發現一旦在實驗過程中置於螢幕左下角，還兼具取信於使用者的功能，增強受試者對系統精確計算的信任感受，同時也特別提到該系統正與chatGPT結合，也面臨到AI迅速發展，讓AC的應用有了跨時代的不同。
鏘鏘也介紹了AC如何貼近我們的日常生活，譬如情感咖啡攤與香水實驗室， AC從過去以視覺、聽覺為主的訊息計算，轉而延伸其他感官知覺如觸覺、味覺、嗅覺的發展，可說是數位知覺的延伸與完整。這讓我想起了Google曾在2013年以愚人節的趣味角度提出Digital Smell：搜尋氣味技術的使用原型，雖然莞爾一笑卻讓許多使用者趨之若鶩，期待傳統搜尋方式能跨時代進展到氣味的數位搜尋。事實上，早在1982年開始，科學家就開始構思如何將嗅覺透過數位方式計算、保存，以及傳遞，而DigiScents 1999發展iSmell的原型機器，真正開始有了Digital Scent Technology （或說電子鼻Electronic Nose）數位嗅覺科技的應用雛形。
瑞士曾有花店將數位嗅覺商業化的應用，只要購買專屬的機器，顧客可以在網路上購買花束，購買前在裝置上就能聞到花的芬芳氣味，在遠端體驗嗅覺，是另一種形式的數位存在（Digital Presence）。除數位嗅覺外，數位風味（Digital flavor）的味覺型式延展了數位知覺，Ranasinghe, Cheok, Nakatsu & Do （2013）提出虛擬食物：味覺風味的模擬方式（Taste Simulator Lets You Try Virtual Food），以Digital Taste Interface讓味覺以數位形式再現於真實生活中，這也意味著未來享受美食，可以口含晶片來感覺體會鹹、甜、酸、苦、鮮味等味覺感受。另外在觸覺部分，日本產業研究DigInfo TV在2013年報導Feel the edges and contours of virtual objects with this haptic system，此觸覺反饋驅動的原型系統，讓手指偵測到物件空間位置的訊息，當前方沒有物體時，手指能自由移動，當手指觸碰到某物時，就會感受到前方有物體擋住，以偽觸覺強化感受虛擬物件的存在。
既然AC是接收資訊來辨識人類的情感狀態，那麼哪天一旦人類輸入的資訊不再僅限於文字，而是包含人體的感覺系統、動作系統與外部環境所產生的情意參數（affective parameters），這才是AC最期待的終極目標。這部分的研究趨勢，隨著AI更週延地與AC嘗試多種結合方式，特別在ACII2023：AFFECTIVE COMPUTING & INTELLIGENT INTERACTION年會（今年在MIT Media Lab），著重在Context、Multimodality，亦即追求能夠充分檢測多種情境因素（如性別、人格、人際關係、目標、環境、情境和文化）、資訊模式（如音訊、圖像、文本、觸覺和氣味），進而周延理解、預測和產生情感的過程，以及未來能進一步整合評估於生態環境中。自此我們有理由相信，AC的發展結構若有AI的挹注後，將有更期待卻也難以想像的可能性發生。
回到前面談到Cyborg，AC結合後會是什麼關聯呢？既然AC是人類情感與計算機之間的交互領域，讓計算機能夠理解和處理人類的情感和情緒，而Cyborg技術將機器與人體結合，實現對人類情感和情緒的感知。那麼，若感知器偵測人類心率、皮膚電反應等指標的生物傳感器和生物反饋設備後，能夠移轉至人類進行情感互動的智能機器人和虛擬人物，這些設備可以藉由對人類情感的感知分析，讓avatar更具象地提供個性化和貼心服務，與真實的人類進行溝通與交互體驗，特別在醫療、娛樂、教育等領域的應用，是最值得期待的範疇，此次ACII2023也特別認為，AI與AC結合後，在Health and well-being、Education、Entertainment、Consumer Products、User Experience等將有令人驚艷的應用表現。
AI發展下，更凸顯出人類想像力(Association)的重要。聯想力是人類天生的能力，透過聯想、想像的過程，讓人類思維得以突破真實世界的限制，也讓思維廣度延伸與多樣。鏘鏘在講座中不僅呈現出在AC研究上的成果，更展現出身為藝術家、美食家的專注與熱情。你可以看見鏘鏘讓AI讀入自己所做詩集內容後，委託AI創製出一幅幅接近鏘鏘內心情感的圖像，鏘鏘以文字來描述心中對意境的聯想，慢慢雕琢出AI圖像中各個部分的意境詮釋，讓prompter的語彙能力，更牽動、關聯、而且左右於圖像中美感符號的形成。因而，你可以說鏘鏘像是一位『藝術圖像』的『文字作家』，像在文學書寫與創作裡，藉由文字聯想所凝聚出唯美浪漫的情境，以臨摹出膾炙人口的詞句式圖像，更像是藝術創作中，藝術家透過想像讓內在意識轉換成真實作品，鏘鏘邀請AI來感受自己的詩文詞句，以文字當楔子，一同雕琢圖像的構成，也pixelize出意境的形態。
擁有豐富聯想力的人，更需要內心情感上的出口。鏘鏘做起研究來敏捷且饒富趣味，做起藝術來從畫作輸出為撫慰母親的棉被，溫暖、親切且共鳴，唱起歌來，也能展現自己無比渾厚的嗓音，瞇起眼沈浸在自己的世界中，讓你不自覺地欣賞其中的氣魄。這就是我跟鏘鏘聊到他內心裡沒有自己會害怕的事情，是一種無懼的精神，寄託在藝術的形式裡，也存在於研究的體魄中，而這也是我認為的『情感』與『創意』的多模態Multimodality。謝謝鏘鏘所帶來的講座，其實講座早已不是講座，而是一場藝術創作😆。
❤️
瀏覽數:
