Communications of the ACM Features IRIS Lab's Machine Unlearning Research

Fri, 06 Feb 2026 00:00:00 +0000

IRIS 연구실의 고종환 교수님 연구가 Communications of the ACM (CACM)에 소개되었습니다 ( https://cacm.acm.org/news/teaching-ai-to-forget/ ). CACM은 ACM(Association for Computing Machinery)의 공식 매거진으로, 컴퓨터 과학 분야에서 가장 권위 있는 매체 중 하나입니다.

프리랜스 과학기술 저널리스트 Sandrine Ceurstemont가 작성한 “Teaching AI to Forget”(AI에게 잊는 법을 가르치다) 기사는 머신 언러닝(Machine Unlearning) 기술을 다룹니다. 현재 AI 시스템은 단 몇 초의 음성 샘플만으로 목소리를 현실적으로 복제할 수 있습니다. 실제로 Oprah Winfrey의 목소리가 온라인 광고에 딥페이크로 사용되었고, 미국 고위 공직자의 목소리로 위조된 AI 음성 메시지가 개인 계정 접근에 악용되는 사례가 발생했습니다.

이러한 문제를 해결하기 위해 AI 모델이 특정 음성을 “잊게” 만드는 것이 필요하지만, 전체 모델을 처음부터 재학습하는 것은 비용이 많이 듭니다. 머신 언러닝은 특정 데이터의 학습 영향을 효율적으로 제거하는 접근법으로, EU의 ‘잊힐 권리’ 규정과 같은 데이터 프라이버시 법규에 대응할 수 있는 실용적인 해결책입니다.

기사는 하버드대 Martin Pawelczyk 박사의 In-Context Unlearning 기법과 함께, 고종환 교수님의 음성 언러닝 연구를 주요 사례로 심층 소개합니다. 교수님 연구팀은 동의 없이 자신의 목소리가 AI로 복제되는 것을 원치 않는 사람들을 위한 솔루션을 개발했습니다. 기존의 가드레일 필터 방식과 달리, 이 방법은 특정 화자의 정체성을 영구적으로 숨기도록 AI 모델을 학습시켜, 해당 화자의 목소리를 생성하려 할 때마다 새로운 무작위 음성을 생성하게 합니다.

연구팀은 Meta의 Voicebox 시스템을 대상으로 실험하여, 최대 10개의 목소리를 동시에 보호할 수 있음을 입증했습니다. 교수님은 “언러닝이 너무 강하면 모델이 다른 화자의 목소리를 생성하는 능력을 잃고, 너무 약하면 특정 목소리의 복제를 막을 수 없기 때문에 언러닝 과정이 매우 까다롭다"고 설명했습니다. 현재 연구팀은 더 많은 음성 제거 요청을 처리하고 처리 속도를 높이는 연구를 진행 중이며, 이 기술을 이미지나 비디오와 같은 다른 미디어로 확장하는 작업도 진행하고 있습니다.

저희 연구는 지난 2025년 7월 MIT Technology Review에 이어 CACM에도 소개되어, 국제적으로 주목받고 있음을 보여줍니다. AI 기술이 발전할수록 사용자의 권리를 보호할 수 있는 메커니즘이 필요하다는 점에서, 머신 언러닝은 앞으로 AI 연구의 핵심 주제가 될 것으로 기대됩니다.

IRIS Lab’s research by Prof. Jong Hwan Ko has been featured in Communications of the ACM (CACM) ( https://cacm.acm.org/news/teaching-ai-to-forget/ ). CACM is the flagship magazine of the Association for Computing Machinery (ACM) and one of the most prestigious publications in computer science.

The article “Teaching AI to Forget,” written by freelance science and technology journalist Sandrine Ceurstemont, explores machine unlearning technology. AI systems can now realistically recreate voices from just a few seconds of speech samples. Real-world cases include Oprah Winfrey’s voice being deepfaked for online advertisements and AI-generated voice messages impersonating senior U.S. government officials to gain access to personal accounts.

To address such problems, AI models need to “forget” certain voices, but retraining entire models from scratch is expensive. Machine unlearning offers a practical solution by efficiently removing the impact of specific training data, addressing data privacy regulations like the EU’s “right to be forgotten.”

The article features Prof. Ko’s voice unlearning research as a major case study, alongside Harvard’s Dr. Martin Pawelczyk’s In-Context Unlearning approach. Prof. Ko’s team developed a solution for people who don’t want their voices cloned without consent. Unlike conventional guardrail filters, this method trains the AI model to permanently hide the identity of specific speakers by generating a new random voice each time it encounters a speaker who wants to be forgotten.

The team tested their approach on Meta’s Voicebox system, demonstrating the ability to protect up to 10 voices simultaneously. Prof. Ko explains, “The unlearning process is quite tricky. If the unlearning is too strong, then the model can lose the ability to generate the remaining speakers’ voices, and if it is too weak, then we cannot make the model refrain from reproducing specific voices.” The team is now working on handling more voice removal requests, speeding up performance, and adapting the technique for other media types such as images and videos.

Following the MIT Technology Review feature in July 2025, this CACM article demonstrates the growing international recognition of our work. As AI technology advances, mechanisms for protecting user rights become essential, positioning machine unlearning as a key research area for the future of AI.

MIT Technology Review Features IRIS Lab’s Work on Voice Unlearning for Zero-Shot TTS

Tue, 15 Jul 2025 00:00:00 +0000

최근 MIT Technology Review에 고종환 교수님과 김진주 석사과정 연구원의 인터뷰가 실렸습니다 ( https://www.technologyreview.com/2025/07/15/1120094/ai-text-to-speech-programs-could-one-day-unlearn/ ). 이번 인터뷰는 피터 홀(Peter Hall) 편집자와 함께 최근 ICML 2025에서 발표한 논문 *“Do Not Mimic My Voice: Speaker Identity Unlearning for Zero-Shot Text-to-Speech”*을 중심으로 진행되었는데요. 기사에서는 AI 음성 합성(Text-to-Speech) 시스템이 특정 화자의 목소리 모방 능력을 “잊을(unlearn)” 수 있는 가능성과, 이를 통해 오디오 딥페이크로부터 사용자를 보호할 수 있는 새로운 방향을 다루고 있습니다.

인터뷰에서는 Meta의 Voicebox와 같은 최신 zero-shot TTS 모델이 단 몇 초의 음성만으로도 화자의 목소리를 그대로 복제할 수 있다는 점을 지적하며, 이로 인한 프라이버시와 윤리적 문제를 짚었습니다. 저희 논문은 이런 문제를 해결하기 위해 특정 화자의 목소리만 선택적으로 제거하면서도 다른 화자에 대한 성능은 유지할 수 있는 Teacher-Guided Unlearning (TGU) 기법을 제안했습니다. 또 모델이 실제로 화자를 얼마나 잘 “잊었는지” 평가할 수 있도록 speaker-Zero Retrain Forgetting (spk-ZRF)이라는 새로운 지표를 도입했으며, 실험을 통해 특정 화자의 목소리 복제 능력을 크게 줄이면서도 전체 음성 품질은 유지할 수 있음을 확인했습니다.

저희 연구는 단순히 기술적 호기심을 넘어서, 앞으로는 사용자가 “내 목소리를 복제하지 마라(Do not mimic my voice)”라고 요구하면 시스템 차원에서 이를 존중할 수 있는 미래를 열 수 있음을 보여줍니다. 목소리 복제와 오디오 딥페이크 기술이 점점 정교해지는 지금, 이러한 기능은 필수적인 프라이버시 보호 장치가 될 수 있음을 인터뷰에서 강조합니다.

Recently, MIT Technology Review published an interview with Prof. Jong Hwan Ko and M.S. student Jinju Kim ( https://www.technologyreview.com/2025/07/15/1120094/ai-text-to-speech-programs-could-one-day-unlearn/ ). The interview with editor Peter Hall focused on our ICML 2025 paper, “Do Not Mimic My Voice: Speaker Identity Unlearning for Zero-Shot Text-to-Speech.” The article explores the possibility that AI text-to-speech systems could “unlearn” their ability to imitate specific speakers, opening a new direction for protecting users from audio deepfakes.

In the interview, we note that state-of-the-art zero-shot TTS models such as Meta’s Voicebox can replicate a speaker’s voice from just a few seconds of audio, raising serious privacy and ethical concerns. Our paper proposes Teacher-Guided Unlearning (TGU), a technique that selectively removes a targeted speaker’s voice while maintaining performance on others. We also introduce speaker-Zero Retrain Forgetting (spk-ZRF) to quantify how well the model “forgets,” and we show experimentally that targeted voice cloning can be greatly reduced without degrading overall speech quality.

Our research goes beyond technical curiosity, pointing toward a future in which users can say “Do not mimic my voice” and have that respected at the system level. As voice cloning and audio deepfakes become increasingly sophisticated, this capability can serve as an essential safeguard for voice privacy.

icml2025 | SKKU IRIS Lab

Communications of the ACM Features IRIS Lab's Machine Unlearning Research

MIT Technology Review Features IRIS Lab’s Work on Voice Unlearning for Zero-Shot TTS