machine-unlearning | SKKU IRIS Lab

Jinju Kim Admitted to UT Austin PhD Program

Tue, 02 Jun 2026 00:00:00 +0000

김진주 석사과정 학생이 UT Austin 박사과정에 합격하였습니다. 연구조교(GRA) 및 펠로우십을 포함하여 연간 약 73,000달러 규모의 지원을 받게 되었으며, Atlas Wang 교수의 지도 아래 연구를 이어갈 예정입니다. 특히 IRIS Lab에서 지난 몇 년간 발전시켜 온 연구 주제인 안전하고 신뢰할 수 있는 생성형 모델을 위한 머신 언러닝(Machine Unlearning) 연구로 학문적 여정을 지속할 계획입니다.

생성형 모델은 실제와 구분하기 어려운 음성, 음악, 영상 등을 생성할 수 있으며, 이는 해당 기술의 강력한 장점인 동시에 중요한 사회적·기술적 문제를 제기합니다. 예를 들어 음성 생성 모델은 특정 인물의 목소리를 매우 정교하게 재현할 수 있고, 음악 생성 모델은 학습 데이터와 유사한 결과물을 만들어낼 수 있습니다. 김진주 학생의 연구는 이러한 맥락에서 다음과 같은 질문에 주목합니다. 모델이 특정 정보를 의도적으로 잊도록 만들 수 있는가? 역으로, 특정 정보가 여전히 모델 내부에 남아 있음을 증명하거나, 온전한 삭제가 이루어졌음을 검증할 수 있는가?

이 연구는 생성형 AI의 신뢰성 객관적으로 측정하고 검증할 수 있는 특성으로 정립하는 것을 목표로 합니다. UT 오스틴에서는 이러한 문제를 보다 체계적으로 탐구하며, 안전하고 신뢰할 수 있는 생성형 AI 개발에 기여할 예정입니다.

UT Austin의 Atlas Wang 교수 연구실 또한 안전한 생성형 모델을 위한 정교하고 효율적인 방법론을 지속적으로 발전시켜 왔습니다. 이러한 연구 환경은 머신 언러닝과 신뢰 가능한 생성 모델 연구를 심화하는 데 매우 적합한 기반이 될 것으로 기대됩니다.

다시 한번 김진주 학생의 박사과정 합격을 진심으로 축하하며, 앞으로의 연구 활동을 응원합니다.

Jinju Kim has been offered a fully funded PhD position at the University of Texas at Austin, supported by a Graduate Research Assistantship (GRA) and a fellowship amounting up to $73,000 annually. She will be advised by Professor Atlas Wang, continuing the research thread that has organized the last few years of her work at IRIS Lab: machine unlearning for safe, trustworthy generation.

Generative models are very good at producing real-world-quality speech, music, and video — that’s the point of them, and also the problem. A speech model can reconstruct a particular voice; a music model can generate something close to what it was trained on. The question Jinju’s research takes seriously is whether these systems can let go of something on purpose, and whether that removal can be verified — even when someone is actively trying to prove the knowledge is still in there. Turning “trustworthy generation” from a slogan into a property you can measure and defend is the work she’ll be doing at Austin.

She chose UT Austin because Atlas Wang’s group also builds on this problem — principled, efficient methods to manipulate and modify generative models for trustworthy. Go Longhorns!

Jinju joins Sony AI as Summer Research Intern

Mon, 01 Jun 2026 00:00:00 +0000

이번 여름 김진주 석사과정 연구원이 도쿄 Sony AI의 Music Foundation Model Team에 연구 인턴으로 합류하여, 아카사카 Sony Research 오피스에서 연구를 시작하게 되었습니다. 김진주 연구원은 석사과정 동안 탐구해 온 생성형 AI에서의 언러닝 기법 연구를 이어나가, 생성형 음악 모델 분야에서 AI 생성 미디어의 저작권, 기억(memorization), 언러닝이 교차하는 지점을 산업 현장에서 직접 연구하게 되었습니다.

김진주 연구원은 Sony AI에서의 연구를 이렇게 표현합니다. “AI가 정확히 무엇을 하고 있는지, 그리고 무엇을 하지 말아야 하는지를 발견하는 것.” 단순한 윤리적 질문처럼 들리지만, 본질적인 해결책은 기술적 탐구에 있습니다. 생성형 모델이 실제로 어떤 지식을 학습하는지, 그 지식이 모델 내부에 어떻게 저장되는지, 그리고 어느 시점에서 그것이 저작물의 재현에 해당하는지가 연구의 핵심입니다. 특히 음악 생성 모델 분야에서 이러한 질문들은 더욱 중요한 쟁점이 됩니다. 저작권이 있는 음원으로 학습된 모델은 단순히 음악적 스타일을 흡수하는 데 그치지 않고 특정 음원을 재구성할 수도 있으며, ‘학습의 영향’과 ‘저작권 침해’ 사이의 경계는 법적으로도 기술적으로도 아직 명확히 정립되지 않았습니다. 이번 여름 김진주 연구원은 언러닝 기법을 활용한 학습 데이터 귀속(Train Data Attribution) 연구에 집중하고 있습니다. AI로 생성된 음원에 기여한 학습 데이터를 추적하고, 아티스트들이 자신의 작업이 AI에 어떻게, 얼마나 반영되는지에 대한 투명성을 확보하는 것이 목표입니다.

이 연구는 IRIS Lab에서의 머신 언러닝 연구와 NeurIPS 2025 AI4Music 워크숍 1저자 논문 발표로부터 이어지게 되었습니다. Sony AI에서 산업 현장의 현실적인 기술 문제를 탐구하며 사회에 기여하는 연구를 이어가길 응원합니다.

Jinju Kim has joined Sony AI’s Music Foundation Model Team as a research intern this summer, based at the Sony Research Akasaka office in Tokyo. Her work sits at the intersection of generative music models and questions of AI copyright, memorization, and unlearning - territory that she has been circling for a while, now met head-on in an industry setting.

She describes her research at Sony AI in a few words: “discovering what AI does, and shouldn’t do.” This sounds like an ethics talk but is really a technical one: what does a generative model actually learn, how does that knowledge persist inside it, and at what point does that constitute reproduction? Music generation makes these questions especially concrete. A model trained on copyrighted recordings doesn’t just absorb style — it can reconstruct specific material, and the line between influence and infringement is far from settled legally or technically. This summer, she is focusing on unlearning as a training data attribution method, working to ensure that the creative contributions embedded in generated outputs can be traced back to their sources, and that artists retain visibility over how their work shapes what these models produce.

This is a thread Jinju has been pulling on since her work on machine unlearning at IRIS Lab, and through her first-author paper at the NeurIPS 2025 AI4Music workshop. Sony AI’s Music Foundation Model Team is happy to have her on the team: the problems are live, the stakes are real, and the gap between what current models do and what they should do is exactly what her research is designed to close.

IRIS Lab Visits Calgary ML Lab for Research Exchange

Fri, 22 May 2026 00:00:00 +0000

IRIS 연구실의 고종환 교수님 인솔 하에 오영환, 강윤성 연구원은 2026년 5월 18일부터 19일까지 캐나다 캘거리 대학교(University of Calgary) Yani Ioannou 교수님의 Calgary ML Lab을 방문하여 연구 교류를 진행하였습니다.

첫째 날에는 Ioannou 교수님과 개별 미팅을 통해 각 연구원의 연구에 대한 직접적인 피드백을 받았습니다. 강윤성 연구원은 디퓨전 모델 concept unlearning 연구를 공유하며, attention 기반 loss 설계, 타임스텝별 erase·anchor loss 비중을 동적 조절하는 Time-Gated Loss 기법, style erasure와 concept erasure 분리 전략, sparsity가 생성 품질에 미치는 영향 등을 논의하였습니다. 오영환 연구원은 Dynamic Sparse Training(DST)과 machine unlearning을 결합한 접근법을 소개하고, unstructured에서 structured sparsity로의 확장 방안과 classification·Stable Diffusion 모델 양쪽에의 병렬 적용 계획을 검토하였습니다.

둘째 날에는 양 연구실 합동 미팅에서 소속 연구원들이 각자의 연구를 발표하였습니다. IRIS 연구실에서는 오영환 연구원이 machine unlearning 기초 개념 및 DST+Unlearning 접근법을, 강윤성 연구원이 디퓨전 모델 unlearning 기법을 각각 발표하였습니다. Calgary ML Lab에서는 Mohammed Adnan의 sparse training 안정성 보정 기법 SparseOpt (ICML 2026 accepted), Mike Lasby의 MoE one-shot 압축 기법 REAP (ICLR 2026), Yufan Feng의 VLM 대상 concept-driven backdoor 공격 연구 (ICML Workshop 2025), Tejas Pote의 data pruning과 classification bias 분석 (CPAL 2024), Abhishek Rajora의 Lottery Ticket Hypothesis 소개가 발표되었습니다.

발표 후에는 sparsity 알고리즘의 하드웨어 가속 실현 가능성, unlearning 적용 후 adversarial prompt에 의한 개념 복원 취약점과 robustness 평가 기준 확립 필요성 등을 주제로 토론이 이어졌으며, 양 연구실 간 sparsity·unlearning·모델 압축 분야의 후속 협력 방향을 논의하였습니다.

Under the supervision of Prof. Jong Hwan Ko, researchers Yeong Hwan Oh and Yunsung Kang from the IRIS Lab visited the Calgary ML Lab, led by Prof. Yani Ioannou at the University of Calgary, Canada, from May 18 to 19, 2026.

On the first day, each researcher received direct feedback from Prof. Ioannou on their ongoing work. Yunsung Kang shared his research on concept unlearning in diffusion models, discussing attention-based loss design, the Time-Gated Loss technique for dynamically balancing erase and anchor losses across timesteps, strategies for separating style and concept erasure, and the effect of sparsity on generation quality. Yeong Hwan Oh introduced his approach combining Dynamic Sparse Training (DST) with machine unlearning and reviewed plans for extending from unstructured to structured sparsity and for parallel application to both classification and Stable Diffusion models.

On the second day, a joint lab meeting featured research presentations from both groups. From the IRIS Lab, Yeong Hwan Oh presented on machine unlearning fundamentals and his DST+Unlearning approach, while Yunsung Kang presented on diffusion model unlearning. From Calgary ML Lab, presentations included Mohammed Adnan’s SparseOpt for sparse training stability (ICML 2026 accepted), Mike Lasby’s REAP for one-shot MoE compression (ICLR 2026), Yufan Feng’s concept-driven backdoor attacks on VLMs (ICML Workshop 2025), Tejas Pote’s analysis of data pruning and classification bias (CPAL 2024), and Abhishek Rajora’s introduction to the Lottery Ticket Hypothesis.

After the presentations, discussions covered the feasibility of hardware acceleration for sparsity-based algorithms, the vulnerability of unlearned concepts to recovery via adversarial prompts and the need for robustness evaluation criteria, and directions for continued collaboration between the two labs in sparsity, unlearning, and model compression.

Communications of the ACM Features IRIS Lab's Machine Unlearning Research

Fri, 06 Feb 2026 00:00:00 +0000

IRIS 연구실의 고종환 교수님 연구가 Communications of the ACM (CACM)에 소개되었습니다 ( https://cacm.acm.org/news/teaching-ai-to-forget/ ). CACM은 ACM(Association for Computing Machinery)의 공식 매거진으로, 컴퓨터 과학 분야에서 가장 권위 있는 매체 중 하나입니다.

프리랜스 과학기술 저널리스트 Sandrine Ceurstemont가 작성한 “Teaching AI to Forget”(AI에게 잊는 법을 가르치다) 기사는 머신 언러닝(Machine Unlearning) 기술을 다룹니다. 현재 AI 시스템은 단 몇 초의 음성 샘플만으로 목소리를 현실적으로 복제할 수 있습니다. 실제로 Oprah Winfrey의 목소리가 온라인 광고에 딥페이크로 사용되었고, 미국 고위 공직자의 목소리로 위조된 AI 음성 메시지가 개인 계정 접근에 악용되는 사례가 발생했습니다.

이러한 문제를 해결하기 위해 AI 모델이 특정 음성을 “잊게” 만드는 것이 필요하지만, 전체 모델을 처음부터 재학습하는 것은 비용이 많이 듭니다. 머신 언러닝은 특정 데이터의 학습 영향을 효율적으로 제거하는 접근법으로, EU의 ‘잊힐 권리’ 규정과 같은 데이터 프라이버시 법규에 대응할 수 있는 실용적인 해결책입니다.

기사는 하버드대 Martin Pawelczyk 박사의 In-Context Unlearning 기법과 함께, 고종환 교수님의 음성 언러닝 연구를 주요 사례로 심층 소개합니다. 교수님 연구팀은 동의 없이 자신의 목소리가 AI로 복제되는 것을 원치 않는 사람들을 위한 솔루션을 개발했습니다. 기존의 가드레일 필터 방식과 달리, 이 방법은 특정 화자의 정체성을 영구적으로 숨기도록 AI 모델을 학습시켜, 해당 화자의 목소리를 생성하려 할 때마다 새로운 무작위 음성을 생성하게 합니다.

연구팀은 Meta의 Voicebox 시스템을 대상으로 실험하여, 최대 10개의 목소리를 동시에 보호할 수 있음을 입증했습니다. 교수님은 “언러닝이 너무 강하면 모델이 다른 화자의 목소리를 생성하는 능력을 잃고, 너무 약하면 특정 목소리의 복제를 막을 수 없기 때문에 언러닝 과정이 매우 까다롭다"고 설명했습니다. 현재 연구팀은 더 많은 음성 제거 요청을 처리하고 처리 속도를 높이는 연구를 진행 중이며, 이 기술을 이미지나 비디오와 같은 다른 미디어로 확장하는 작업도 진행하고 있습니다.

저희 연구는 지난 2025년 7월 MIT Technology Review에 이어 CACM에도 소개되어, 국제적으로 주목받고 있음을 보여줍니다. AI 기술이 발전할수록 사용자의 권리를 보호할 수 있는 메커니즘이 필요하다는 점에서, 머신 언러닝은 앞으로 AI 연구의 핵심 주제가 될 것으로 기대됩니다.

IRIS Lab’s research by Prof. Jong Hwan Ko has been featured in Communications of the ACM (CACM) ( https://cacm.acm.org/news/teaching-ai-to-forget/ ). CACM is the flagship magazine of the Association for Computing Machinery (ACM) and one of the most prestigious publications in computer science.

The article “Teaching AI to Forget,” written by freelance science and technology journalist Sandrine Ceurstemont, explores machine unlearning technology. AI systems can now realistically recreate voices from just a few seconds of speech samples. Real-world cases include Oprah Winfrey’s voice being deepfaked for online advertisements and AI-generated voice messages impersonating senior U.S. government officials to gain access to personal accounts.

To address such problems, AI models need to “forget” certain voices, but retraining entire models from scratch is expensive. Machine unlearning offers a practical solution by efficiently removing the impact of specific training data, addressing data privacy regulations like the EU’s “right to be forgotten.”

The article features Prof. Ko’s voice unlearning research as a major case study, alongside Harvard’s Dr. Martin Pawelczyk’s In-Context Unlearning approach. Prof. Ko’s team developed a solution for people who don’t want their voices cloned without consent. Unlike conventional guardrail filters, this method trains the AI model to permanently hide the identity of specific speakers by generating a new random voice each time it encounters a speaker who wants to be forgotten.

The team tested their approach on Meta’s Voicebox system, demonstrating the ability to protect up to 10 voices simultaneously. Prof. Ko explains, “The unlearning process is quite tricky. If the unlearning is too strong, then the model can lose the ability to generate the remaining speakers’ voices, and if it is too weak, then we cannot make the model refrain from reproducing specific voices.” The team is now working on handling more voice removal requests, speeding up performance, and adapting the technique for other media types such as images and videos.

Following the MIT Technology Review feature in July 2025, this CACM article demonstrates the growing international recognition of our work. As AI technology advances, mechanisms for protecting user rights become essential, positioning machine unlearning as a key research area for the future of AI.

Carnegie Mellon University (CMU) Collaboration (Visiting Researcher: Jinju Kim)

Thu, 02 Oct 2025 00:00:00 +0000

IRIS 연구실 석사과정 김진주 연구원 (mokcho.github.io)은 2024년 8월부터 카네기멜론대학교 (Carnegie Mellon University, 이하 CMU) 에 방문 연구원으로 활동하며, 음성과 오디오 차원에서 머신 언러닝에 대한 연구를 세계적 전문가들과 함께 긴밀히 이어가고 있습니다.

김진주 연구원의 CMU 여정은 서강대학교와 한국정보통신기획평가원 (IITP)의 지원을 받아 6개월간의 연구 프로그램으로 시작되었으며, 교수진과의 교류를 통해 향후 지속적 협업 기반을 다졌습니다.

공식 프로그램이 종료된 이후에도, 김진주 연구원은 원격으로 David R. Mortensen 교수님과 연구를 지속하며 ACL 언어학회들에 논문을 제출하고, Rita Singh 교수님과 함께 2025 NeurIPS AI4Music 워크숍에서 음악 생성 모델에 대한 머신 언러닝 논문 (“No Encore: Unlearning as Opt-Out in Music Generation”) 을 1저자로 발표가게 되었습니다. 이 성과를 바탕으로 Bhiksha Raj 교수님의 연구실 MLSP Group에서 음성 및 오디오 시스템에 언러닝 기법을 적용한 보안 연구를 CMU 현지에서 지속하자는 초청을 받았습니다.

2025년 9월부터 김진주 연구원은 Bhiksha Raj 교수님, Rita Singh 교수님과 함께 “특정 데이터로 학습한 정보를 잊는 효율적인 알고리즘 설계"에 집중하고 있습니다. 이 주제는 음성 프라이버시, 윤리적 AI 생성 시스템, 효율적 머신러닝 등 여러 분야와 깊이 연결되어 있습니다.

김진주 연구원의 CMU 방문은 한국 대학과 세계적 AI 연구 거점 간의 연결을 강화하며, 국제 공동 연구의 시너지를 만드는 기회가 될 것입니다. 앞으로 머신 언러닝, 음성/프라이버시 시스템 분야에서 연구의 결실을 기대합니다.

Since August 2024, our Master’s student Jinju Kim has been engaging as a visiting research fellow in the School of Computer Science at Carnegie Mellon University. Since then, Jinju Kim has evolved her research on machine unlearning into close collaboration with leading experts in language, audio, and privacy.

Her journey with CMU began through a six-month funded program sponsored by Sogang University and the Institute for Information & Communications Technology Planning & Evaluation (IITP). During that period, Jinju Kim immersed herself in four courseworks, engaged with faculty, and laid the groundwork for long-term collaboration.

After the official program ended, Jinju Kim continued collaborating remotely with CMU professors, submitting work with Prof. David R. Mortensen to ACL venues and leading as first author on a paper with Prof. Rita Singh to be presented at the NeurIPS 2025 AI4Music workshop titled “No Encore: Unlearning as Opt-Out in Music Generation.” Recognizing the promise of this work, Prof. Bhiksha Raj’s lab, the MLSP Group, invited Jinju Kim to continue her research on-site, focusing on efficient machine unlearning methods for audio and speech systems.

From September 2025, Jinju Kim’s ongoing work centers on designing unlearning algorithms that can “forget targeted data distributions efficiently.” This is especially relevant to voice privacy, trustworthy generative AI systems, and efficient machine learning.

Jinju Kim’s presence at CMU strengthens ties between Korean universities and a leading AI research hub, catalyzing new synergies across international and interdisciplinary research. We look forward to the full impact of her evolving work.