자연과학대학 홍보기자단 자:몽 8기 | 김우진
 

*소속 : 수리과학부
* 연구분야 : 확률론
* E-mail : insuk.seo@snu.ac.kr
* Tel : 02-880-6266
 
 

서울대학교 수리과학부 서인석 교수님. (사진 = 김우진 기자)
 
 

   대한수학회 논문상은 지난 3년간에 발표된 단일 논문으로 그 우수성을 인정받아 수학발전에 크게 공헌한 대한수학회 회원에게 수여된다. 연구 성과에 대한 중요성 및 영향력, 후속 연구에 대한 기여도가 높은 우수한 논문에 상을 수여하여 연구 의욕을 고취시키는 것을 목표한다. “A resolvent approach to metastability" 논문으로 2025년 대한수학회 논문상을 수상한 서울대학교 수리과학부의 서인석 교수님을 만나보았다. 
 

1. 교수님에 대해 간단한 소개 부탁드립니다. 
 
   저는 서울대학교 수리과학부에서 교수로 재직 중인 서인석이고 수학에서도 확률론을 전공하고 있습니다. 
 
 

2. 교수님의 연구 분야와 논문에 대해 간단한 소개 부탁드립니다. 
 
   이번에 논문상을 받은 것은 메타안정성(metastability)이라는 주제예요. 당장 국소적으로는 안정적이지만 사실은 더 안정적인 상태가 존재하는, 약간은 불안정해 보이는 안정상태를 과학에서는 메타안정적인 상태라고 합니다. 외나무다리에 균형을 잘 잡고 있는 상태를 생각하면 되겠네요.
 
   메타안정성과 관련된 좀 더 과학적인 예시를 들면 과냉각된 물입니다. 물을 정말 빠르게 영하 3도로 내리면 얼지 않아요. 액체 상태이면서 영하 3도의 물이 만들어져요. 이런 물을 과냉각수라고 합니다. 이 상태는 안정적이지만, 그렇게 안정적이지는 않아요. 왜냐하면 여기에 약간의 충격만 줘도 순식간에 바로 슬러시 형태의 얼음으로 바뀌기 때문입니다. 이게 진짜 안정적인 상태이죠. 따라서, 과냉각수는 메타안정적인 상태입니다. 
 
   이처럼 물질이 메타안정적인 상태에서 진짜 안정적인 상태로 어떻게 전이되는가, 그런 전이가 어떻게, 왜 발생하는가를 이해하는 것이 20세기 중반부터 중요한 문제였는데 그것과 관련된 연구를 하고 있습니다. 
 
   메타안정성으로 묘사한, 덜 안정적인 상태로부터 더 안정적인 상태로 전이하는 현상 중 다른 분야의 대표적인 예시는 딥러닝입니다. 딥러닝의 알고리즘의 관점에서, 손실함수*의 로컬 미니멈들은 사실 메타안정적인 상태이고, 거기서 빠져나와서 글로벌 미니멈(global minimum, 최소)으로 가면 이제 진짜 안정적인 상태로 가게 되는 것이라서 그래요. 이 현상이 앞서 말씀드린 과냉각수의 예시와 수학적으로는 굉장히 비슷한 것이죠. 
 
   그래서 이런 것들의 기저에 어떤 수학적 원리가 깔려져 있는가를 살펴보는 것이 제가 연구하는 내용입니다. 제가 정성적으로 설명해서 되게 쉽게 얘기를 했지만, 지금 말한 모든 것들을 엄밀하게 얘기하려면 굉장히 힘들어요. 어떤 동역학계에서 국소적으로 안정적이라는 것은 무슨 의미일지부터 시작해서 메타안정적인 곳에서 안정적으로 간다는 것은 무엇이고, 그 기저에 어떤 함수가 들어가고, 어떤 에너지 구조가 들어가고 ... 이런 것들을 이해하려는 시도가 되게 수학적으로 대단히 복잡하기 때문에, 아직 인간이 잘 모릅니다. 그래서 저를 포함한 여러 사람이 이제 알아가려고 노력하고 있는 거죠.
 
* 손실함수 : 머신러닝이나 딥러닝 모델이 예측한 값과 실제 값 사이의 차이를 측정하는 함수. 이를 통해 모델의 성능을 평가하고, 모델은 손실함수를 최소화하는 방향으로 학습을 진행한다.
 
 

3. 교수님께서 확률론을 공부하시게 된 계기가 무엇인가요? 
 
   음... 그러니까 자기 적성은 이제 한 번에 찾기보다는 서서히 찾아가는 것입니다. 여러분도 나중에 대학원에 가서 공부하시게 된다면 그렇게 될 가능성이 높은데, 사실 “아 난 이 전공을 해야지”라고 생각하는 그런 순간은 사실 잘 오지 않을 것입니다. 아주 예외적인 경우로 자기가 중학생, 고등학생 때부터 난 커서 꼭 이걸 공부할 거야 라고 생각했던  특이한 분들도 계시지만, 우리 대부분은 그렇지 않아요. 여러분도 대학에 와서 여러 공부를 하다 보면, 내가 이걸 잘하고 좋아하는 줄 알았는데 막상 공부해보면 사실 그렇게 잘하는 게 아니었을 수도 있고, 아니면 보이는 시야가 더 넓어지면서 더 하고 싶은 것을 찾을 수도 있죠. 
 
   처음에 대학에 와서 이것저것 공부해보다가 해석학적인 부분이 이제 나랑 좀 잘 맞는 것 같기도 하고 해서, 내가 해석학 쪽에 좀 재능도 있고 잘할 수 있을 것 같다, 재미도 있어 보인다는 이런 주제 넘는 생각을 먼저 했어요. 그래서 포괄적으로 해석학을 공부하기로 결정해서 유학을 갔지요. 유학을 가서 이제 해석학에서 내가 뭘 해야 되지 하는 고민을 하면서 이것저것 수업을 들어보고 여러 교수님도 집적거려 봤습니다. 확률을 할까, 편미분방정식을 할까, 금융 수학을 할까 고민을 많이 했습니다. 다들 나름 재미있어 보여서 한참 고민하면서 공부하다 보니까 확률이 좀 더 직관적이고 재미있어 보여서 확률을 공부하게 됐습니다. 확률을 공부하다 보니 자연스럽게 지도교수님이 관심이 제일 많으신 통계역학에 나오는 interacting particle system을 공부 했는데, 또 자연스럽게 거기에 관련된 응축 현상 같은 걸 연구하다 보니까 이런 메타안정성 연구를 하게 됐습니다. 돌이켜보면 어떤 의지를 가지고 결정했다기보다는 흐르는 대로 결정을 한 것 같습니다.
 
 

4. 연구 진행 중 어려움이 있다면, 어떻게 극복하시나요? 
 
   사실 요새는 공부를 열심히 안 해서 그런지 어려움이 없어요... 사실 그게 보통 박사 때 많이 겪는 것 같아요. 박사는 특히 이제... 학생들에게 이런 얘기하는 게 어떨지 잘 모르겠는데 (웃음) 박사는 보통 평균 5년을 하죠. 박사를 가기 전에는 굉장히 긴 시간 동안 깊은 공부를 하라고 많은 시간을 주는구나! 라고 생각을 했어요. 그런데 막상 가서 보니까 박사 학위의 본질은 오랜 시간 동안 깊은 공부를 하는 고즈넉한 시기가 아니라, 타임 어택이었어요. 가서 코스웍 하고, 논문자격시험 보고, 연구 주제 잡고, 연구하고, 논문 쓰고, 포닥 지원하고 하다 보면 5년은 엄청나게 짧아요. 사실 포닥 지원 기간 생각하면 5년도 아니고 4년입니다. 워낙 미국 좋은 학교들 대학원에 수학을 공부하러 오는 친구들은 다들 수학적 역량이 뛰어나기 때문에, 그들에게 충분한 시간을 주면 다들 무엇인가 의미 있는 연구를 할 수 있을 것이라고 생각합니다. 하지만 문제는 짧은 5년의 시간밖에 주지 않는다는 것 같아요. 이 프로그램의 본질은 “그 짧은 시간 안에 유효한 결과를 낼 수 있는 인재라는 것을 네가 입증을 해라” 이런 차원에 좀 더 가깝다고 느꼈거든요. 그러다 보니까 뭔가 문제가 두 달, 석 달 정도만 막혀도 되게 초조해집니다. “내가 이걸 내년까지 못 풀면 포닥 지원을 못 할 텐데” 같은 현실적인 부담도 많았죠. 지금은 사실 그런 부담이 없어요, 문제를 풀다가 안 풀리면 다른 문제를 풀어봐도 되고 좀 길게 생각을 해봐도 되고 여러 가지 시도를 해볼 수 있어서요. 
 
   하지만 박사 때는 그렇지 않고 언제나 쫓기듯이 연구를 했거든요. 그때 되게 힘들었죠. 사실 질문이, 그래서 어떻게 극복했냐는 것인데 사실 제가 어떻게 극복했다고 말할만한 대단한 행동을 하지는 않았습니다. 그냥 박사 학위 공부에 임하는 마인드 자체를 회사원처럼 임했습니다. “나는 되든 안되든 매일 아침에 출근해서 하루 종일 이걸 생각하다가 퇴근을 한다” 이런 심플한 마인드로 임한거죠. 가장 오래 막혔던 부분이 한 3~4개월 정도 막혔었는데, 3~4개월 그냥 계속 그렇게 하는 거예요. 그러니까 번아웃이 오지 않게 페이스를 잘 유지하면서 주말이든 뭐든 간에 어쨌든 나는 출근해서 풀고 퇴근한다 이런 철학인거죠. 매일 한 가지씩 실패하고 퇴근을 하는 거죠. 
 
   출근하면 연구실에서 할 때도 있고 도서관, 서울대로 치면 관정도서관 같은 데 가서 아침 9시부터 6시까지 계속 푸는 거예요. 진짜 정갈하게 딱 세팅해 놓고 가만히 앉아서 진짜 최고의 집중력을 발휘합니다. 그럴 때는 정신 산만하게 하지 않으려고 듣는 음악까지도 정해 놓습니다. 
 
   그렇게 앞의 3~4개월간 막힌 문제는 90일동안 90가지 실패를 했습니다. 그렇게 안 풀리던 것이 집에 돌아가는 지하철에서 풀렸습니다. 그냥 그게 풀릴 때가 된 것이었어요. 수풀 속에 떨어뜨린 에어팟을 찾기 위해서, 하루에 풀을 하나씩 뽑아서 다 뽑아버렸으니까 찾을 수밖에 없었던 겁니다. 특히, 도서관 같은 곳에서는 훨씬 더 몰입해서 좀 스탠다드한 계산 위주로 보다가, 집에 가는 지하철에서는 이제 사람이 많아서 자리에 앉지도 못하고 서서 가면서 명상을 하고 있었거든요. 그때 비로소 뭔가 될 것 같은 아이디어가 떠오르더라고요.
 
   우리는 난관에 처했을 때일수록 침착하게 하나씩 걷어내야 합니다. 내가 나아갈 길을 찾아야 하는데 못 찾는 게 난관이잖아요. 그럴 때 자꾸 그 길을 찾으려고만 하면 오히려 수렁에 빠지는 것 같아요. 이제, 확실히 아닌 길부터 것부터 하나하나 걷어내다 보면 이제 때가 되면 (길이 있었다면) 보이겠죠. 그래서 요새도 풀다가 안 되는 게 있으면 뭐가 될지 생각하는 것보다 또 뭐가 안 되는 길인지부터 일단 명확하게 해서 주변 정리를 확실하게 하려고 합니다.
 
 

5. 교수님과 같은 분야를 연구하기를 희망하는 학생들에게 조언해주실 수 있을까요? 
 
   현대에 연구되고 있는 분야들은 다 그럴만한 가치와 이유가 있어서 연구되고 있는 것입니다만, 전 그중에서도 확률이 굉장히 매력적인 학문이라고 생각을 해요. 왜냐하면 현실 세계의 문제와 직접적으로 관련이 있거든요. 사람들이 맨날 하는 얘기가 수학 같은 것 공부해서 어디다 써먹느냐 하는데, 확률론 같은 걸 연구하면 이런 챌린지는 절대 당하지 않습니다. 예를 들어, 딥러닝이나 강화학습 알고리즘이 다 확률적으로 돌아가는데, 왜 그렇게 돌아가는지 사실 잘 모릅니다. 그걸 이해하려는 문제는 다 수학 문제거든요. 그런 문제부터 시작해서 왜 이런 문제가 왔고, 왜 필요한지가 명확하기 때문에 공부하면서 심적 부담이 적은 학문이라고 해야 될까요? 
 
   사람마다 차이가 있겠지만, 내가 무언가를 공부하면서, 그 공부의 목적이 직접적으로 보이지 않으면 좀 찝찝할 수가 있어요. 내가 경지에 이르기 전까지는 왜 하는지 잘 모르는 경우가 많이 있거든요. 확률은 좀 그런 것으로부터 자유롭기 때문에 공부할 때 비교적 재밌습니다. 이 문제를 풀고 못 풀고를 떠나서 왜 해야 하는지, 인류가 이걸 알아야 하는 이유를 명확하게 알고 있는 문제들이 대부분이라서 그래요. 그래서 똑똑한 학생분들이 한 번 해볼 만한 분야라고 자신 있게 얘기를 드릴 수 있겠네요. 
 
 

6. 교수님의 학부생/대학원생 때 어떤 학생이셨는지 궁금합니다.
 
   학부생 때는 성적 같은 것도 나름 잘 관리했지만 게임도 많이 하고 뭐 통상적인 대학생들이 즐길 만한 것들은 다 즐기면서 살았습니다. 그 당시에는 스타크래프트를 많이 했죠. 근데 이제 대학원 갔을 때는 마인드가 바뀌었습니다. 스타크래프트도 대학원 들어가는 그날 딱 끊었어요. 핸드폰 게임 같은 것도 다 지우고 아직도 안합니다. 왜냐하면 이제 내가 내 커리어와 젊은 날을 걸기로 했으니까, 사실 더 큰 게임을 시작했는데 작은 게임들에 리소스를 뺏기기 싫었던 것 같아요. 학부생으로서의 서인석과 대학원생으로서의 서인석은 완전히 다른 사람이었던 것 같네요.
 
   그리고 돌이켜보면 그렇게 안 했으면 되게 위험했겠다는 생각도 듭니다. 아까 말씀드렸듯이 박사학위는 타임어택이었으니까요. 
 
 

7. 교수의 길을 선택하시게 된 계기가 무엇인가요?
 
   제가 대학원을 뉴욕대로 갔는데 갈 때만 해도 박사학위를 받고 인더스트리로 갈지 아카데미아에 남아 교수를 할지 결정을 안 한 상태로 유학을 갔어요. 뉴욕에 큰 금융기업들이 많았어서 뉴욕대로 갔던 것도 있고요. 갈 때만 해도 정하지 않고 금융수학 같은 것들 공부하면서 가서 결정해야지 했는데, 시간을 보내다 보니 저도 언제인지 모르는 어느 날 결정이 되어 있었어요. 그냥 열심히 하다 보니까 어느 순간 아카데미에 있는 걸로 결정이 되어 있었는데 여러분도 마찬가지일 거예요. 이건 꼭 수학뿐만 아니라 언제나 그런 것 같아요. 고민해 보고 결정하려고 하는 순간 사실 이미 결정은 되어 있습니다. 나머지 선택지를 아직 포기할 용기가 없을 뿐인 것이죠.
 
  

8. 확률론 연구가 어떤 것인지 공부해보고 싶으면 어떻게 접근해야 할까요? 
 
   사실 연구 레벨의 확률론을 공부하려면 그 시작점은 우리가 현대적인 관점에서 확률을 어떻게 이해하는지를 알아야 해요. 확률이란 개념이 그냥 평범하게 이해하기가 되게 힘듭니다. 정의를 어떻게 하느냐에 따라 패러독스가 생기고, 그래서 한참 고민하다가 현재의 Modern Probability라고 하는 것을 1930년쯤에 Kolmogorov가 측도이론을 이용해서 정립한 뒤에야 인류가 비로소 확률이 무엇인지 확실하게 알게 되었어요. 수리과학부에 이걸 가르치는 측도이론과 확률이라는 과목이 있습니다. 
 
 

서인석 교수님의 강의 모습. (사진 = 서인석 교수님 제공)
 
 

9. 교수님께서 명강의로 유명하신데, 수업을 준비하는 특별한 방법이 있으신가요?
 
   그 질문 되게 많이 받는데, 글쎄요... 저는 사실 잘 모르겠어요 제가 그렇게 강의를 엄청 잘하는지도 잘 모르겠어서.. 학생들이 되게 좋아하긴 하는데 (웃음) 
 
   다만, 한 가지 좀 제가 신경을 쓰는 것은 있습니다. 제 경험상 강의나 세미나 발표를 듣다가 한 번 어려운 내용이 나와서 못 따라가면 그 강의는 이제 끝나요. 그날은 이제 필기밖에 할 게 없습니다. 일단 받아 적어 놓고 나중에 복습해야지라는 생각만 하게 돼요. 사실 요새는 그것도 대신해 주는 기술들이 많으니, 정말 학생 입장에서는 그 순간이 수업의 종료나 마찬가지라고 보입니다. 저는 학생들이 그 상태에 안 놓이게 하려고 노력을 합니다. 가능하면 간명하고 직관적으로 설명하려고 노력하는 것도 있고, 불가피하게 심오하고 어려운 내용들은 강의 후반에 배치해서 혹여 못 따라가더라도 중간에 못 따라가는 게 아니라 꼭 마지막까지는 함께 가서 마지막 짧은 시간만 길을 잃으시도록 하려고 합니다. 아무튼 학생분들이 좋아해 주신다면 그 점은 감사드립니다. 
 
 

10. AI가 수학자를 대체할 수 있을까요?
 
   저는 현재의 상태로 얘기하면 대체하기는 대단히 힘들다고 생각하고 있습니다. 잘 활용해야 한다는 느낌이 들지 제 직업을 대체하지는 못할 거라고 생각합니다. 
 
   제가 대학원에 갔을 때만 해도 구글 검색으로 찾지 못하는 논문이 되게 많았습니다. 그러면 이제 도서관에 가서 서지정보를 보고 논문이 실린 저널의 실물을 찾아서 복사해서 보고했습니다. 그런데, 어느 순간부터 구글에서 논문들을 다 아카이빙을 해서 검색해서 다 볼 수 있습니다. 그 이후 수학공부는 훨씬 편해졌습니다. 궁금한 게 있으면 바로 찾아볼 수 있고 논문을 원하는 만큼 다 다운 받아볼 수 있죠. 
 
   AI도 그런 느낌일 것 같아요. Lemma가 참인지 아닌지 궁금할 때 내가 할 수 있더라도 AI에 물어보면 시간을 많이 절약해줄 수 있겠죠. AI가 필요한 논문을 찾아줄 수도 있고, 해볼 수 있는 아이디어도 제시해 줄 수 있고, 다른 연구에서 유사한 계산을 찾아줄 수도 있는 등 제 연구에 엄청나게 도움을 줄 것은 거의 확실합니다. 앞으로 AI를 수학 연구에 쓰지 않는 것은, 구글 검색이 있는데 도서관에서 실물 저널을 찾아보는 것과 같은 행동이 될 것입니다. 아마, 도태될 것 같아요. 
 
   그러나 이러한 방향은 AI가 수학자를 대체하는 것과는 좀 다른 개념이라고 보입니다. 현행 AI의 개발 과정과 목적 역시 수학자를 대체하기 위한 방향으로 진행되고 있지 않습니다. (물론 현 시점에서는 예측 불가능한 다른 breakthrough가 나타나면 제 견해가 바뀔 수 있다는 것은 전제로 합니다.) 
 
 

11. 한국의 수학이 발전하려면 어떤 것이 필요하다고 생각하시나요?
 
   이 시점에 제일 중요한 현안은 이 수학자라는 직업의 개수를 보존하는 겁니다. 이 수학자라는 직업의 개수가 줄어들면 그 다음에 어떤 일이 벌어질지는 되게 자명하거든요. 
 
   그래서 수학적 토양이 더 쇠퇴하지 않게 해줘야 하는데 전체 학생의 숫자가 줄어들고 있어서 되게 걱정이에요. 서울대는 잘 못 느끼겠지만 지방대 같은 경우는 학생 수가 줄어들면 교수 숫자가 줄어들 수밖에 없고 그 결과로 수학자의 숫자도 줄어드는 것이 요새 최대의 현안이 아닌가 싶습니다. 그래서 우리 사회가 수학자가 필요하다는 걸 어느 정도 공감대로 형성하고 유지를 해야 하는데 우리 수학계가 그런 공감대를 잘 형성해 나가고 있는 것이 맞나 하는 걱정이 있습니다. 
 
   당장 필요한 것만 남긴다는 것은 위험한 발상입니다. 멋진 꽃이 이쁘다고, 그 꽃만 남기고 주변의 흙을 다 버리면 그 꽃은 금방 죽잖아요? 아직 다가오지 않은 미래인데 뻔히 보이는 미래이기도 해서 좀 걱정입니다. 
 
 

12. 이 글을 읽는 수학을 사랑하는 학생들에게 한 마디 부탁드립니다.
 
   전 학생들이 좀 이해하기 쉽게 프로게이머의 비유를 많이 하는데요, 여러분들이 잘 아시는 그 롤 프로게이머들이 처음에는 그냥 롤 하는 게 재미있어서 했겠죠. 근데 지금 직업적인 게이머가 된 뒤에도 그럴까, 한 게임 한 게임 하는 게 정말 그렇게 재미있을까 하면 그렇지 않을 거거든요. 그렇지만 그 사람들은 그러면 하기 싫은 걸 억지로 하고 있냐 그것도 아닐 거예요. 더 큰 레벨에서 뭔가 자신의 목표를 향해서 게임이 도구가 돼서 삶의 아젠다를 형성했고, 그 아젠다를 성취해 나가는 과정 자체를 즐기고 있는 거겠죠. 여러분이 대학에 와서 처음 전공을 수학으로 정한다고 하면 아마 그 롤 프로게이머들이 처음에 한 게임 한 게임이 재미있어서 롤을 시작하게 된 그 순간이라고 보면 돼요. 처음은 수학이 계속 재미있어서 하겠지만 그런 지엽적인 동력은 언젠가는 상실될 가능성이 높습니다. 교수를 하게 되면 40~50년을 수학을 하게 될 텐데 매일매일 너무 재미있어서 하게 되는 경우는 극히 드물겠죠. 계속 이 수학이라는 걸 통해서 내가 삶의 아젠다를 어떻게 발전시키고, 결국은 무엇을 달성할지 계속 크게 바라보아야 합니다. 내 실력과 내가 다룰 수 있는 것들의 범위가 넓어질수록 내가 할 수 있는 것도 그에 비례해서 넓어질 테니, 계속하여 더 많은 것들을 탐색해야 한다, 그래야 좋은 학자가 될 수 있을 것이라는 말을 남깁니다. 
 
 

 
자연과학대학 홍보기자단 자:몽 김우진 기자 601woojin@snu.ac.kr
카드뉴스는 자:몽 인스타그램 @grapefruit_snucns에서 확인하실 수 있습니다.