I was invited to give a short talk at the 8-th SW Welcomes Girls event recently. it’s not often (in fact it’s almost never) that i’m invited to (and have accepted to) give a talk on a non-scientific topic. this event, however, i couldn’t say no to..
you can watch the whole event (1.5hr long) at SW WELCOMES GIRLS 8TH – YouTube, and i’m sharing the script i used to record my talk below. sorry it’s in Korean, and it’s way too long for me to translate it myself:
안녕하세요?
이런 좋은 행사에 초대해주셔서 감사합니다.
일단 간단히 제 소개부터 하겠습니다.
전 현재 뉴욕대학교의 Courant Institute of Mathematical Sciences와 Center for Data Science에서 교수로 재직 중 인 조경현입니다. 올해 8월부터 Genentech에서 Senior Director of Frontier Research로 겸직 중이기도 합니다.
제 연구 주제는 기계학습이고 그 중 artificial neural network를 사용하는 다양한 분야를 살펴보고 공부합니다. 지난 7년 정도는 기계학습을 natural language processing 및 machine translation에 적용하는 연구를 해왔고 최근 들어서는 조금 더 다양한 문제들을 살펴보고 있습니다.
지난 10여년간 제 연구 분야의 학회 등 다양한 세팅에서 강연도 해보고 발표도 해봤습니다. 안타깝게도 저와 전공이 겹치지 않는 분들 앞에서 발표는 거의 못 해봤습니다. 그러다 보니 본 행사 초대를 받았을때 대체 어떤 얘기를 할 수 있을까 많은 고민이 되었습니다.
그래서 주최측을 통해 미리 질문을 받아보기로 했습니다. 과연 누가 미리 질문을 할까 하는 걱정이 있었지만, 다행히 많은 분들께서 질문을 남겨주셨고 그 질문들을 기반으로 짧은 메시지를 준비해봤습니다.
이에 앞서 먼저 제가 어떤 과정을 거쳐서 이 자리에 왔는지 말씀드리겠습니다.
전 집에서 걸어 다닐 수 있는 동작중학교 그리고 경문고등학교를 졸업한 후 카이스트에 입학했습니다.
카이스트에 입학해서 다양한 공부도 하고 다양한 과외 활동도 하며 재밌게 지냈습니다. 제가 한국에서 가르쳐 본 적은 없지만, 이곳 뉴욕대학교에서 학부생들 대학원생들 모두 굉장히 열심히 공부하며 지내는 것을 보다보면 제가 이렇게 놀면서 대학생활을 맘 편히 할 수 있었던 마지막 세대가 아닐까 생각이 들곤 합니다.
그래서 그런지 졸업이 점점 다가올 수록 졸업 후 무엇을 해야 하는지 큰 고민도 없었고 생각도 없었습니다. 정말 인공지능이며 기계학습이며 모르는 상태에서 같이 강의 듣던 선배가 우연히 학과 사무실 앞에서 줏어온 팜플렛을 보고 핀란드로 석사 과정 유학을 갔습니다.
당시 많은 고민을 하고 다양한 옵션들을 조심스레 상세히 알아보고 최선의 선택을 했다면 아마 핀란드에 가지 않았을 것이라 생각됩니다. 핀란드에 안 갔다면 과연 어떤 선택을 하고 지금 어디에 있을까요? 도저히 상상이 되지 않습니다.
석사 시작한 후 한 두 달이 지난 뒤부터 제가 volunteer한 것이 아니라 학과에서 지정해준 연구실에서 일주일에 하루 씩 연구에 참여하기 시작했습니다. 지금은 없어진 이 연구실이 인공신경망 연구를 하는 연구실이었고 이곳에서 저도 기계학습 및 deep learning 연구에 참여하기 시작했습니다. 그때, 만약 학과에서 이 연구실이 아니라 다른 연구실에 저를 배정했다면 전 과연 지금 뭘하고 있을까요? 역시나 상상이 되지 않습니다.
그 후 박사 과정을 마치고 몬트리올 대학교에 박사후 연구원으로 갔습니다. 몬트리올 연구실에 드디어 도착해서 자리를 잡고 앉아 있는데 저를 고용한 Yoshua Bengio 교수가 제게 와서 어떤 연구를 하고 싶냐고 물었습니다. 당시만 해도 큰 생각 없이 박사 과정 동안 하던 연구를 계속 하겠거니 생각했는데, 사실 그럴 이유가 없었던 것이죠.
Yoshua가 제가 제안한 네 개의 연구 주제 중 하나가 기계 번역이었습니다. 가장 생소했고 실제로 이게 연구 분야라는 사실도 모르던 그런 분야였는데… 그냥 너무 재밌을 것 같았습니다. 이때 Yoshua가 기계번역을 제안하지 않았으면 어땠을지, 아니면 제가 기계 번역이 아닌 조금 더 익숙한 주제를 골랐으면 어땠을지, 역시나 어떤 자리에 제가 있었을지 상상이 잘 안 됩니다.
보통 새로운 분야 연구를 시작하면 조심스럽게 기존에 존재하는 연구 결과와 방식들을 공부하고 어떤 것들이 잘 되어 있는지, 어떤 것들이 부족한지 파악하곤 합니다. 다만, 당시 막 박사 졸업을 한, 특히나 박사 과정을 거의 동료 없이 두 명의 포스닥의 도움을 받아가며 끝낸, 저는 도저히 지금 와서는 이해할 수 없는 자신감과 용기가 있었습니다. 옆에서 틈틈히 교과서를 읽어가면서도 대부분의 시간은 처음부터 새로 기계번역 시스템을 뉴럴넷으로 만들면 어떨지를 고민하고 실제로 구현하면서 보냈습니다.
지금 와서 돌아보면 마치 당시에 큰 비전이 있고 그 비전을 따라 앞으로 나아가다 보니 기계번역에 새로운 방식을 적용하고 이를 통해 최근의 많은 발전에 작은 contribution을 해온 것 같아 보입니다. 하지만, 당연히 그럴리 없겠죠. 전혀 모르던 연구 분야에 도전하기로 하고, 쓸데 없는 용기와 자신감에 취해 문제 자체를 조심히 살펴보지 않았다 보니 하루 하루가 시행착오의 연속이 었습니다.
텍스트 데이타를 다뤄본 적이 전혀 없다보니 어떤 형식으로 저장해놓고 불러와야 하는지도 많은 고생을 했습니다. 물론 궁극적으로는 plain text를 gzip으로 압축해놓고 한줄 한줄 읽어가는 식으로 구현하고 말았죠.
포스닥 전까지는 matlab와 독일에 있던 친구가 취미 삼아 만들어놓은 python 라이브러리를 사용해서 직접 모든 것을 구현했었습니다. 몬트리올에 오니 모두 지금은 discontinue된 Theano를 사용했고, 저도 새로운 것을 배워 보자는 마음으로 Theano로 옮겼습니다. 완전히 새로운 paradigm이다 보니 여러모로 많은 고생을 했습니다. 실험이 너무 잘 안돼서 보면 Theano를 잘 이해하지 못해서 만든 버그 때문이었고, 실험이 너무 잘 되어서 보면 역시나 Theano를 잘 이해하지 못해서 만든 버그 때문이었습니다. 간신히 Theano에 익숙해져서 자신감이 붙기 시작했는데 Theano는 2016년에 discontinue되었죠..
몬트리올에서 2년을 지낸 후 2015년 가을에 뉴욕대학교로 옮겨서 지금껏 뉴욕에서 지내고 있습니다. 딱히 교수가 되겠다는 마음은 없었습니다. 아니, 사실 당시에 deep learning을 공부하는 사람은 여전히 소수였고, 그런 소수를 구글, 딥마인드 등에서 공격적으로 뽑아갈 시절이기에 오히려 너무나도 당연하게 저도 제 친구들처럼 그런 회사에 가서 일할거라 생각했었습니다.
당시 우연찮게 학회 가는 길에 잠시 만난, 제 박사 학위 defense의 chair였던 Nando de Freitas 교수가 제게 혹시 교수 자리 생각 없냐고 물어봤던 것이 계기가 되어 회사 연구소에 가지 않고 대학 교수가 될 수 있다는 사실을 깨달았습니다. 당시까지는 몬트리올에서 1년 정도 연구실에 꾸준히 나간 것 외에는 대학원 연구실이 어떤 식으로 운영되고 교수가 어떤 일을 해야 랩을 꾸리고 운영할 수 있는지 몰랐습니다. 다만… 할 수 있다고 하니, 그리고 뭔가 구글, 딥마인드, 페이스북 등에 취업한 친구들과는 조금 다른 길을 가볼 수도 있겠다는 생각에 덜컥 교수 자리에 지원해보기로 결정했습니다.
물론 취업이 쉽지는 않았습니다. 미국, 캐나다, 영국, 핀란드, 스위스 등의 대학교 40군데에 지원하고 6-8 곳에서 인터뷰 요청을 받고 실제 오퍼는 3군데서 받았습니다. NYU가 그 중 하나였고 뉴욕에 살아보고 싶어서 (그리고 제가 도시 생활을 좋아해서) 그리고 NYU가 당시 가장 재밌어 보여서 NYU로 가기로 했습니다.
중간에 part-time이었지만 3년 정도 Facebook AI Research에서 research scientist로 3년 정도 일했고, 얼마 전 protein design하는 회사를 Genentech에 팔고 현재는 Genentech의 Senior Director of Frontier Research로 일하고 있기도 합니다만 2015년 이후 지금껏 꾸준히 NYU에서 교수로 재직 중이고 뉴욕에서 살고 있습니다.
뭔가 제 소개 한다는 것이 많이 길어졌습니다. 다만, 이렇게 제 소개를 하다보니 여러분들이 보내주신 질문들에 많은 답을 한 것 같습니다.
제가 그간 겪은 시행착오를 물어보신 분들이 있습니다. 특히나 신경망 기계번역 연구를 시작한 후에 겪은 시행착오를 물어보셨는데, 이미 답을 해버렸네요. 네, 시행착오 굉장히 많았고, 지금도 많이 하고 있습니다.
지금 제 강연을 듣고 있는 분들, 저와 비슷한 분야에서 일하는 모든 사람들, 그리고 저.. 엔지니어고, 엔지니어의 일은 세상에 없는 것을 만드는 것 입니다. 이 새로운 것이 새로운 연구 분야일 수도 있고, 새로운 제품일 수도 있고, 아니면 기존에 있는 제품을 더 향상 시키는 방법일 수도 있습니다. 뭔가 세상에 존재하지 않는, 아직 인류가 풀어내지 못한 새로운 것을 해내기 위해서는 시행착오가 있는 것이 당연하다고 생각합니다.
제 박사과정 학생들에게 종종 얘기하곤 합니다. 100가지 아이디어를 떠올렸다면 그 중 한두가지 정도가 맞는 아이디어, 실행 가능한 아이디어, 연구 가능한 아이디어라고 합니다. 만약 100가지 아이디어를 떠올렸는데 모든 아이디어가 맞는 아이디어, 실행 가능한 아이디어, 연구 가능한 아이디어라면 아마 셋 중에 하나 일 것 입니다. 첫째, 세상에 지금껏 없던 천재일 수 있습니다. 확률이 매우 낮다고 들었지만 불가능 하진 않겠죠. 둘째, 너무 쉽고 간단한, 나쁘게 말해 뻔한 아이디어만 찾고 있는 것 입니다. 셋째, 아니면 좋겠지만 사기를 치고 있는거 겠죠.
아쉽게도 가보지 않은 길을 개척하기 위해서는 시행착오가 불가피한 것 같습니다. 하지만, 오늘 보는 것과 같은 이런 좋은 커뮤니티가 있어서 서로를 support해주고 시행착오를 이해해줄 수 있기에 점점 해볼만 해진다고 생각합니다.
몇몇 분들이 어떤 계기로, 어떤 마음가짐으로 핀란드로 떠났는지, 지금 하고 있는 분야에 도전했는지 물어보셨습니다. 아쉽게도 정말 운이 좋았다, 그리고 우연의 연속이었다는 말 이상의 답이 없습니다. 제 선배, 용욱이 형이 팜플렛을 갖다주지 않았다면 핀란드 생각조차 못 했겠죠. 핀란드 알토 대학교의 학과에서 저를 뉴럴넷 연구하는 그룹에 배정하지 않았다면 deep learning이라는 분야 연구는 생각도 못 했겠죠. 만약 Yoshua Bengio가 딱히 제가 몬트리올로 간 그 순간에 기계 번역 생각을 안 하고 있었다면 기계 번역 연구를 상상도 못 했겠죠. 그리고 이때 기계 번역 연구를 안 했으면 2014년에 도하에서 열린 자연어처리 학회에 안 갔을 것이고, 그랬다면 Nando 교수가 저한테 교수 생각있냐고 물어보지도 않았을 것 입니다.
그리고 이 모든 순간 순간 (사실 얘기 안 한 우연들이 너무나도 많이 있습니다) 과연 내가 잘 할 수 있다는 자신감이 있었던 것도 아닙니다. 다만, 이런 새로운 옵션을 들었을때 흥미를 느끼고 해보고 싶다는 생각이 들었을 뿐 입니다.
기계학습 내 큰 분야 중 하나인 강화 학습에서 가장 중요한 원칙 중 하나가 “optimism in the face of uncertainty” 입니다. 한국어로 하면 불확실한 상황에 맞닥치면 낙천적인 선택을 해야 한다는 것 입니다. 이제와서 뒤돌아보면 정말 뭘 모르다보니 자연스럽게 낙천적인 선택을 했고, 많은 운과 우연이 따라줘서 이 곳에 오게 됐습니다.
말하고 나니 답이 아니네요. 죄송합니다.
어떤 분들은 어떤 계기로 제가 지금과 비슷한 일을 하고, 생각을 하는지 궁금해 하셨습니다.
어느 한 시점을 집어낼 수 없지만 또 다르게 생각해보면 사실 태어난 후 모든 순간 순간이 지금 저를 만들었으니 전체 다가 답이라고 할 수도 있지 않나 생각합니다.
다만, 제 생각에, 그리고 제 생활에 큰 변화가 생기는 지점들이 언제였나 곰곰히 생각해보면 대부분 제가 익숙한 편한 공간을 벗어나는 순간들이었습니다.
핀란드에 도착해서 몇 주 지난 후, 점차 핀란드 대학 생활에 익숙해 지고, 핀란드 사회에 대해 배워가고, 핀란드 학생들 그리고 유럽 내 학생들 그리고 전세계에서 핀란드로 유학 온 학생들과 친해지면서 세상의 중심은 어디에 사느냐에 따라 달라진다는 것을 느꼈습니다. 에스토니아와 스웨덴이 그리 국제 정세에 중요한 줄은 아마 핀란드에 안 갔으면 몰랐을 것 입니다.
몬트리올에서 Yoshua에게 기계 번역 연구를 하고 싶다고 말했을 때.. 사실 기계번역이 뭔지도 몰랐지만, 그 말을 하고 기계번역 연구를 시작하면서 기계학습 더 넓게는 인공지능에 대한 저의 좁은 시야가 확 넓어지는 것을 느꼈습니다.
Timnit Gebru가 트위터에 올린, 2014년인가 2015년 뉴립스 학회 사진을 올렸습니다. 그 사진을 보고 저는 Timnit의 트위터 글을 읽기 전 아무 생각부터 없이 나는 여기 없나 하면서 사진을 한참 봤었습니다. 그리고 나서 timnit의 짧은 트윗을 읽는 순간 갑자기 눈에 보이지 않던 것이 보이기 시작했습니다. 아니 사실 사진에 없는 것이 보이기 시작했다는 것이 맞겠네요. 그 수 많은 참가자 중에 여자도 거의 안 보이고, 흑인은 전혀 없다는 것을 그제서야 깨달은 것이죠.
조금 엉뚱하지만 이런 의미에서 전 언제나 해외에 나가는 것은 크게 찬성합니다.
마지막으로… 정말 재밌는 질문을 하나 봤습니다.
“세계에서 유명한 과학자가 되셨는데 어떤 기분이신지 궁금합니다.”
너무 좋게 봐주셔서 감사합니다. 우연의 연속으로 좋은 곳에 좋은 사람들과 좋은 때에 있는 바람에 편히 이런 자리까지 오게 됐습니다.
하지만 매일 같이 드는 생각이 있습니다.
저보다 더 전 세대의 deep learning 연구자분들, 예를 들면 geoff hinton, yann lecun, yoshua, juergen schmidhuber 등, 과 얘기해보고 그들의 연구를 따라가 보면 이들은 진정한 비전이 있기에 deep learning이 실제 성과를 보여주기엔 환경이 너무나도 열악했던 시절에도 멈추지 않고 deep learning 연구를 해왔고, 지금의 deep learning이라는 분야를 개척해냈습니다. 이런 분들과 비교해보면, 저는 AI가 뭔지, deep learning이 뭔지도 모르고, 어찌 저찌 선배가 팸플렛을 갖다줘서, 진학한 학과에서 배정해서, deep learning 연구를 시작했고, 타이밍이 잘 맞아서 deep learning이 확 뜰때 박사과정을 마무리하고 편히 교수 자리를 얻고 했습니다.
과연 지금까지는 운이 좋아서 이리 됐지만… 과연 저런 pioneer들처럼 계속 꾸준히 앞을 보고 연구할 수 있을까요…? 걱정이 많이 됩니다.
물론 제 앞 세대만 있는 것은 아닙니다. 제 석박사 과정 초반에는 뉴립스 등의 기계학습 학회에 가면 deep learning 논문을 손가락으로 꼽을 수 있었습니다. 그만큼 인공신경망 연구하는 학생들이 없었죠. 하지만 지금은 기계학습 학회만이 아니라 인공지능에 조금이라도 관련있는 분야의 학회에 가면 대부분의 논문이 deep learning 관련 내용입니다. 그만큼 어마어마하게 많은 학생분들이 이 분야에서 치열하게 연구를 하고 있습니다.
제가 NYU에서 학생 지도도 하고, 학생 입시에도 참여하다 보니 이런 학생들에 대해서 꽤 많이 알게 됐습니다.
정말 어마어마합니다. 전 기계학습이 뭔지, 기반되는 수학/통계 지식도 없이 정말 아무 것도 모르는 상태에서 deep learning 공부를 시작했는데, 지금 공부하는 학생들은 너무나도 학문적인 준비가 잘 되어 있고 심지어는 각종 연구, 개발 경험까지 있습니다. 그럼에도 불구하고 높은 경쟁 때문에 다들 많이 힘들어 하고, 제 시절보다 훨씬 더 힘들게 연구하고 공부합니다.
정말… 이런 학생들과 제 후배들을 보면 미안한 마음 밖에 없습니다. 교수라는 타이틀을 갖고 거들먹 대긴 하는데… 과연 이럴 자격이 있는 것 인지… 아마 지금 다시 박사 과정 석사 과정을 다시 시작한다면 다시 지금의 이 자리까지 올 수 있을까요? 아마 못 올 것 입니다.
기분이요…? 괴롭네요.
다시 한 번 이런 좋은 자리에 초대해주셔서 감사합니다. 이곳 시간은 조금 늦었지만 잠시 후 온라인으로나마 직접 만나뵙도록 하겠습니다.