1. 참석 동기

KSC 참석을 통해 최근 소프트웨어 연구를 알아보고 싶었습니다. 학교 수업에서 배운 것들이 실제로 어떻게 활용되는지, 현업에서 사용하는 기술은 어떤 것인지 궁금했습니다. 또한 4학년을 앞두고 진로에 대한 고민이 많아졌는데, 이에 도움을 받을 수 있을 것이라 생각했습니다. 특히 관심 분야인 로봇 공학 분야와 자연어 처리 분야에서 연구 동향을 알아보고 이 분야가 적성에 맞는지 확인하고 싶었습니다. 다른 분야에서도 다양한 연구 주제들을 살펴보며 제 시야로 보지 못한 것들을 배우고, 소프트웨어 전반에 대한 이해를 높이고자 참여하게 되었습니다.

2. 참석 내용

(1일차)

[포스터세션]

이번 포스터 세션에서 관심 있게 봤던 논문 중 첫번째는 “자율주행 차량간 사용자 취약정보 전송을 위한 보안 프로토콜(조국래, GIST)”입니다. 이 논문은 차량 사고 시 신뢰할 수 있는 인근 차량을 통해 환자 정보를 안전하게 전달하는 보안 프로토콜을 제안하였습니다. 차량 간 통신은 Wi-Fi 송수신기를 통해 전달하며, V 보안 서버와 인증서 서버를 통해 차량 식별 및 인증을 관리합니다. 차량 번호와 시간 정보로 공개 키를 얻어 비밀 키와 함께 암호화 하고, 초기 연결 시에만 해시 값을 사용해 정보를 안전하게 보장합니다. 이를 통해 교통 사고 시 응급 대응과 생존 가능성을 높일 것으로 예상하고 있습니다. 자율주행은 평소에 관심이 있던 주제라 관련 연구가 있어 살펴봤는데, 자율 주행의 완성도에는 보안 역시 필수적임을 느꼈습니다. 다만 차량의 단독 주행 시 일어나는 사고에 대해서도 이 방법이 적용될 수 있을지에 대한 의문이 있습니다.

다음으로 흥미로웠던 연구는 “법률 도메인에서의 범죄 구성사실의 추출을 위한 sLLM(김채연 외 5인, 한양대학교)” 입니다. 이 연구는 법률 도메인에서 범죄 구성요소를 추출할 때의 성능을 향상시키려는 시도를 담았습니다. 우선 사전에 Instruction Tuning 데이터를 구축하여 각 범죄의 성립 요건을 학습시킵니다. 그후 RAG를 사용해 사전 학습된 LLM을 법률 데이터로 재학습 시킵니다. 평가 결과 강제추행은 0.70, 사기는 0.78의 F1 score를 보여줬습니다. 이는 Instruction Tuning과 RAG를 결합하였을 때 범죄 구성요소의 추출 성능이 높아짐을 보여줍니다. 다만 한계였던 학습 데이터 부적에 대해서는 해결하지 못한 것을 확인했습니다. 학습 데이터의 크기와 모델의 크기 사이 균형을 잡는 것이 어렵다는 것을 직접적으로 느끼게 되었습니다. 또한 이 연구에서는 범죄의 종류를 두 가지로 한정하였는데 이는 실제 세상에서의 활용도가 낮을 것으로 생각됩니다. 그러나 접근성이 낮고 이해가 어려운 법률 지식에 대하여 LLM을 사용해 범죄 구성요소를 추출하려는 시도는 꼭 필요한 것이고 의미있는 일이었다고 생각합니다.

다음으로 “다양한 크기와 개수의 타겟 블록을 활용한 임베딩 기반의 이미지 이상 탐지(정효인, 김은솔, 한양대학교)”입니다. 이는 정상 데이터의 분포를 학습하여 이상 이미지가 주어졌을 때 감지하는 연구입니다. 기존의 고정된 패치 단위로 이미지를 재구성하는 방법과 달리, 이 연구에서는 다양한 크기의 타겟 블록을 활용해 데이터 분포와 이상 이미지간 비교를 수행합니다. 연구 결과 AUC 성능이 개선됨을 확인할 수 있었습니다. 다만 발표 자료에 성능 지표만 이야기되어 있고 추론 시간과 같은 시간 자원에 대한 언급이 되어있지 않아 아쉬웠습니다. 그러나 기존 baseline 모델에 비해 더 향상된 성능을 보여준다는 점에서 연구의 아이디어가 돋보이는 것 같습니다. 특히 정상 데이터 분포와의 차이를 직접 비교한다는 점이 인상깊었습니다.

마지막으로 “자연어 기반 이상상황 탐지를 위한 LLM 적용 의사결정트리 알고리즘(김지형, 송민환, KETI)” 입니다. 이 연구는 영상과 텍스트 데이터를 결합하여 사용합니다. VLM으로 영상 데이터를 자연어로 설명하고, 이에 대한 LLM의 평가결과를 기반으로 주요 키워드를 추출하여, 의사결정트리를 구성해 이상 상황을 탐지합니다. 연구에 사용되는 데이터는 62건으로, 소규모 데이터로도 알고리즘이 안정적으로 작동할 수 있는지 검증하는 과정도 있었습니다. 이를 테스트한 결과 LLM으로 키워드 추출을 한 경우 0.75의 성능을 보여줘 추출하지 않았을 때보다 높은 성능을 보여줬습니다. VLM과 LLM을 함께 사용하여 타겟을 탐지하는 시스템을 처음 보았는데, 이 연구가 확장된다면 소규모 데이터로도 더 정확한 시스템을 설계할 수 있을 것으로 생각됩니다. 특히 자원과 데이터가 한정적인 환경에서 이러한 방법을 적용한다면 좋을 것 같습니다.

(2일차-오전)

[초청강연1: 카카오모빌리티 김정민]

초청강연1 중 두 번째 세션인 “AI로 변화하는 미래모빌리티”에 참여하였습니다. 카카오 모빌리티에서 제공하는 서비스와 현 과제, 경쟁사와의 비교, 사용 기술들을 알 수 있는 시간이었습니다. 특히 기술 면에서 흥미로운 부분이 많았습니다. 주행의 소요시간 예측을 위해 현재 딥러닝 모델을 사용 중이라고 하였는데, 트랜스포머를 활용한 모델에 대한 시도가 있었으나 모델에 들이는 비용에 비해 성능 향상의 폭이 너무 적어 사용하지 않는다고 하였습니다. 또한 택시의 수요를 예측하는 모델도 설명하였는데, 실시간으로 수요와 공급을 분석해 가격을 동적으로 설정하는 모델이라고 하였습니다. 기존의 가격 흥정이 예측 모델로 이루어진다는 점이 흥미로웠습니다. 그 외에도 실내 측위를 위해 Fused Indoor Localization을 수행한다고 하였고, 실내 측위에서는 여전히 코엑스 측위라는 과제가 있으며 아직 해결하지 못하였다고 했습니다. 실제로 자주 사용하는 서비스에 대해 현업 종사자의 말을 들을 수 있는 유익한 시간이었습니다.

(2일차-오후)

[초청강연: KIST 김수현]

초청강연2 중 두 번째 세션인 “Efficient AI: Resource and Data Efficient Deep Learning”에 참여했습니다. 이 강연에서는 딥러닝 모델의 경량화, 사전 학습된 모델의 중요성 및 문제점, 데이터 추출 등의 내용을 다뤘습니다. 이번 학기 수강한 AI임베디드프로그래밍 과목의 수업 내용의 연장선에 있어 수업한 내용을 복기하고 최신 연구를 알 수 있었습니다. 특히 모델 경량화를 위한 Pruning, 사전 학습된 모델로부터의 데이터 추출 기술이 인상깊었습니다. 사전 학습된 모델을 공개할 때 학습한 데이터는 여러 이슈로 공개하지 않는다는 것을 처음 알았는데, 이에 모델로부터 데이터를 추출하는 작업을 사용하여 해결하고자 한다는 것이 흥미로웠습니다. 일반적인 모델 학습과 반대로, 모델이 아니라 입력 이미지를 역전파로 업데이트하는 방법이었습니다. 이 때 input으로하는 추론 결과보다 이미지의 차원 수가 월등히 많은 문제가 있다고 하였습니다. 또한 모델 경량화 시 사용하는 REPrune도 인상 깊었습니다. 클러스터링 된 커널들을 가장 잘 군집화 하는 필터를 선택하는 방법, 커널 전체가 아닌 커널 안의 weight를 제거하는 방법 등 효과적인 pruning을 위한 다양한 시도들을 알 수 있었습니다.

[기조강연: 42dot 최진희]

기조강연 중 두 번째 세션인 “SDV: Transforming the Automotive Landscape through Software”에 참여했습니다. 현재 자율주행 로봇 회사 42dot을 운영 중인 대표님의 강연이었습니다. 강연에선 자율주행보다는 차량을 하나의 소프트웨어 플랫폼으로 관리하는 방법에 대한 내용을 다뤘습니다. 즉 기존의 차량을 Software Defined Vehicle로 바꾸는 작업을 목표로 하고 있다 했습니다. 이 때 여러 기술적 과제가 있는데, 결정적인 문제가 몇 가지 있었습니다. 우선 SDV에서 업데이트를 했을 때 차량에 어떤 영향을 줄지 누구도 확신할 수 없다는 점입니다. SDV 컨셉 자체가 지속적으로 개선, 업데이트가 가능한 차량인데 업데이트의 결과를 보장할 수 없다면 주행 중 사고를 유발할 수도 있을 것입니다. 또한 차량 부품이 현재 여러 업체를 통해 분산적으로 공급되고 있는데, 이를 차량 회사에서 모두 내재화하여 관리해야 한다는 문제가 있습니다. 부품 공급을 통합하는데 성공하더라도 그 모든 기계들을 하나의 시스템이 관리할 수 있는가도 중요한 문제인 것 같습니다. 이 강연을 통해 차량을 하나의 플랫폼으로 보는 것과 자율 주행은 다른 문제이고, SDV로의 전환은 꽤나 오랜 시간이 걸리겠다는 생각이 들었습니다.

(3일차)

[구두발표: 언어 공학]

구두발표에선 “명확화 질문을 통한 모호한 객체 참조 해결과 시각적 질의 응답 성능 향상(성유정 외 2인, 경희대)”와 “오디오 특징 단일 토큰 압축과 LLM을 활용한 오디오 캡셔닝 연구 (김응범 외 3인, 서울대)”를 인상깊게 들었습니다. 우선 첫번째 발표에서는 VLM과의 채팅 과정에서 여러 객체를 가리키는 질문에서 모델이 한정되는 모호성 문제를 다뤘습니다. 이를 데이터 셋의 수정을 통해 추가적인 학습 없이 명확화 질문을 생성하는 방식으로 해결하였습니다. 다만 이러한 문제가 꼭 해결되어야 하는 것인지에 대한 의문이 조금 남았습니다. 두 번째 발표에서는 오디오 입력 데이터에서 타임 프레임을 없애 LLM 인풋의 크기를 줄이는 연구를 소개했습니다. 기존에는 오디오의 time frame과 LLM의 time frame을 하나로 봤지만, 이 연구에서는 오디오에서의 frame을 제거하여 인풋 데이터의 크기를 줄이는 방식을 시도했습니다. 입력 길이를 하나의 토큰으로 압축하였는데, 이 때 성능 하락이 크진 않았다고 했습니다. 다만 사용 데이터셋이 15~30초 정도의 음성데이터로 한정되었고 background noise 제거가 중심인 task라 관련 연구가 더 필요할 것으로 생각됩니다.

3. 느낀 점

이번 KSC 2024 참여를 통해 소프트웨어의 다양한 분야를 깊이 있게 탐색할 수 있었습니다. 학교 수업에서는 기술의 핵심 개념을 전반적으로 배웠다면, 이번 학회에서는 각 분야에서 현실적인 문제를 해결하기 위한 연구와 시도를 직접 접할 수 있었습니다. 특히, 제가 관심 있는 경량화나 자율주행 분야에서 목표를 달성하기 위한 다양한 접근법과 연구 진행 과정을 배우며 큰 영감을 받았습니다. 기존에 막연히 떠올리기만 했던 아이디어를 실제로 연구한 사례들을 보며 흥미로웠고, 학술 대회와 연구가 생각만큼 어렵기만 한 것은 아니라는 점을 깨달으며 용기를 얻을 수 있었습니다. 또한, 특정 분야에 국한되지 않고 소프트웨어 전반적인 기술 트렌드를 지속적으로 알아가는 것이 중요하다는 것도 느꼈습니다. 다만, 메모리 관련 기조 강연에서는 제 지식이 부족해 내용을 충분히 이해하지 못한 점이 아쉬웠습니다. 이번 경험은 저의 부족한 점을 인식하고, 더 알아가고 싶은 분야를 구체적으로 정리할 수 있는 계기가 되었습니다.

1. 참석 동기

처음에는 이 프로그램이 신청받고 있다는 걸 몰랐는데, 교수님들께서 강의 시간에 홍보하시기도 하시고 동기들이 신청하자고 해서 알게 되었다. 학회를 가본 적이 없어서 어떤 곳인지 궁금하기도 했고, 이런 자리를 또 찾아가기 쉽지 않을 것 같기도 했고, 대학생으로서 할 수 있는 좋은 경험이 될 것 같기도 해서 흥미가 생겼다. 그리고 가깝지 않아 여행을 맘먹지 않으면 가기 힘든 여수에 간다는 점도 재미있게 다가왔다. 이런 여러 가지 이유로 신청하게 되었다.

2. 참석 내용

(1일차)

[포스터발표(일반논문), Top Conference(자연언어처리)]

첫날에는 포스터 발표와 Top Conference(자연언어처리) 세션에 참여하였다. 포스터 발표는 이미지 데이터 베이스 기반 딥러닝을 활용한 이미지 질의 시스템, 3차원 합성 뇌 MRI 생성을 위한 해부학적 가이드 기반 확산 모델 개발, 드론 보안의 미래: AI, 양자 및 블록체인 기반 통합 보호의 3건이 특히 인상 깊었고, 자연언어처리 세션에서는 Beyond Reference(human reference보다 더 나은 high quality translation을 평가하는 방법에 대한 발표)와 RAC(conversational settings에서 open-domain question answering을 위한 Retrieval-augmented conversation dataset) 발표가 특히 인상적이었다.

 포스터 발표에서, 이미지 질의 시스템 발표는 사진에 대한 type을 동적으로 생성하는 함수를 구현하고 인덱스를 적용하여 이미지 데이터 데이터베이스에서의 질의 언어와 시스템을 제안하였고, 드론 보안 발표는 양자 암호화(양자 키 분배), 블록체인, ai기반 기술(실시간 드론 데이터 분석)로 드론 보안을 강화하는 방안을 제안하였다. MRI 발표는 뇌 MRI 정보에 형태학적 특징까지 반영하기 위해 기존 모델의 손실함수를 새롭게 정의하고 모델 훈련 시 조직 영역 부분 손실을 가중하여 해부학적 구조를 반영할 수 있도록 하였다.

 다양한 포스터를 보며 독창적인 주제들이 많아 재미있었고 문제를 해결하는 방법을 다양하게 제시해 주어 흥미로웠다.

(2일차-오전)

[초청강연1(우경구 대표(세컨드비), 김정민 실장(카카오모빌리티))]

  카카오모빌리티 발표를 들으며 기존 택시와 카카오로 변화된 택시(내 위치로 택시를 부르기, 택시와 더불어 대리, 자전거, 대중교통, 주차까지 확장된 사업 범위), 카카오가 제안하는 미래의 택시 사업(자율주행 택시 상용화)을 알게 되었고, 핵심 데이터 3개(장소, 위치, 부가 정보)가 무엇인지 알았으며, FIN(융합 실내 측위) 기술, 소요 시간 예측, 수요모델 예측(요금 산정) 등을 더 발전시켜야 할 사항으로 보고 있다는 것을 알게 되었다.

 Ai 기술이 카카오 모빌리티 사업 어느 부분에서 활용되고 있는지 알게 되었고 특히 수요모델을 통해 최적의 요금을 예측하는 것이 실생활과 밀접하게 느껴져서 재미있었다. 앞으로 카카오 택시를 부르거나 카카오 T를 이용할 때마다 이 발표에서 들은 내용이 생각날 것 같다.

(2일차-오후)

[초청강연2(류석영 교수(KAIST), 김수현 책임연구원(KIST))]

[기조강연(김남승 교수(UIUC), 최진희 부대표(42dot))]

 2일 차 오후에는 초청 강연과 기조 강연을 들었다.

 기조 강연에서 SDV에 관한 설명을 들었는데, SDV란 소프트웨어를 통해 이용자에게 다양하고 새로운 경험을 ‘지속적’으로 제공하여 이동 이상의 가치를 주는 차량을 말한다. SDV로 인해 구독 서비스 등 새로운 비즈니스모델이 등장할 수 있고, 개인화된 고객 서비스를 제공, 부품 공급 체계가 하향식 설계 방식으로 변화하는 등 자동차산업에 많은 변화를 볼러올 수 있다. 지속적인 개선 체계를 갖추기 위해 H/W 및 S/W 단순화, 사이버보안 강화, 효율적인 데이터관리 체제, 지속가능한 개발, 검증, 운영체제를 구축하는 것이 중요하다.

 이렇게 많은 개선을 거쳤음에도 불구하고 가격 절감이나, vehicle 단위의 개발에서 platform기반 개발로의 전환을 지향하는 등 여전히 큰 노력이 필요하다는 것을 알게 되었다. 기술이 점점 더 발전하지만, 그에 따라 더 많은 기술 발전 필요성이 뒤따라온다는 것을 다시 한번 느끼게 되었고 미래에는 얼마나 더 발전된 세상일지 궁금해진다.

(3일차)

[구두발표(데이터베이스 3)]

마지막 날에는 데이터베이스 구두 발표를 들었다. 인상 깊었던 두 가지 발표가 있다.

 먼저 인공지능을 활용하여 금융 사기 계좌를 예측하는 모델에 대한 발표였다. 현시점에서는 사기를 사전 예방하기 보다는 범죄 발생 후에 사후관리 하는 방식으로 하고 있는데 이보다는 당연히 사전에 차단하는 것이 더 효과적이다. 이를 위해 우리은행에서는 수익, 거래 속도, 활동성, 주거 형태, 휴대전화 번호 유효성 등의 피쳐를 가지는 모델을 만들어 결과를 내보였다. 이 모델이 더 발전하고 상용화되어 금융사기가 사전 차단될 수 있다면 좋겠다.

 두 번째로는 LVLM을 활용해 사용자 맞춤형으로 비디오 이상을 탐지하는 연구에 대한 발표였다. 비디오 이상은 정상 데이터에 비해 비정상 데이터가 매우 많고 다양하기 때문에 정상데이터 외에는 모두 비정상으로 간주하는 단항 분류 기법(OCC)을 사용하였다. 사용자가 정의한 텍스트를 비정상으로 간주하고 LVLM을 이용해 이미지와 텍스트를 함께 이해하여 처리하도록 하였다. cctv의 특성을 고려하여 winclip을 활용해 객체 강조된 영상으로 전처리하였다. AUC로 성능을 평가해 본 결과 기존보다 4.74% 향상된 결과를 볼 수 있었다.

 이 두 가지 발표는 보다 실생활과 더 밀접한 연관을 가졌기 때문에 관심 있게 들었던 것 같다. 앞으로도 다양한 분야에서 많은 기술개발이 이루어져 더 발전된 세상이 오기를 기대한다.

3. 느낀 점

처음에는 강연들이 막연히 어렵게 느껴질 것이라 예상했지만, 들어보니 생각보다 아는 내용이 많이 나와서 약간 뿌듯한 기분이 들었고 신기했다. 강의 시간에 배운 내용들이 단순한 이론에 그치는 것이 아니라 현업에서 다 활용되고 있다는 것이 흥미로웠고 약간 보람도 느꼈다.

그리고 다양한 학교에서 온 대학생들이 많아서 동기 부여가 되었다. 나는 그렇게까지 큰 뜻을 가지고 온 것은 아니었었기 때문에 열정을 가지고 참여하는 또래 대학생들을 보며 학업과 이 분야에 대한 자극을 받을 수 있었던 것 같다. 그리고 포스터 세션이나 구두 발표에서 발표하는 학생들도 다 내 나이 또래의 사람들이었기 때문에 더욱 그랬던 것 같다. 특히 석사생이 아닌 학부생들도 자기가 이뤄낸 연구 성과들을 발표하는 것을 보며 대단하게 느껴지기도 했고 그들의 열정을 배울 수 있었다. 그래서 더욱 여러 가지 발표를 많이 듣고 가야겠다는 생각이 들어 열심히 참여한 것 같기도 하다.

한편으로는 우리 과 학우들이 강의 과제나 프로젝트로 진행했던 주제와 비슷한 주제를 가지고 발표하는 것을 보며 생각보다 너무 어렵게 생각하거나 다른 세상인 것처럼 느낄 것만은 아니라는 생각이 들기도 했다. 이제 방학이기도 하고 벌써 3학년이 마무리된 만큼 나도 방학동안 좋은 프로젝트를 하나 진행해 보면 좋을 것 같다는 생각이 든다.

이번 학회 참여를 통해 다양한 주제와 지식을 얻었을 뿐만 아니라 좋은 태도를 얻어갈 수 있었던 것 같아서 의미가 깊다. 이런 프로그램에 참여하고 새로운 경험을 할 수 있어 뜻깊은 시간이었다.

1. 참석 동기

대학원에 진학하고자 하는 학부생으로서 개인 연구를 진행할 때 참고할 만한 아이디어나 최신 기술들을 살펴보기 위하여 학회에 참석했습니다. Top Conference 세션에서는 최신 연구 동향에 대해 알고 싶었습니다. 기조 강연 및 초청 강연을 통해서 저명한 석학 분들과 현업에서 활동하시는 다양한 분들의 의견을 듣고 싶었습니다. 그리고 포스터 세션을 통해 저와 비슷한 나이대의 학부생 분들이 어떤 분야에 관심을 가지고 어떻게 연구를 진행하고 있는 지를 참고하고자 하였습니다. 

2. 참석 내용

(1일차)

[Top Conference 세션(컴퓨터 시스템)]

Page table의 성능 향상과 관련된 발표였습니다. 기본적인 Page Table 구조의 문제점을 파악하고 Distributed Page Table (DPT) 라는 새로운 구조를 제시함으로써 최신 구조 대비 성능 향상을 이루어냈다는 내용의 발표였습니다. Page table이란 것을 시스템 프로그래밍과 컴퓨터 구조 과목을 통해 처음 접했는데, 강의 시간에 들었던 기본적인 구조에 hash 알고리즘과 다양한 기술들을 접목해서 문제를 해결하는 과정이 재밌었습니다만, 컴퓨터 구조 자체에 대한 깊이 있는 이해가 없는 상태로 들으니까 이해하기 힘들었습니다.

[Top Conference 세션(자연어 처리)]

이 연구는 Detoxification에 관련된 연구였는데 Detoxification이란 자연어 처리에서 유해한 토큰을 제거하는 과정을 뜻하는데 Detox라는 새로운 기법을 제시해서 유해성 감소 효과와 문장의 자연스러움을 향상시킬 수 있었다고 하였습니다. 자연어 처리에서 이러한 분야가 있는 지를 처음 알았는데 좀 더 도덕적인 LLM 모델을 만들기 위해서 굉장히 필요한 연구 분야라고 느꼈고, 이러한 Detoxification 연구에 대해서 더 찾아볼만한 계기가 되었습니다.

(2일차-오전)

[포스터 세션(이동수단의 수요 예측 모델)]

이 연구는 여행 로그 데이터셋을 활용해선 최근 수요가 높아지고 있는 공용 이동수단의 수요를 예측하는 모델을 개발하는 연구였습니다. 시간에 따라 변화하는 인파를 예측한다는 점이 흥미로웠습니다. 다만 시, 군, 구 단위의 매우 큰 범위에 대해서만 예측하므로 실제 공용 이동수단의 수요를 예측하기에는 다소 무리가 있다는 점이 아쉬웠습니다. 그래도 모델 자체는 준수한 성능을 뽑아낸 것 같고, 목적 의식 자체가 좋아서 기억에 남았습니다.

[포스터 세션(여행 성향 예측 모델)]

해당 연구는 인스타그램 스레드 글을 통해 여행 성향을 예측하는 모델을 개발하는 연구였습니다. 여행 업계의 성장으로 인해 이용자들의 여행 수요를 예측하고 맞춤형 여행 상품을 추천해 주는 것에 대한 중요성이 대두되고 있음을 근거로 이러한 연구를 진행하였는데, 데이터를 수집하지 못해서 Claude를 활용하여 문장을 생성하고 이를 활용했다는 점이 아쉬웠고, 결과 데이터가 텍스트 형태가 아니라 수치화 된 벡터 형태였다면 더 좋았겠다는 아쉬움이 있었습니다. 다만 실제 여행사에서 분리한 여행 취향을 반영해서 모델을 구축했다는 점은 좋았습니다.

[포스터 세션(혈흔 필터링 모델)]

이 연구는 영화, 드라마 등 미디어에서 잔인한 장면(혈흔이 노출되는 장면)을 감지하고 이를 실시간으로 블러 처리하는 크롬 extension을 개발한 연구였습니다. 실제 프로그램을 개발하여서 평소에 웹을 이용해 동영상을 시청할 때 실시간으로 이를 블러 처리할 수 있다는 점이 흥미로웠습니다. 다만 속도의 한계로 인해 사용자가 혈흔을 시청하기 이전에 바로 블러 처리를 할 수 없다는 점이 아쉬웠습니다. 그리고 혈흔 의외에 사용자가 불쾌감을 느낄만한 장면들도 블러 처리를 해줬으면 어떨까? 하는 생각이 들었습니다.

(2일차-오후)

[초청강연(Efficient AI)]

이 강연은 효율적인 AI 학습을 위해서 어떤 기법들이 사용되는 지를 알려주시는 강연이였습니다. 대표적으로 model pruning을 통해서 모델의 성능은 유지하면서 파라미터 수를 줄여 학습 시간과 inference 시간을 단축해주는 방법과, 데이터를 증강하는 기법, 사전 학습된 모델을 사용할때 model inversion을 통해서 모델로부터 역으로 데이터를 추출하는 기법 등 흥미로운 모델 학습법 등을 많이 알려주셨습니다. 저는 그 중에서는 model inversion이 가장 흥미로웠는데, 모델로부터 데이터를 추출할 수 있다는 것이 신기해서 이에 관련되 연구들을 더 찾아볼 예정입니다.

(3일차)

[포스터세션(멀티 모달 감정 인식)]

이 연구는 에지 컴퓨팅 환경에서 최적화된 효율적인 멀티모달 감정인식 모델을 개발하고자 한 연구였습니다. 음성 데이터와 표정 데이터를 복합적으로 활용해서 감정을 예측하는 모델이였는데, 유사 연구와 비교해서 실시간 처리를 할 수 있다는 점이 흥미로웠고, Feature-level fusion이 제일 잘 나올 줄 알았는데 model-level fusion이 제일 결과가 좋다는 것이 신기했습니다. 그리고 멀티 모달을 사용했을 때 모델의 성능을 향상시킬 수 있다는 점을 알게되었습니다.

[포스터세션(사망 예측 딥러닝 모델)]

해당 연구는 기존 사망 예측 딥러닝 모델이 가진 정적인 데이터의 문제점을 지적하며 다중 조합 시간격 트랜스포머 모델을 제안하는 연구였습니다. 이 연구에 따르면 시간 간격을 6시간, 12시간, 24시간, 48시간 이렇게 각각 모델에 넣었을 때보다 이 네 데이터를 한꺼번에 넣어서 모델을 학습시키면 예측을 더 잘 할 수 있다는 내용이었습니다. 사실 48시간 하나 넣은 거랑 6시간~48시간 데이터를 한꺼번에 넣은 거랑 차이가 별로 없을 줄 알았는데 결과상으로 유의미한 차이를 보여서 신기했습니다. 아마 거시적으로 본 패턴과 미시적으로 본 패턴이 합쳐지면서 성능 향상을 보이지 않았나 추측해보았습니다.

[포스터세션(카사바 질병 예측 모델 비교)]

이 연구는 다양한 카사바 질병에 대해서 이미지를 보고 분류할 수 있는 분류기를 여러 개 만들고, 이를 비교하여 카사바 질병을 예측할 수 있는 베이스라인 모델을 제안하는 연구였습니다. Pytorch에서 기본으로 제공하는 모델을 사용하였는데 AlexNet과 VGG16 모델이 성능이 아주 이상하게 나온 점이 신기했습니다. 이 두 모델을 예측을 전혀 하지 못하고 똑 같은 답만 내놓게 됩니다. 그리고 어떤 피처가 중요한지는 서술되어 있지만 ‘좋은 성능이 나온 모델이 왜 좋은 성능이 나왔을까’에 대한 분석이 없어서 아쉬웠습니다. 또한 발표자분이 고등학생 분이여서 놀랐습니다.

3. 느낀 점

 가장 크게 느낀 점은 제가 가진 지식들이 굉장히 얕다는 것입니다. Top Conference 세션에서 이게 가장 크게 드러났었는데 크게 보면 무슨 내용인지는 대강 알 수 있지만 자세한 용어와 개념들을 몰라서 연구에서 제시하는 key idea를 이해하기는 힘들었습니다. 다른 세션도 마찬가지였습니다. 기초 개념을 책과 학교 수업 등으로 공부하고 최신 연구 지식을 습득하기 위해 논문을 많이 읽어야겠다는 생각이 들었습니다. 또한 포스터 세션에서 발표하시는 다른 학부생 분들의 모습을 보고 KSC 2025에서 직접 발표를 하고싶다는 목표가 생겼습니다.