KRX 데이터 경진대회 후기

 

약 2개월 넘게 이어진 공모전이 끝났다. 한국거래소에서 주최하는 금융 LLM(Large Language Model) 성능 평가 대회였고 금융 분야에 특화된 언어 모델을 만드는 게 목표다. Chat GPT와 같은 생성형 AI가 각광받는 현 시점 가장 핫한 주제였으나 나 포함 팀원 모두가 생소했던지라 무척 어려웠다.

 

주최측도 이를 감안한 듯 친절하게 튜토리얼까지 제공했다. 관심 있거나 LLM을 공부할 계획이 있으신 분들은 한 번 둘러보는 것도 좋을 듯.

 

https://apricot-behavior-a37.notion.site/KRX-50588b553b4e4d3e9cf398c67c5a188f

KRX 금융 언어 모델 경진대회 | Notion

 

 

입상권에 들기 위해선 KRX가 자체 개발한 벤치마크(KRX-Bench)에서 높은 점수를 기록하면 된다. KRX-Bench는 다양한 금융 분야 질문을 자동으로 생성해 언어모델의 성능을 평가하는 벤치마크다. 원라인 AI라는 금융 인공지능 전문 기업과 공동 개발했다는 데 금융 시장에 대한 이해도를 평가하는 최초의 벤치마크라고 한다. 관련 논문은 하단 링크 참조.

 

https://aclanthology.org/2024.finnlp-1.2.pdf

 

결과적으로 입상은 하지 못했고 예선 통과에 그치게 됐다. 그래도 나름 만족한다. 벤치마크에서 드러나는 객관적인 성능 자체는 조금 떨어지긴 하지만, 모델 학습에 대한 접근 방식이나 사용한 방법론에선 나름 참신했던 것 같다. 그리고 그 방법을 적용했을 때 성능 개선 효과를 보인다는 사실을 입증했기에 꽤 선방했다고 생각한다. 발표가 일 대 다로 이뤄져 다른 팀들의 발표를 볼 수는 없었는데 몇몇 팀에게 직접 가서 물어보니 대부분(표본이 셋 밖에 안되지만..) 입력 데이터 자체를 풍부하게 하거나 전처리 단계에서 양질의 데이터를 만드는 데 주력한 것 같았다.

 

발표 당일 심사위원의 질문도 날카로웠던 편이다. 오류데이터 생성 과정이 까다로웠을 것이란 짐작을 어렴풋이 내비쳤고 이런 방법을 사용해 보면 어떻겠냐는 합리적인 의견도 내줬다.

 

직장을 병행하며 대회를 준비한 탓에 시간이 갈수록 피로도가 누적됐지만, 나름 배운 게 많았다. 특히 초기 로우 데이터가 어떤 과정을 거쳐 아웃풋으로 귀결되는지 데이터의 플로우를 이해하려 노력하다 보니 비전공자로서 컴퓨팅 사고력이 어느 정도는 향상된 느낌이다.

 

발표가 끝난 뒤에는 거래소가 자사 홍보관도 투어시켜줬다. 한국 금융 역사의 일대기를 설명해주시는데 투자 의지가 불타올라 바로 삼전 5주 매수! 증권 전광판(?) 앞에서 사진도 찍고... 많이 얻어 갔다.