2024년에 한 생각과 2025년에 할 생각, 머신러닝 엔지니어는 어디로 가야 하는가?

 

커리어에 관한 생각이 매우 많았어서 24년이 끝난것을 기념해 짧게 정리를 해 보았습니다.

 

24년에 가장 오래 그리고 깊게 고민했던 질문은 다음과 같다.

머신러닝 엔지니어의 커리어 방향에는 머신러닝과 엔지니어링 중에서 어떤것을 중점으로 해야 하는가?

 

머신러닝에 속하는 업무 영역

- 알고리즘과 모델 개발

- 데이터 분석

- 이 영역은 머신러닝 리서치를 하시는 분, 데이터 사이언티스트 분들과 겹칠 수 있습니다.

 

엔지니어링에 속하는 업무 영역

- 머신러닝 운용에 요구되는 백앤드 서버 개발

- 피쳐 및 학습데이터를 위한 데이터 엔지니어링

- 서버 개발에 필요한 소프트웨어 인프라

- 이 영역은 백엔드 개발자, 데이터 엔지니어분들과 겹칠 수 있습니다.

 

실제 업무 비중 (주의, 이는 회사마다, 팀 마다 매우 다릅니다.)

- 머신러닝 관련 업무 20%

- 엔지니어링 관련 업무 80%

- 개발 외 업무가 많지만 편의상 제외.

 

주위에서 택1의 선택을 요구받은 적도 있고, 관련된 말을 들을때마다 흔들렸던 경험이 있어 많은 고민후 아래와 같이 결정을 하였습니다.

 

1) 머신러닝 엔지니어로써 머신러닝과 엔지니어링 둘 다 잘하는 사람이 되도록 하기.

- 기존에 없는 모델 구조를 빠르게 만들어 낼 수 없어도, 필요한 모델구조를 빠르게 찾아내어 구현할 수 있는 머신러닝 역량

- 빠르게 구현한 ML 모델을 빠르게 서비스에 제공하고, 안정적으로 운영하기 위한 엔지니어링 역량

2) 만약, 머신러닝 또는 엔지니어링에서 택1을 해야 하는 상황이 온다면 엔지니어링을 선택할것.

 

생각 1: 모델링의 장벽은 시간이 갈수록 낮아지고 있음.
- paperswithcode 사이트는 벤치마크 데이터 별 논문 / 모델의 리더보드가 제공되어 필요한 모델을 쉽게 찾을 수 있음.

- huggingface는 튜닝 된 LLM/임베딩 모델을 제공함.

- H2O AutoML과 같은 도구는 데이터만 제공하면 각종 모델을 앙상블하여 사용할 수 있도록 함.

- 클라우드에서도 각종 모델을 제공함

 

생각 2: 머신러닝 모델을 운영하는 경우, 모델링보다 엔지니어링을 더 필요로 함.

- 단, 머신러닝 모델 성능 1%가 매우 중요한 경우 모델링에 더 많은 리소스 투입이 필요함, 그러나 이 경우 머신러닝 엔지니어가 아닌 석박사 이상의 리서치를 하는 사람을 더 많이 채용할것 같으니 제외.

- 개인 경험에서, 많은 경우 모델의 성능을 올리기 위해 모델링 만큼 중요한게 데이터였음. 이 데이터를 가져오는과정에서 엔지니어링이 요구되거나 매우 잘 만들어진 파이프라인이 필요함.

 

생각 3: 분명히 더 많은 근거가 있었는데...

- 정리를 생활화 합시다

 

 

그렇다면 앞으로 생각해야 할 25년 질문

AI 시대에 나는 어디로 가야 하는가?

- AI는 코드도 잘 짜고, 모델링도 매우 잘 한다.

- AI는 번역도 잘해주고, 검색과 정리도 잘해준다.

- 25년도에는 대한민국에 불경기가 예상되고, 나는 국장에 물려있다

- 24년 말 기준 머신러닝 엔지니어보다 AI 엔지니어 채용이 더 많다!