전체 글 (15) 썸네일형 리스트형 ML Engineer를 위한 최적화 함수 정리 1. 최적화 함수(Optimizer)란 무엇인가? 딥러닝 모델 학습 과정은 아래와 같습니다.딥러닝 모델이 학습 데이터에서 예측 값을 생성 합니다.예측값과 실제 정답의 차이를 손실함수를 사용하여 계산 합니다.역전파 알고리즘을 통해 각 가중치가 손실에 얼마나 영향을 주었는지를 나타내는 기울기(Gradient)를 계산 합니다.계산된 기울기(Gradient)를 입력받아서, 가중치를 얼마나 업데이트 할 지를 결정하기 위해 최적화 함수를 사용합니다.즉 최적화 함수는, 모델 학습 과정에서 손실 함수로부터 계산된 기울기(Gradient)를 입력으로 받아, 가중치를 업데이트하기 위한 최종 값을 생성하는 함수 입니다. 2. 최적화 함수의 종류최적화 함수는 아래와 같은 형태로 사용됩니다.import numpy as np# .. ML Engineer를 위한 활성화 함수 정리 활성화 함수에 대해 알아봅시다. 활성화 함수(Activation Function)란 무엇일까?딥러닝을 구성하는 요소 중 하나인 활성화 함수는 뉴런에 들어온 신호의 총합을 바탕으로 최종 출력 신호를 결정하는 함수입니다. 활성화 함수는 왜 사용해야 하는가?모델의 비선형성 부여여러 번 수행된 선형 변환은 다시 하나의 선형 변환으로 표현 할 수 있습니다.활성화 함수 없이 쌓은 딥러닝 모델은, 하나의 선형 변환으로 표현할 수 있으며, 단일 신경망과 완전히 동일해 질 수 있습니다.이는 복잡한 패턴을 학습할 수 없음을 의미합니다. 모델의 목적에 맞는 출력값 생성분류화 회귀 등 출력값의 범위를 조절하여 모델의 목적에 맞는 응답값을 주도록 할 수 있습니다.활성화 함수는 왜 알아야 하는가?활성화 함수 종류에 따라 모델의 .. Perplexity 딥 리서치 사용기 : 모델(LLM)이 추천 시스템에 미치는 영향과 머신러닝 엔지니어의 역할 2월 3일 오픈AI에서 출시한 딥 리서치를 가격이 비싸 사용해보지 못하고 있었습니다.그러던 중 2월 14일 퍼플렉시티에서 딥 리서치가 나와 사용 해 보았습니다. 프롬프트 설명더보기최근 LLM 기술이 각광을 받으면서 각종 기술, 산업에 AI, LLM 을 도입하려는 시도가 많아지고 있어.앞으로 LLM은 추천 시스템에 어떤 영향을 끼치게 될까?또 머신러닝 엔지니어는 이 때 어떤 역할을 해야 할까?본문 내용대규모 언어 모델(LLM)이 추천 시스템에 미치는 영향과 머신러닝 엔지니어의 역할최근 대규모 언어 모델(LLM)의 발전은 추천 시스템 분야에 혁신적인 변화를 가져오고 있다. 기존 협업 필터링과 콘텐츠 기반 필터링의 한계를 극복하기 위해 LLM을 활용한 하이브리드 접근법이 주목받고 있으며, KAIST와 네이버의.. 2024년에 한 생각과 2025년에 할 생각, 머신러닝 엔지니어는 어디로 가야 하는가? 커리어에 관한 생각이 매우 많았어서 24년이 끝난것을 기념해 짧게 정리를 해 보았습니다. 24년에 가장 오래 그리고 깊게 고민했던 질문은 다음과 같다.머신러닝 엔지니어의 커리어 방향에는 머신러닝과 엔지니어링 중에서 어떤것을 중점으로 해야 하는가? 머신러닝에 속하는 업무 영역- 알고리즘과 모델 개발- 데이터 분석- 이 영역은 머신러닝 리서치를 하시는 분, 데이터 사이언티스트 분들과 겹칠 수 있습니다. 엔지니어링에 속하는 업무 영역- 머신러닝 운용에 요구되는 백앤드 서버 개발- 피쳐 및 학습데이터를 위한 데이터 엔지니어링- 서버 개발에 필요한 소프트웨어 인프라- 이 영역은 백엔드 개발자, 데이터 엔지니어분들과 겹칠 수 있습니다. 실제 업무 비중 (주의, 이는 회사마다, 팀 마다 매우 다릅니다.)- 머신러닝 .. Self-Attentive Sequential Recommendation 논문 리뷰 사용자의 문맥을 활용한 추천 모델 중 하나인 SASRec: Self-Attentive Sequential Recommendation을 정리해 보았습니다. 사용자의 문맥을 활용한, Sequential Recommendation 추천 리서치를 진행했으며, 아래 3개의 주요한 시퀀셜 추천 논문을 3가지를 비교해 보았습니다 (with LLM).SASRec: Self-Attentive Sequential RecommendationBERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from TransformerGRU4Rec: Session-based Recommendations with Recurrent Neural Netwo.. DeepTrax: 트랜잭션 데이터 임베딩 구현 및 시각화 해보기 https://arxiv.org/pdf/1907.07225DeepTrax: embedding graphs of financial transactions 논문을 훑어고금융 거래 데이터를 활용하여, 거래 항목을 임베딩 후, 임베딩 결과를 시각화 해 보았습니다. DeepTrax: embedding graphs of financial transactions1. INTRODUCTION금융 거래 이종 그래프(heterogeneous graph)로 표현하고, 이들간의 거래를 edge로 표현하는것은 유용한 접근법이 될 수 있지만, 이러한 그래프는 매우 높은 차원을 가지고, 희소하게 연결되어 있어 일반적인 머신러닝 작업에 활용하기 어렵습니다.최근 몇년 동안(논문 출판 년도 : 2019년) 이러한 그래프의 latent r.. Tool-integrated Reasoning (TIR) 소개 LLM을 통해서 수학 문제를 풀어보기 위해서 Qwen2.5-Math-7B-Instruct 모델을 사용하려 했습니다.https://huggingface.co/Qwen/Qwen2.5-Math-7B-Instruct Qwen/Qwen2.5-Math-7B-Instruct · Hugging FaceQwen2.5-Math-7B-Instruct 🚨 Qwen2.5-Math mainly supports solving English and Chinese math problems through CoT and TIR. We do not recommend using this series of models for other tasks. Introduction In August 2024, we released the first s.. Feast : 머신 러닝을 위한 오픈 소스 피쳐 스토어 https://github.com/feast-dev/feast?tab=readme-ov-file GitHub - feast-dev/feast: The Open Source Feature Store for Machine LearningThe Open Source Feature Store for Machine Learning - feast-dev/feastgithub.com 일반적으로 머신 러닝에서 피쳐는 두번 사용됩니다. 첫 번째는 모델 학습을 진행할 때, 두 번째는 학습된 모델을 사용하여 추론할 때입니다. 학습단계에서는 대용량의 피쳐 데이터를 생성하여 모델이 특정 패턴을 학습 할 수 있도록 합니다. 추론 단계에서는 피쳐데이터를 즉각적인 추론 결과를 제공할 필요가 있습니다. 또 이 두 피쳐가 달라지게 되.. 이전 1 2 다음
