I'mAI 엔지니어 Junyoung Jung정준영, an AI Engineer입니다!

Cut the response latency of a multimodal in-store AI kiosk and designed how the AI operates the backend.

• Replaced a sequential STT → LLM → TTS pipeline with the Gemini Live API, which handles voice input and output in a single streaming session.
• Free-form ordering (adding to the cart, database lookups) runs on LLM tool calling.
• Predictable steps such as option pages and menu utterances are matched against a predefined keyword set and executed directly by the backend — removing tool-call misfires and hallucination risk wherever the answer is already known.
• Designed the Frontend–Backend–AI interface for conversation-driven screen transitions and delivered the PoC; second-phase work is under way.

음성으로 주문하는 매장용 AI 키오스크의 느린 응답을 줄이고, AI가 주문 처리를 직접 수행하는 구조 설계

• STT → LLM → TTS를 순서대로 호출하던 방식에서 음성 입출력을 한 번에 처리하는 Gemini Live API로 전환해 지연 개선
• 장바구니 담기·DB 조회 등 자유로운 발화는 LLM Tool Calling으로 처리
• 옵션 선택·메뉴 발화처럼 답이 정해진 구간은 자주 쓰는 키워드를 미리 등록해 두고, 매칭되면 LLM 판단 없이 백엔드가 즉시 실행 — 오작동·환각 가능성 사전 차단
• Frontend·Backend·AI를 잇는 인터페이스를 설계해 대화에 따른 화면 자동 전환 구현

Planned and built the initial architecture of Claion's RAG evaluation system; after my departure, Claion extended it into its commercial RAG quality-diagnosis product, R.E.X. (claion.co.kr/solution/rex).

• Solved slow, heavy RAG evaluation with a central async server that benchmarks the whole RAG pipeline on the user's behalf.
• Designed to be deployable on an intranet too.
• Separated the embedding model as an independent service, applied caching for repeated vectorization, and isolated each RAG system in its own temporary Qdrant collection for independent evaluation.
• Integrated BLEU/ROUGE and MRR/MAP/NDCG into one unified set of metrics.
• Independently authored the functional requirements, sequence diagrams, and user flow documentation.

클라이온 RAG 평가 시스템의 기획과 초기 아키텍처(기초 뼈대) 설계·구축 — 퇴사 후 클라이온이 고도화해 상용 솔루션 R.E.X.(claion.co.kr/solution/rex)로 출시

• 무겁고 오래 걸리던 RAG 평가를, 중앙 서버가 비동기로 파이프라인 전체를 대신 벤치마크하는 구조로 전환
• 인트라넷에서도 구축 가능하도록 설계
• 임베딩 모델을 별도 서비스로 분리하고 캐싱을 적용해 반복 연산 제거, 시스템마다 독립된 Qdrant 컬렉션을 사용해 서로 간섭 없이 평가
• BLEU/ROUGE와 MRR/MAP/NDCG를 하나의 기준으로 통합해 시스템 간 동일한 잣대로 비교
• 기능 요구사항, 시퀀스 다이어그램, 사용자 플로우 문서 단독 작성

Built a company-wide benchmarking standard to evaluate SLMs for product integration.

• Defined evaluation criteria across Reasoning, Summarization, Instruction-following, and RAG tasks, and automated the pipeline with Python and Hugging Face.
• Scored models on four axes — qualitative, quantitative, LLM-as-a-Judge, and performance — comparing commercial and open-source models on the same criteria to drive integration decisions.

어떤 SLM을 제품에 넣을지 감으로 정하던 상황을 데이터로 판단할 수 있도록 사내 평가 표준 수립

• 추론·요약·지시 이행·RAG 4개 업무 유형별 평가 기준 정의, Python·Hugging Face로 평가 자동화
• 정성·정량·LLM as a Judge·성능 4가지 기준으로 상용 모델과 오픈소스 모델을 같은 잣대로 비교해 도입 의사결정에 활용

Researched and implemented tool-calling capability injection into SLMs without native support.

• Applied LoRA/PEFT fine-tuning via Unsloth on Gemma, Exaone, and HCX DASH, training on open-source Hugging Face datasets that I preprocessed beforehand.
• Experimented with modifying the chat templates of models that lack tool-calling support to get tool calling working.
• Identified the technical limits of LoRA-based tuning, which informed the company's later model-integration strategy.

Tool-Calling을 지원하지 않던 소형 언어 모델(SLM)에 해당 기능을 새로 이식

• GPU·비용 제약을 고려해 Full fine-tuning 대신 LoRA/PEFT를 선택, Unsloth로 Gemma·EXAONE·HCX DASH 3종 학습
• Hugging Face 오픈소스 데이터셋을 학습 전에 전처리해 30만 건 규모로 사용
• Tool-Calling을 지원하지 않는 모델의 Chat Template을 수정하며 동작 여부를 검증하는 실험 진행
• LoRA 기반 튜닝의 기술적 한계를 확인하고, 이후 모델 통합 전략 수립에 반영

Standard RAG pipelines process every question the same way, wasting tokens and time on simple ones.

• Designed a Discussion Agent Layer (DAL) that routes each question along a path matched to its complexity.
• Kept answer quality on complex questions while cutting average response time and token cost.

모든 질문을 같은 방식으로 처리해 불필요한 비용과 지연이 생기던 RAG 구조 개선

• 질문의 복잡도에 따라 처리 경로를 자동으로 나누는 Discussion Agent Layer(DAL) 설계 — 쉬운 질문은 가볍게, 어려운 질문은 깊게
• 복잡한 질문의 답변 품질은 유지하면서 평균 응답 시간과 토큰 비용 절감

Resolved out-of-memory failures during similarity analysis on a news dataset of over 1 million records.

• Traced the cause to a Cartesian-product explosion by analyzing the Spark execution plan.
• Implemented filtering logic with a custom PySpark UDF (least() / greatest()) that removes duplicate comparisons — stabilizing the pipeline without adding hardware.

100만 건 이상 뉴스 데이터의 유사도 분석 중 발생한 메모리 부족(OOM) 오류 해결

• Spark 실행 계획을 분석해, 모든 데이터 쌍을 비교하는 Cartesian Product가 원인임을 규명
• least()·greatest() 기반 커스텀 PySpark UDF로 중복 비교를 걸러내, 서버 증설 없이 파이프라인 안정화

Built a lightweight alternative to heavy deep-learning models for simple, on-site plant classification.

• Built the train/evaluation/test datasets by photographing plants on campus.
• Combined HOG and LBP feature extractors with an SVM classifier.
• Achieved classification performance that stays robust under environmental changes, without any deep learning.

현장의 간단한 식물 분류에 무거운 딥러닝 모델을 쓰는 비효율을 줄이기 위한 경량 분류 시스템

• 교내 식물을 직접 촬영해 train/evaluation/test 데이터셋 구축
• 이미지의 형태·질감 패턴을 추출하는 HOG와 LBP를 결합하고 SVM으로 분류
• 딥러닝 없이도 환경 변화에 강한 분류 성능 확보

Real-time system detecting spatial relationships between pets and household objects to classify risk level (HIGH/MEDIUM/LOW).

• Integrated YOLOv11s with Depth Anything V2 to overcome 2D distance limitations.
• Iterated the core closeness scoring logic 4 times — additive weighting → multiplicative depth gate → portrait-strip sampling → edge-to-edge gap.
• Also experimented with a ResNet18 + Graph Attention Network hybrid classifier.
• Trained on 27,512 COCO images, achieving 56.74% accuracy.

반려동물이 위험한 물건에 다가가는 상황을 실시간으로 감지해 위험도를 상·중·하 3단계로 분류하는 시스템

• 2D 영상만으로는 알기 어려운 실제 거리를 YOLOv11s와 Depth Anything V2(깊이 추정 모델)를 결합해 보완
• 근접도 판단 기준을 4차례 개선 — 가중치 합산 → 깊이 값을 곱해 반영 → 세로 띠 샘플링 → 물체 가장자리 간 거리
• ResNet18 + Graph Attention Network 하이브리드 분류기 실험
• COCO 이미지 27,512장으로 학습해 정확도 56.74% 달성

Two-notebook iterative pipeline for fine-grained phrase-level sentiment classification on the Rotten Tomatoes dataset.

• Systematically compared 4 classical architectures (Word2Vec+XGBoost, Doc2Vec+MLP, TF-IDF Word2Vec+SVM, BiLSTM) across 3 label schemes and 3 augmentation strategies, expanding the corpus from 1,024 to 11,900+ samples.
• Fine-tuned BERT-base-uncased with a 3-fold cross-validation ensemble, achieving Macro F1 0.9208 — a 4.7× improvement over baseline.

Rotten Tomatoes 리뷰를 문구 단위로 세밀하게 분류하는 감성 분석

• Word2Vec+XGBoost, Doc2Vec+MLP, TF-IDF Word2Vec+SVM, BiLSTM 4가지 방식을 3가지 레이블 체계·3가지 증강 전략으로 비교, 데이터를 1,024건에서 11,900건 이상으로 확장
• BERT-base-uncased를 3-Fold 교차검증 앙상블로 파인튜닝해 Macro F1 0.9208 달성 — 베이스라인 대비 4.7배