Red Hat SummitRed Hat AI
Red Hat® AI는 특정 목적을 위해 구축된 소규모 모델, 효율적인 커스터마이징 기술, 어디서나 개발과 배포가 가능한 유연성으로 엔터프라이즈 AI 도입을 가속화합니다.
Red Hat AI는 조직이 AI 여정을 시작하거나 확장을 준비하도록 지원할 수 있습니다.
Red Hat AI 오퍼링
Red Hat Enterprise Linux® AI
Red Hat Enterprise Linux AI는 아직 비즈니스 활용 사례를 정의하지 않은 AI 여정의 시작 단계에 있는 고객을 지원할 수 있습니다. 이 AI 플랫폼은 생성형 AI(생성 AI) 파운데이션 모델을 개발, 테스트, 실행하기 위해 구축되었습니다.
특징 및 장점
IBM의 Granite LLM 제품군 포함
InstructLab으로 모델을 로컬에서 미세 조정
제한된 GPU 액세스를 통해 고객의 비용 절감
Red Hat OpenShift® AI
Red Hat OpenShift AI는 AI 애플리케이션을 확장할 준비가 된 고객을 위해 개발되었습니다. 이 AI 플랫폼은 하이브리드 클라우드 환경 전반에서 예측 AI 모델과 생성 AI 모델의 라이프사이클을 관리하는 데 도움이 됩니다.
특징 및 장점
엔터프리이즈 MLOps 기능
IBM Granite LLM 및 InstructLab 툴링 포함
하드웨어 가속기와 하이브리드 클라우드 지원을 통해 AI를 규모에 따라 개발 및 제공
InstructLab이란?
Red Hat의 InstructLab은 머신 러닝 경험이 적은 개발자도 IBM의 Granite 모델을 쉽게 실험할 수 있도록 지원하는 커뮤니티 기반 프로젝트입니다.
원하는 AI 모델을 실험하거나 로컬 하드웨어에서 파운데이션 모델을 미세 조정하려는 경우 이 플랫폼으로 시작하면 좋습니다.
이를 통해 AI를 기업에 도입하기 전에 AI 모델을 실험하는 데 따른 비용 및 리소스 장벽을 없앨 수 있습니다.
Red Hat AI 파트너
AI 파트너가 많을수록 성공으로 가는 길도 많아지므로 다양한 옵션을 활용할 수 있습니다.
고객이 AI를 더욱 다양하게 활용할 수 있도록 전문과와 기술을 함께 제공합니다. 다양한 기술 파트너들이 Red Hat과 협력하여 솔루션의 상호 운용성을 인증하고 있습니다. 그리고 Red Hat의 에코시스템은 계속 성장하고 있습니다.
솔루션 패턴
Red Hat과 NVIDIA AI Enterprise를 활용한 AI 애플리케이션
RAG 애플리케이션 생성
Red Hat OpenShift AI는 데이터 사이언스 프로젝트를 빌드하고 AI 기능을 탑재한 애플리케이션을 제공하기 위한 플랫폼입니다. 자체 참조 문서에서 AI 답변을 얻는 방법인 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 지원하는 데 필요한 모든 도구를 통합할 수 있습니다. OpenShift AI를 NVIDIA AI Enterprise와 연결하면 대규모 언어 모델(Large Language Model, LLM)을 실험하여 애플리케이션에 대한 최적의 모델을 찾을 수 있습니다.
문서 파이프라인 구축
RAG를 활용하려면 먼저 문서를 벡터 데이터베이스에 수집해야 합니다. 예시 애플리케이션에서는 제품 문서 세트를 Redis 데이터베이스에 임베드합니다. 이러한 문서는 자주 변경되기 때문에, 이 프로세스에 대한 파이프라인을 구축하여 주기적으로 실행하면 항상 최신 버전의 문서를 확보할 수 있습니다.
LLM 카탈로그 살펴보기
NVIDIA AI Enterprise에서 다양한 LLM 카탈로그에 액세스하여 여러 가지 옵션을 사용해 보고 그중에서 최상의 결과를 제공하는 모델을 선택할 수 있습니다. 모델은 NVIDIA API 카탈로그에 호스팅됩니다. API 토큰을 설정한 후에는 OpenShift AI에서 바로 NVIDIA NIM 모델 서빙 플랫폼을 사용하여 모델을 배포할 수 있습니다.
적합한 모델 선택
다양한 LLM을 테스트하면서 사용자는 생성된 각 응답을 평가할 수 있습니다. Grafana 모니터링 대시보드를 설정하면 각 모델의 평점, 대기 시간, 응답 시간을 비교할 수 있습니다. 그런 다음 해당 데이터를 기반으로 프로덕션에서 사용하기에 가장 적합한 LLM을 선택할 수 있습니다.
Red Hat AI 성공 사례
성장을 가속화하고 시장 출시 시간을 단축한 Ortec Finance
위험 및 수익 관리를 위한 글로벌 기술 및 솔루션 제공업체인 오르텍 파이낸스(Ortec Finance)는 Microsoft Azure Red Hat OpenShift에서 ML 모델을 제공하고 Red Hat AI를 도입하고 있습니다.
한 차원 높은 클라우드 컴퓨팅을 제공하는 Phoenix Systems
피닉스 시스템즈(Phoenix Systems)는 Red Hat과 협업하여 고객에게 다양한 옵션, 투명성, AI 혁신을 제공하고 있습니다.
보스턴 대학의 교육 플랫폼 구축
보스턴 대학은 수백 명의 컴퓨터 과학 및 컴퓨터 공학 사용자를 지원할 수 있도록 학습 환경을 확장했습니다.
