[오픈소스] 2024년 8월 오픈소스 소식지 (2)

👐 OpenSource

Publish Date: 2024-08-27

Word Count: 459

Read Times: 2 Min

(참고/출처)
2024년 정보통신산업진흥원: OpenUP 프로그램의 2024년 기여형 프론티어로서, 오픈소스SW를 함께 개발 및 공유하기 위해 작성되었습니다.
해당 내용은 제 github 홈페이지의 Explore repositories 및 feed 내용을 토대로 만들어졌으며, 게시글에 문의 사항이 있으신 분들은 댓글 또는 dev.rubykim@gmail.com으로 연락 부탁드립니다.

RouteLLM: LLM 라우터 제공 및 평가 프레임워크

Repository: https://github.com/lm-sys/RouteLLM
비용 최적화에 중점을 두고 LLM(대형 언어 모델) 라우터를 제공하고 평가하기 위해 설계된 프레임워크
더 간단한 쿼리를 저렴한 모델로 라우팅하여 OpenAI의 클라이언트에 대한 비용 효율적인 대안을 제공
주요 기능: 훈련된 라우터를 제공하여 비용을 최대 85%까지 절감할 수 있으며, 속도 제한, 토큰당 비용, 모델 선택과 같은 문제를 해결 -> 예산을 중시하는 기업들에게 유용할 것으로 보임
그 외로도 다양한 모델과 제공업체를 지원하며, 임베딩 생성을 위해 OPENAI_API_KEY가 필요하고 비용과 품질의 균형을 맞추기 위해 임계값 조정이 가능함

비전 언어 모델: 시각적 작업에 대한 어려움

최근 논문에 따르면 GPT-4와 Sonnet 3.5, Gemini-1.5 Pro와 같은 비전 언어 모델(VLM)이 이미지-텍스트 작업에서 뛰어나지만, 간단한 시각적 작업에서 어려움을 겪고 있다는 주장이 나옴
비평가들은 VLM이 특정 작업에서는 실패할 수 있지만, 관련 데이터로 훈련될 때 다른 작업에서는 뛰어난 성과를 보인다고 주장하며, 과장되고 오해를 불러일으킬 수 있는 제목에 대해 경고 중
이 주제는 VLMs를 평가하는 복잡성과 그 한계 및 강점을 이해하는 것의 중요성을 강조함

Tau: 오픈소스 PaaS

Homepage: https://tau.how/
Repository: https://github.com/taubyte/tau
네트워크 자동 검색을 위해 libp2p를 사용하고 분산 저장을 위해 IPFS를 사용하는 Vercel, Netlify, Cloudflare의 오픈 소스, 자체 호스팅 플랫폼 서비스(PaaS) 대안 오픈소스
WebAssembly 네이티브로 벤더 종속을 피하는 등의 이점이 있음
다만 사용자들은 문서가 모호하고 개념이 불분명한 편
만들어진 것에 비해 쿠버네티스 및 Coolify와 CapRover와 같은 다른 PaaS 솔루션과의 비교하면 큰 차이점은 없으며 이는 곧 프로젝트의 잠재력을 나타내고 있음

AuraFlow: Stable Diffusion 3의 오픈소스 대안책

Homepage: https://blog.fal.ai/auraflow/
Repository: https://github.com/fal-ai
flow 기반 텍스트-이미지 생성 모델로, v0.1의 초기 출시임에도 불구하고 가능성을 보여주는 오픈소스
간단한 프롬프트에서는 잘 작동하지만 복잡한 프롬프트와 부정문에서 어려움을 겪고 있어 개선이 필요함
실제 인간이 생성하는 텍스트와 프롬프트 처리에 있어 NLP의 중요성이 대두되고 있음

gpu.cpp: 휴대용 저수준 GPU 연산을 위한 라이브러리

Repository: https://github.com/AnswerDotAI/gpu.cpp
OpenGL, Direct3D, Metal에 익숙한 개발자들이 접근할 수 있도록 단일 헤더 파일 API를 제공하는 휴대용 저수준 GPU 연산을 위한 경량 라이브러리
라이브러리는 웹GPU 구현에 의존됨 = 크로스 플랫폼 기능과 dawn 및 wgpu와 같은 성숙한 구현
Vulkan, Metal, OpenCL, ROCm, CUDA와 같은 다른 GPU 계산 프레임워크와의 성능 비교에 대한 의견이 주를 이루고 있음