General AI

Gemma2 모델을 Ollama와 Streamlit으로 테스트하기Google의 최신 언어 모델인 Gemma2:27b를 로컬 환경에서 쉽게 테스트할 수 있는 방법을 소개해드리려고 합니다. 우리는 Ollama를 사용하여 모델을 로컬에서 실행하고, Streamlit을 통해 간단한 웹 인터페이스를 만들어 볼 것입니다. 이 방법을 통해 클라우드 서비스에 의존하지 않고도 강력한 AI 모델을 직접 경험해볼 수 있습니다.준비 사항시작하기 전에 다음 항목들이 필요합니다:Python 3.7 이상Ollama 설치 (https://ollama.ai/)pip를 통한 필요 라이브러리 설치단계별 가이드1. Ollama 설치 및 모델 다운로드먼저 Ollama를 설치하고 Gemma2:27b 모델을 다운로드합니다.ollama pull ..

한국어 잘하는 로컬모델로 챗봇 만들기한국어에 특화된 로컬 언어 모델을 사용하여 챗봇을 만드는 방법을 소개해드리려고 합니다. 이 프로젝트에서는 Llama-3 한국어 모델과 Ollama, 그리고 Streamlit을 활용하여 간단하면서도 강력한 챗봇을 구현하겠습니다.이 프로젝트에서는 Llama-3 기반의 한국어 모델을 사용하여 챗봇을 만들고, 두 가지 다른 버전의 모델 성능을 비교해 보겠습니다.Ollama 설치 및 모델 생성Ollama 설치 관련된 내용은 이전 포스팅 [ollama 소개 및 WSL 환경 설정] 를 참고하세요. Ollama가 설치되면, 다음 단계로 모델을 생성해야 합니다. 우리는 두 가지 버전의 Llama-3 한국어 모델을 사용할 것입니다:Llama-3-Open-Ko-8B-FP16 (링크)Lla..

Streamlit으로 간단한 토크나이저 만들기Streamlit을 사용하여 간단한 텍스트 토크나이저(tokenizer)를 만드는 방법을 소개하려고 합니다. Streamlit은 데이터 과학자와 머신러닝 엔지니어를 위해 개발된 오픈소스 앱 프레임워크로, 파이썬 코드를 통해 간단하게 웹 애플리케이션을 만들 수 있습니다.NLTK(Natural Language Toolkit)는 파이썬의 자연어 처리 라이브러리로, 다양한 언어 처리 작업을 쉽게 할 수 있게 해줍니다. 이번 예제에서는 NLTK를 사용하여 입력된 텍스트를 토큰화하는 간단한 웹 애플리케이션을 만들어보겠습니다.준비물Python 3.7 이상Streamlit 설치 (pip install streamlit)NLTK 설치 (pip install nltk)코드아래 ..

RAG vs Non-RAG: 지하철 정보 검색 실험이번 포스트에서는 Retrieval-Augmented Generation (RAG)와 일반 언어 모델의 성능을 비교하는 실험을 진행했습니다. 지하철 역 정보를 기반으로 두 방식의 답변 능력을 테스트했습니다.실험 환경운영체제: WSL Ubuntu 22.04데이터: 지하철 역 정보 (약 500줄)샘플 데이터:전철역코드 전철역명 전철명명(영문) 호선 외부코드 전철명명(중문) 전철명명(일문)1904 망월사 Mangwolsa 01호선 112 望月寺 マンウォルサ1007 신도림 Sindorim 01호선 140 新道林 シンドリム1708 금정 Geumjeong ..

LangChain으로 만드는 AI 강아지 이름 생성기새로운 반려견을 맞이했는데 이름을 짓기 어려우신가요? 아니면 그냥 재미로 독특한 강아지 이름을 만들어보고 싶으신가요? 우리의 AI 강아지 이름 생성기가 도와드리겠습니다! 이 프로젝트는 사용자가 강아지의 특징을 입력하면, AI가 그에 맞는 귀엽고 독특한 이름을 제안해주는 방식으로 작동합니다. LangChain의 강력한 기능과 OpenAI의 언어 모델을 결합하여 만들어졌죠. LangChain과 OpenAI의 GPT 모델을 사용하여 재미있고 창의적인 프로젝트를 만들어보려고 합니다. 🐶 전체코드이 코드는 단순한 사용자 인터페이스를 제공하며, 사용자가 원하는 만큼 반복해서 강아지 이름을 생성할 수 있습니다. 또한 오류 처리를 통해 프로그램의 안정성을 높였습니다..

'24년 7월 현재 ollama 모델 리스트ollama는 강력한 AI 모델들을 로컬 환경에서 쉽게 실행할 수 있게 해주는 혁신적인 플랫폼입니다. 2024년 현재, ollama의 모델 라이브러리는 다양한 용도와 특성을 가진 AI 모델들로 구성되어 있습니다. 이 글에서는 ollama에서 제공하는 주요 모델들을 간략히 소개하고, 이들의 특징을 살펴보겠습니다.ollama 모델은 무엇인가요ollama에서 각 모델은 특정 작업이나 도메인에 최적화된 고유한 AI 도구입니다. 사용자는 자신의 필요에 가장 적합한 모델을 선택하여 텍스트 생성, 코드 작성, 대화, 분석 등 다양한 작업을 수행할 수 있습니다.주요 모델 리스트모델명주요 특징llama2일반적인 텍스트 생성 및 대화에 적합한 Meta AI의 대규모 언어 모델co..

ollama 첫번째 AI 모델 실행하기안녕하세요! ollama 블로그 강좌 시리즈의 두 번째 강의에 오신 것을 환영합니다. 이번 강의에서는 ollama를 사용하여 첫 번째 AI 모델을 다운로드하고 실행하는 방법을 알아보겠습니다.1. 기본 모델 다운로드ollama에서는 다양한 사전 훈련된 모델을 제공합니다. 우리는 가장 일반적으로 사용되는 'llama2' 모델을 사용할 것입니다. 모델을 다운로드하려면 다음 명령어를 실행합니다:ollama pull llama2이 명령은 llama2 모델을 다운로드합니다. 모델 크기에 따라 시간이 걸릴 수 있으니 기다려주세요.2. 모델 실행 및 대화형 인터페이스 사용모델 다운로드가 완료되면, 다음 명령어로 대화형 인터페이스를 시작할 수 있습니다:ollama run llama2..

ollama 소개 및 WSL 환경 설정안녕하세요! ollama 블로그 강좌 시리즈에 오신 것을 환영합니다. 이번 1강에서는 ollama의 기본 개념을 소개하고, WSL Ubuntu 22.04 환경에서 ollama를 설치하고 설정하는 방법을 알아보겠습니다.1. ollama란 무엇인가?ollama는 대규모 언어 모델(LLM)을 로컬 환경에서 쉽게 실행할 수 있게 해주는 오픈소스 플랫폼입니다. 주요 특징은 다음과 같습니다:다양한 LLM 모델 지원사용자 친화적인 인터페이스로컬 환경에서의 빠른 추론 속도GPU 가속 지원로컬 LLM 실행의 장점개인정보 보호: 데이터가 로컬에서 처리되어 외부 서버로 전송되지 않습니다.비용 절감: 클라우드 API 사용료가 없습니다.커스터마이징: 모델을 자유롭게 수정하고 fine-tun..

ollama vs llama.cpp: 로컬 LLM 실행의 두 가지 접근 방식인공지능과 대규모 언어 모델(LLM)의 발전으로, 이러한 강력한 도구를 로컬 환경에서 실행하고자 하는 수요가 늘어나고 있습니다. 이러한 요구에 부응하여 등장한 두 가지 주요 솔루션인 ollama와 llama.cpp에 대해 자세히 살펴보고 비교해 보겠습니다.1. 개요ollamaollama는 다양한 LLM을 로컬 환경에서 쉽게 실행하고 관리할 수 있게 해주는 플랫폼입니다. 사용자 친화적인 인터페이스와 다양한 모델 지원이 특징입니다.llama.cppllama.cpp는 Meta의 LLaMA 모델을 C/C++로 구현하여 CPU에서 효율적으로 실행할 수 있게 해주는 라이브러리입니다. 저수준 최적화와 경량화에 중점을 둡니다.2. 상세 비교2...

Docker로 llama.cpp 쉽게 실행하기: 대규모 언어 모델의 간편한 활용llama.cpp는 Meta의 LLaMA와 같은 대규모 언어 모델을 순수 C/C++로 구현하여 CPU나 GPU에서 효율적으로 실행할 수 있게 해주는 오픈소스 프로젝트로, 다양한 하드웨어에서 최소한의 의존성으로 고성능 텍스트 생성을 가능하게 합니다.이 포스팅에서는 fboulnois의 llama-cpp-docker 프로젝트를 기반으로 llama.cpp를 Docker 환경에서 손쉽게 실행하는 방법을 소개해드리려고 합니다. 이 프로젝트는 llama.cpp 서버를 이용하여 llama와 같은 대규모 언어 모델을 누구나 쉽게 사용할 수 있도록 해주는 훌륭한 도구입니다.llama-cpp-docker 프로젝트 소개llama-cpp-docker..

5분 만에 이해하는 머신러닝머신러닝이란 무엇일까요?머신러닝은 컴퓨터가 데이터로부터 패턴을 학습하고 의사결정을 내리는 인공지능의 핵심 분야입니다. 이는 컴퓨터 시스템에 명시적인 프로그래밍 없이도 경험을 통해 성능을 향상시킬 수 있는 능력을 부여합니다. 머신러닝의 핵심은 데이터에서 의미 있는 패턴을 발견하고, 이를 바탕으로 새로운 데이터에 대해 예측이나 판단을 수행하는 것입니다. 이 과정은 인간의 학습 과정과 유사합니다. 마치 어린아이가 여러 동물의 이미지를 보고 각 동물의 특징을 학습한 후, 새로운 동물을 보고 그것이 무엇인지 판단할 수 있게 되는 것처럼, 머신러닝 알고리즘도 대량의 데이터를 '경험'하며 학습합니다. 이 학습된 지식을 바탕으로 새로운 상황에서 결정을 내리거나 예측을 수행할 수 있게 됩니다...