General AI

Streamlit과 Langchain으로 만드는 LLaMA 3.1 기반 챗봇최신 LLaMA 3.1 모델을 활용하여 실시간 토큰 생성 속도를 보여주는 대화형 챗봇을 만드는 방법을 알아보겠습니다. 이 프로젝트에서는 Streamlit을 사용해 웹 인터페이스를 구축하고, Langchain을 통해 LLaMA 모델을 사용하겠습니다.1. 프로젝트 설정먼저, 우리의 개발 환경을 설정해 봅시다.가상 환경 생성프로젝트의 의존성을 관리하기 위해 가상 환경을 사용하는 것이 좋습니다.python -m venv chatbot_envsource chatbot_env/bin/activate # Windows: chatbot_env\Scripts\activate필요한 패키지 설치pip install streamlit langchai..

야후 파이넨스 API를 이용한 주식정보 통계 만들기Python과 Streamlit을 사용하여 야후 파이넨스 API로부터 주식 정보를 가져와 통계를 만드는 방법에 대해 알아보겠습니다. 특히 인기 있는 미국 ETF들의 최근 일주일 성과를 비교하는 대시보드를 만들어 볼 것입니다.야후 파이넨스 API를 이용한 주식정보 통계 만들기필요한 라이브러리 설치하기우리가 사용할 주요 라이브러리는 다음과 같습니다:streamlit: 데이터 애플리케이션을 쉽게 만들 수 있는 프레임워크yfinance: 야후 파이넨스에서 주식 데이터를 가져오는 파이선 라이브러리pandas: 데이터 처리와 분석을 위한 라이브러리위 라이브러리를 설치하고 아래와 같은 코드를 작성합니다.import streamlit as stimport yfinanc..

우분투에서 1단계 폴더별 사용량 확인하기리눅스 시스템에서 디스크 사용량을 확인하는 것은 시스템 관리에서 중요합니다. 특히 우분투에서 여러 폴더의 사용량을 파악하는 것은 저장 공간 사용을 파악하고 효율적으로 관리하는 데 도움이 됩니다. 이를 위해 'du' 명령어의 세부 옵션을 사용할 수 있습니다. 이번 포스팅에서는 이 기능에 대해서 정리하고 공유합니다.du 명령어 소개'du'는 'disk usage'의 약자로, 파일과 디렉토리의 디스크 사용량을 보여주는 리눅스 명령어입니다. 다양한 옵션을 통해 원하는 형식으로 정보를 얻을 수 있습니다.주요 옵션-h: 사람이 읽기 쉬운 형식으로 출력 (예: KB, MB, GB)--max-depth=N: 지정된 깊이까지만 디렉토리 구조를 탐색-s: 총 사용량만 표시-c: 총계..

Eureka Labs: AI가 바꾸는 교육의 미래인공지능분야의 유명한 개발자가 만든 흥미로운 스타트업에 대해 이야기해보려 합니다. 바로 'Eureka Labs'인데요,Eureka Labs는 OpenAI의 공동 창립자이자 테슬라의 전 AI 책임자인 안드레이 카파시가 설립했습니다. 카파시는 스탠포드 대학교에서 첫 딥러닝 강좌를 설계한 바 있으며, AI 교육 분야에서 널리 알려진 전문가입니다.Eureka Labs: AI 기반 교육의 새로운 패러다임Eureka Labs의 접근 방식은 현재 교육 시스템의 주요 한계점을 해결하려는 시도입니다. 현재 교육계가 직면한 가장 큰 문제 중 하나는 높은 수준의 전문성, 교육 능력, 인내심, 그리고 다국어 구사 능력을 갖춘 교육자의 부족입니다. Eureka Labs는 최신 생..

RAG vs 파인튜닝: AI 모델 최적화의 두 가지 접근인공지능(AI) 기술이 발전함에 따라, 대규모 언어 모델(LLM)을 활용하는 방법도 다양해지고 있습니다. 오늘은 그 중에서도 주목받고 있는 두 가지 접근법, RAG(Retrieval-Augmented Generation)와 파인튜닝(Fine-tuning)에 대해 알아보겠습니다.RAG: 실시간 정보 검색의 힘RAG는 '검색 증강 생성'이라고 번역할 수 있습니다. 이 방식은 AI 모델이 답변을 생성할 때 외부 데이터베이스나 지식 저장소에서 관련 정보를 실시간으로 검색하여 활용합니다.RAG의 장점:최신 정보 활용: 실시간으로 업데이트되는 정보를 활용할 수 있습니다.유연성: 기본 모델을 변경하지 않고도 새로운 정보를 쉽게 추가할 수 있습니다.메모리 효율: ..

Gemma2 모델을 Ollama와 Streamlit으로 테스트하기Google의 최신 언어 모델인 Gemma2:27b를 로컬 환경에서 쉽게 테스트할 수 있는 방법을 소개해드리려고 합니다. 우리는 Ollama를 사용하여 모델을 로컬에서 실행하고, Streamlit을 통해 간단한 웹 인터페이스를 만들어 볼 것입니다. 이 방법을 통해 클라우드 서비스에 의존하지 않고도 강력한 AI 모델을 직접 경험해볼 수 있습니다.준비 사항시작하기 전에 다음 항목들이 필요합니다:Python 3.7 이상Ollama 설치 (https://ollama.ai/)pip를 통한 필요 라이브러리 설치단계별 가이드1. Ollama 설치 및 모델 다운로드먼저 Ollama를 설치하고 Gemma2:27b 모델을 다운로드합니다.ollama pull ..

Claude Android 앱 출시: AI 비서를 모바일에서 만나다Anthropic이 개발한 AI 비서 Claude가 이제 Android 플랫폼에서도 이용 가능해졌습니다. 이번 출시로 Claude의 강력한 기능들을 언제 어디서나 활용할 수 있게 되었습니다.주요 기능 및 특징크로스 플랫폼 지원웹, iOS, Android 간 원활한 연동시작한 대화를 다른 기기에서 이어갈 수 있는 기능이미지 인식 및 분석실시간 사진 촬영 또는 기존 이미지 업로드 지원고급 컴퓨터 비전 기술을 활용한 이미지 분석다국어 처리 능력실시간 언어 번역 기능다양한 언어로 의사소통 지원고급 추론 및 문제 해결복잡한 계약서 분석, 시장 조사 등 고급 작업 수행데이터 기반의 의사결정 지원활용 사례Claude Android 앱은 다양한 상황에서..

한국어 잘하는 로컬모델로 챗봇 만들기한국어에 특화된 로컬 언어 모델을 사용하여 챗봇을 만드는 방법을 소개해드리려고 합니다. 이 프로젝트에서는 Llama-3 한국어 모델과 Ollama, 그리고 Streamlit을 활용하여 간단하면서도 강력한 챗봇을 구현하겠습니다.이 프로젝트에서는 Llama-3 기반의 한국어 모델을 사용하여 챗봇을 만들고, 두 가지 다른 버전의 모델 성능을 비교해 보겠습니다.Ollama 설치 및 모델 생성Ollama 설치 관련된 내용은 이전 포스팅 [ollama 소개 및 WSL 환경 설정] 를 참고하세요. Ollama가 설치되면, 다음 단계로 모델을 생성해야 합니다. 우리는 두 가지 버전의 Llama-3 한국어 모델을 사용할 것입니다:Llama-3-Open-Ko-8B-FP16 (링크)Lla..

Streamlit으로 간단한 토크나이저 만들기Streamlit을 사용하여 간단한 텍스트 토크나이저(tokenizer)를 만드는 방법을 소개하려고 합니다. Streamlit은 데이터 과학자와 머신러닝 엔지니어를 위해 개발된 오픈소스 앱 프레임워크로, 파이썬 코드를 통해 간단하게 웹 애플리케이션을 만들 수 있습니다.NLTK(Natural Language Toolkit)는 파이썬의 자연어 처리 라이브러리로, 다양한 언어 처리 작업을 쉽게 할 수 있게 해줍니다. 이번 예제에서는 NLTK를 사용하여 입력된 텍스트를 토큰화하는 간단한 웹 애플리케이션을 만들어보겠습니다.준비물Python 3.7 이상Streamlit 설치 (pip install streamlit)NLTK 설치 (pip install nltk)코드아래 ..

Ubuntu 20.04에서 Discord 설치하기: 터미널 사용 가이드Ubuntu 20.04 환경에서 터미널을 사용하여 Discord를 설치하는 방법을 단계별로 안내해 드리겠습니다. Discord는 게이머들 사이에서 인기 있는 커뮤니케이션 플랫폼이지만, 다양한 목적으로 사용될 수 있는 강력한 도구입니다.필요 사항Ubuntu 22.04 LTS (테스트 완료)관리자 권한 (sudo)인터넷 연결설치 과정1단계: 시스템 업데이트먼저, 시스템을 최신 상태로 업데이트합니다. 이는 안정성을 위해 중요한 단계입니다.sudo apt update && sudo apt upgrade -y2단계: Discord .deb 파일 다운로드Discord의 공식 웹사이트에서 .deb 파일을 직접 다운로드 받을 수 있지만, 터미널에서 ..

Whisper 모델로 음성을 텍스트로 변환하기음성을 텍스트로 변환하는 기술, 즉 음성 인식(Speech Recognition)은 인공지능 분야에서 꾸준히 발전해 왔습니다. 그 중에서도 OpenAI에서 개발한 Whisper 모델은 최근 주목받고 있는 강력한 도구입니다.Whisper 모델이란?Whisper는 OpenAI에서 2022년 9월에 공개한 오픈소스 음성 인식 모델입니다. 이 모델은 다음과 같은 특징을 가지고 있습니다:다국어 지원: 영어뿐만 아니라 한국어를 포함한 다양한 언어를 인식할 수 있습니다.강력한 성능: 노이즈가 있는 환경에서도 우수한 인식 성능을 보여줍니다.다목적성: 음성 인식, 번역, 언어 식별 등 다양한 작업을 수행할 수 있습니다.오픈소스: 누구나 자유롭게 사용하고 개선할 수 있습니다.애..

우분투 22.04에서 한글 키보드 입력 설정하기우분투 22.04에서 한글 키보드를 설정하는 방법을 단계별로 정리합니다.1. 설정(Setting) 메뉴 열기1. 화면 우상단의 시스템 메뉴를 클릭합니다.2. 하단의 "설정" 아이콘을 클릭하여 설정 창을 엽니다.2. 설정(Setting)의 지역 및 언어 설정으로 이동1. 왼쪽 사이드바에서 "지역 및 언어" (Region & Language) 옵션을 찾아 클릭합니다.2. Language에서 Manager Installed Language 선택합니다.3. Korean을 찾아서 설치합니다.Lanuage Support에 한국어가 정상적으로 추가되었는지 확인하고 닫습니다. 그리고, 반드시 시스템을 리부팅하세요.3. 설정에서 한글 키보드 추가아래와 같이 Input Sou..

노트북 덮개를 닫아도 전원 유지하기: Ubuntu 설정 가이드Ubuntu 사용자들을 위한 유용한 팁을 소개합니다. 노트북 덮개를 닫아도 시스템이 계속 작동하게 하는 방법을 알아보겠습니다.왜 이 설정이 필요한가요?때로는 노트북 덮개를 닫은 채로 작업을 계속해야 할 때가 있습니다. 예를 들어, 외부 모니터에 연결해서 사용하거나, 백그라운드에서 오래 걸리는 작업을 실행할 때 유용합니다.Ubuntu에서 설정 변경하기Ubuntu에서 이 설정을 변경하는 것은 간단합니다. 다음 단계를 따라해보세요:터미널을 엽니다.다음 명령어로 설정 파일을 엽니다:sudo nano /etc/systemd/logind.conf파일에서 다음 줄을 찾습니다:#HandleLidSwitch=suspend주석을 제거하고 'suspend'를 'i..

Streamlit과 Langchain으로 TTS 지원 챗봇 만들기Streamlit과 Langchain을 이용해 음성 지원 기능이 있는 대화형 AI 챗봇을 만드는 방법을 알아보겠습니다. 이 프로젝트를 통해 우리는 텍스트 기반의 대화뿐만 아니라 AI의 응답을 음성으로도 들을 수 있는 챗봇을 구현할 것입니다.1. 프로젝트 개요이 포스팅에서 소개할 챗봇은 다음과 같은 특징을 가집니다:Streamlit을 사용한 웹 기반 사용자 인터페이스Langchain을 이용한 대화 관리 및 AI 모델 연동실시간 토큰 생성 속도 표시TTS(Text-to-Speech) 기능으로 AI 응답을 음성으로 변환2. 환경 설정먼저, 프로젝트를 위한 가상 환경을 만들어 봅시다:python -m venv chatbot_envsource cha..

로컬 모델로 Streamlit 챗봇 만들기로컬 AI 모델을 사용하여 Streamlit으로 챗봇을 만드는 방법에 대해 알아보겠습니다. 이 방법을 통해 OpenAI의 API에 의존하지 않고도 자신만의 ChatGPT 스타일 챗봇을 만들 수 있습니다.챗봇 만들기사용할 주요 도구들은 다음과 같습니다:Langchain: 대화 관리와 AI 모델 연동을 위한 프레임워크Streamlit: 웹 인터페이스 구현을 위한 라이브러리Ollama: 로컬에서 AI 모델을 실행하기 위한 도구먼저, 필요한 라이브러리를 설치해야 합니다.pip install langchain streamlit ollama 그리고 Ollama를 설치하고 원하는 모델(예: llama2)을 다운로드해야 합니다. llama2 는 자동으로 다운로드 됩니다.'''주..

티스토리 블로그, 구글 서치 콘솔에 등록하는 방법티스토리 블로그를 구글 서치 콘솔에 등록하는 방법에 대해 알아볼게요. 블로그 운영하시는 분들이라면 꼭 알아두셔야 할 내용입니다.구글 서치 콘솔이 뭐예요?구글 서치 콘솔은 우리가 열심히 쓴 블로그 글들이 구글 검색 결과에서 어떻게 보이는지 확인할 수 있는 무료 도구예요. 예전에는 '구글 웹마스터 도구'라고 불렸던 건데, 이름이 바뀌었답니다.어떻게 등록하나요?자, 그럼 하나씩 따라해볼까요?1.먼저 구글 서치 콘솔에 들어가세요.2.구글 계정으로 로그인하세요. 없다면 만들어주세요!3.'URL 접두어'를 선택하고 티스토리 블로그 주소를 입력하세요.4.소유권 확인 방법 중에서 'HTML 태그 사이트 홈페이지에 메타태그 추가' 방식을 선택해주세요. 메타태그를 복사하여 ..