General AI

Streamlit으로 간단한 토크나이저 만들기Streamlit을 사용하여 간단한 텍스트 토크나이저(tokenizer)를 만드는 방법을 소개하려고 합니다. Streamlit은 데이터 과학자와 머신러닝 엔지니어를 위해 개발된 오픈소스 앱 프레임워크로, 파이썬 코드를 통해 간단하게 웹 애플리케이션을 만들 수 있습니다.NLTK(Natural Language Toolkit)는 파이썬의 자연어 처리 라이브러리로, 다양한 언어 처리 작업을 쉽게 할 수 있게 해줍니다. 이번 예제에서는 NLTK를 사용하여 입력된 텍스트를 토큰화하는 간단한 웹 애플리케이션을 만들어보겠습니다.준비물Python 3.7 이상Streamlit 설치 (pip install streamlit)NLTK 설치 (pip install nltk)코드아래 ..

Ubuntu 20.04에서 Discord 설치하기: 터미널 사용 가이드Ubuntu 20.04 환경에서 터미널을 사용하여 Discord를 설치하는 방법을 단계별로 안내해 드리겠습니다. Discord는 게이머들 사이에서 인기 있는 커뮤니케이션 플랫폼이지만, 다양한 목적으로 사용될 수 있는 강력한 도구입니다.필요 사항Ubuntu 22.04 LTS (테스트 완료)관리자 권한 (sudo)인터넷 연결설치 과정1단계: 시스템 업데이트먼저, 시스템을 최신 상태로 업데이트합니다. 이는 안정성을 위해 중요한 단계입니다.sudo apt update && sudo apt upgrade -y2단계: Discord .deb 파일 다운로드Discord의 공식 웹사이트에서 .deb 파일을 직접 다운로드 받을 수 있지만, 터미널에서 ..

Whisper 모델로 음성을 텍스트로 변환하기음성을 텍스트로 변환하는 기술, 즉 음성 인식(Speech Recognition)은 인공지능 분야에서 꾸준히 발전해 왔습니다. 그 중에서도 OpenAI에서 개발한 Whisper 모델은 최근 주목받고 있는 강력한 도구입니다.Whisper 모델이란?Whisper는 OpenAI에서 2022년 9월에 공개한 오픈소스 음성 인식 모델입니다. 이 모델은 다음과 같은 특징을 가지고 있습니다:다국어 지원: 영어뿐만 아니라 한국어를 포함한 다양한 언어를 인식할 수 있습니다.강력한 성능: 노이즈가 있는 환경에서도 우수한 인식 성능을 보여줍니다.다목적성: 음성 인식, 번역, 언어 식별 등 다양한 작업을 수행할 수 있습니다.오픈소스: 누구나 자유롭게 사용하고 개선할 수 있습니다.애..

우분투 22.04에서 한글 키보드 입력 설정하기우분투 22.04에서 한글 키보드를 설정하는 방법을 단계별로 정리합니다.1. 설정(Setting) 메뉴 열기1. 화면 우상단의 시스템 메뉴를 클릭합니다.2. 하단의 "설정" 아이콘을 클릭하여 설정 창을 엽니다.2. 설정(Setting)의 지역 및 언어 설정으로 이동1. 왼쪽 사이드바에서 "지역 및 언어" (Region & Language) 옵션을 찾아 클릭합니다.2. Language에서 Manager Installed Language 선택합니다.3. Korean을 찾아서 설치합니다.Lanuage Support에 한국어가 정상적으로 추가되었는지 확인하고 닫습니다. 그리고, 반드시 시스템을 리부팅하세요.3. 설정에서 한글 키보드 추가아래와 같이 Input Sou..

우분투에서 삼바(SAMBA) 설치하기: 단계별 가이드우분투에서 삼바(SAMBA)를 설치하고 관리하는 방법에 대해 알아보려고 해요. 삼바는 리눅스와 윈도우 간의 파일 공유를 가능하게 해주는 굉장히 유용한 도구입니다.준비물Ubuntu 20.04가 설치된 PC 또는 노트북삼바 설치하기먼저, 터미널을 열고 다음 명령어로 삼바를 설치해줍니다:sudo apt-get install samba설치가 완료되면, 삼바 설정 파일을 열어 내용을 추가해야 해요:파일 맨 아래에 다음 내용을 추가해주세요:여기서 (username) 부분은 여러분의 실제 사용자 이름으로 바꿔주세요![data] comment = data path = /data guest ok = no writable = yes create mask..

우분투에서 터미네이터 설치하기: 상세 가이드우분투 사용자들을 위해 강력한 터미널 에뮬레이터인 터미네이터(Terminator)의 설치 방법을 상세히 알아보겠습니다. 터미네이터는 단일 창에서 여러 터미널을 관리할 수 있어 개발자와 시스템 관리자들에게 인기 있는 도구입니다.1. 시스템 업데이트먼저, 시스템을 최신 상태로 업데이트합니다. 터미널을 열고 다음 명령어를 실행하세요:sudo apt update && sudo apt upgrade -y이 명령어는 패키지 목록을 업데이트하고, 설치된 패키지들을 최신 버전으로 업그레이드합니다.2. 터미네이터 설치이제 터미네이터를 설치할 차례입니다. 다음 명령어를 입력하세요:sudo apt install terminator -y'-y' 옵션은 설치 과정 중 나타나는 모든 프..

ollama vs llama.cpp: 로컬 LLM 실행의 두 가지 접근 방식인공지능과 대규모 언어 모델(LLM)의 발전으로, 이러한 강력한 도구를 로컬 환경에서 실행하고자 하는 수요가 늘어나고 있습니다. 이러한 요구에 부응하여 등장한 두 가지 주요 솔루션인 ollama와 llama.cpp에 대해 자세히 살펴보고 비교해 보겠습니다.1. 개요ollamaollama는 다양한 LLM을 로컬 환경에서 쉽게 실행하고 관리할 수 있게 해주는 플랫폼입니다. 사용자 친화적인 인터페이스와 다양한 모델 지원이 특징입니다.llama.cppllama.cpp는 Meta의 LLaMA 모델을 C/C++로 구현하여 CPU에서 효율적으로 실행할 수 있게 해주는 라이브러리입니다. 저수준 최적화와 경량화에 중점을 둡니다.2. 상세 비교2...

Docker로 llama.cpp 쉽게 실행하기: 대규모 언어 모델의 간편한 활용llama.cpp는 Meta의 LLaMA와 같은 대규모 언어 모델을 순수 C/C++로 구현하여 CPU나 GPU에서 효율적으로 실행할 수 있게 해주는 오픈소스 프로젝트로, 다양한 하드웨어에서 최소한의 의존성으로 고성능 텍스트 생성을 가능하게 합니다.이 포스팅에서는 fboulnois의 llama-cpp-docker 프로젝트를 기반으로 llama.cpp를 Docker 환경에서 손쉽게 실행하는 방법을 소개해드리려고 합니다. 이 프로젝트는 llama.cpp 서버를 이용하여 llama와 같은 대규모 언어 모델을 누구나 쉽게 사용할 수 있도록 해주는 훌륭한 도구입니다.llama-cpp-docker 프로젝트 소개llama-cpp-docker..