꿈꾸는 사람.

GPT-3 (Generative Pre-trained Transformer-3, 생성적 사전 학습된 변환기)는 2020년 5월 OpenAI에서 공개한 신경망 언어 모델이다. 이때 GPT-3는 사람이 쓴 것과 구별하기 어려울 정도로 좋은 품질의 대화, 번역이나 작문을 할 수 있어 큰 반향을 일으켰다. 이후 2022년 11월에 OpenAI에서 ChatGPT란 챗봇을 소개했다. ChatGPT는 GPT-3 계역의 대규모 언어 모델을 기반으로 개발되었다. 챗봇은 사람과 대화하는 프로그램인데 ChatGPT는 최신 인공지능 챗봇으로 만물박사와 대화하는 느낌을 준다. ChatGPT를 다양하게 활용할 수 있다. 다음은 일상 생활과 회사 업무에 ChatGPT를 사용한 몇 개의 사례들 보여주어 다양한 활용 가능성을 알아보려..

pandas.DataFrame.mode() 사용하기 mode 함수는 주어진 데이터셋의 행/열의 가장 자주 나타나는 값인 최빈값을 구하는 함수이다. 최빈값이 여러개일 경우 모두 표시한다. 이 때, 최빈값 이외의 값은 NaN을 출력한다. 사용 예::titanic의 학습 데이터셋에 mode() 사용하기 데이터셋은 kaggle에서 다음과 같이 받으면 된다. info() 함수와 describe()함수를 이용하여 확인한 타이타닉 학습 데이터의 기본 정보는 다음과 같다. 먼저 Cabin 열의 고유한 항목 수를 value_counts() 함수로 확인한다. print(train['Cabin'].value_counts()) output>>> B96 B98 4 G6 4 C23 C25 C27 4 C22 C26 3 최빈값을 찾..

개요 빅데이터나 데이터 사이언스가 할 일의 가장 큰 부분은 데이터 전처리이다. 데이터 전처리는 데이터 정제와 데이터 변환으로 구성된다. 이번 포스팅은 이전 포스팅에서 쓴 데이터를 수집을 통해 읽은 데이터를 변환하는 방법을 사례를 통해 구현해 본다. 1. 데이터 수집 이번 포스팅은 Kaggle에서 타이타닉 데이터를 다루지는 않는다. 한국 프로야구의 팀 순위 데이터를 엑셀 파일로 저장한다. 순위 팀명 경기 승 패 무 승율 게임차 최근10경기 연속 홈 원정 1 SSG 86 57 26 3 0.687 0 9승0무1패 6승 33-0-10 24-3-16 2 키움 87 54 32 1 0.628 4.5 6승0무4패 2패 25-1-18 29-0-14 3 LG 84 52 31 1 0.627 5 8승0무2패 1승 23-0-2..

데이터 사이언스의 시작은 데이터에 접근하는 것이다. 그래서 파이썬의 pandas 패키지로 표 형식 데이터를 읽고 쓰는 방법을 알아본다. pandas 패키지가 지원하는 몇 가지 형식과 액세스 함수를 다음 표에 표시한다. 데이터 형식 파일 형식 읽기 함수 쓰기 함수 text csv read_csv to_csv JSON read_json to_json HTML read_html to_html XML read_xml to_xml binary Excel read_excel to_excel SQL SQL read_sql to_sql 먼저 CSV 파일을 읽고 쓰는 함수로 read_csv(), write_csv()가 있다. read_csv() 파일이나 URL 등에서 데이터를 읽어온다. 아래 코드는 github에 있는 ..

배경 회사의 일과 개인의 경력이 일치하지 않을 때가 있다. 2021년까지 인공지능, 데이터 사이언스 업무를 하였으나 2022년부터 다시 웹 개발을 하게 되었다. 어렵게 익힌 파이썬 기술은 점점 잊혀지고 백엔드 기술인 SQL은 이제 눈에 들어오는 정도이다. 두 기술 모두 중요하므로 함께 사용하기로 결정하니 마음이 편안해진다. 개요 먼저, 파이썬에서 SQL을 사용하기 위해 필수적으로 쓸 패키지는 SQLite이다. SQLite는 서버 프로세스가 필요 없고 비표준 SQL 변형으로 데이터베이스에 접근할 수 있는 경량 디스크 기반 데이터베이스를 제공하는 C 라이브러리이다. sql ite3 모듈은 DB-API 2.0 사양과 호환 되는 SQL 인터페이스 를 제공한다. 사용법 1. 데이터베이스 객체 생성 먼저 sqlit..

GitHub에서 소스를 받을 때 보통 'git clone'명령을 써서 저장소의 모든 파일을 다운로드한다. 때로는 전체 소스보다 필요한 파일만 받고 싶은 경우가 있다. 하지만 Git으로 저장소의 일부만 받는 방법은 쉽지 않다. 이번 글은 GitHub에서 필요한 하나의 파일만 받을 수 있는 쉬운 방법을 제시한다. 이 방법의 요약은 아래와 같다. 1. GitHub 저장소를 선택 2. 다운로드할 파일로 이동 후 내용 보기 3. GitHub 화면에서 [Raw] 버튼을 마우스 오른쪽 버튼으로 클릭 4. '다른 이름으로 링크 저장' 선택 다른 방법으로 4.' 명령 창에서 curl 명령 사용 상세한 절차 1. GitHub 저장소를 선택 2. 다운로드할 파일로 이동 후 GitHub 화면에서 내용 보기 3. [Raw] 버..

AWS Cloud9 개요 AWS Cloud9은 클라우드 기반 통합 개발 환경(IDE)이다. 즉 로컬 IDE에서 할 수 있는 코딩, 빌드, 실행, 테스트 및 디버깅 등의 일들을 클라우드에서 수행하는 것이다. 웹 브라우저를 통해 AWS Cloud9 IDE에 접근한다. AWS Cloud9 구성 및 작동 방식 Cloud9 구성은 개발자의 로컬 컴퓨터, AWS의 EC2 기반의 IDE환경 및 개발된 소스를 저장할 원격 저장소로 이루어진다. Cloud9은 웹 브라우저에서 실행되고 AWS Cloud9 환경에 연결된다. 서버 개발 환경은 클라우드(EC2 환경)나 자체 서버를 사용(SSH 환경)할 수 있고 원격 저장소도 AWS가 제공하는 CodeCommit이나 널리 사용되는 github 등을 구성할 수 있다. (SSH 환..

정의 AWS CodeCommit는 분산 버전 관리 도구인 GIT 저장소를 호스팅하는 AWS의 버전 관리 서비스로 클라우드에서 파일의 변경사항을 추적하고 다중 사용자의 작업을 관리한다. 요금 현재 AWS CodeCommit용 AWS 프리 티어는 신규 및 기존 모두 무기한으로 적용되며, 기본 12개월의 프리 티어 기간이 종료되어도 만료되지 않는다. 세부 요금 내역은 AWS를 참고하라. 개요 CodeCommit는 사설 Git 저장소를 호스팅하며 클라우드의 장점인 안전성을 보장하고 저장소를 쉽게 확장할 수 있다. 또한 CodeCommit는 여러 AWS 서비스와 통합되어 있어 AWS lambda 등의 개발에 유리하며, 특히 로컬 개발 후 클라우드에서 테스트할 때 필수적이다. 사용자는 개발 시스템에서 로컬 저장소를..

Node.js®는 Chrome V8 JavaScript 엔진으로 빌드된 JavaScript 런타임으로 웹 앱과 같은 네트워킹 응용(특히 서버)을 개발하는데 유용한 소프트웨어 플랫폼이다. 이 글은 node.js를 설치하고 간단한 웹 서버 객체를 만들어 동작을 브라우저에서 확인하는 내용이다. Node.js의 설치 curl -fsSL https://deb.nodesource.com/setup_14.x | sudo -E bash - sudo apt-get install -y nodejs Node.js 설치한 버전 확인 node -v npm -v Node.js 콘솔(REPL) 대부분의 플랫폼이나 언어와 같이 Node.js는 read-eval-print loop(REPL)란 가상 환경을 제공한다. 이 가상 환경에서..

Apache Spark 개요 Apache Spark는 대용량 데이터 처리를 위한 통합 분석 엔진으로 배치와 스트리밍 데이터를 고성능으로 처리하고 자바, 스칼라, 파이썬, R 등의 다양한 프로그래밍 언어를 지원한다. Apache Spark의 프로그래밍 모델은 클러스터에서 분산 작동하는 RDD(Resilient Distributed Datasets)를 기반으로 한다. 최근 데이터 사이언티스트들이 가장 선호하는 도구들 중의 하나이다. 설치 개요 0. update & upgrade sudo apt update sudo apt-get upgrade 1. Java, scala, git 설치 sudo apt install default-jdk scala git 2. Apache Spark 다운로드 wget https..