꿈꾸는 사람.

[Pandas Groupby] 타이타닉 생존율 분석 (그룹별 상위 N개 추출 패턴)

현무랑 니니 — Wed, 7 Jan 2026 11:13:53 +0900

[문제] 타이타닉 선실 등급별 상위10명의 생존율을 구하라.

상황: 승객들의 생존율을 분석하고 있다.
문제: 선실 등급(Pclass)별로 나이(Age)가 가장 많은 상위 10명을 뽑은 후, 그들의 평균 생존율(Survived)을 구하시오.
핵심 포인트: 그룹별로 정렬 기준(나이)과 집계 대상(생존율)이 다른 경우이다.
데이터셋: 타이타닉 생존자 (캐글 csv 파일 이용)

[풀이 요약]

본 문제의 핵심은 groupby를 두 번 쓰는 것이다.

보통 groupby는 한 번만 쓰지만 '데이터 필터링(추출)과 '데이터 집계(계산)'의 단계가 다르기 때문에 groupby를 두 번 사용해야 원하는 결과를 얻을 수 있다.

전체적인 로직은 타이타닉 데이터셋을 입력 받아 먼저 필터링하고, 줄어든 데이터를 다시 계산하는 2단계로 이루어진다.

"Sort -> Groupby(Filter) -> Groupby(Agg)"

[상세 풀이]

3단계 데이터 변환

1. 줄 세우기 (sort_values)
-> 원하는 순서대로 정렬 (선실 등급별과 나이별로 정렬)

2. 잘라내기 (groupby().head(10))
-> 그룹별 상위/하위 N개 추출
정렬된 전체 데이터프레임(891행)을 입력 받아 선실 등급별 상위 10명씩만 남은 데이터프레임 (30행)을 반환함

3. 계산하기 (groupby().mean/sum)
-> 이전에 만든 30줄의 데이터프레임을 각 그룹별 생존율 평균을 계산하여 선시리즈(Series) (3행)을 반환함

Python 코드

import pandas as pd

df = pd.read_csv('titanic.csv', encoding='utf-8')

ans = df.sort_values(by=['Pclass', 'Age'], ascending=False) \
        .groupby(by='Pclass').head(10) \
        .groupby(by='Pclass')['Survived'].mean()
        
print(ans)

데이터의 변환 과정(Flow)

Step 1 (정렬): 전체 데이터를 Pclass와 Age 기준으로 정렬한 상태이다.

# 1등급 -> 2등급 -> 3등급 순으로, 그리고 나이가 많은 순으로 정렬
step1 = df.sort_values(by=['Pclass', 'Age'], ascending=False)

동작: 전체 데이터(891행)가 pclass와 age 기준으로 재배열된다.
Step 2 (추출): .head(10)으로 상위 데이터만 잘라낸다. 이때 결과물은 다시 평범한 표(DataFrame)가 된다. (여기가 핵심 포인트!)

# 각 등급별로 10행씩만 가져오기 (총 30행이 됨)
step2 = step1.groupby(by='Pclass').head(10)

핵심 원리: 여기서 groupby는 평균을 구하기 위함이 아니라, head(10)을 그룹별로 적용하기 위한 용도이다.
수행 결과:
- 입력: 891행 (전체 승객)
- 출력: 30행 (1등급 10명 + 2등급 10명 + 3등급 10명)
- 중요: head()를 거치면서 그룹핑 상태는 해제되고, 다시 단순한 DataFrame(표) 상태가 된다. 즉, 컴퓨터는 이제 이 30명이 1등급인지 3등급인지 그룹으로 묶어두지 않은 상태이다.
Step 3 (집계): 평범한 표가 되었으므로, 평균을 구하기 위해 다시 한번 .groupby로 묶어줘야 결과(Series)가 나온다.

# 30명의 데이터를 다시 등급별로 묶어서 평균 계산
step3 = step2.groupby(by='Pclass')['Survived'].mean()

핵심 원리: 이전의 풀려버린 그룹을 다시 묶어주는 역할이다.
수행 결과:
- 입력: 30행의 데이터프레임
- 출력: 등급별 생존율이 담긴 Series (3행)
최종 수행 결과 확인
코드를 실행하면 다음과 같이 등급별 노령 승객(Top 10)의 생존율이 계산된다.

Pclass
1    0.7
2    0.3
3    0.3
Name: Survived, dtype: float64

[결론]

이 패턴을 암기하자!

sort_values: 전체 줄 세우기
groupby().head(N): (1차 그룹핑) 개수 자르기 -> DataFrame 반환
groupby().mean(): (2차 그룹핑) 통계 내기 -> Series 반환

이 3단계 흐름, 특히 "자르고 나면 그룹이 풀리니까 다시 묶는다"는 점만 기억하면 어떤 복잡한 문제도 해결할 수 있다.

Python으로 테이블의 열을 가져오기

현무랑 니니 — Sat, 5 Jul 2025 21:42:07 +0900

개요

모든 테이블은 가로 행과 세로 열로 구성되며, 각 열의 첫 번째 값으로 해당 열 이름이 명시적으로 쓰여진 공통된 구조가 많다.

이런 테이블을 전문적으로 다루는 패키지가 판다스(Pandas)이다.

판다스는 1차원의 Series와 2차원인 DataFrame의 자료 구조를 가진다.

아래 그림은 서울 공유자전기 따릉이에 대한 사용 정보를 가진 데이터셋의 일부이다.

하나의 개별 열을 가져오는 방법은 아래와 같다.

여러 열을 동시에 선택하는 방법을 개별 열을 가져오는 것과 같이 하면 오류가 나며 리스트로 가져와야 한다.

왜 df['대여시간', '사용시간'] 는 오류가 나고 df[['대여시간', '사용시간']] 는 동작하는가?

구문	내부에서 전달되는 key	DataFrame.__getitem__(key) 가 기대하는 형식	동작 결과
df['대여시간', '사용시간']	('대여시간', '사용시간') (튜플)	- 문자열 한 개 → Series 반환 - 리스트‑like 객체(리스트·Index·배열) → DataFrame 반환 - 튜플 → 단일 라벨 로 취급 (단‑일‑레‑벨 컬럼에서는 존재하지 않음)	단일‑레벨 컬럼에 ('대여시간','사용시간') 라벨이 없으므로 KeyError 발생
df[['대여시간', '사용시간']]	['대여시간', '사용시간'] (리스트)	“리스트‑like” 로 인식 → 여러 컬럼을 선택하는 정상 경로	두 컬럼을 갖는 DataFrame 반환

[] 한 겹은 getitem 으로 바로 전달된다..
- 문자열 → 하나의 컬럼(Series)
- 리스트 또는 팬더스 Index → 여러 컬럼(DataFrame)
- 튜플은 “리스트‑like” 로 간주되지 않고 “라벨 하나” 로 해석된다.
멀티인덱스(columns가 계층구조)인 DataFrame이라면 df[('A','B')] 같은 튜플‑라벨도 유효하지만, 일반 단일‑레벨 컬럼에서는 존재하지 않는 키이므로 오류가 난다.

판다스로 열을 가져오는 올바른 방법을 알아보자.

1. 하나의 특정 열 읽기

방법	코드	특징
단일 대괄호	df["대여일자"]	가장 직관적, 반환형은 Series
속성 접근	df.대여일자	짧고 편리하지만 열 이름에 공백·특수문자·숫자 시작 등이 있으면 사용 불가
.loc 인덱스	df.loc[:, "대여일자"]	행·열을 동시에 제어할 필요가 있을 때 유용

2. 여러 특정 열 읽기

방법	코드	특징
리스트 전달	df[["대여일자", "이동거리", "사용시간"]]	가장 많이 쓰는 표준 구문
.loc 인덱스	df.loc[:, ["대여일자", "이동거리", "사용시간"]]	행 조건과 결합하기 좋음
.filter(items=…)	df.filter(items=["대여일자", "이동거리", "사용시간"])	정규식·와일드카드 등과 함께 쓰기 편리

3. 하나의 열(대여일자)에 조건을 걸어 행 필터링

(예: 2021‑06‑01 데이터만 추출)

방법	코드	특징
불린 인덱싱	df[df["대여일자"] == "2021-06-01"]	가장 직관적
.loc + .eq()	df.loc[df["대여일자"].eq("2021-06-01")]	메서드 체인이 명확; NaN 안전
.query()	df.query('대여일자 == "2021-06-01"')	SQL‑like 문법으로 가독성 ↑, 변수 삽입도 쉬움

4. 여러 열에 조건을 걸어 행 필터링

(예: “정기권” & “20대” & 이동거리 ≥ 2 km)

방법	코드	특징
불린 인덱싱 & 연산자	df[(df["대여구분코드"]=="정기권") & (df["연령대코드"]=="20대") & (df["이동거리"]>=2000)]	연산자 `&
.query()	df.query('대여구분코드=="정기권" and 연령대코드=="20대" and 이동거리>=2000')	조건이 길어질수록 가독성 강점
.isin() 활용	df[df["대여구분코드"].isin(["정기권"]) & df["연령대코드"].isin(["20대"]) & (df["이동거리"] >= 2000)]	다중 값 매칭 시 깔끔; 다른 열 조건과도 쉽게 조합

pandas의 Groupby() 알아보기

현무랑 니니 — Sat, 28 Jun 2025 16:47:27 +0900

1. groupby 정의와 개요

pandas.DataFrame.groupby() (또는 Series.groupby())는 Split‑Apply‑Combine 패턴을 구현한 핵심 메서드이다.

Split : 하나 이상의 “키”(열 값, 인덱스 레벨, 범위, 함수 등)에 따라 데이터를 논리적으로 그룹으로 나눈다.
Apply : 각 그룹에 대해 집계(aggregation), 변환(transformation), 필터링(filtering) 같은 연산을 독립적으로 수행한다.
Combine : 처리를 마친 결과를 단일 Series 또는 DataFrame으로 재구성(combine)하여 반환한다.

이 과정 덕분에 반복문을 작성하지 않고도 대량 데이터에 대한 조건별 연산을 간결·고속으로 수행할 수 있다.

2. 주요 기능 3가지와 코드 예시

아래 예시는 공통적으로 다음 샘플 데이터를 사용한다.

import pandas as pd

df = pd.DataFrame({
    'dept': ['A', 'A', 'B', 'B', 'C', 'C'],
    'employee': ['Kim', 'Lee', 'Park', 'Choi', 'Jung', 'Han'],
    'salary': [5100, 6200, 4500, 5200, 6100, 5800],
    'years':  [3, 5, 2, 4, 6, 5]
})

dept	employee	salary	years
A	Kim	5100	3
A	Lee	6200	5
B	Park	4500	2
B	Choi	5200	4
C	Jung	6100	6
C	Han	5800	5

2‑1 Aggregation (집계)

목적 : 그룹별로 하나의 스칼라 값을 산출해 데이터 크기를 줄임.

# 부서별 평균 급여와 최대 경력년수 한 번에 집계
agg_df = (
    df.groupby('dept')
      .agg(avg_salary=('salary', 'mean'),
           max_years=('years', 'max'))
)
print(agg_df)

dept	avg_salary	max_yeares
A	5650.0	5
B	4850.0	4
C	5950.0	6

2‑2 Transformation (변환)

목적 : 각 그룹을 가공하되 원본과 동일한 행 수를 유지해 그룹별 정규화·파생 변수 생성에 활용.

# 부서별 급여 평균을 뺀 편차(중심화) 파생 변수 추가
df['salary_dev'] = (
    df.groupby('dept')['salary']
      .transform(lambda s: s - s.mean())
)
print(df[['dept', 'employee', 'salary', 'salary_dev']])

dept	employee	salary	salary_dev
A	Kim	5100	-550.0
A	Lee	6200	+550.0
B	Park	4500	-350.0
B	Choi	5200	+350.0
C	Jung	6100	+150.0
C	Han	5800	-150.0

transform 은 벡터를 반환하므로 결과가 원본 행과 1 : 1 대응한다.

이를 통해 모델 입력용 표준화, 랭킹, 누적합(rolling) 등을 간단히 구현한다.

2‑3 Filtering (필터링)

목적 : 그룹별 조건식을 평가해 조건을 만족한 그룹만 보존하여 원본과 동일한 스키마의 DataFrame을 반환

# 평균 급여가 5,500 이상인 부서만 유지
high_pay = (
    df.groupby('dept')
      .filter(lambda g: g['salary'].mean() >= 5500)
)
print(high_pay[['dept', 'employee', 'salary']])

dept	employee	salary
A	Kim	5100
A	Lee	6200
C	Jung	6100
C	Han	5800

참고로 high_pay 전체의 내용은 아래와 같다.

filter는 그룹 단위로 불리언 조건을 평가한 뒤, 조건이 True인 그룹만 병합한다.

(filter는 “그룹을 선택 또는 제외”하기 위한 도구)

시계열 이상치 제거, 최소 표본 수 확보 등에서 유용하다.

3. 핵심 포인트 요약

기능	평가단위	반환 크기	대표 함수	활용 시나리오
Aggregation	그룹	그룹 수 × 열 수	sum, mean, agg	KPI 산출, 리포팅
Transformation	행	원본과 동일	transform, rank, rolling	그룹별 정규화, 파생 변수
Filtering	그룹	가변 (0 ~ 원본)	filter	그룹 품질 관리, 이상치·노이즈 제거

groupby를 집계·변환·필터 3축으로 체계화해 두면, 실무·시험 모두에서 빠르고 우아한 솔루션을 설계할 수 있다.

IntelliJ IDEA에서 Git 저장소의 소스를 가져와 프로젝트를 생성하는 방법

현무랑 니니 — Mon, 16 Dec 2024 09:42:50 +0900

1️⃣ IntelliJ IDEA 시작

IntelliJ IDEA를 실행
Start Menu에서 Get from VCS(버전 컨트롤에서 가져오기)를 클릭

2️⃣ 저장소 URL 입력

Version Control 시스템 선택:
- IntelliJ가 Git을 기본으로 감지합니다. 만약 Git이 선택되지 않았다면, 상단의 Git을 선택
URL 입력:
- 원격 저장소의 HTTPS 또는 SSH URL을 입력
- 예:
  - HTTPS: https://github.com/username/repository.git
  - SSH: git@github.com:username/repository.git
Directory 설정:
- 로컬에 프로젝트를 저장할 디렉토리를 선택
Clone 버튼 클릭:
- IntelliJ가 저장소를 복제하고 프로젝트 디렉토리를 생성

3️⃣ 프로젝트 열기

저장소가 복제된 후, IntelliJ는 자동으로 프로젝트를 열기
프로젝트 구조를 IntelliJ가 인식하도록 프로젝트 모델 설정을 진행
- IntelliJ가 프로젝트를 자동으로 감지하는 경우, 해당 구조에 맞는 빌드 파일(pom.xml, build.gradle 등)을 로드
- 프로젝트에 Maven 또는 Gradle 파일이 있는 경우 IntelliJ가 이를 감지하고 필요한 의존성을 다운로드

4️⃣ Git 연결 확인

IntelliJ의 Version Control 창(하단 탭)을 열어, Git과 연결이 제대로 설정되었는지 확인
메뉴에서 VCS → Git → Repository List를 확인해 연결된 원격 저장소를 확인할 수 있음

5️⃣ 이후 작업

A. 브랜치 선택

IntelliJ 오른쪽 하단의 브랜치 선택기에서 기본 브랜치(main 또는 master)가 선택되었는지 확인
다른 브랜치로 작업하려면 브랜치 선택기에서 전환

B. 최신 코드 가져오기

상단 메뉴에서 VCS → Git → Pull을 선택하여 최신 소스를 가져오기

C. 코드 실행 준비

필요한 빌드 도구(Maven, Gradle 등)를 IntelliJ에서 설정하고, 의존성을 설치
프로젝트가 제대로 구성되었는지 확인한 뒤 코드를 빌드 및 실행

CLI로 추가 설정 후 IntelliJ에서 열기 (대안 방법)

1. Git 명령어로 Clone

IntelliJ를 열기 전에, 터미널에서 저장소를 클론
bash

코드 복사

git clone https://github.com/username/repository.git cd repository

2. IntelliJ에서 Clone된 디렉토리 열기

IntelliJ에서 **File → Open...**을 클릭하고 Clone된 디렉토리를 선택

프로젝트 파일(pom.xml, build.gradle 등)을 IntelliJ가 인식하도록 빌드 도구를 선택

python 패키지 - pandas 개요

현무랑 니니 — Sat, 23 Nov 2024 13:48:30 +0900

Pandas란 무엇인가?

Pandas는 Python에서 데이터 분석과 조작을 위한 고수준의 데이터 구조와 도구를 제공하는 오픈소스 라이브러리이다.

Pandas는 특히 구조화된 데이터(예: 테이블 형태의 데이터)를 처리하는 데 최적화되어 있어 데이터 분석, 정리, 변환 및 시각화를 효율적으로 수행할 수 있다.

Pandas는 NumPy를 기반으로 하며, 데이터프레임(DataFrame)과 시리즈(Series)라는 두 가지 주요 데이터 구조를 제공한다.

주요 개념

Series:
- 일차원 배열과 유사하며, 데이터와 데이터의 인덱스를 함께 저장한다.
- Python의 리스트나 NumPy 배열에 인덱스를 추가한 것과 비슷하다.
```
import pandas as pd
s = pd.Series([10, 20, 30], index=['a', 'b', 'c'])
print(s)
```
DataFrame:
- 이차원 데이터 구조로, 행(row)과 열(column)로 구성된 테이블 형태이다.
- DataFrame의 각 열은 Series이다.
- 데이터 분석에 적합한 기능과 유연성을 제공한다.
- 다양한 유형의 데이터(문자, 정수, 부동 소수점 값, 범주형 데이터 등)를 열에 저장할 수 있는 2차원 데이터 구조이다.
  스프레드시트, SQL 테이블 또는 R의 data.frame과 유사하다.
```
data = {'Name': ['Alice', 'Bob'], 'Age': [25, 30]}
df = pd.DataFrame(data)
print(df)
```
Indexing:
- 데이터에 접근하고 조작하기 위해 강력한 인덱싱과 슬라이싱 기능을 제공합니다.

주요 기능

데이터 로드 및 저장
- 다양한 파일 형식에서 데이터를 읽고 쓰는 기능:
  - CSV (read_csv, to_csv)
  - Excel (read_excel, to_excel)
  - SQL, JSON, HTML 등.
데이터 탐색 및 요약
- 데이터 구조 및 통계 요약 제공:
  - head(), tail(): 데이터 일부 조회
  - describe(): 요약 통계
  - info(): 데이터 구조 정보.
데이터 정제 및 전처리
- 결측치 처리 (fillna, dropna)
- 중복 데이터 제거 (drop_duplicates)
- 데이터 형식 변환.
데이터 조작
- 데이터 필터링 및 선택 (loc, iloc)
- 데이터 정렬 및 순서 변경 (sort_values, sort_index)
- 데이터 병합 및 조인 (merge, concat, join).
고급 기능
- 그룹화와 집계 (groupby, aggregate)
- 피벗 테이블 생성 (pivot_table)
- 시계열 데이터 처리 (resample, rolling).
고성능 연산
- NumPy 기반으로 빠른 벡터화 연산 제공.
- 대용량 데이터 처리를 위해 최적화된 연산 가능.
시각화
- Matplotlib, Seaborn과 통합하여 기본 그래프 시각화 가능 (plot).

Pandas의 특징

유연성: 데이터 필터링, 전처리, 조작 등 다양한 작업을 쉽게 수행.
대규모 데이터 지원: 메모리 효율적으로 대용량 데이터 처리.
통합성: 다른 데이터 과학 라이브러리(Numpy, Matplotlib 등)와 자연스럽게 연동 가능.
오픈소스: 무료로 사용 가능하며 활발한 커뮤니티 지원.

웹 페이지 원하는 내용만 인쇄하기 - 불필요한 내용 없이 깔끔하게!

현무랑 니니 — Mon, 4 Dec 2023 13:59:53 +0900

우리 모두 한 번쯤은 웹 페이지의 특정 내용을 인쇄하고자 할 때,

페이지의 불필요한 부분들 때문에 곤란을 겪어본 적이 있습니다.

사이트의 헤더, 푸터, 광고 등이 문서의 가독성을 떨어뜨리고, 종이와 잉크를 낭비하게 만드는 것이죠.

이러한 문제를 해결하기 위한 방법을 찾다가, 몇 가지 유용한 도구를 발견했고,

이를 통해 원하는 결과를 얻을 수 있었습니다.

편리한 무료 솔루션

1. Print Friendly & PDF
"Print Friendly & PDF"는 웹 페이지의 내용을 최적화하여 인쇄하거나 PDF로 저장하는 데 도움이 되는 서비스입니다.

사용 방법은 간단합니다.

먼저 인쇄하고자 하는 웹 페이지의 URL을 복사합니다.

그런 다음, Print Friendly 웹사이트에 접속하여 URL을 입력한 다음 'Download' 버튼을 클릭합니다.

이후 나타나는 페이지에서 불필요한 부분을 제거할 수 있으며,

필요한 내용만을 선택하여 인쇄하거나 PDF로 저장할 수 있습니다.

실제 사례

최근에 제가 조사하던 주제에 대한 기사를 프린트하고 싶었지만,

페이지에는 다양한 광고와 사이드바, 그리고 불필요한 이미지들이 많았습니다.

"Print Friendly & PDF"를 사용하여 이 모든 불필요한 부분을 쉽게 제거할 수 있었고,

깔끔한 문서 형태로 만들어 인쇄했습니다.

결과적으로, 원하는 정보만을 담은 깨끗한 문서를 얻을 수 있었습니다.

아래 2가지 예시를 보이겠습니다.

1) 5G에 대한 기술 내용

https://www.netmanias.com/ko/?m=view&id=blog&no=13361&tag=4117

방문한 곳에 헤더, 사이트 바 및 광고 등 불필요한 내용이 한 가득입니다.

"Print Friendly & PDF" 사이트에 접속합니다.

원문의 URL(https://www.netmanias.com/ko/?m=view&id=blog&no=13361&tag=4117)을 입력하고 [Preview]를 눌러줍니다.

① 기사만 읽어오고 중간에 있는 광고에 ②마우스를 올리면 휴지통이 나타나고,

이를 선택하면 √와 같이 광고가 제거 됩니다.

불필요한 것을 모두 제거하고 PDF 버튼을 누르면 PDF 변환이 되어 [PDF 다운로드] 팝업이 보입니다.

이 버튼을 눌러 기사 내용만 PDF 파일로 받습니다.

원하는 내용만 담긴 PDF 문서가 Acrobat Reader에 보입니다.

이제 유용하게 사용할 수 있겠지요.

사용자들에게 추천

이러한 도구들은 정말 손쉽게 사용할 수 있으며, 불필요한 페이지 내용으로 인한 불편함을 크게 줄여줍니다.

여러분도 웹 필요한 내용만 보거나 인쇄할 때, "Print Friendly & PDF"와 같은 도구를 활용해보시길 추천드립니다.

지금 바로 시도해보세요!

'NFL Big Data Bowl 2024' 캐글 경진대회 참여하기 (1)

현무랑 니니 — Fri, 27 Oct 2023 18:28:45 +0900

캐글 경진대회 참여기: 프로그래머에서 데이터 분석가로의 여정

오늘은 데이터 분석가를 준비하는 프로그래머로써 'NFL Big Data Bowl 2024' 대회에 참여하기로 결정한 흥미진진한 이야기를 여러분과 공유하려 합니다.

1. 캐글과의 첫 만남

데이터 분석에 필요한 데이터셋을 찾던 중 캐글을 알게되어 가입하여 데이터 분석의 세계에 첫발을 디뎠습니다.

캐글은 데이터 과학자와 머신 러닝 엔지니어를 위한 훌륭한 플랫폼으로, 전 세계의 다양한 데이터와 문제를 해결할 기회를 제공합니다.

2. NFL Big Data Bowl 2024

가입 후 얼마 지나지 않아 'NFL Big Data Bowl 2024' 대회 참여 초대 메일을 받았습니다.

이 대회는 NFL 데이터를 사용하여 미식축구 선수들의 경기력을 분석하고 예측하는 것이 주된 목표이며 상금도 십만 달러입니다. 이 대회는 많은 데이터 분석가와 프로그래머들에게 흥미로운 도전이 될 것입니다.

3. 준비 과정

대회에 참여하기 위해서는 몇 가지 준비 과정을 거쳐야 합니다.

데이터 이해

우선 제공된 데이터를 철저히 이해하는 것이 중요합니다. 이전 대회에서는 러닝백, 디펜시브백, 스페셜 팀, 패스 러시 플레이 등을 분석했으나 Next Gen Stats 선수 추적 데이터를 사용하여 실용적이고 창의적이며 새로운 통계를 생성했습니다.

NFL 데이터는 선수들의 위치, 움직임, 경기 상황 등 다양한 정보를 포함하고 있습니다. 이 데이터를 잘 이해하고 분석하는 것이 좋은 결과를 얻기 위한 첫걸음입니다.

경진대회 규칙을 준수하는 내용에 동의 후 아래와 같이 데이터를 받아서 분석을 시작합니다.

데이터셋을 읽고 다음과 같은 내용을 파악해본다.

데이터의 처음 몇 행을 확인하여 구조를 이해합니다.
데이터의 기술 통계를 확인하여 각 특성의 분포를 파악합니다.
결측치의 존재 여부를 확인합니다.
각 특성의 고유한 값과 그 분포를 확인합니다.
데이터 간의 관계를 파악하기 위해 적절한 시각화를 수행합니다.

데이터 전처리

데이터를 분석하기 전에는 데이터 전처리 과정을 거쳐야 합니다. 이 과정에는 누락된 값 처리, 이상치 제거, 데이터 정규화 등이 포함됩니다.

데이터 전처리는 결측값, 이상값을 처리하는 데이터 정제와 데이터 유형을 변환하거나 범위를 표준화 또는 정규화하는 등의 데이터 변환으로 이루어집니다.

모델 선택 및 학습

전처리된 데이터를 바탕으로 적절한 머신 러닝 모델을 선택하고 학습합니다. 여러 가지 모델을 실험해 보고, 교차 검증을 통해 모델의 성능을 평가합니다.

경진대회에 1위를 차지한 솔루션들은 Ensemble 모델, 딥러닝 모델 등의 분석모형을 사용하여 다양한 하이퍼 파라미터를 조정한 결과를 얻습니다.

각 대회의 1등 솔루션은 보통 대회 종료 후 공유되며, 다른 참가자들과 지식을 공유하는 목적으로 사용됩니다.

"1st and Future - Player Contact Detection"의 대회에서 1위인 솔루션은 아래 3개의 모델을 사용합니다.

쉬운 네거티브 샘플을 제거하기 위한 약한 xgb 모델
접촉을 분류하는 CNN
출력을 사후 처리하는 xgb 모델

결과 제출 및 평가

학습된 모델을 사용하여 결과를 예측하고, 이를 캐글에 제출합니다. 제출된 결과는 리더보드에서 확인할 수 있으며, 다른 참가자들과의 성능을 비교할 수 있습니다.

피드백 및 반복

제출한 결과에 대한 피드백을 받고, 필요한 경우 모델을 수정하거나 개선하여 다시 제출합니다.

대회가 종료될 때까지 이 과정을 반복합니다.

대회 종료 및 결과 확인

대회가 종료되면 최종 순위와 결과를 확인합니다.

경험 공유

참여한 대회에서 얻은 경험과 지식을 Kaggle의 Discussion 탭이나 개인 블로그 등에 공유할 수 있습니다.

4. 끝없는 도전

'NFL Big Data Bowl 2024' 경진대회의 참가를 단순히 경쟁을 넘어서 학습과 성장의 기회로 생각합니다.

다른 참가자들의 솔루션을 분석하고, 커뮤니티와 지식을 공유하며, 데이터 분석가로서의 역량을 키울 수 있는 좋은 기회가 될 것입니다.

마무리

이제 캐글 경진대회의 세계에 한 발짝 다가섰습니다. 캐글 경진대회 참여가 데이터 분석에 흥미와 동기를 부여할 것입니다.

데이터의 세계는 끝없이 넓고, 우리가 배울 것은 무궁무진합니다.

다음 포스팅을 통해 데이터 분석을 준비하는 상세한 과정을 통해 계속해서 도전하고, 배우고, 성장해 나가는 모습을 보이고자 합니다.

인공지능에서의 멀티모달(Multimodal)

현무랑 니니 — Thu, 14 Sep 2023 14:23:21 +0900

배경

나는 한국의 IT 개발자로 영어로 된 IT 용어를 접할 때 언어의 차이에서 오는 문제로 개념을 파악하는데 어려움이 있다.

한글로 된 멀티모달은 일단 의미가 와닿지 않는다.

그래서 멀티모달(Multimodal)의 언어적 기원과 특징을 찾아보았다.

멀티모달(Multimodal)의 언어적 기원과 특징

멀티모달(multimodal)이라는 용어는 라틴어에서 유래했고
"Multi-"는 '많은'을, "-modal"은 '방식'이나 '모드' 또는 modalis"(모양, 양식)를 의미한다.

따라서 멀티모달은 '여러 가지 방식'이나 '여러 가지 모드'를 동시에 사용한다로 해석한다.

기존 IT 에서의 멀티모달

기존 IT 분야에서의 멀티모달은 사용자 인터페이스(UI)에 관한 문맥에서 많이 사용된다.

예를 들어, 터치스크린, 음성 인식, 키보드 등 다양한 입력 방식을 하나의 시스템에서 지원하는 것을 의미할 수 있다.

특징

다양한 입력/출력: 여러 가지 방식으로 사용자와 상호작용
접근성: 다양한 사용자 및 장치에 대한 접근성을 높임.
유연성: 사용자가 원하는 대로 다양한 방식으로 서비스를 이용

인공지능에서의 멀티모달

인공지능에서의 멀티모달은 주로 다양한 타입의 데이터(텍스트, 이미지, 음성 등)를 동시에 처리하는 모델을 의미한다.

예를 들어, 텍스트와 이미지를 동시에 분석하여 더 정확한 결과를 도출하는 AI 모델이 그 예이다.

특징

데이터 융합: 여러 타입의 데이터를 하나의 모델에서 처리
고차원 분석: 단일 모드보다 더 다양한 정보를 분석하여 결과를 도출
효율성: 여러 타입의 데이터를 동시에 처리하기 때문에, 개별 모델을 각각 만드는 것보다 효율적

멀티모달의 차이점

구분	인공지능에서의 멀티모달	일반 IT 에서의 멀티모달
주요 목적	데이터 분석 및 처리	사용자 인터페이스
처리하는 데이터/입력	텍스트, 이미지, 음성 등	터치, 음성, 키보드 등
핵심 특징	데이터 융합, 고차원 분석	다양한 입력/출력, 접근성
대표적인 사용 예	자연어 처리, 이미지 분석 등	스마트폰, 웹 서비스 등

초보 개발자를 위한 웹 팝업 가이드: 레이어 팝업 생성하기

현무랑 니니 — Wed, 29 Mar 2023 18:21:48 +0900

Layered popup 개요

Layered popup은 웹 서비스에서 사용자 인터랙션을 돕기 위해 만들어진 팝업창 중 하나로,

HTML, CSS, JavaScript를 활용해 구현할 수 있다.

이러한 팝업은 일반적으로 웹 페이지의 다른 요소 위에 층처럼 겹쳐져 나타나며,

주로 사용자에게 중요한 정보를 전달하거나 추가적인 입력을 요청할 때 사용된다.

Layered popup의 동작 원리

1. HTML

먼저 웹 페이지의 HTML 구조에 팝업 요소를 추가한다. 이는 보통 div 요소로 구현되며, 필요한 경우 form 요소를 포함할 수도 있다.

2. CSS

팝업의 스타일을 지정하기 위해 CSS를 사용한다. 팝업을 화면 중앙에 표시하고, 다른 요소 위에 겹치도록 z-index를 높게 설정한다. 또한, 팝업이 처음에는 보이지 않게 display: none을 설정한다.

.popup-container {
  position: fixed;
  top: 0;
  left: 0;
  width: 100%;
  height: 100%;
  background-color: rgba(0, 0, 0, 0.5);
  display: none;
  z-index: 9999;
}

.popup-content {
  position: absolute;
  top: 50%;
  left: 50%;
  transform: translate(-50%, -50%);
  background-color: #fff;
  padding: 20px;
  border-radius: 5px;
}

3. JavaScript

팝업을 열고 닫기 위한 동작을 JavaScript로 구현한다. 일반적으로 버튼을 클릭하면 팝업이 나타나고, 닫기 버튼이나 배경을 클릭하면 팝업이 사라지도록 설정한다.

Layered popup의 간단한 예제

아래의 위에서 설명한 코드들을 종한합 예제로 사용자가 버튼을 클릭하면 팝업이 나타나고,

x를 클릭하면 팝업이 사라진다.

이런 Layered popup은 웹 페이지에서 중요한 정보 전달, 알림 등 다양한 목적으로 사용될 수 있다.

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <style>
    .popup-container {
      position: fixed;
      top: 0;
      left: 0;
      width: 100%;
      height: 100%;
      background-color: rgba(0, 0, 0, 0.5);
      display: none;
      z-index: 9999;
    }

    .popup-content {
      position: absolute;
      top: 50%;
      left: 50%;
      transform: translate(-50%, -50%);
      background-color: #fff;
      padding: 20px;
      border-radius: 5px;
    }
  </style>
</head>
<body>
  <button onclick="openPopup()">팝업 열기</button>

  <div id="layered-popup" class="popup-container">
    <div class="popup-content">
      <h2>레이어 팝업</h2>
      <p>팝업에 표시할 내용을 여기에 추가</p>
      <span class="close" onclick="closePopup()">×</span>
    </div>
  </div>

  <script>
    const popup = document.getElementById("layered-popup");

    function openPopup() {
      popup.style.display = "block";
    }

    function closePopup() {
      popup.style.display = "none";
    }
  </script>
</body>
</html>

컴퓨터 프로그램, 게임의 숨겨진 재미 Easter egg!

현무랑 니니 — Tue, 21 Feb 2023 01:22:32 +0900

Easter Egg의 의미와 유래

"Easter egg"은 일반적으로 컴퓨터 프로그램, 게임, 영화 또는 책에 숨겨진 유머나 비밀 기능, 은어, 또는 참고 자료를 나타내는 용어이다.

부활절에 계란을 숨기고 아이들에게 찾는 놀이에서 착안하여 소프트웨어와 게임의 원래 기능과 무관한 메시지를 숨겨 놓은 걸 이스터 에그(Easter Egg)라고 한다.

최초로 Easter egg라는 용어를 사용한 것은 1979년 Atari의 비디오 게임 "Adventure"의 개발자인 Warren Robinett이다.

당시 Atari는 게임 개발자들의 이름을 게임에 공개하지 않았으며, 로비넷은 이에 반발하여 스스로 게임 안에 비밀 구역을 만들었다. 그리고 이 구역 안에 "Created by Warren Robinett"이라는 문구를 추가하여 자신의 이름을 암시하는 Easter egg를 만들었다. 이후로 이러한 비밀 기능들을 "Easter egg"이라는 용어로 부르게 되었다.

이후에도 많은 프로그램에서 Easter egg가 추가되었으며, 이를 찾아내는 것이 프로그램 사용자들 사이에서 인기 있는 취미가 되기도 했다. 현재에는 많은 프로그램에서 Easter egg를 찾는 것이 사용자들 사이에서 널리 인기가 있다.

대표적인 Easter egg

"I am root"

- 리눅스 운영체제에서 "root" 권한을 가진 사용자로 로그인하면 보이는 Easter egg이다.

"Do a barrel roll"

- 구글 검색창에 이 문구를 입력하면 화면이 360도 회전하는 Easter egg가 실행된다.

"The cake is a lie"

- 포털 게임 시리즈에서 나오는 Easter egg이다. 이는 게임에서 약속된 보상인 "케이크"가 실제로는 없다는 것을 나타낸다.

"Konami code"

- 비디오 게임에서 유명한 Easter egg 중 하나로 "업, 업, 다운, 다운, 좌, 우, 좌, 우, B, A"를 입력하면 추가 기능이 나타난다.

"Power overwhelming"

- 스타크래프트 게임에서 나오는 Easter egg이다. 이 문구를 입력하면 게임에서 무적 상태가 된다.

Python의 Easter egg

Python에는 여러 개의 Easter egg가 있으며 그 중 일부는 다음과 같다.

▶ Zen of Python

파이썬 인터프리터에서 "import this"를 입력하면 Zen of Python이란 철학적인 글을 볼 수 있다.

▶ Antigravity

"import antigravity"를 실행하면 xkcd 코믹에서 유래한 웹페이지가 열린다.

이 외에도 파이썬에는 다양한 Easter egg가 있다. 이러한 Easter egg들은 파이썬 개발자들이 즐길 수 있는 작은 재미로 제공되며, 프로그래밍 언어에 대한 열정을 공유하는 방법 중 하나이다.

그러나 Easter egg가 프로그램의 안정성을 저해할 수도 있기 때문에, 보안 문제나 안정성에 영향을 미칠 가능성이 있는 Easter egg를 추가하는 것을 피해야 한다.

Visual Studio Code에서 OpenAI의 GPT-3으로 혁신적인 코드 작성 및 분석 방법

현무랑 니니 — Mon, 13 Feb 2023 01:11:01 +0900

1. Visual Studio Code에서 OpenAI의 GPT-3 사용하기

개요

OpenAI의 GPT-3은 자연어 응답과 완전한 코드를 생성하는 기능을 갖춘 최첨단 대규모 언어 모델이다.
확장을 통해 GPT-3을 Visual Studio Code에 통합하여 개발자는 이 강력한 도구를 활용하여 보다 효과적이고 효율적으로 코드를 작성하고 분석할 수 있다.

주요 기능

① GPT-3으로 코드 작성

GPT-3의 코드 작성 기능은 개발자를 위한 게임 체인저로 개발 시간을 절약하고 생산성을 높일 수 있다.
Visual Studio Code에서 GPT-3 프롬프트에서 자연어로 요청만 개발자는 코딩 문제에 대한 도움을 받고 코드 조각을 생성하고 전체 함수를 작성할 수도 있다.

특히 개발자는 새로운 프로그래밍 언어를 배우는데 시간을 소비하지 않고도 쉽고 빠르게 코드를 작성할 수 있다.

② GPT-3을 사용한 코드 분석

코드 작성 외에도 GPT-3을 사용하여 Visual Studio Code에서 코드를 분석할 수도 있다.
예를 들어 개발자는 GPT-3에 버그에 대한 코드 조각을 분석하고 이를 수정하기 위한 제안을 제공하도록 요청할 수 있다.
이는 대규모 프로젝트에서 작업하고 코드 문제를 신속하게 식별하고 수정해야 하는 개발자에게 특히 유용할 수 있다.

③ 보고서를 생성하고 코드 메트릭을 분석하는 것

코드 분석에 GPT-3를 사용할 수 있는 또 다른 방법은 보고서를 생성하고 코드 메트릭을 분석하는 것이다.
예를 들어 개발자는 GPT-3에 코드 줄 수, 코드 복잡성, 버그 수를 포함하여 코드베이스의 전체 구조 및 성능에 대한 보고서를 생성하도록 요청할 수 있다.
이는 코드베이스의 성능을 이해하고 개선이 필요한 영역을 식별해야 하는 개발자에게 유용한 도구가 될 수 있다.

결론

Visual Studio Code의 OpenAI의 GPT-3는 보다 효율적이고 효과적인 방식으로 코드를 작성하고 분석하려는 개발자를 위한 강력한 도구이다.
코드 생성 및 작업 완료, 버그 코드 분석, 보고서 생성 기능을 통해 개발자는 시간을 절약하고 생산성을 높일 수 있다.

2. Visual Studio Code에서 CodeGPT 사용 방법

개요

이 확장 중 하나인 CodeGPT을 통해 공식 OpenAI API를 통해 VSCode 내에서 GPT-3를 사용할 수 있다.
이것은 코드 편집기에서 ChatGPT를 사용하는 것과 동등한 기능을 제공한다.

사용 절차

① VSCODE에서 CodeGPT 설치

확장을 선택하고 (1) 'code gpt'를 입력하여 (2) 표시된 첫 code gpt를 선택하고 (3) 설치를 선택한다.

② API KEY 생성 및 등록

설치 후 설정을 눌러 [확장 설정]을 선택한다.

OpenAI의 API Key를 등록하기 위해 [API Key]를 누르면 아래 팝업 창이 나타난다.

[Create new secret key]를 눌러 키를 생성하고 복사해둔다.

[ctrl+shift+p]를 눌러 나타난 팝업 창에 [codegpt set]을 넣고 엔터 키를 누르고 나타난 텍스트 박스에 키를 붙여 넣는다.

③ CodeGPT에게 코드 요청하기

B-Tree.py 파일을 만들고 [# make a b-tree program] (1)코멘트를 쓰고 (2) [ctrl_shift+i]를 누르면 CodeGPT가 다음과 같은 코드를 생성한다.

같은 코멘트에서 동일하게 CodeGPT를 실행하면 유사한 코드를 생성해 주는데 이번에는 들여쓰기 오류가 있어 이전 생성한 코드와 머지를 하였다.

생성된 코드는 아래 더보기를 참고하면 된다.

# make a b-tree program

class Node:

def __init__(self, data):

self.data = data

self.left = None

self.right = None

# Function to insert a new node

def insert(node, data):

# If the tree is empty, return a new node

if node is None:

return Node(data)

# Otherwise recur down the tree

if data < node.data:

node.left = insert(node.left, data)

elif data > node.data:

node.right = insert(node.right, data)

# return the (unchanged) node pointer

return node

def inorder(node):

if node is not None:

inorder(node.left)

print(node.data)

inorder(node.right)

# Preorder function

def preorder(tree):

if tree:

print(tree.data)

preorder(tree.left)

preorder(tree.right)

# Postorder function

def postorder(tree):

if tree:

postorder(tree.left)

postorder(tree.right)

print(tree.data)

# Given a binary search tree and a number, inserts a new Node with the given number in the correct place in the tree. Returns the new root pointer which the caller should then use (the standard trick to avoid using reference parameters).

def search(node, data):

# Base Case: If tree is empty or key is present at root, we're done

if node is None or node.data == data:

return node

# Key is greater than root's key

if node.data < data:

return search(node.right, data)

# Key is smaller than root's key

return search(node.left, data)

root = None

root = insert(root, 50)

insert(root, 30)

insert(root, 20)

insert(root, 40)

insert(root, 70)

insert(root, 60)

insert(root, 80)

print("Inorder traveral of the given tree.")

print(inorder(root))

print(preorder(root))

print(postorder(root))

생성된 코드를 실행하면 정상적으로 수행된 결과를 볼 수 있다.

④ CodeGPT로 코드 분석하기

생성된 코드 중 inorder() 함수를 선택하고

마우스 오른쪽 버튼으로 클릭한 다음 "Explain CodeGPT" 옵션을 선택한다.

다음과 같이 CodeGPT가 새 창을 열고 코드를 설명한다.

간단한 코드 생성과 코드 분석을 통해 CodeGPT는 개발자에게 혁신적인 도구가 될 것으로 보인다.

이제 GPT와 같은 AI를 쓸 수 있는 개발 도구만이 살아남을 것이다.

Oracle Database 21c XE 시작하기: 계정 및 SQL 샘플 생성

현무랑 니니 — Sun, 5 Feb 2023 04:30:37 +0900

데이터베이스 관리 도구

Oracle Database 21c XE를 설치하면 오라클 데이터베이스 관리 도구들이 설치된다.

기본 설치되는 SQL*Plus는 Oracle 데이터베이스 작업을 위한 명령줄 인터페이스(CLI)이다.

사용자는 SQL 문, 스크립트 및 PL/SQL 블록을 실행할 수 있으며 데이터베이스와 직접 상호 작용할 수 있다.

SQL Developer는 Oracle 데이터베이스 작업을 위한 그래픽 사용자 인터페이스(GUI)로 데이터베이스를 관리하고, SQL 문을 실행하고, 그래픽 인터페이스를 통해 데이터베이스와 상호 작용하는 방법을 제공한다.

계정 생성

Oracle Database 21c XE 사용하려면 다음과 같이 사용자 계정을 생성해야 한다.

다음 명령을 입력하여 새 사용자 계정을 만든다.

Oracle Database XE를 시작한다. (설치 후 자동 실행되므로 따로 실행하지 않아도 된다.)

net start OracleServiceXE

SQL*Plus를 SYSTEM 사용자로 사용하여 데이터베이스에 연결한다:

sqlplus sys as sysdba

다음 명령을 입력하여 새 사용자 계정을 만든다:

CREATE USER <username> IDENTIFIED BY <password>;

생성한 계정에 필요한 권한을 부여한다.

GRANT CONNECT, RESOURCE, CREATE SESSION TO <username>;

실제 윈도 명령 프롬프트에서 위 명령들을 실행하고 결과를 확인해보자.

[ORA-65096: 공통 사용자 또는 롤 이름이 부적합합니다.]란 오류로 계정을 만들 수 없다.

ORA-65096 해결책

1. 접두어 있는 일반 사용자로 생성

오라클 12c부터 일반 사용자의 경우 사용자 생성에 c## 접두사를 사용해야 한다.

따라서 간단히 원하는 이름 앞에 지정된 접두어를 붙이면 된다.

c##test 이름의 일반 사용자 계정이 만들고 권한을 부여한 후 정상적으로 접속할 수 있다.

2. 접두어 없이 일반 사용자로 생성

_oracle_script내부의 숨겨진 Oracle 데이터베이스 매개변수로 참 또는 거짓의 값을 가지며 SQL 문이 스크립트의 일부로 실행되는지 또는 개별 명령으로 실행되는지를 결정한다.
_oracle_script가 true로 설정 되면 데이터베이스는 각 SQL 문을 스크립트의 일부로 처리한다.

사용자 및 역할 이름에 대한 완화된 제한으로 보안 취약점이 발생할 수 있기 때문에 개발환경에서만 설정하는 것이 좋다.
프로덕션 환경에서는 사용자 및 역할 명명 규칙에 대한 모범 사례를 따르는 것을 추천한다.

3. 접두어 없는 로컬 사용자로 생성

XEPDB1 데이터베이스에 test2 계정을 생성하고 권한을 부여하였다.

Oracle 데이터베이스에는 COMMON_USERS 및 LOCAL_USERS의 사용자 유형이 있다.

다중 테넌트 컨테이너 데이터베이스(CDB)는 여러 개의 독립적인 플러그 가능한 데이터베이스(PDB)를 포함하는 데이터베이스이다.

각 플러그 가능 데이터베이스에는 고유한 스키마, 테이블 및 기타 데이터베이스 개체 집합이 있다.

일반 사용자는 COMMON_USERS 유형으로 CDB 수준에서 생성되고 CDB 내의 모든 PDB에서 사용할 수 있고 모든 PDB에서 동일한 암호와 권한을 가진다.

로컬 사용자는 LOCAL_USERS 유형으로 특정 PDB에서 생성되고 해당 PDB에서만 사용할 수 있는 사용자이다. CDB 내의 다른 PDB에서는 사용할 수 없다. 이러한 사용자는 각 PDB에서 서로 다른 암호와 권한을 가질 수 있다.

Oracle DB 21C Express Edition(XE) 개요, 설치 및 설정

현무랑 니니 — Thu, 26 Jan 2023 15:48:59 +0900

개요

Oracle Database 21c Express Edition (XE)는 Oracle사에서 제공하는 무료 데이터베이스 관리 시스템이다. 이 버전은 개발자와 소규모 조직을 위해 제공되며, 가용 메모리와 CPU 코어 수에 제한이 있다.

설치

Windows 운영 체제에서 설치하는 방법은 다음과 같다:

Oracle Database 21c XE 다운로드 페이지(https://www.oracle.com/database/technologies/xe-downloads.html)에서 Windows 용 설치 파일을 다운로드한다.
설치 파일을 실행하여 설치를 시작한다.
설치 과정에서 요구되는 정보를 입력하고 설치를 완료한다.
완료 후 표시되는 중요한 정보 3가지 정보를 기억해야 한다.

다중 테넌트 컨테이너 데이터베이스
플러그할 수 있는 데이터베이스
오라클 데이터베이스를 관리하는 Enterprise Manager Database Express (EM)

데이터베이스 서비스 시작과 종료

Oracle Database XE를 설치하면 데이터베이스가 실행되어 바로 사용할 수 있다.

기본적으로 Oracle 데이터베이스 서비스는 컨테이너 데이터베이스(CDB)를 자동으로 시작하고 열지만 플러그형 데이터베이스는 기본적으로 닫힌 상태로 유지된다.
플러그형 데이터베이스(PDB)는 사용하기 전에 열어야 한다.

설치 후 다음과 같이 Windows 서비스를 사용하여 데이터베이스를 시작하거나 중지할 수 있다:

윈도우+R' 키를 눌러 실행창을 연다.
services.msc를 입력하고 Enter 키를 누른다.

서비스 창 OracleServiceXE에서 서비스를 찾고 마우스 오른쪽 버튼을 클릭해 메뉴에서 시작 또는 중지를 선택한다 . (정상적으로 설치된 경우 상태가 '실행 중'으로 표시되어 있다.)

또는 다음과 같이 net 명령을 사용하여 데이터베이스를 시작하거나 중지할 수 있다:

또는 다음과 같이 SQL PLUS를 사용하여 데이터베이스를 시작하거나 중지할 수 있다:

데이터베이스를 종료하려면 SQL Plus에서 다음 명령을 실행한다.

sqlplus / as sysdba
SQL> SHUTDOWN IMMEDIATE

데이터베이스 종료 후 SQL developer로 접속을 시도하면 다음과 같은 오류가 난다.

데이터베이스를 시작하려면 다음 명령을 실행한다.

SQL> STARTUP
SQL> ALTER PLUGGABLE DATABASE ALL OPEN;

Oracle Database 21c XE가 정상적으로 실행되는지 확인하는 방법들

윈도우 명령 프롬프트나 파워쉘에서 "sc query" 명령을 실행하여 서비스 상태를 확인한다.

sc query OracleServiceXE

Oracle SQLPlus: SQLPlus를 실행하고 "CONNECT sys as sysdba"를 입력하여 시스템 계정으로 데이터베이스에 연결, "SELECT status FROM v$instance;"를 입력하여 데이터베이스 인스턴스 상태를 확인한다.

윈도우 명령 프롬프트나 파워쉘에서 "lsnrctl status" 명령을 실행하여 서비스 상태를 확인한다.

lsnrctl은 Oracle 데이터베이스 리스너를 관리하는 명령줄 도구이고 리스너의 상태를 시작, 중지 및 확인하고 리스너 매개 변수 및 서비스를 구성하는데 사용된다.
lsnrctl은 Oracle Database 소프트웨어 패키지의 일부로 Oracle이 제공한다.
리스너는 Oracle 데이터베이스 시스템의 중요한 구성 요소이며 클라이언트 응용 프로그램과 데이터베이스 간의 연결 관리를 담당한다.

다음은 lsnrctl 사용 예제이다.

ChatGPT 사용 후기

현무랑 니니 — Wed, 18 Jan 2023 20:57:00 +0900

GPT-3 (Generative Pre-trained Transformer-3, 생성적 사전 학습된 변환기)는 2020년 5월 OpenAI에서 공개한 신경망 언어 모델이다. 이때 GPT-3는 사람이 쓴 것과 구별하기 어려울 정도로 좋은 품질의 대화, 번역이나 작문을 할 수 있어 큰 반향을 일으켰다.

이후 2022년 11월에 OpenAI에서 ChatGPT란 챗봇을 소개했다.

ChatGPT는 GPT-3 계역의 대규모 언어 모델을 기반으로 개발되었다.

챗봇은 사람과 대화하는 프로그램인데 ChatGPT는 최신 인공지능 챗봇으로 만물박사와 대화하는 느낌을 준다.

ChatGPT를 다양하게 활용할 수 있다.

다음은 일상 생활과 회사 업무에 ChatGPT를 사용한 몇 개의 사례들 보여주어 다양한 활용 가능성을 알아보려 한다.

OpenAI 누리집 접속 후 계정 생성

"Sign up"을 눌러 계정을 만들고 ChatGPT를 사용한다.

0123

영어 인터뷰 준비

첫 번째 질문을 해보자.

How do I prepare an english interview as foreigner?

일단 질문은 영어로 해보았다. 답변이 상세하게 타이핑된다. 답변이 마음에 들면 엄치 척을 눌러 평가할 수 있다.

"공통 인터뷰 질문에 대한 답을 준비하라."는 내용을 보고 공통 질문의 사례를 추가로 물어보았다.

What are common interview questions in English?

민감한 연봉에 대한 추가 질문에도 적절한 답변이 나왔다.

개발자

이번에는 한글로 질문했는데 영어로 답변이 나왔다.

텐서플로와 파이토치 중 인공지능 모델을 배포하기에 좋은지 물어보았고 답변은 텐서플로를 좀 더 추천하였다.

이번에는 더 구체적으로 전기차 충전 프로토콜 OCPP의 특정 메시지에 응답하는 데모 코드를 요청했다.

검색이나 github 등에서도 코드를 찾을 수 있겠지만 대화하듯 원하는 답을 즉시 얻을 수 있다는 것은 아주 큰 장점이 아닐 수 없다.

IT 아키텍트

전기차 충전 정보를 이용한 과금 시스템 구축을 문의하니 간단한 요약을 작성해준다.

경험이 없는 프로젝트에 대한 좋은 멘토로 활용할 수 있겠다.

추가로 테슬라가 사용하는 지불 시스템을 한글로 문의했더니 한글로 답변이 나왔다. 한글로도 답변이 가능하구나!

한계점

한글로 답을 주기는 하지만 대부분 영어로 대답한 점은 아쉬웠다. 다국어를 지원하여도 한글에 대한 지원은 제한적일 것으로 보인다.

또한, 최신의 일상적인 질문에 대한 답변은 기대에 미치지 못했다.

최신 소식에 대한 정보는 반영되지 않았다. ChatGPT는 2021년까지의 정보를 학습한 것으로 보인다.

하지만, 지속적으로 생성되는 정보를 검색엔진처럼 실시간으로 반영하기 위해 ChatGPT이 유사한 속도로 재학습하는 것이 언제 가능할지 기대가 된다.

데이터 전처리에 최빈값 (mode) 적용하기

현무랑 니니 — Mon, 21 Nov 2022 18:04:03 +0900

pandas.DataFrame.mode() 사용하기

mode 함수는 주어진 데이터셋의 행/열의 가장 자주 나타나는 값인 최빈값을 구하는 함수이다.
최빈값이 여러개일 경우 모두 표시한다.
이 때, 최빈값 이외의 값은 NaN을 출력한다.

사용 예::titanic의 학습 데이터셋에 mode() 사용하기

데이터셋은 kaggle에서 다음과 같이 받으면 된다.

타이타닉 학습 데이터

info() 함수와 describe()함수를 이용하여 확인한 타이타닉 학습 데이터의 기본 정보는 다음과 같다.

먼저 Cabin 열의 고유한 항목 수를 value_counts() 함수로 확인한다.

print(train['Cabin'].value_counts())

output>>>
B96 B98        4
G6             4
C23 C25 C27    4
C22 C26        3

최빈값을 찾아주는 mode()함수를 Cabin 열에 적용한 결과를 보자.

print(train['Cabin'].mode())

output>
0        B96 B98
1    C23 C25 C27
2             G6

value_counts() 함수와 동등한 결과를 출력한다.

단, 정렬 순서는 차이가 있다.

PassengerId 열과 Name 열을 뺀 데이터 셋에 mode()함수를 적용한 결과에서 최빈값 이외는 NaN으로 표시된다.

X_train = train.drop(['PassengerId', 'Name'], axis=1)
print(X_train.mode())

output>
   Survived  Pclass   Sex   Age  SibSp  Parch    Ticket  Fare        Cabin  \
0       0.0     3.0  male  24.0    0.0    0.0      1601  8.05      B96 B98   
1       NaN     NaN   NaN   NaN    NaN    NaN    347082   NaN  C23 C25 C27   
2       NaN     NaN   NaN   NaN    NaN    NaN  CA. 2343   NaN           G6   
  Embarked  
0        S  
1      NaN  
2      NaN

Cabin열은 결측치가 많으므로 mode()함수로 결측치를 최빈값으로 채울 수 있다.

Python::프로야구 팀순위 분석

현무랑 니니 — Tue, 19 Jul 2022 23:50:29 +0900

개요

빅데이터나 데이터 사이언스가 할 일의 가장 큰 부분은 데이터 전처리이다.

데이터 전처리는 데이터 정제와 데이터 변환으로 구성된다.

이번 포스팅은 이전 포스팅에서 쓴 데이터를 수집을 통해 읽은 데이터를 변환하는 방법을 사례를 통해 구현해 본다.

1. 데이터 수집

이번 포스팅은 Kaggle에서 타이타닉 데이터를 다루지는 않는다.

한국 프로야구의 팀 순위 데이터를 엑셀 파일로 저장한다.

kbo.xlsx

0.01MB

순위	팀명	경기	승	패	무	승율	게임차	최근10경기	연속	홈	원정
1	SSG	86	57	26	3	0.687	0	9승0무1패	6승	33-0-10	24-3-16
2	키움	87	54	32	1	0.628	4.5	6승0무4패	2패	25-1-18	29-0-14
3	LG	84	52	31	1	0.627	5	8승0무2패	1승	23-0-21	29-1-10
4	KT	84	44	38	2	0.537	12.5	9승0무1패	2승	21-1-22	23-1-16
5	KIA	83	42	40	1	0.512	14.5	4승0무6패	1패	20-0-20	22-1-20
6	롯데	85	38	44	3	0.463	18.5	5승0무5패	4승	16-3-25	22-0-19
7	두산	84	36	46	2	0.439	20.5	4승0무6패	1승	15-1-25	21-1-21
8	삼성	85	35	50	0	0.412	23	0승0무10패	11패	14-0-29	21-0-21
9	NC	83	32	49	2	0.395	24	4승0무6패	1패	17-2-22	15-0-27
10	한화	85	25	59	1	0.298	32.5	1승0무9패	6패	15-0-24	10-1-3

팀 순위 데이터를 읽어온다.

import pandas as pd

# read a dataset from the excel file
filename = 'C:/Dataset/kbo.xlsx'
sheet_name = 'kbo_2022_firsthalf'
df = pd.read_excel(filename, sheet_name=sheet_name)

2. 데이터 전처리 - 데이터 변환

2.1 Dataframe에서 특정 부분을 선택하기

먼저 읽은 데이터의 간결한 요약 정보를 알아본다..

print(df.info())


[결과]
<class 'pandas.core.frame.DataFrame'>
Int64Index: 10 entries, 0 to 9
Data columns (total 12 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   순위      10 non-null     int64  
 1   팀명      10 non-null     object 
 2   경기      10 non-null     int64  
 3   승       10 non-null     int64  
 4   패       10 non-null     int64  
 5   무       10 non-null     int64  
 6   승률      10 non-null     float64
 7   게임차     10 non-null     float64
 8   최근10경기  10 non-null     object 
 9   연속      10 non-null     object 
 10  홈       10 non-null     object 
 11  방문      10 non-null     object 
dtypes: float64(2), int64(5), object(5)
memory usage: 1.0+ KB
None

포스트 시즌에 진출할 팀 데이터를 보자.

team_to_play_postseason = df[df['순위'] <= 5]

print(team_to_play_postseason)
print(team_to_play_postseason.to_string(index=False))
print(team_to_play_postseason.values)

[결과]
   순위   팀명  경기   승   패  무     승률   게임차  최근10경기  연속         홈       방문
0   1  SSG  86  57  26  3  0.687   0.0  9승0무1패  6승   33-0-10  24-3-16
1   2   키움  87  54  32  1  0.628   4.5  6승0무4패  2패  25-01-18  29-0-14
2   3   LG  84  52  31  1  0.627   5.0  8승0무2패  1승   23-0-21  29-1-10
3   4   KT  84  44  38  2  0.537  12.5  9승0무1패  2승   21-1-22  23-1-16
4   5  KIA  83  42  40  1  0.512  14.5  4승0무6패  1패   20-0-20  22-1-20
=> 첫 인쇄문의 경우 순위 앞에 불필요한 인덱스가 있다.

 순위  팀명  경기  승  패  무    승률  게임차 최근10경기 연속        홈      방문
  1 SSG  86 57 26  3 0.687  0.0 9승0무1패 6승  33-0-10 24-3-16
  2  키움  87 54 32  1 0.628  4.5 6승0무4패 2패 25-01-18 29-0-14
  3  LG  84 52 31  1 0.627  5.0 8승0무2패 1승  23-0-21 29-1-10
  4  KT  84 44 38  2 0.537 12.5 9승0무1패 2승  21-1-22 23-1-16
  5 KIA  83 42 40  1 0.512 14.5 4승0무6패 1패  20-0-20 22-1-20
  => 다음 인쇄문은 데이터프레임을 테이블 형식으로 출력하는데 인덱스는 제외한다.
  
  [[1 'SSG' 86 57 26 3 0.687 0.0 '9승0무1패' '6승' '33-0-10' '24-3-16']
 [2 '키움' 87 54 32 1 0.628 4.5 '6승0무4패' '2패' '25-01-18' '29-0-14']
 [3 'LG' 84 52 31 1 0.627 5.0 '8승0무2패' '1승' '23-0-21' '29-1-10']
 [4 'KT' 84 44 38 2 0.537 12.5 '9승0무1패' '2승' '21-1-22' '23-1-16']
 [5 'KIA' 83 42 40 1 0.512 14.5 '4승0무6패' '1패' '20-0-20' '22-1-20']]
 => 마지막 인쇄문은 데이터프레임의 값만 반환한다.

홈에서 승률이 좋은 팀을 보려면 '홈' 열의 데이터를 분리해야 한다.

str.split(sep='-') 함수에서 구분 기호 '-' 를 사용하여 '승-무-패'를 '승', '무', '패'로 나눈다.

df['홈 승'] = df['홈'].str.split('-').str.get(0)
df['홈 무'] = df['홈'].str.split('-').str.get(1)
df['홈 패'] = df['홈'].str.split('-').str.get(2)
print(df.loc[:, '홈 승':'홈 패'])

[결과]
  홈 승 홈 무 홈 패
0  33   0  10
1  25   1  18
2  23   0  21
3  21   1  22
4  20   0  20
5  16   3  25
6  15   1  25
7  14   0  29
8  17   2  22
9  15   0  24

[동등한 코드]
df['홈 승'] = df['홈'].str.split('-').str[0]
df['홈 무'] = df['홈'].str.split('-').str[1]
df['홈 패'] = df['홈'].str.split('-').str[2]
print(df.loc[:, '홈 승':'홈 패'])

분리한 홈의 '승 무 패' 데이터는 문자열이므로 숫자로 변환한다.

문자열을 정수로 변환하는 함수로 pandas.to_numeric()를 사용한다.

이 함수는 실수나 정수를 반환하는데 매개변수 downcast를 사용하여 다른 dtypes을 얻을 수 있다.

변환에 오류가 있을 경우 NaN 값으로 치환하려면 'coerce'를 쓰면 된다.

변환을 위한 두 가지 방법을 비교해보자.

첫 번째 방법은 매개변수 downcast를 사용해 문자열을 숫자로 변환하고 가장 작은 숫자 dtype으로 다운캐스트한다.

두 번째 방법은 DataFrame.astype 함수를 사용하여 pandas 객체를 지정된 dtype으로 캐스팅한다.

# 방법1
df['홈 승'] = pd.to_numeric(df['홈 승'], downcast="integer", errors='coerce')
df['홈 무'] = pd.to_numeric(df['홈 무'], downcast="integer", errors='coerce')
df['홈 패'] = pd.to_numeric(df['홈 패'], downcast="integer", errors='coerce')
=> 변환할 때 오류가 나면 NaN로 값을 채운다.

#방법2
df['홈 승'] = pd.to_numeric(df['홈 승'], errors='coerce').fillna(0).astype(np.int64)
df['홈 무'] = pd.to_numeric(df['홈 무'], errors='coerce').fillna(0).astype(np.int64)
df['홈 패'] = pd.to_numeric(df['홈 패'], errors='coerce').fillna(0).astype(np.int64)
=> 변환할 때 오류가 나면 fillna(0)로 0으로 값을 채우고 astype(np.int64)으로 64비트 정수로 변환한다.

포스트 시즌에 진출할 수 있으면서 홈 승이 패보다 많은 팀의 데이터를 구해보자

포스트 시즌은 상위 5개 팀이 진출하므로 'df['순위'] <= 5' 조건을 적용하고

홈 승이 패보다 많은 조건은 'df['홈 승'] > df['홈 패']'를 사용한다.

그리고 인덱스 없이 인쇄하기 위해 DataFrame.to_string() 함수에 매개변수 index를 False로 설정한다.

top5_and_homewinner = df[(df['순위'] <= 5) & (df['홈 승'] > df['홈 패'])]
print(top5_and_homewinner.to_string(index=False))

[결과]
 순위  팀명  경기  승  패  무    승률  게임차 최근10경기 연속       홈      방문  홈 승  홈 무  홈 패
  1 SSG  86 57 26  3 0.687  0.0 9승0무1패 6승 33-0-10 24-3-16   33    0   10
  2  키움  87 54 32  1 0.628  4.5 6승0무4패 2패 25-1-18 29-0-14   25    1   18
  3  LG  84 52 31  1 0.627  5.0 8승0무2패 1승 23-0-21 29-1-10   23    0   21

데이터 변환에 사용한 기능을 요약하면 데이터 타입 변환, 문자열 분리 및 조건문 적용 등이다.

pandas로 표 형식 데이터 읽기

현무랑 니니 — Sun, 10 Jul 2022 23:26:45 +0900

데이터 사이언스의 시작은 데이터에 접근하는 것이다.

그래서 파이썬의 pandas 패키지로 표 형식 데이터를 읽고 쓰는 방법을 알아본다.

pandas 패키지가 지원하는 몇 가지 형식과 액세스 함수를 다음 표에 표시한다.

데이터 형식	파일 형식	읽기 함수	쓰기 함수
text	csv	read_csv	to_csv
	JSON	read_json	to_json
	HTML	read_html	to_html
	XML	read_xml	to_xml
binary	Excel	read_excel	to_excel
SQL	SQL	read_sql	to_sql

먼저 CSV 파일을 읽고 쓰는 함수로 read_csv(), write_csv()가 있다.

read_csv()

파일이나 URL 등에서 데이터를 읽어온다.

아래 코드는 github에 있는 타이타닉 데이터셋이 있는 URL을 통해 읽어 온다.

import pandas as pd

url = 'https://raw.githubusercontent.com/hyunmu/public/master/train.csv'
df = pd.read_csv(url)

읽어온 데이터셋의 내용은 아래와 같다.

print(df.head())

PassengerId  Survived  Pclass  ...     Fare Cabin  Embarked
0            1         0       3  ...   7.2500   NaN         S
1            2         1       1  ...  71.2833   C85         C
2            3         1       3  ...   7.9250   NaN         S
3            4         1       1  ...  53.1000  C123         S
4            5         0       3  ...   8.0500   NaN         S
[5 rows x 12 columns]

to_excel()

데이터프레임 객체를 엑셀 파일에 쓴다.

첫 번째 인수는 엑셀 파일의 이름이고 선택적 두 번째 인수는 DataFrame을 저장할 시트의 이름이다.

마지막 인수인 index에 None을 주어서 인덱스를 기록하지 않도록 한다.

df.to_excel('../data/train.xlsx', sheet_name='titanic', index=None)

read_excel()

엑셀 파일을 데이터프레임 객체로 읽어 온다.

읽을 파일 이름을 첫 번째 인수로 주고 다음 인수로 읽을 시트를 명시한다.

df = pd.read_excel('../data/titanic.xlsx', sheet_name='train')

to_csv()

데이터프레임 객체를 csv에 저장한다.

첫 번째 코드는 데이터프레임 객체에서 'Survived' 열을 제거하고 그 결과를 특성 데이터셋 X_train에 저장한다.

다음 코드는 'Survived' 열을 제거한 X_train을 csv 파일로 저장한다.

X_train = df.drop(columns=['Survived'])
X_train.to_csv('../data/titanic_train.csv', index=None)

엑셀 2010 xlsx/xlsm 파일을 읽고 쓰려면 추가로 openpyxl 같은 파이썬 패키지를 설치해야 한다.

Python에서 SQL 사용 (1)

현무랑 니니 — Thu, 5 May 2022 01:28:22 +0900

배경

회사의 일과 개인의 경력이 일치하지 않을 때가 있다.

2021년까지 인공지능, 데이터 사이언스 업무를 하였으나 2022년부터 다시 웹 개발을 하게 되었다.

어렵게 익힌 파이썬 기술은 점점 잊혀지고 백엔드 기술인 SQL은 이제 눈에 들어오는 정도이다.

두 기술 모두 중요하므로 함께 사용하기로 결정하니 마음이 편안해진다.

개요

먼저, 파이썬에서 SQL을 사용하기 위해 필수적으로 쓸 패키지는 SQLite이다.

SQLite는 서버 프로세스가 필요 없고 비표준 SQL 변형으로 데이터베이스에 접근할 수 있는 경량 디스크 기반 데이터베이스를 제공하는 C 라이브러리이다.

sql ite3 모듈은 DB-API 2.0 사양과 호환 되는 SQL 인터페이스 를 제공한다.

사용법

1. 데이터베이스 객체 생성

먼저 sqlite3 모듈을 사용할 데이터베이스를 나타내는 Connection 객체를 생성한다.111

import sqlite3
con = sqlite3.connect('ev_models.db')

2. Cursor 객체를 생성

Cursor 객체를 생성하고 execute 메서드를 호출하여 SQL 명령을 수행한다.

cur = con.cursor()

# 테이블 생성
cur.execute('''CREATE TABLE ev_sbsd
               (id INTEGER PRIMARY KEY AUTOINCREMENT,
               	model_name text, top_speed text, range text, subsidy integer)''')

# 데이터 삽입
cur.execute("INSERT INTO ev_sbsd VALUES ('Model 3 Long Range AWD','233','527.9','315')")

# 변경을 저장 (commit)
con.commit()

# 작업이 끝나면 연결을 종료한다.
# 변경을 commit 했는지 확인하지 않으면 변경은 사라진다.
con.close()

3. 삽입한 데이터를 확인

import sqlite3
con = sqlite3.connect('example.db')
cur = con.cursor()

for row in cur.execute('SELECT * FROM ev_sbsd'):
	print(row)

출력 결과는 다음과 같다.

(1, 'Model 3 Long Range AWD', '233', '527.9', 315)

실행 결과는 입력한 데이터가 정상적으로 표시된다.

[GIT] GitHub에서 파일 하나만 다운로드

현무랑 니니 — Wed, 5 Jan 2022 14:02:11 +0900

GitHub에서 소스를 받을 때 보통 'git clone'명령을 써서 저장소의 모든 파일을 다운로드한다.

때로는 전체 소스보다 필요한 파일만 받고 싶은 경우가 있다.

하지만 Git으로 저장소의 일부만 받는 방법은 쉽지 않다.

이번 글은 GitHub에서 필요한 하나의 파일만 받을 수 있는 쉬운 방법을 제시한다.

이 방법의 요약은 아래와 같다.

1. GitHub 저장소를 선택

2. 다운로드할 파일로 이동 후 내용 보기

3. GitHub 화면에서 [Raw] 버튼을 마우스 오른쪽 버튼으로 클릭

4. '다른 이름으로 링크 저장' 선택

다른 방법으로

4.' 명령 창에서 curl 명령 사용

상세한 절차

1. GitHub 저장소를 선택

2. 다운로드할 파일로 이동 후 GitHub 화면에서 내용 보기

3. [Raw] 버튼을 마우스 오른쪽 버튼으로 클릭

4. '다른 이름으로 링크 저장' 선택

4.' '링크 주소 복사' 선택 후 명령 창에서 curl 명령 사용

링크 주소 복사한 파일을 다운로드하는 curl 명령어

-L 옵션: 리디렉션 응답을 처리 (서버가 요청 페이지가 이동했다고 알리면 새로운 장소로 다시 요청하게 한다.)

-O 옵션: 저장할 파일명으로 리소스의 파일명을 그대로 사용

curl -L -O https://github.com/NCSC-NL/log4shell/raw/main/tools/log4shell_softwarelist/softwarelist_parser.py

curl 명령 실행 로그

nano 편집기로 파일 내용 확인 결과

위 명령을 사용하면 curl이나 wget 등의 명령으로 단일 파일을 다운로드할 수 있다.

AWS Cloud9 개요와 IDE 환경 설치 및 삭제

현무랑 니니 — Thu, 18 Nov 2021 15:39:46 +0900

AWS Cloud9 개요

AWS Cloud9은 클라우드 기반 통합 개발 환경(IDE)이다.

즉 로컬 IDE에서 할 수 있는 코딩, 빌드, 실행, 테스트 및 디버깅 등의 일들을 클라우드에서 수행하는 것이다.

웹 브라우저를 통해 AWS Cloud9 IDE에 접근한다.

AWS Cloud9 구성 및 작동 방식

Cloud9 구성은 개발자의 로컬 컴퓨터, AWS의 EC2 기반의 IDE환경 및 개발된 소스를 저장할 원격 저장소로 이루어진다. Cloud9은 웹 브라우저에서 실행되고 AWS Cloud9 환경에 연결된다.

서버 개발 환경은 클라우드(EC2 환경)나 자체 서버를 사용(SSH 환경)할 수 있고 원격 저장소도 AWS가 제공하는 CodeCommit이나 널리 사용되는 github 등을 구성할 수 있다.

(SSH 환경은 기존 클라우드 컴퓨팅 인스턴스에 AWS Cloud9을 연결하여 구성할 수 있으나 이번 포스팅에서는 제외한다.)

과금

AWS Cloud9에 대한 추가 비용은 없다.

AWS Cloud9 개발 환경이 EC2 환경인 경우 코드 실행 및 저장에 사용된 리소스(EC2 인스턴스, EBS 볼륨)에 대한 요금은 있다.

AWS 프리티어는 AWS Cloud9를 무료로 사용할 수 있지만 프리티어를 초과한 리소스에는 요금이 청구된다.

AWS Cloud9 설정하기

요약

1. AWS 계정 생성

2. AWS Cloud9 콘솔에 로그인 (AWS 계정 루트 사용자 또는 IAM 관리자)

3. AWS Cloud9 개발 환경 생성

EC2환경을 콘솔과 코드로 생성할 수 있다.

EC2환경 생성

콘솔을 사용한 EC2환경 생성 (GUI 방식)

1. AWS Cloud9 콘솔에 로그인

2. AWS 리전을 선택 후 Cloud9 서비스로 이동한다.

3. [환경 생성(Create environment)] 버튼을 선택하여 환경 생성을 시작한다.

4. 이름과 설정 구성 (Configure settings)을 선택하고 EC2 지원 환경을 생성한다.

5. Instance type(인스턴스 유형)은 작업에 필요한 RAM과 CPU가 있는 것을 선택한다.

(많은 RAM과 CPU는 추가 비용이 발생한다.)

6. 플랫폼(Platform)에는 Amazon EC2 인스턴스 유형으로 Amazon Linux(Red Hat 계열) 또는 Ubuntu를 선택한다.

ML이나 Data science 개발에 python, tensorflow 등을 사용하기 때문에 ubuntu(18.04.6)를 선택했다.

7. Cost-saving setting(비용 절감 설정)값은 윈도우의 ‘절전 모드’로 보면 된다.

일정 시간 사용하지 않으면 AWS Cloud9 IDE에 연결된 웹 브라우저가 닫히며 Amazon EC2 인스턴스를 종료한다.

8. 네트워크 설정은 기본 설정을 그대로 따른다.

기본 설정은 같은 AWS 계정 및 리전에 있는 기본 VPC와 서브넷이며, VPC를 설정하는 것은 이번 포스팅에서는 제외한다.

참고로 퍼블릭 서브넷은 인스턴스 SSM Agent가 System manager와 통신할 수 있도록 인터넷 게이트웨이를 연결하지만 프라이빗 서브넷은 인스턴스가 인터넷 및 다른 AWS 서비스와 통신할 수 있게 NAT 게이트웨이를 생성한다.

검토 페이지에서 Create environment(환경 생성)를 선택해 AWS Cloud9 환경을 생성한다.

생성된 Cloud9 IDE 환경이 나타나고 [Open IDE]를 선택하여 실행할 수 있다.

코드를 사용한 EC2환경 생성 (CLI 방식)

제약 사항 및 필요 조건

1. AWS CLI 설치

pip3 install awscli --upgrade --user

2. Boto3 패키지 설치

pip3 install boto3

python 3.6 이상 설치되어 있어야 함

3. AWS 계정의 인증 자격 증명 설정

로컬 컴퓨터에서 AWS CLI로 AWS 계정에 대한 인증 자격 증명을 설정한다.
자격 증명을 설정은 명령을 실행하거나 직접 파일을 생성한다.

3.1 AWS CLI명령어를 이용

aws configure

3.2

자격 증명 파일, ~/.aws/credentials 생성
파일에 계정의 비밀키 정보 추가

[default]
aws_access_key_id = YOUR_ACCESS_KEY
aws_secret_access_key = YOUR_SECRET_KEY

AWS 구성 파일, ~/.aws/config 생성
기본 리전과 출력 형식을 설정

[default]
region = us-east-2
output = json

python 언어로 EC2 환경 생성

1. Boto3로 사용할 서비스 지정

import boto3

client = boto3.client('cloud9')

2. Cloud9 개발 환경 생성

response = client.create_environment_ec2(
    name='myPyDevEnv',
    automaticStopTimeMinutes=30,
    description='This is the Cloud9 development environment for Python(Boto).',
    instanceType='t2.micro',
ownerArn='arn:aws:iam::123456789012:user/username',
    imageId='resolve:ssm:/aws/service/cloud9/amis/ubuntu-18.04-x86_64',
    subnetId='subnet-77e5651c',
    tags=[
        {
            'Key': 'Phase',
            'Value': 'Development'
        },
    ],
)

3. 실행

로컬 컴퓨터의 PyCharm IDE에서 위 코드를 실행한 결과이다.

4. 결과 확인

4.1 로컬 컴퓨터에서 응답 결과

{'environmentId': 'ca000000000000000000000000000000',
'ResponseMetadata':
     {
         'RequestId': '2cfxxxxx-e00a-0000-0000-00A000000A00',
         'HTTPStatusCode': 200,
         'HTTPHeaders': {
             'date': 'Thu, 18 Nov 2021 01:41:19 GMT',
             'content-type': 'application/x-amz-json-1.1',
             'content-length': '52',
             'connection': 'keep-alive',
             'x-amzn-requestid': '2cfxxxxx-e00a-0000-0000-00A000000A00'
         },
         'RetryAttempts': 0
     }
}

4.2 AWS Cloud9에서 확인

코드 실행 후 브라우저의 화면을 리프레쉬하면 Cloud9 개발 환경이 만들어져 있다.

AWS Cloud9에서 환경 삭제

콘솔을 사용하여 환경 삭제

1. AWS Cloud9 콘솔에 로그인 (AWS 계정 루트 사용자 또는 IAM 관리자)

2. 환경이 위치한 AWS 리전 선택

3. 삭제할 AWS Cloud9 환경을 선택하고 [Delete]를 선택

경고창에 'Delete'를 입력하면 [Delete]버튼이 활성화된다. 이것을 선택하여 삭제한다.

선택한 환경이 삭제되고 있다.

코드를 사용하여 환경 삭제

1. 삭제할 코드 작성

c9_delete.py

client = boto3.client('cloud9')

response = client.delete_environment(
environmentId='caXXXXXXXXXXXXXXXXXXXXXXXXXXX',
)

print(response)

environmentId는 AWS Cloud9 환경을 생성할 때 반환된 값이다.

2. 코드 실행

python3 c9_delete.py

3. 결과 확인

{
    'ResponseMetadata':
        {
            'RequestId': '9f2axxxx-0000-1111-2222-12345678901',
            'HTTPStatusCode': 200,
            'HTTPHeaders': {
                'date': 'Thu, 18 Nov 2021 02:29:38 GMT',
                'content-type': 'application/x-amz-json-1.1',
                'content-length': '2',
                'connection': 'keep-alive',
                'x-amzn-requestid': '9f2axxxx-0000-1111-2222-12345678901'
            },
            'RetryAttempts': 0
        }
}

꿈꾸는 사람.

[Pandas Groupby] 타이타닉 생존율 분석 (그룹별 상위 N개 추출 패턴)

[문제] 타이타닉 선실 등급별 상위10명의 생존율을 구하라.

[풀이 요약]

[상세 풀이]

[결론]

Python으로 테이블의 열을 가져오기

개요

판다스로 열을 가져오는 올바른 방법을 알아보자.

1. 하나의 특정 열 읽기

2. 여러 특정 열 읽기

3. 하나의 열(대여일자)에 조건을 걸어 행 필터링

pandas의 Groupby() 알아보기

1. groupby 정의와 개요

2. 주요 기능 3가지와 코드 예시

2‑1 Aggregation (집계)

2‑2 Transformation (변환)

2‑3 Filtering (필터링)

3. 핵심 포인트 요약

IntelliJ IDEA에서 Git 저장소의 소스를 가져와 프로젝트를 생성하는 방법

1️⃣ IntelliJ IDEA 시작

3️⃣ 프로젝트 열기

4️⃣ Git 연결 확인

5️⃣ 이후 작업

A. 브랜치 선택

B. 최신 코드 가져오기

C. 코드 실행 준비

CLI로 추가 설정 후 IntelliJ에서 열기 (대안 방법)

1. Git 명령어로 Clone

2. IntelliJ에서 Clone된 디렉토리 열기

python 패키지 - pandas 개요

Pandas란 무엇인가?

주요 개념

주요 기능

Pandas의 특징

웹 페이지 원하는 내용만 인쇄하기 - 불필요한 내용 없이 깔끔하게!

편리한 무료 솔루션

실제 사례

사용자들에게 추천

'NFL Big Data Bowl 2024' 캐글 경진대회 참여하기 (1)

캐글 경진대회 참여기: 프로그래머에서 데이터 분석가로의 여정

1. 캐글과의 첫 만남

2. NFL Big Data Bowl 2024

3. 준비 과정

데이터 이해

데이터 전처리

모델 선택 및 학습

결과 제출 및 평가

피드백 및 반복

대회 종료 및 결과 확인

경험 공유

4. 끝없는 도전

마무리

인공지능에서의 멀티모달(Multimodal)

배경

멀티모달(Multimodal)의 언어적 기원과 특징

기존 IT 에서의 멀티모달

특징

인공지능에서의 멀티모달

특징

멀티모달의 차이점

초보 개발자를 위한 웹 팝업 가이드: 레이어 팝업 생성하기

Layered popup 개요

Layered popup의 동작 원리

Layered popup의 간단한 예제

컴퓨터 프로그램, 게임의 숨겨진 재미 Easter egg!

Easter Egg의 의미와 유래

대표적인 Easter egg

Python의 Easter egg

▶ Zen of Python

▶ Antigravity

Visual Studio Code에서 OpenAI의 GPT-3으로 혁신적인 코드 작성 및 분석 방법

1. Visual Studio Code에서 OpenAI의 GPT-3 사용하기

개요

주요 기능

결론

2. Visual Studio Code에서 CodeGPT 사용 방법

개요

사용 절차

이제 GPT와 같은 AI를 쓸 수 있는 개발 도구만이 살아남을 것이다.

1. 하나의 특정 열 읽기

2. 여러 특정 열 읽기

3. 하나의 열(대여일자)에 조건을 걸어 행 필터링

1. groupby 정의와 개요

2. 주요 기능 3가지와 코드 예시

2‑1 Aggregation (집계)

2‑2 Transformation (변환)

2‑3 Filtering (필터링)

3. 핵심 포인트 요약