| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- cli
- RandomAccessFile
- FileChannel
- scaler
- Python
- CSS
- curl
- UV
- 정렬
- io
- json schema
- 이미지
- Docker Compose
- podman
- json
- scikit-learn
- vscode
- pandas
- Typescript
- Webpack
- Ollama
- drop_first
- Vite
- 열선택
- docker
- yaml
- vim
- tauri
- Java
- PowerShell
- Today
- Total
목록Data Science (17)
워로디스
DataFrameGroupBy 객체는 그대로 출력해도 내부 데이터가 보이지 않습니다.grouped = df.groupby("지역")print(grouped)# 대신 그룹 구조를 볼지, 각 그룹의 실제 데이터를 볼지, 집계 결과를 볼지에 따라 확인 방법을 선택하면 됩니다.1. 그룹 이름과 행 위치 확인: .groupsgrouped.groups예를 들어:{ "부산": Index([2, 3], dtype="int64"), "서울": Index([0, 1], dtype="int64")}각 그룹에 어떤 원본 인덱스가 포함됐는지 확인할 수 있습니다.그룹 키만 보고 싶다면:grouped.groups.keys()list(grouped.groups)2. 각 그룹의 실제 데이터 확인: 반복문가장 확실한 방법입니..
stack() / unstack()은 행과 열의 계층을 서로 이동시키는 함수입니다. 특히 MultiIndex가 있는 데이터를 변형할 때 사용합니다.핵심적으로 보면:stack() : 열 → 행 인덱스unstack() : 행 인덱스 → 열1. stack()은 언제 쓰나?가로로 넓게 퍼진 데이터를 세로로 길게 바꿀 때 사용합니다.import pandas as pddf = pd.DataFrame({ "국어": [90, 80], "수학": [85, 95]}, index=["철수", "영희"])print(df) 국어 수학철수 90 85영희 80 95df.stack()철수 국어 90 수학 85영희 국어 80 수학 95dtype: int64즉, 과목이 열에 ..
Pandas 라이브러리에서 데이터프레임의 구조를 변환할 때 사용하는 pivot과 pivot_table 메서드의 핵심 원리와 차이점, 그리고 올바른 사용 기준을 정리합니다.1. 피벗(Pivot)의 기본 원리피벗은 세로로 길게 나열된 데이터(Long format)를 가로로 넓은 교차표 형태(Wide format)로 재구조화하는 작업입니다. 이 과정에서 기존 데이터프레임의 컬럼들은 다음과 같이 3가지 역할로 재배치됩니다.Index (행 인덱스): 지정한 컬럼의 고유 값들이 새로운 데이터프레임의 세로축(행 기준)이 됩니다.Columns (열 헤더): 지정한 컬럼의 고유 값들이 가로로 펼쳐져 새로운 데이터프레임의 가로축(컬럼 이름)이 됩니다.Values (데이터 값): Index와 Columns가 만나는 교차점(..
Pandas에서 데이터프레임을 출력할 때 줄바꿈이 발생하는 것은 콘솔창의 기본 출력 너비가 제한되어 있기 때문입니다. 이를 해결하기 위해 Pandas의 set_option 함수를 사용하여 출력 설정을 변경할 수 있습니다.1. 출력 너비(Width) 확장데이터프레임이 줄바꿈 없이 가로로 넓게 출력되도록 전체 출력 폭을 늘리는 설정입니다. 숫자는 콘솔에 표시될 수 있는 문자(Character)의 개수를 의미합니다.import pandas as pd# 콘솔 출력 너비를 1000자로 확장 (필요에 따라 숫자 조절 가능)pd.set_option('display.width', 1000)2. 최대 출력 컬럼 수(Max Columns) 해제너비를 늘려도 전체 컬럼 수가 많을 경우, 줄바꿈 대신 중간 컬럼이 ...으로 ..
1. 관점의 차이: 방향성 vs 라벨 위치Pandas에서 메서드의 성격에 따라 axis를 바라보는 관점이 달라집니다.연산 함수 (sum, mean 등): 데이터를 계산하기 위해 "어느 축의 방향으로 이동할 것인가?"를 지시합니다.구조 변경 함수 (drop): 데이터를 삭제하기 위해 "어느 축에 있는 이름표(Label)를 찾을 것인가?"를 지시합니다.2. drop 함수에서의 axis 적용drop 메서드에서 axis는 특정 라벨을 찾기 위해 검색해야 할 인덱스(목차)의 대상을 지정합니다.drop(라벨, axis=0)탐색 대상: 0번 축 (행 인덱스, Row Index 묶음)수행 결과: 지정한 이름표를 찾아 해당 가로줄(행) 전체를 삭제합니다.drop(라벨, axis=1)탐색 대상: 1번 축 (컬럼 이름, C..
1. 개요본 문서는 텐서플로 2.x 환경에서 딥러닝 모델을 학습시킬 때 필수적으로 사용되는 학습 루프(Training Loop)의 동작 원리와 내부 메커니즘을 정리한 문서입니다. 모델의 가중치가 업데이트되는 과정, 프레임워크가 제공하는 자동 미분 도구의 역할, 그리고 이를 추상화하는 고수준 API의 적용 방법까지 단계별로 분석합니다.2. tf.GradientTape와 연산 기록의 원리텐서플로 2.x는 코드가 즉시 실행되는 '즉시 실행 모드(Eager Execution)'를 기본으로 채택하고 있습니다. 따라서 역전파를 수행하기 위해서는 순방향 연산 과정을 기억해 둘 별도의 장치가 필요하며, 이 역할을 tf.GradientTape가 수행합니다.2.1. 파이썬 with 문의 컨텍스트 관리작동 방식: 파이썬의 ..
1. 신경망은 층마다 다른 수준의 특징을 학습하는가?1.1 기본 답변: 대체로 그렇다깊은 신경망에서는 입력 데이터가 여러 층을 거치면서 점점 더 추상적인 표현으로 변환되는 경향이 있다. 특히 이미지 모델, 그중에서도 CNN에서는 이 현상이 비교적 직관적으로 관찰된다.1.2 이미지 모델에서의 예시층의 위치주로 학습되는 특징의 예초반 레이어선, 모서리, 색 대비, 질감, 방향성중간 레이어눈, 바퀴, 창문, 털, 물체의 부분 구조후반 레이어얼굴, 자동차, 동물, 장면, 클래스 수준의 의미초반층은 수직선, 대각선, 색 경계 같은 단순한 시각 패턴에 민감할 수 있고, 후반층은 “개 얼굴”, “자동차 형태”, “사람의 얼굴”처럼 더 의미적인 구조에 반응할 수 있다.1.3 주의할 점이것은 절대적인 규칙은 아니다. 모..
1. 전체 코드def remove_outliers_iqr(df, cols=None, k=1.5): """ IQR 기준으로 이상치를 제거하는 함수 df : pandas DataFrame cols : 이상치를 검사할 컬럼 목록. None이면 모든 수치형 컬럼에 적용 k : IQR에 곱할 계수. 일반적으로 1.5 사용 """ if cols is None: cols = df.select_dtypes(include="number").columns Q1 = df[cols].quantile(0.25) Q3 = df[cols].quantile(0.75) IQR = Q3 - Q1 lower = Q1 - k * IQR upper = Q3..