notty

pd.rename(columns = {'기존 이름':'바꿀 이름'}) -inplace = True or inplace = False pd.concat([df_1, df_2]) -axis = 1 : 옆으로 -axis = 0 : 아래로 (default) pd.merge(df_1, df_2, how = '', on = '') -how (병합옵션) : 'left', 'right' 등등 -on (뭐를 기준으로 합칠거임?) : '기준 열 이름' ++null을 다른 열의 값으로 대치++ df_1.combine_first(df_2)

400error로 인해 값이 들어오지 않은 경우 해당 경우의 연번을 확인하고 해당 연번 만 파싱 #연번 list_num = [ 30, 112, 178, 199, 478, 591, 649, 751, 752, 881, 902, 1136, 1203, 1271, 2199, 2609, 2645, 2850, 2983, 3000, 3073, 3171, 3469, 3786, 4100, 4565, 4761, 4872, 5099, 5131, 6087, 6196, 6270, 6275, 6915, 6977, 7209, 7213, 7238, 7244, 7286, 7341, 7361, 7514, 7767, 8197, 8226, 8284, 8344, 9297, 9384, 9580, 9621, 9662, 9743, 9959, 106..

df['신청질병 내용'] = df['신청질병 내용'].str.replace('\t', '') df['신청질병 내용'] = df['신청질병 내용'].str.replace('\n', '') df['신청질병 내용'] = df['신청질병 내용'].str.replace('\r', '')

import requests from bs4 import BeautifulSoup import pandas as pd # Step 1: Send an HTTP GET request to the URL pg_num = 66 data = [] for i in range(1,pg_num+1): url = f'https://jilbyungcase.comwel.or.kr/service/dataList?qw=&q=&gubun=%EC%A7%81%EC%97%85%EC%84%B1%EC%95%94+%EB%93%B1+%EC%95%85%EC%84%B1%EC%8B%A0%EC%83%9D%EB%AC%BC&gubun2=&viewType=&sortField=sort5&sortOrder=desc&pageIndex={i}&pageUnit..

import requests from bs4 import BeautifulSoup import pandas as pd from selenium import webdriver import time from selenium.webdriver.common.by import By driver = webdriver.Chrome() # Step 1: Send an HTTP GET request to the URL pg_num = 66 data = [] doc_data = [] sections = ['주문', '청구 취지', '신청 내용', '신청인 주장', '진료기록 및 의학적 소견', '인정 사실', '관계 법령', '위원회 판단 및 결론'] parsed_data = {section: [] for section ..

오늘은 다미언니가 차끌고 왔다. 그거 타고 오피스 ㄱ... 아 맞다 한글날이었다. 공휴일인데 공휴일 따위ㅎ 프로젝트 먼저지!아침에는 lstm완전 찐 최종 점ㅈ검 후 마무리도 끝나고 완전 마감했다. 점심에는 주물럭진 건너편 밥집에 가서 낙지몪음을 먹었다. 맛은 있었는데 불맛이 안나고 기름맛이 너무 많이 났다.. 아쉬워 역시 주물럭이 최고인건가..? 다 먹고 후식으로 롯데리아 소프트콘을 먹었다. 엄마랑 통화하고있었는데 아이스키름을 흘렸다. 그리고 다시 줍고 다시 흘렸다. 아무래도 엄마탓이 좀 크다. 내가 엄마 갱년기 걱정해주느라 흘린거니까,,,아마도?? 군집 후 모델 만드는거 성능이 잘 안나와서 모든 사람들이 붙어서 모델링을 하였다. 처음에는 군집을 안하고 했었는데 주입률이 높은 경우를 아예 예측하지 못하였..

앙상블 (Ensemble) : 예측기를 모아서 하나의 모델로 만든다 **앙상블 학습은 예측기가 서로 독립적일 때 최고의 성능을 보인다.** -why?: 각 분류기마다 서로 다른 종류의 오차를 만들어 서로가 보완적으로 작용할 수 있기 때문이다. -다른 종류(알고리즘)의 학습기를 사용한다 보팅 (Voting) -각각의 모델을 학습시킨다 (각각의 정확도는 80% 정도) -각 모델이 도출한 y를 투표를 통하여 최종 결정(다수결 투표 == 직접투표) 직접투표: 다수결 투표 (통계적 최빈값, 회귀의 경우 평균을 계산한다.) voting = 'hard' 간접투표: 개별 분류기의 예측 평균을 내어 가장 확률이 높은 클래스를 예측한다. -> 확률 높은 곳에 비중이 있음 == 직투보다 성능이 높다. voting = 'so..

오늘 할 일 -데이터 행별로 보면서 정상범위 밖으로 벗어나는 컬럼 삭제 침전수 탁도가 1NTU이상인 경우가 있음 -> 삭제필요 정수지 탁도가 800, 400에 찍혀있다니 -> 삭제필요(1이상 모두 삭제) 정수지 탁도가 침전수보다 큰 경우 -> 삭제필요 원수 알칼리도 20 이하값들 100이상 -> 보류 원수 전기전도도 0인 값 -> 보류 원수 유입유량 1000이하 6065 2013/09/11 05:00 6488 2013/09/28 21:00 22843 2015/08/16 14:00 22844 2015/08/16 15:00 31314 2016/08/05 15:00 51027 2019/10/17 15:00 52560 2019/12/20 13:00 60508 2020/11/17 15:00 원수 ph 5이하, 9..

지도, 비지도, 앙상블 머신러닝에 대하여 목적: 손실함수 최소 지도학습: KNN(k nearest neighbors) -cluster, classifier, regressor -k개의 제일 가까운 이웃을 이용 -거리계산: 유클리디안 거리 -classifier: 다수결에서 다를 예측값으로 -regressor: 평균 -장점: 쉬움 -단점:이상치 처리의 어려움 naive bayes -조건부확률을 사용 SVM(support vector machine) -목적: 마진값은 큰데 오차가 적은 초평면을 찾는것 -classifier, regressor -초평면을 이용해서 데이터의 오차가 가장 -내적이 0에 가까운 것들을 그린 것이 초평면 -w 벡터 가장 오차가 적은 벡터 (데이터를 가장 잘 설명할 수 있는 벡터) -w는..

https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11132820&nodeId=NODE11132820&medaTypeCode=185005&language=ko_KR&hasTopBanner=true 강화학습을 이용한 응집제 주입률 최적화 | DBpia 박종률, 허환, 서정수, 김태진, 심민규, 강문숙 | 대한전자공학회 학술대회 | 2022.6 www.dbpia.co.kr 서론 y: 적정 응집제 주입률(dosage rate) x: 유입 원수 의 탁도(Turbidity, TB), pH, 알칼리도(Alkalinity, Alk) 등의 수질인자 침전 공정이 끝난 침 전수의 탁도(Turbidity of Sedimentation Basin, TBS) 를 통해 적정한 ..