notty

앙상블 (Ensemble) : 예측기를 모아서 하나의 모델로 만든다 **앙상블 학습은 예측기가 서로 독립적일 때 최고의 성능을 보인다.** -why?: 각 분류기마다 서로 다른 종류의 오차를 만들어 서로가 보완적으로 작용할 수 있기 때문이다. -다른 종류(알고리즘)의 학습기를 사용한다 보팅 (Voting) -각각의 모델을 학습시킨다 (각각의 정확도는 80% 정도) -각 모델이 도출한 y를 투표를 통하여 최종 결정(다수결 투표 == 직접투표) 직접투표: 다수결 투표 (통계적 최빈값, 회귀의 경우 평균을 계산한다.) voting = 'hard' 간접투표: 개별 분류기의 예측 평균을 내어 가장 확률이 높은 클래스를 예측한다. -> 확률 높은 곳에 비중이 있음 == 직투보다 성능이 높다. voting = 'so..

오늘 할 일 -데이터 행별로 보면서 정상범위 밖으로 벗어나는 컬럼 삭제 침전수 탁도가 1NTU이상인 경우가 있음 -> 삭제필요 정수지 탁도가 800, 400에 찍혀있다니 -> 삭제필요(1이상 모두 삭제) 정수지 탁도가 침전수보다 큰 경우 -> 삭제필요 원수 알칼리도 20 이하값들 100이상 -> 보류 원수 전기전도도 0인 값 -> 보류 원수 유입유량 1000이하 6065 2013/09/11 05:00 6488 2013/09/28 21:00 22843 2015/08/16 14:00 22844 2015/08/16 15:00 31314 2016/08/05 15:00 51027 2019/10/17 15:00 52560 2019/12/20 13:00 60508 2020/11/17 15:00 원수 ph 5이하, 9..

지도, 비지도, 앙상블 머신러닝에 대하여 목적: 손실함수 최소 지도학습: KNN(k nearest neighbors) -cluster, classifier, regressor -k개의 제일 가까운 이웃을 이용 -거리계산: 유클리디안 거리 -classifier: 다수결에서 다를 예측값으로 -regressor: 평균 -장점: 쉬움 -단점:이상치 처리의 어려움 naive bayes -조건부확률을 사용 SVM(support vector machine) -목적: 마진값은 큰데 오차가 적은 초평면을 찾는것 -classifier, regressor -초평면을 이용해서 데이터의 오차가 가장 -내적이 0에 가까운 것들을 그린 것이 초평면 -w 벡터 가장 오차가 적은 벡터 (데이터를 가장 잘 설명할 수 있는 벡터) -w는..

https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11132820&nodeId=NODE11132820&medaTypeCode=185005&language=ko_KR&hasTopBanner=true 강화학습을 이용한 응집제 주입률 최적화 | DBpia 박종률, 허환, 서정수, 김태진, 심민규, 강문숙 | 대한전자공학회 학술대회 | 2022.6 www.dbpia.co.kr 서론 y: 적정 응집제 주입률(dosage rate) x: 유입 원수 의 탁도(Turbidity, TB), pH, 알칼리도(Alkalinity, Alk) 등의 수질인자 침전 공정이 끝난 침 전수의 탁도(Turbidity of Sedimentation Basin, TBS) 를 통해 적정한 ..

문제이해 --> EDA --> 데이터 전처리 문제이해: 목적을 정확하게 파악하고 목표점을 정한다 EDA: 주어진 데이터를 분석하고 데이터를 이해한다. 데이터 구조파악, 데이터 시각화(주요 피처 파악) 데이터 전처리: 중구난방인 데이터셋을 형태를 일정하게 만들어 주고 필요없는 내용은 걸러낸다. 문제 이해 -문제 정의, 해결해야할 문제 파악, 문제 유형(선형회귀/ 이진분류 등등), 평가 지표 EDA 데이터 구조 탐색 -파일별 용도 파악 -데이터의 양(레코드 수, 피처수, 전체 용량 등) -피처 이해(이름, 의미, 데이터 타입, 결측값 개수, 고윳값 개수, 실제값의 데이터 종류 등등) -훈련 데이터와 테스트 데이터의 차이 -타깃값: 제출(예측)해야 하는 값 데이터 시각화 -feature engineering ..

TS.상수원-취수원통합수질데이터.광역취수원(1분) ### 측정 일반 - measure_id: 측정 식별자; 각 측정을 구분하기 위한 고유한 식별자. - measure_date: 측정이 이루어진 날짜. ### 물의 물리적/화학적 특성 - turbidity: 물의 탁도; 물속에 떠다니는 입자의 양을 나타냄. - EC (Electrical Conductivity): 전기 전도도; 물의 이온 농도를 나타냄. - pH: 물의 산도; 산성이나 염기성 정도를 나타냄. - water_temp: 물의 온도. - DO (Dissolved Oxygen): 물속에 녹아 있는 산소의 농도. - TOC (Total Organic Carbon): 물에 있는 유기 탄소의 총 농도. - algae: 물속의 조류 농도. - alkali..

iPDA장치(EcoNovel, Company) -응집반응시 성장하는 플럭의 크기를 연속적으 로 측정할 수 있는 장치 -응집반응기에서 형성된 플럿 --> iPAD의 광센서를 통과하는 공안 투과한 빛의 강도를 광 다이오드 검출기에서 검출 --> 전기적 신호로 변환 -측정값: 현재 탁도와 관계한다 -DC(steady component): 투과된 빛의 평균 강도 -AC(flocculation component): 빛이 투과되는 현탁액 내의 입자수가 국부적으로 변화하여 생기는 강도 -RMS(root mean square): AC값의 평균에 대한 표준편차 -RMS/DC = Ratio: 플럭의 크기에 따라서 변화한다 ==> 응집에 관한 정보들을 얻을 수 있음

고탁도시 응집제 자동투입 적용방안 연구 응집효율 영향 미치는 인자 -탁도, 수온, 알카리도, ph, 전기전도도, 취수유량, 용존유기물, 혼화지 및 응집지 시설구조 원수탁도와 응집제주입률과의 상관관계 원수 탁도가 ~200NTU 구간에서는 응집제주입률을 크게 증가시킨다 200NTU이후의 경우에 비해서 원수탁도와 응집제주입률+알칼리도 상관관계 -알칼리도와 원수 탁도: 알칼리도는 원수 탁도와 직접적인 관계는 없음, 하지만 높은 알칼리도는 응집과정을 안정화 시킬 수ㅜ 있다고 한다 ==> 간접적인 관계 -원수탁도와 응집제 주입률: 원수의 탁도가 높을수록 더 많은 응집제가 필요할 수 있다 ==> 직접적인 관계 -응집제 주입률과 알칼리도: 높은 알칼리도는 ph에 덜민감 --> 응집제가 더 효과적으료 작용 --> 알칼리..

정수장 응집제주입 최적화를 휘한 플럭 모니터링 서론 -국내 정수 처리 공정 과정: 혼화, 응집, 침전, 여과 및 소독 공정 -플럭 형성 --> 혼화, 응집 은 침전 효율에 영향을 미친다 -침전성이 좋은 (알갱이가 큰) 플럭 형성 --> 원수 특성에 맞는 응집제 선정, 적정량 주입, 등등의 응집제 주입 방식 최적화 필요 -지금까지는 쟈테스트로 진행 --> 하지만 실제 현장의 상황을 반영하지 못한다는 연구 결과가 있음 **자테스트: 응집 실험 -원수의 특징에 최적인 응집제, 응집 보조제의 첨가량, ph값을 정할 때 실행한다. -처리될 배수에 가장 적당한 응집제의 종류, 첨가량, 첨가조건 등을 테스트하는 응집시험. -배수 처리시설일 때는 동절의 수온이 10℃ 이하로 되면 floc의 형성이 곤란하여 하절에 행한..