비전공 엔지니어의 시행착오 경험담: 환경 데이터 처리, 왜 온라인 강의와는 다를까?

한 환경공학자가 Python과 Pandas로 엑셀 업무를 자동화하고 공공데이터·실험실 보고서를 분석했다.

하지만 환경 데이터는 결측치, 이상치, 비정상 시계열, 좌측 설측 자료 등 일반 데이터과학의 가정을 자주 깨뜨린다는 점을 발견했다.

이런 특성은 물리적·규제적 원인에서 비롯되므로, 범용 기법을 그대로 쓰면 분석과 법규 검토 결과가 왜곡될 수 있다고 지적한다.

작성자는 현재 도메인 규칙을 자동 정제 모듈로 묶어 환경 데이터 파이프라인에 적용하고 있다.