[Day 5] Python

📍 예외 / 파일 / 로그 다루기(Exception / File / Log Handling)

  🔥 예외(Exception)

    - 예상 가능한 예외와 예상이 불가능한 예외가 존재

    - 예상 가능한 예외: 사전에 인지할 수 있는 예외로 잘못된 입력이나 호출을 할때 일어나고 명시적으로 처리해 줌(if 문)

    - 예상 불가능한 예외: 인터프리터 과정에서 발생하는 예외(ex. 리스트 범위를 넘어가는 값 호출, 0 나눔 등)

    - 위와 같이 예외에 대한 Handling이 필요한데 이럴 경우 사용하는 것이 Try ~ except 구문이다.

    - Try ~ except

 Try - 예외가 발생할 가능성이 있는 코드

Except - 예외가 발생했을 경우 대응하는 코드

Else - 예외가 발생하지 않을 경우 실행되는 코드

Finally - 마지막에 실행될 코드

*Raise - 필요에 따라 예외를 강제로 발생시킴

   -> if 문과 사용하는 경우가 있음

*Asser - 특정 조건에 만족하지 않을 경우 예외

   -> 함수에 맞는 파라미터 받기 위함 등

 

 

  🔥 파일(File)

Text File	Binary File
문자열 형식(사람이 이해)	2진법 형식(컴퓨터가 이해)
메모장으로 확인 가능	메모장에서 깨짐(호환 파일 필요)

    - 파일 처리를 하기 위해 open 키워드를 사용해야 함. 

 

              변수에 open으로 받아주고 close해주어야 함

  with 구문과 함께 사용하면 자동으로 close가 됨

 

    - 파일 열기 모드는 아래와 같다.

    - 'r' - read(): 파일을 통체로 읽음  /  readlines() - 한 줄씩 가지고 옴  /  readline() - 실행시 마다 한 줄씩 가지고 옴

    - 'w' - write() - 파일에 작성할 수 있음(기존에 있으면 지워짐)

    - 'a' - write() - append()와 동일한 기능(뒤에 추가)

    - os 모듈: mkdir() - 폴더 생성  /  exists() - 폴더가 있다면 True

    - shutil 모듈: copy()파일 복사

    - pathlib 모듈: path를 객체로 다룸.  cwd() - 현재 위치(Current Working Directory)

 

  📌 Pickle

    -> 파이썬의 객체를 영속화(persistence) 하는 built-in 객체로, 데이터, object 등 실행 중 정보를 저장해 나중에 불러와 사용할 수 있다. 저장해야 하는 정보, 계산 결과(모델) 등에 사용 된다.

 

  🔥 로그(Log)

    - 게임에 hack을 사용하는 사람들 때문에 골치가 아플 때 어떻게 잡아낼 수 있을까? 바로 log를 남기는 것부터 시작할 수 있다. 로그는 프로그램 실행 중의 정보(유저의 접근, exception, 특정 함수 사용)와 프로그램을 만들 때의 정보를 Consol 출력 화면, 파일, DB에 저장하는 것을 말한다. 이러한 정보를 분석해 의미있는 결과를 도출해 내는 것이 목표이다.(consol 출력 화면에 로그를 남기는 것은 분석 할 때에 남지 않아 사용이 어려움)

    - import logging 으로 debug, info, warning, error, critical 등의 함수를 사용해 위험도에 따라 기록할 수 있다.

    - 로그를 설정해 주기위해 configparser(프로그램 실행 설정을 file에 저장)이나 argparser(consol창에 setting 정보 출력)을 사용한다.

 

📍 파이썬 데이터 다루기(Python Data Handling)

  🔥 CSV(Comma Separate Value, 쉼표(,)로 구분한 텍스트 파일)

    - 엑셀 양식의 data를 손쉽게 공유하기 위해 사용(프로그램에 상관없이 사용 가능)

    - 메모장으로 열리고 일반적으로 test file을 처리하듯 읽어온 후 한 줄씩 처리하면 됨.

    - 문제점: 문장 자체에 쉼표 존재시, 한글을 처리해야 함.

    - import csv: csv파일 뿐 아니라 tsv등의 파일도 처리할 수 있는 모듈

 

  🔥 WEB(World Wide Web, 인터넷 공간의 정식 명칭)

    - HTTP라는 프로토콜(송, 수신을 위함)과 HTML(표시)를 사용함

    - 요청 -> 처리 -> 응답 -> 렌더링을 통해 사용자에게 보여줌

    - HTML: 웹 상 정보를 구조적으로 표현(Tag 사용, Markup Language라고 함), 규칙을 파악해 분석 가능

 

  🔥 정규식(Regular expression, 정규 표현식, regexp, regex라 불림)

    - 복잡한 문자열 패턴을 정의하는 문자 표현 공식

    - 특정한 규칙을 가진 문자열의 집합을 추출

    -> 010-0000-0000 -> ^\d{3}\-\d{4}\-\d{4}$ 

        123.123.123.123 -> ^\d{1, 3}\.\d{1, 3}\.\d{1, 3}\.\d{1, 3}$

    - 주민등록 번호, 전화번호, 도서 ISBN등 형식이 있는 문자열을 추출

    - tag를 사용한 형식을 정규식을 이용해 추출할 수 있다.

    - 아래 사이트를 활용하여 정규식을 연습할 수 있다.

regexr.com/

RegExr: Learn, Build, & Test RegEx

 

    - 문자클래스 '[]' 사이의 문자들과 매치 ex. [a-z], [0-9], [abc] 등 사용 가능

    - 메타문자: 정규식 표현을 위해 원래 의미가 아닌 다른 용도로 사용되는 문자

 

    - re모듈: search() 한개만 찾기, findall() - 전체 찾기  =>  tuple로 반환함.

 

  🔥 XML(eXtensible Markup Language)

    - Data의 구조와 의미를 설명하는 tag를 사용하는 언어, Tree구조를 가짐

    - HTML과 문법이 비슷 -> 정규 표현식으로 parsing이 가능함

 

  📌 Beautiful Soup 모듈

    -> HTML, XML 등 Markup 언어 scraping을 위한 대표적인 도구로 속도(xml 등의 모듈에 비해)는 상대적으로 느리나 간편히 사용할 수 있다.

    -> 사용하기 위해서는 lxml과 beautifulsoup를 설치해야 사용할 수 있음.

    -> find_all - 정규식과 마찬가지로 해당 패턴을 모두 반환

    -> get_text() - 반화된 패턴의 값 반환(tag와 tag 사이)

 

  🔥 JSON(JavaScript Object Notation, javascript의 데이터 객체 표현 방식)

    - 간결성으로 기계/인간 모두 이해가 쉬움

    - key:value 쌍으로 데이터 표시 -> dictionary type로 호환가능

    - 페이스북, 트위터, github 등 거의 모든 사이트가 사용

    - read: 구조확인 -> 읽어오기 -> dictionary type로 처리   ==>  roads 사용

    - write: dictionary type로 데이터 저장 -> json모듈로 write    ==>  dump 사용