[파이썬] CSV 중복 데이터 제거

CSV 파일에서 특정 컬럼의 중복된 데이터를 제거하고 List로 저장하는 방법

 

[순서]

1.CSV파일을 읽어서, 특정 칼럼의 값을 읽어 List로 저장

2. 해당 List를 For문을 이용하여 중복 값 제거하고 저장

 

cat = CSV['CompanyName']  # companyName col extract      cat_val = cat.values  # input list      cat_list = cat_val.tolist()  # type list change

▶CSV에서 'CompanyName'이라는 Col의 데이터를 추출하여 cat_list에 저장

 

list = []  #빈 list 선언      num = 0    # 개수를 세기위해 변수 선언     for i in cat_list:         if i not in list:             list.append(i)             num += 1      Cnum = str(num)      print(Cnum + '개 있음.')

▶ 빈 list 선언 및 개수를 세기위한 변수 선언

▶ 추출한 cat_list에서 한개씩 꺼내어(i) list에 하나씩 append 하는데, append 하기 전에 기존 list에 값이 있는지 확인 후, 

     append한다. append 될 때마다 개수를 1개씩 더하고, for문이 끝나면 해당 개수를 출력한다.