Feature : Oliveyoung scrapper by seoyeong200 · Pull Request #22 · brickstudy/ETL

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200 · 2024-11-11T09:31:28Z

올리브영 수집 코드 개발스펙 추가

TODO

refactor. requests & beautiful soup to webdriver via selenium
- driver class / method
refactor. apply item list paginating) collect items of each brand
add. review data scrapping
- need to collect each items' url
- in each url, collect review data
- click event # 1. order by date
- click event # 2. paginating
need to add dockeroperator in airflow - remote webdriver

데이터 구조 수정

ASIS

{
"듀오":
{"query_keyword":["DUO"],
"brand_shop_detail_url":"https://www.oliveyoung.co.kr/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"items":{"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 다크 튜브 7g":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 7g (다크, 클리어) 튜브 타입 택1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 14g ( 다크, 클리어 ) 튜브 타입 택 1":false,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 5g ( 다크, 클리어 ) 팁 타입 택 1":true,
"브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 7g":true},
"released_date":"2024-08-19"}
}

TOBE
items 필드 수정

"items" 필드
- asis : {제품명|str : 할인여부|bool}
- 1. id key 값으로 주고 name, url, is_promotion 리스트로 그냥 묶어서 value로
  - {id|str : [name|str, url|str, is_promotion|bool]}
- 1. items dataclass 안에 또 들어가기
- 1. 아예 클래스 분리하기
    Brand
최초 한번만 모아서 적재해놓고
아이템 일주일 단위로 최신화할때 이 데이터 블러서 url 뽑아서 아이템, 리뷰 크롤링

{
"brand_id":
{
"brand_name":"듀오"
"query_keyword":["DUO"],
"brand_shop_detail_url":"https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002348",
"category":["미용소품_아이소품"],
"released_date":"2024-08-19"}
}

Items

{
"itemID":
{"brand_id": "#####",
"name": "브랜드관^듀오_베스트^듀오 퀵셋 속눈썹 접착제 클리어 튜브 14g",
"url": "https://{domain}/store/display/getBrandShopDetail.do?onlBrndCd=A002820&t_page=%EC%83%81%ED%92%88%EC%83%81%EC%84%B8&t_click=%EB%B8%8C%EB%9E%9C%EB%93%9C%EA%B4%80_%EC%83%81%EB%8B%A8&t_brand_name=%ED%86%A0%EB%A6%AC%EB%93%A0",
"reviews": []
"is_in_promotion": True/False
}
}

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

seoyeong200and others added 30 commits August 30, 2024 03:46

fix : dockeroperator bug by adding proxy
8aa41b8

feature : get_soup 유틸쪽으로 이동
89233f2

fix : readme
fb0f20c

fix : bug- typo
b763d17

ADD : 인스타그램 url 수집 모듈 추가
aba1054

fix : close driver after url method returned
94e2d0d

add : materialize method in inscrawler
f299ae2

add : generate uid based on current datetime
9ea3206

add : crawling post data based on url(tested)
639e49f

delete : browser class
ddeeb45

fix : inscralwer 생성자 dev, prod 분리
87248de

add : 정해진 카테고리에 해당되는 브랜드명만 추출하는 모듈
0ab1ba2

ADD : instagram crawling dag
a66b2c5

fix : instagram 모듈 생성자에서 받는 arg 수정
932b294

fix : instagram dag 브랜드리스트 받는 부분 task 분리
f7a56ea

ADD : 임시 크롤러 스크립트
405b7e4

fix : 임시 태스크 버그 수정
42ef085

fix : refactor temporal task
4844003

fix : s3 path
6f6da8b

fix : crawler avoid account blocked
09ffaf4

fix : crawler - sleep 조정, 스크롤다운 추가
5ba7f38

add : humanize feature
c62a82c

add : catch suspicious account popup
0147d9a

fix : dummy
6e1666f

refactor : move driver_making component to utils
a31ea73

refactor : brand, items class 분리
6f8aab7

refactor : brand class 변수명 다듬기
f5ebd9d

fix : item 기본정보 수집기 동작 오류 수정, dataclass 추가
dae3191

add : 각 아이템 url 들어가서 리뷰 수집
38a8c2e

fix : dummy - main 함수, 함수 설명 추가
d1d3077

bug : oliveyoung item 수집 코드
7967502

Uh oh!

Conversation

seoyeong200 commented Nov 11, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

올리브영 수집 코드 개발스펙 추가

데이터 구조 수정

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

1 participant

Uh oh!

Conversation

seoyeong200 commented Nov 11, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

올리브영 수집 코드 개발스펙 추가

데이터 구조 수정

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

1 participant

Uh oh!

Conversation

seoyeong200 commented Nov 11, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

올리브영 수집 코드 개발스펙 추가

데이터 구조 수정

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

1 participant

Uh oh!

Conversation

seoyeong200 commented Nov 11, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

올리브영 수집 코드 개발스펙 추가

데이터 구조 수정

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

1 participant

Uh oh!

Conversation

seoyeong200 commented Nov 11, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

올리브영 수집 코드 개발스펙 추가

데이터 구조 수정

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

1 participant

Uh oh!

Conversation

seoyeong200 commented Nov 11, 2024• edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

올리브영 수집 코드 개발스펙 추가

seoyeong200 commented Nov 11, 2024•
edited
Loading

seoyeong200 commented Nov 11, 2024•
edited
Loading

seoyeong200 commented Nov 11, 2024•
edited
Loading

seoyeong200 commented Nov 11, 2024•
edited
Loading

seoyeong200 commented Nov 11, 2024•
edited
Loading

seoyeong200 commented Nov 11, 2024•
edited
Loading

seoyeong200 commented Nov 11, 2024•
edited
Loading

seoyeong200 commented Nov 11, 2024•
edited
Loading