Slowly, Step by Step

어제, azure blob에서 update file 출력문 코드를 다 만들었다. 이제 전에 만들어놨던 slack api으로 bot 출력문코드와 연동되게끔 합쳤는데 오류가 났다. 1. from pandas.io.json import json_nomalize 오류 (1) AttributeError: module 'pandas' has no attribute 'read_csv' pandas.py 가 언제 생겼는지 모르겠는데 거기 2번째 줄 오류가 뜬대서 주석처리했는데도 안됨. (2) pandas에 json_nomalize가 없대 pandas.io.json에 json_nomalize가 없대 -> 내가 쓰고 있는 코드 폴더에 pandas.py가 생겨서 계속 삽질하다가 ( conda update pandas .....

1. today blob list 들 print 출처 입력 -> 불필요한 list ( 오늘일자가 아닌 list) 미포함 시켜 list print 하기 (1) import re 이용 re.match 으로 원하는 값만 가져오기 설정 (2) import datetime re.match의 인자를 오늘날짜(blob날짜 폴더명 형식)으로 지정하기 위해 datetime.datetime.now().strftime() 이용 print(blobs_filename_list) now = datetime.datetime.now() print(now) # 2018-07-28 12:11:32.669083 nowDate = now.strftime('%Y-%m-%d') print(nowDate) # 2018-07-28. (3) blo..

def blob_storage_connect(project, container_name) : (1) 입력된 환경변수 가져오기 connect_str = os.getenv('AZURE_STORAGE_CONNECTION_STRING') print('등록된 연결 문자열이 있습니다.') echo 으로 스토리지 계정의 컨테이너 키 값을 환경변수지정했다. (2) if 문의 조건이해 X connect_str 을 ';'으로 나눈다음에 그것이 배열인지 어떻게 알고 또 그것을 [-1]으로 나누는 것인지 모르겠다. if project == connect_str.split(';')[1].split('=')[-1]: (3) if 문 # Create the BlobServiceClient object which will be us..

try : 1. try: connect_str = os.getenv('AZURE_STORAGE_CONNECTION_STRING') print(connect_str) # Create the BlobServiceClient object which will be used to create a container client blob_service_client = BlobServiceClient.from_connection_string(connect_str) # Instantiate a ContainerClient container_client = blob_service_client.get_container_client( "smartwatchdata") blobs_filename_list = container_c..

# 연결 문자열 가져오기 connect_str = os.getenv('AZURE_STORAGE_CONNECTION_STRING') # 컨테이너 만들기 # # Create the BlobServiceClient object which will be used to create a container client blob_service_client = BlobServiceClient.from_connection_string(connect_str) # Instantiate a ContainerClient container_client = blob_service_client.get_container_client("smartwatchdata") blob_list = container_client.list_blobs(..

구현한 것 1. slack api 연동으로 생성한 bot 출력문 기능 2. 사용자가 적은 글에 스레드 댓글로 출력하는 기능 해야하는 것 1. azure blob 연결된 스토리지 계정 엑서스 키를 가지고 데이터 불러오기 2. 데이터 업데이트 하면서 업데이트 되면 알림 뜨게 하기 데이터 불러오기. 출처 입력 데이터를 불러오기. IF 웹크롤링 상황에서 feedparser 을 끌어와서 그에 대한 함수들을 이용하면 되는데 import feedparser feed = feedparser.parse("https://www.coindesk.com/feed/") coindesk_urls = [] #coindesk url들을 가져와서 저장시켜줄 객체 for entry in feed['entries']: coindesk_u..

requests :python에서 HTTP 요청을 보내는 모듈 https://m.blog.naver.com/PostView.nhn?blogId=myca11&logNo=221223246576&proxyReferer=https:%2F%2Fwww.google.com%2F HTTP 프로토콜 정의: 네트워크 상에서 통신을 하기 위한 규약 혹은 규칙 같은 것이다. HTTP 프로토콜(The Hypertext Transfer Protocol)은 이름 그대로, hypertext 를 전송하기 위한 프로토콜이다. hypertext - 정의 : 인터넷 상에서 서로 연결될수 있는 형태를 지닌 문서 : HTTP protocol 은 크게 보면, 어떤 형태로 요청하고 어떤 형태로 응답할 것인를 정의하고 있다 . 서버 와 클라이언트간..

JSON : JavaScript Object Notation 일반적으로 서버에서 클라이언트로 데이터를 보낼 때 사용하는 양식. 클라이언트가 사용하는 언어에 관계 없이 통일된 데이터를 주고받을 수 있도록 일정한 패턴을 지닌 문자열을 생성해 내보내면 클라이언트는 그를 해석해 데이터를 자기만의 방식으로 온전히 저장, 표시할 수 있게 된다. 과거에는 xml 파일이였다. json의 구조. pandas가 json자료구조를 읽어오는 방식 : 회사라는 Key에 딸려있는 values들 { "회사": [ { "이름": "Apple", "운영체제": [ "macOS", "iOS" ] }, { "이름": "Microsoft", "운영체제": [ "MS-DOS", "Windows" ] } ] } json nomalize : p..

저번주에 slack api로 출력문/ 스레드 출력했는데 안봤다고 바로 코드 이해 못함. ㅋㅋㅋㅋㅋㅋㅋㅋㅋ slack api 연동해 사용자 출력. bot 출력문 생성하기 (slack 회색코드문) 출처 입력 1. import 문 import json import requests from pandas.io.json import json_normalize # 라이브러리 임포트하기 import schedule import time request가 아마 api관련 모듈로 기억한다. import os, uuid from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient, __version__ 이거는 azure관련 import 문. 2. ..

해야할 일 1. azure portal에 업로드되는 파일의 폴더안 data 들을 주기적으로 파악해 new data 의 유무를 따져야한다 -> azure portal api 필요 업로드 파일들은 azure 클라우드에 들어가 blob container에 들어간다 ->container api 찾기 2. upload 파일 유무에 따라 3. 새 파일 생성되었다는 알림문 print. 새 파일 정보 (watch/ time) 만 알수있게끔. https://docs.microsoft.com/ko-kr/azure/storage/blobs/storage-quickstart-blobs-python 빠른 시작: Azure Blob 스토리지 라이브러리 v12 - Python 이 빠른 시작에서는 Python용 Azure Blob ..