분류 전체보기 (64) 썸네일형 리스트형 프로그래머스 데이터 엔지니어링 1기 후기 수료한 지는 얼마 지나지 않았습니다 저는 전공자 입니다만 사람들이 흔히 말하는비전공자 관점에서 좋을지 안 좋을지 개인적인 견해를 담고자 합니다 1. 교육의 퀄리티 (사실상 이게 전부) 퀄리티만 보고 따졌을 때는 아~ 이런 느낌이었구나라고 진로 탐색 수준이라고 할 수 있을 거 같습니다 물론 이 프로그래머스 데엔 코스가 모든 걸 챙겨주지 않습니다 숟가락은 주는데 떠먹는 건 자기 자신인 거 같습니다 (뭐든 교육기관이 다 그렇지만요) 제가 생각하는 프로그래머스 데엔 코스의 가장 큰 목적이 네가 이 길이 맞는 거 같아? 이걸로 함축할 수 있을 거 같습니다 모든 강의 수준 이 좋다고는 말할 수 없습니다 Airflow(말단 까지 다루는 것이 아닌 airflow가 이런수준에 이렇게 까지 이용할 수 있구나 수준입니다) .. 2023년 4월 ~ 6월 의 회고.. 3월부터 6월까지 나를 찾는 여행을 시작하며 책을 읽으면서 나를 찾는 여행과 데이터 엔지니어링을 좀 더 공부하기 위해서 내가 진정으로 원했던 분야는 무엇인지 즉, 나를 찾는 여행의 종착지에 다 달았다 (진짜 여행을 간 건 아님 ㅋ) 독서 모임에 들어 책중에서 세네카의 말 이라는 책을 읽으면서 한 문구가 나를 자극했다 거센 폭퐁우를 만나 사방에서 불어오는 바람에 실려 똑같은 자리를 빙빙 맴돌며 표류했다고 해서 오랜 항해를 마쳤다고 볼 수는 없는 일이 아닌가 제대로 사는데 집중해라 이 책을 읽고 .. 나는 곰곰히 생각했다 내가 지금까지 걸어온 길에 대해서 열심히 살았다고 한 얘기들이 진정으로 나를 위해서 열심히 살았다고 자신 있게 얘기할 수 있는 것일까 나는 오랜 항해를 마쳤어라고 당당하게 얘기할 수 있을까.. CommandError: "Project-Directory" already exists. Overlaying a project into an existing directory won't replace conflicting files. 발생 경위 docker-compose 설정 후에 마운트를 진행하지 않고 docker-compose run "directory" django-admin startproject "project name" 진행 해결 방안 docker-compose up 해서 동기화 시킬것 1번이 안되면 container image를 내리고 compose 해볼것 django.core.exceptions.ImproperlyConfigured: The SECRET_KEY setting must not be empty. 발생 원인 django SECRET_KEY 를 .env 에 관리하는 차원에서 os.getenv("SECRECT_KEY") 을 하여 실행하였으나 가져오지 못하여 다음과 같은 오류가 생겼음 내가 생각할때는 env 를 못가지고 오는거같음 대처방안 이렇게 load_doenv 라이브러리 이용해서 env file를 불러오면 끝..! django.core.exceptions.ImproperlyConfigured: Cannot import 'appname'. Check that 'app.appname.apps.AppnameConfig.name' is correct. 나의 django directory 구조는 다음과 같다 발단 경위 django applicaton을 apps file에 이관하고 INSTALLED_APPS에 등록할 때 해당 오류가 발생 대처 방안 자신의 등록한 application apps.py에 name을 해당 파일 경로에 맞춰서 작성을 하고 해야 함 사진 첨부 Django --> Serializer 변환할때 TypeError: Object of type “???” is not JSON serializable JSON/PICKLE 은 모두 파이썬 기본 라이브러리 Dajgno QuerySet는 serializer rule를 가지고 있지 않음 serializer rule 를 직접 추가할 수 있음 추가 하려면 serializer rule 를 직접 추가하거나 해야함 DjangoJSONEncoder 이런거 이용해서 rule를 추가하거나 정 귀찮다 그러면 DRF를 사용해야함 chapter 1. 빅데이터의 기초 지식 1-1 빅데이터의 정착 '분산 시스템의 발전'과 '클라우드의 서비스의 보급'에 따라 대량의 데이터를 효율적으로 처리하는 일이 어렵게 되면서 분산처리가 발달되었다.. 분산 시스템에 의한 데이터 처리의 고속화 - 빅데이터의 취급하기 어려운 점을 극복한 두 가지 대표 기술 일단 현대에 들어오면서 대량의 데이터를 작은 회사에서도 다룰 수 있는 기회가 많아지고 그 데이터 안에 새로운 가치를 창출하거나 의사 결정을 위해 이용하는 일이 보편화되었다고 말할 수 있다. 가장 대표적으로 클라우드 가 발전함에 따라 회사에 규모에 의해 좌우되었던 infrastructure 가 극복 되면서 누구라도 대용량 데이터를 다룰 수 있는 기회가 주어졌음 물론 돈만 있다면 ㅎ 빅데이터를 취급하기 어려운 이유는 2가지라고 볼 수 있다 데이.. Pandas concat -> Groupby 이후 KeyError: 'columns' 발생경위 2개의 데이터프레임을 concat 하고 groupby -> mean 이후 컬럼 접근 대처방안 timestamp 열이 index로 설정되어 있기 때문 그렇기에 timestamp는 column이 아닌 index로 잡히기 때문에 접근이 불가함 대처법은 reset_index() 함수를 사용하여 열로 변환 하면 됨 import pandas as pd import pandas as pd # 첫 번째 데이터프레임 생성 df1 = pd.DataFrame({'일자': ['2020-01-01', '2020-01-02', '2020-01-03'], '값1': [10, 20, 30]}) # 두 번째 데이터프레임 생성 df2 = pd.DataFrame({'일자': ['2020-01-03', '2020-01-04', '.. 이전 1 2 3 4 5 6 7 8 다음
