분류 전체보기 (73) 썸네일형 리스트형 Part 1. 데이터 엔지니어링 기반 구축하기 (1) 1. 1 데이터 엔지니어링 이란? 데이터 엔지니어링이라는 용어에 수많은 정의가 존재한다 데이터 엔지니어링은 회사의 조직 내의 다른 전문가가 데이터를 사용할 수 있도록 만드는 일련의 작업이다. 대규모의 데이터를 수집 및 저장하면서 추가 분석을 수행할 수 있는 데이터를 준비하기 위한 시스템을 설계하고 구축하려면 데이터엔지니어와 같은 전담 전문가가 필요하다 간단하게 말해서 조직의 데이터 인프라를 구축하고 운영해 분석가와 과학자가 추가 분석을 수행할 수 있도록 준비하는 것 데이터 엔지니어링 의 유형 1. 첫 번째 유형은 SQL 중심이다 데이터의 작업 및 기본 저장소는 관계형 데이터 베이스에 있음 2. 빅데이터 중심 데이터 작업 및 기본 스토리지는 하둡 카산드라 HBase 와 같은 빅데이터 기술에 기반함 2.1 .. 2023년 6월 ~ 9월 회고 부트캠프를 수료하고 창업 각을 재보았다 여러 방면에 조언과 도움을 받아보고 책도 많이 읽어가면서 창업이란 무엇이고 이 창업을 하기 위해서 어떤 리스크와 타이밍이 무엇인지 경험해 보았다 wework에 등록하여 치열하게 사는 삶을 구경하고 부산에서 들려 지인분께 조언도 들었다 부산 wework는 BIFC wework가 뷰가 정말 좋은거같다 스타트업 각이 맞는지 보면서 사람들과 얘기를 나눈 결과 .. 1. 역시 치열하다 2. 아이템이 확실하든 뭐하든 사람들 잘 봐야 한다 3. 아쉬울꺼 없을 때 해라 사활을 걸면 안 된다 4. 언제든지 접을 생각을 하고 진행해라 이렇게 4개가 공통적으로 보였다 결론은 아직은 아닌걸로 결정 났다 이유는 단순하다 경기 침체 이 이상은 얘기하지 않겠다 나는 이 부트캠프에서 확실한 자.. 프로그래머스 데이터 엔지니어링 1기 후기 수료한 지는 얼마 지나지 않았습니다 저는 전공자 입니다만 사람들이 흔히 말하는비전공자 관점에서 좋을지 안 좋을지 개인적인 견해를 담고자 합니다 1. 교육의 퀄리티 (사실상 이게 전부) 퀄리티만 보고 따졌을 때는 아~ 이런 느낌이었구나라고 진로 탐색 수준이라고 할 수 있을 거 같습니다 물론 이 프로그래머스 데엔 코스가 모든 걸 챙겨주지 않습니다 숟가락은 주는데 떠먹는 건 자기 자신인 거 같습니다 (뭐든 교육기관이 다 그렇지만요) 제가 생각하는 프로그래머스 데엔 코스의 가장 큰 목적이 네가 이 길이 맞는 거 같아? 이걸로 함축할 수 있을 거 같습니다 모든 강의 수준 이 좋다고는 말할 수 없습니다 Airflow(말단 까지 다루는 것이 아닌 airflow가 이런수준에 이렇게 까지 이용할 수 있구나 수준입니다) .. 2023년 4월 ~ 6월 의 회고.. 3월부터 6월까지 나를 찾는 여행을 시작하며 책을 읽으면서 나를 찾는 여행과 데이터 엔지니어링을 좀 더 공부하기 위해서 내가 진정으로 원했던 분야는 무엇인지 즉, 나를 찾는 여행의 종착지에 다 달았다 (진짜 여행을 간 건 아님 ㅋ) 독서 모임에 들어 책중에서 세네카의 말 이라는 책을 읽으면서 한 문구가 나를 자극했다 거센 폭퐁우를 만나 사방에서 불어오는 바람에 실려 똑같은 자리를 빙빙 맴돌며 표류했다고 해서 오랜 항해를 마쳤다고 볼 수는 없는 일이 아닌가 제대로 사는데 집중해라 이 책을 읽고 .. 나는 곰곰히 생각했다 내가 지금까지 걸어온 길에 대해서 열심히 살았다고 한 얘기들이 진정으로 나를 위해서 열심히 살았다고 자신 있게 얘기할 수 있는 것일까 나는 오랜 항해를 마쳤어라고 당당하게 얘기할 수 있을까.. CommandError: "Project-Directory" already exists. Overlaying a project into an existing directory won't replace conflicting files. 발생 경위 docker-compose 설정 후에 마운트를 진행하지 않고 docker-compose run "directory" django-admin startproject "project name" 진행 해결 방안 docker-compose up 해서 동기화 시킬것 1번이 안되면 container image를 내리고 compose 해볼것 django.core.exceptions.ImproperlyConfigured: The SECRET_KEY setting must not be empty. 발생 원인 django SECRET_KEY 를 .env 에 관리하는 차원에서 os.getenv("SECRECT_KEY") 을 하여 실행하였으나 가져오지 못하여 다음과 같은 오류가 생겼음 내가 생각할때는 env 를 못가지고 오는거같음 대처방안 이렇게 load_doenv 라이브러리 이용해서 env file를 불러오면 끝..! django.core.exceptions.ImproperlyConfigured: Cannot import 'appname'. Check that 'app.appname.apps.AppnameConfig.name' is correct. 나의 django directory 구조는 다음과 같다 발단 경위 django applicaton을 apps file에 이관하고 INSTALLED_APPS에 등록할 때 해당 오류가 발생 대처 방안 자신의 등록한 application apps.py에 name을 해당 파일 경로에 맞춰서 작성을 하고 해야 함 사진 첨부 Django --> Serializer 변환할때 TypeError: Object of type “???” is not JSON serializable JSON/PICKLE 은 모두 파이썬 기본 라이브러리 Dajgno QuerySet는 serializer rule를 가지고 있지 않음 serializer rule 를 직접 추가할 수 있음 추가 하려면 serializer rule 를 직접 추가하거나 해야함 DjangoJSONEncoder 이런거 이용해서 rule를 추가하거나 정 귀찮다 그러면 DRF를 사용해야함 이전 1 2 3 4 5 6 7 8 ··· 10 다음
