-
회고
2024년 1월 ~ 3월 회고
음... 1분기가 지나고 좀 있으면 2분기가 시작되는 시작.. 나에게 1분기는... 인생의 곡선에 쭉 아래를 찍고 서서히 위로 올라가는 기분이랄까..? J커브에 서 상승 곡선에 다다른 것 같은 느낌이 온다 옛날에는 활활 타오르는 장작이었다면 지금은 은은하게 타오르는 숯이 된 기분이랄까.. 뭔가 사람 자체에 여유가 생기면서 나 자신또한 성장하는 기분이 든다 나라는 사람이 이런 사람이었구나 나는걸.. 연애.. 못했다 아니 일부로 하지 않았다 만약 이전에 내가 연애를 했었더라면 진짠 내 자신이 최악이었다고... 말할 수 있을 거 같다 지금이야 할 수 있겠지 정서상 안정이 되었다고 말할 수 있을 테니깐 나의 상태는 2023년 후반기에 기점으로 사람이 달라졌다고 말할 수 있을 거 같다 사람 자체에 여유가 생겼다고..
-
Streaming System
Chapter 1. Streaming 101 (2)
진짜 볼때마다 느끼는건데 번역이 너무 아쉬워요... 스트리밍 시스템이 배치 시스템을 이기기 위해서는? 두가지가 필요하다 1. 정확성 (correctness) 정확성은 스트리밍시스템이 배치와 동등해지기 이해 필요한 조건이며, 핵심은 일관성을 제공할 수 있는 스토리지[consistent storage]로 귀결된다 스트리밍 시스템에서는 시간이 지남에 따라 영구 상태를 유지할 수 있는 체크포인트 방법이 필요하다 어떤 스트리밍 프레임워크든 체크포인트를 만듬에 따라서 중복을 최대한 방지하면서 멱등성를 보장하는 시스템을 설계하는것이 가장 이상적인데 과연 스트리밍 시스템에서 멱등성을 100프로 보장할 수 있을까 또한 스토리지는 장애 등의 상황에서도 일관성을 유지할 수 있도록 설계되어야한다. 스파크 스트리밍이 등장하면서..
-
Streaming System
Chapter 1 . Streaming 101 (1)
Streaming 101 스트리밍 데이터 처리 (Streaming data. precessing) 이 주목받는 이유는 다음과 같다 기업의 입장에서는 데이터에 대한 좀 더 시기적절한 통찰력이 중요한 때이고, 스트리밍으로 전환해 이런 통찰력을 빠르게 얻을 수 있다 현대에서는 대규모의 무한 데이터셋이 점점 더 보편화되고 있으며, 이러한 데이터는 끝없이 입력되는 데이터를 다룰 수 있도록 설계된 시스템을 사용하면 더욱 쉽게 처리할 수 있다. 데이터가 도착하는 시점에 처리될 수 있다면 시스템의 작업 부하가 고르게 분산 돼 좀 더 일관되고 예측 가능한 형태로 시스템 자원을 소비할 수 있다 결국 기업이 데이터를 다룰 수 있는 수단이 증가하고 데이터가 나오는 곳이 정해져 있지 않으니 스트리밍으로 전환하여 좀 더 능동적인..
-
spark
ValueError: Cannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when building DataFrame boolean expressions.
def convert_value_na_to_null(value): if value is None or (value == "") or (value.upper() == "NA"): return None else: return int(value) udf_convert_value_na_to_null = udf(convert_string_na_to_null, IntegerType()) converted_df3 = ( converted_df2. withColumn("year", convert_string_na_to_null(col("year"))). withColumn("month", convert_string_na_to_null(col("month"))). withColumn("dayofmonth", conver..
-
spark
WARN package: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.sql.debug.maxToStringFields'.
대처 방안 경고문에서 볼 수 있듯이 표시하려는 데이터의 양이 너무 커서 성능상 저하가 일어날 수 있기에 중간이 끊음 이걸 조절하는 conf config("spark.sql.debug.maxToStringFields", int(~~)") 조절하면 됨 기본값은 200으로 알 고 있음
-
회고
2024년 1월 ~ 3월 회고
음... 1분기가 지나고 좀 있으면 2분기가 시작되는 시작.. 나에게 1분기는... 인생의 곡선에 쭉 아래를 찍고 서서히 위로 올라가는 기분이랄까..? J커브에 서 상승 곡선에 다다른 것 같은 느낌이 온다 옛날에는 활활 타오르는 장작이었다면 지금은 은은하게 타오르는 숯이 된 기분이랄까.. 뭔가 사람 자체에 여유가 생기면서 나 자신또한 성장하는 기분이 든다 나라는 사람이 이런 사람이었구나 나는걸.. 연애.. 못했다 아니 일부로 하지 않았다 만약 이전에 내가 연애를 했었더라면 진짠 내 자신이 최악이었다고... 말할 수 있을 거 같다 지금이야 할 수 있겠지 정서상 안정이 되었다고 말할 수 있을 테니깐 나의 상태는 2023년 후반기에 기점으로 사람이 달라졌다고 말할 수 있을 거 같다 사람 자체에 여유가 생겼다고..
-
Streaming System
Chapter 1. Streaming 101 (2)
진짜 볼때마다 느끼는건데 번역이 너무 아쉬워요... 스트리밍 시스템이 배치 시스템을 이기기 위해서는? 두가지가 필요하다 1. 정확성 (correctness) 정확성은 스트리밍시스템이 배치와 동등해지기 이해 필요한 조건이며, 핵심은 일관성을 제공할 수 있는 스토리지[consistent storage]로 귀결된다 스트리밍 시스템에서는 시간이 지남에 따라 영구 상태를 유지할 수 있는 체크포인트 방법이 필요하다 어떤 스트리밍 프레임워크든 체크포인트를 만듬에 따라서 중복을 최대한 방지하면서 멱등성를 보장하는 시스템을 설계하는것이 가장 이상적인데 과연 스트리밍 시스템에서 멱등성을 100프로 보장할 수 있을까 또한 스토리지는 장애 등의 상황에서도 일관성을 유지할 수 있도록 설계되어야한다. 스파크 스트리밍이 등장하면서..
-
Streaming System
Chapter 1 . Streaming 101 (1)
Streaming 101 스트리밍 데이터 처리 (Streaming data. precessing) 이 주목받는 이유는 다음과 같다 기업의 입장에서는 데이터에 대한 좀 더 시기적절한 통찰력이 중요한 때이고, 스트리밍으로 전환해 이런 통찰력을 빠르게 얻을 수 있다 현대에서는 대규모의 무한 데이터셋이 점점 더 보편화되고 있으며, 이러한 데이터는 끝없이 입력되는 데이터를 다룰 수 있도록 설계된 시스템을 사용하면 더욱 쉽게 처리할 수 있다. 데이터가 도착하는 시점에 처리될 수 있다면 시스템의 작업 부하가 고르게 분산 돼 좀 더 일관되고 예측 가능한 형태로 시스템 자원을 소비할 수 있다 결국 기업이 데이터를 다룰 수 있는 수단이 증가하고 데이터가 나오는 곳이 정해져 있지 않으니 스트리밍으로 전환하여 좀 더 능동적인..
-
spark
ValueError: Cannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when building DataFrame boolean expressions.
def convert_value_na_to_null(value): if value is None or (value == "") or (value.upper() == "NA"): return None else: return int(value) udf_convert_value_na_to_null = udf(convert_string_na_to_null, IntegerType()) converted_df3 = ( converted_df2. withColumn("year", convert_string_na_to_null(col("year"))). withColumn("month", convert_string_na_to_null(col("month"))). withColumn("dayofmonth", conver..
-
spark
WARN package: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.sql.debug.maxToStringFields'.
대처 방안 경고문에서 볼 수 있듯이 표시하려는 데이터의 양이 너무 커서 성능상 저하가 일어날 수 있기에 중간이 끊음 이걸 조절하는 conf config("spark.sql.debug.maxToStringFields", int(~~)") 조절하면 됨 기본값은 200으로 알 고 있음