WARN package: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.sql.debug.maxToStringFields'.

 

 

• 대처 방안
  
  • 경고문에서 볼 수 있듯이 표시하려는 데이터의 양이 너무 커서 성능상 저하가 일어날 수 있기에 중간이 끊음 이걸 조절하는 conf
    • config("spark.sql.debug.maxToStringFields", int(~~)") 조절하면 됨 기본값은 200으로 알 고 있음