ĐÂU LÀ GIÁ TRỊ CỦA CHÚNG TA!

BIVIET

Đâu là giá trị của chúng ta?

Data Integration

Các bài viết về Data Integration ETL

Lỗi khi convert pandas dataframe qua spark dataframe 4.9 (18)

Ví dụ: import pandas as pdimport pyspark.pandas as psfrom pyspark.sql import SparkSession # Giả sử bạn đã đọc dữ liệu từ Excel bằng Pandasdf_pandas = pd.read_excel(“your_file.xlsx”) # Chuyển đổi cột thời gian từ time64[us] sang string để tránh lỗidf_pandas[‘time_column’] = df_pandas[‘time_column’].astype(str) # Sau đó chuyển Pandas DataFrame sang Spark DataFramespark = SparkSession.builder.getOrCreate()df_spark = spark.createDataFrame(df_pandas) # […]

Tạo UDF (User-Defined Funtion) 4.6 (27)

Định dạng ngày giờ (Format) Ví dụ Ghi Chú %Y-%m-%d %H:%M:%S.%f 2024-09-06 12:30:45.123456 %Y-%m-%d %H:%M:%S 2024-09-06 12:30:45 %Y-%m-%d %H:%M 2024-09-06 12:30 %Y/%m/%d %H:%M:%S.%f 2024/09/06 12:30:45.123456 %Y/%m/%d %H:%M:%S 2024/09/06 12:30:45 %Y/%m/%d %H:%M 2024/09/06 12:30 %b %d %Y %I:%M%p Sep 06 2024 12:30PM Các format mẫu trong code Dùng code trên để đổi các column_name trong data […]

Scroll to top