FROM DATA TO DIRECTION
Đối Tác Tin Cậy
Đối Tác Tin Cậy
Các bài viết về Data Integration ETL
① Mục Đích Bài viết này hướng dẫn cách update dữ liệu cho 1 table trong lakehouse bằng pyspark chạy trên notebook của Microsoft fabric ② Nội Dung 2-1. Hai loại update dữ liệu chính <Loại 1> Update toàn bộ dữ liệu Đây là hình thức update toàn bộ dữ liệu trong table của lakehouse. […]
Ví dụ: import pandas as pdimport pyspark.pandas as psfrom pyspark.sql import SparkSession # Giả sử bạn đã đọc dữ liệu từ Excel bằng Pandasdf_pandas = pd.read_excel(“your_file.xlsx”) # Chuyển đổi cột thời gian từ time64[us] sang string để tránh lỗidf_pandas[‘time_column’] = df_pandas[‘time_column’].astype(str) # Sau đó chuyển Pandas DataFrame sang Spark DataFramespark = SparkSession.builder.getOrCreate()df_spark = spark.createDataFrame(df_pandas) # […]
Định dạng ngày giờ (Format) Ví dụ Ghi Chú %Y-%m-%d %H:%M:%S.%f 2024-09-06 12:30:45.123456 %Y-%m-%d %H:%M:%S 2024-09-06 12:30:45 %Y-%m-%d %H:%M 2024-09-06 12:30 %Y/%m/%d %H:%M:%S.%f 2024/09/06 12:30:45.123456 %Y/%m/%d %H:%M:%S 2024/09/06 12:30:45 %Y/%m/%d %H:%M 2024/09/06 12:30 %b %d %Y %I:%M%p Sep 06 2024 12:30PM Các format mẫu trong code Dùng code trên để đổi các column_name trong data […]