Bài viết này chia sẻ cách thiết lập connection, sử dụng dataflow gen2 để đọc dữ liệu từ sharepoint và import vào Fabric lakehouse Bronze layer.

① Cách thiết lập connection

Có 3 loại connector để connect vào dữ liệu trên sharepoint. Tùy vào dữ liệu liên kết chúng ta sẽ dùng connector cần thiết.

1. SharePoint Folder: Kết nối và truy xuất dữ liệu từ các tệp tin được lưu trữ trong thư mục trên SharePoint.
Tham khảo: https://learn.microsoft.com/en-us/fabric/data-factory/connector-sharepoint-folder-overview

2. SharePoint List: Kết nối và truy xuất dữ liệu từ các danh sách được lưu trữ trong SharePoint.
Tham khảo: https://learn.microsoft.com/en-us/fabric/data-factory/connector-sharepoint-list-overview

3. SharePoint Online List: Kết nối và truy xuất dữ liệu từ các danh sách được lưu trữ trong SharePoint Online.
Tham khảo: https://learn.microsoft.com/en-us/fabric/data-factory/connector-sharepoint-online-list-overview

LƯU Ý: Sharepoint Folder & Sharepoint List hiện tại chỉ hỗ trợ cho Dataflow Gen2

Trong “Manage Connection and gateways” chỉ có 1 lựa chọn “Sharepoint” duy nhất. Option này ứng với Sharepoint Online List connector. Với connector sử dụng Sharepoint Folder, Sharepoint List, chúng ta có thể tạo thông qua GUI của Dataflow Gen2.
Tham khảo: Set up your SharePoint Online List connection – Microsoft Fabric | Microsoft Learn

② Thiết lập Dataflow để read dữ liệu và write dữ liệu vào lakehouse table

2-1. Tạo mới DataFlow Gen2 Item
Vào workspace fabric vào chọn add new item.

2-2. Đặt tên cho DataFlow Gen2

2-3. Chọn GetData From Another source.

2-4. Chọn Sharepoint Folder
Ở bài chia sẻ này mình sẽ kiểm tra có thể sử dụng được phương thức connect file trên sharepoint bằng Online List connection đã tạo hay không, nên mình sẽ chọn “Sharepoint Folder”

2-5. Thiết lập source như sau

• Site URL: Thiết lập URL của SharePoint
• Connection: Nếu chưa có connection, các bạn giữ nguyên mục chọn “Create new connection”
  (Trường hợp các bạn đã được cung cấp connection mà không tìm thấy. Bạn đăng nhập lại account đã được phân quyền sử dụng connection. Nếu không có quyền sử dụng connection, bạn cần yêu cầu nhân viên quản lý phân quyền để sử dụng connection)

2-6. Chọn “Next” để đến trang preview dữ liệu trên sharepoint, sau đó chọn “create” để thiết lập source đến sharepoint cho dataflowgen2

2-7. Sau khi thiết lập data source, Data Flow Gen2 sẽ load giao diện PowerQuey với 1 danh sách các content như 2-6.
Chọn Content của file cần đọc dữ liệu. (Ở đây mình đã chọn file csv mình đã chuẩn bị sẵn)

Power Query sẽ tự động đọc dữ liệu và thực hiện các bước chỉnh sửa dữ liệu như sau.
Nếu dữ liệu được tự động chỉnh sửa không hợp với yêu, Chúng ta có thể sửa các bước chỉnh sửa dữ liệu ở Giao diện Query Settings ở bên phải màn hình Power Query

2-8. Chọn Destination
Sau khi chỉnh sửa dữ liệu, chúng ta sẽ chọn Data Destination/Lakehouse để thực hiện import dữ liệu vào lakehouse.

Giao diện “Connect to data destination” cho lakehouse sẽ hiện ra. Chúng ta sẽ chọn lakehouse cần import dữ liệu vào.

Chọn workspace, lakehouse, và thiết lập (hoặc chọn) tên cho table trong lakehouse.
Ở đây mình sẽ tạo 1 table mới để chứa dữ liệu của file trên sharepoint. Nên mình sẽ chọn option “New Table” và thiết lập như sau.

Ở Column Mapping. Chúng ta sẽ thiết lập mapping cho các column được thiết lập trên power query với các column sẽ tạo (hoặc đã có) của table.
Ở đây mình tạo mới 1 table mới, nên mình sẽ sử dụng option “Use automatic settings” table tự động tạo các column giống với data trên power query. Và chọn “Save Setting”

Sau khi save setting, chúng ta sẽ được quay trở về giao diện power query.
Như vậy chúng ta đã thiết lập xong dataflow gen2 để đọc dữ liệu từ 1 file csv trên sharepoint và import dữ liệu đã đọc vào 1 table trên lakehouse.

2-9. Close Data Flow Gen2 và thực hiện update để thực hiện update dữ liệu (thực hiện read data sharepoint và write vào input table)

2-10. Kiểm tra dữ liệu
Sau khi refresh thành công, Chúng ta có thể vào lakehouse để kiểm tra dữ liệu được write vào lakehouse.

③ Tổng Kết

Chúng ta có thể sử dụng cloud connection với sharepoint folder connector để để nối, đọc dữ liệu là các files và list data và import dữ liệu vào lakehouse theo dạng table.

Bài viết này dử dụng các thông tin hiện tại (2025-03-23) của Microsoft Fabric để thực hiện ingest sharepoint data vào lakehouse. Cần update thông tin của Fabric khi Fabric có các thay đổi cho các connector hay dataflow gen2