Là một giải pháp sao chép dữ liệu
Mirroring in Fabric là giải pháp
+ Chi phí thấp
+ Độ trễ thấp
để đưa dữ liệu từ nhiều hệ thống khác nhau vào OneLake.
Bạn có thể liên tục sao chép dữ liệu hiện có của mình trực tiếp vào OneLake của Fabric.
Tham khảo: Mirroring – Microsoft Fabric | Microsoft Learn
1. Các đối tượng dữ liệu có thể mirror
Các đối tượng dữ liệu có khả năng mirroring đang được phát triển, nhưng đến thời điểm hiện tại (2024/08), Microsoft Fabric cung cấp khả năng mirroring cho 3 loại dữ liệu sau.
① Azure SQL Database
② Azure Cosmos DB
③ Snowflake（1）
2. Mô Hình Chung
3. Mô hình ứng dụng
Với việc mirror dữ liệu vào Fabric, giúp các ứng dụng phân tích dữ liệu lớp Data Consumer dễ dàng truy xuất dữ liệu hơn thông sql endpoint được tích hợp sẵn.
4. Cách Thiết Lập
4.1. Các yêu cầu trước khi thiết lập
- Create or use an existing Azure SQL Database
- Enable Mirroring in your Microsoft Fabric tenant
- Enable the Fabric tenant setting Service principals can use Fabric APIs
- Networking requirements for Fabric to access your Azure SQL Database
4.2. Tiến hành thiết lập
Với bài viết này mình dùng Azure SQL Database để làm ví dụ.
4.2.1. Tạo Azure Sql Database Mirroring
Vào workspace fabric, Chọn “+New” > “More Option” để mở danh sách items
Trong vùng chọn Data Warehouse, chọn “Mirrored Azure SQL Database” (hiện tại vẫn đang là chức năng preview)
Bảng Database Connection hiện ra, Chọn database là “Azure SQL Database”
Tại trang Connection Setting, thiết lập các thông tin cho kết nối.
Hoặc các bạn có thể dùng lại kết nối đã được thiết lập trước.
Chọn “Connect” để qua bước chọn data để mirroring
Chọn “Connect” để tạo Thiết lập Mirroring Database Destincation (Database trên fabric)
Cuối cùng chọn “Create mirrored database”.
Database được tạo thành công. Các bạn sẽ được chuyển để trang database như hình dưới.
Chọn “Monitor replication” để kiểm tra tình trạng replication của các table. Nếu các table được replicated thành công, các bạn sẽ thấy được số lượng dữ liệu được replicated và thời gian cuối cùng thực hiện việc đồng bộ dữ liệu như hình dưới.
Đến đây các bạn đã tạo thành công Mirroring Database cho Azure SQL Database rôi.
Quay trở lại workspace để kiểm tra. Các bạn sẽ thấy, giống như lake house, 3 item dưới dây sẽ được tạo ra.
1. Mirroring Database
2. Semantic Model
3. Sql Analytic Endpoint
5. Preview Data
Trong Mirroring Database các bạn không thể xem được data đã được replicated.
Để xem cũng như truy vấn dữ liệu replicated các bạn chọn SQL Analytic Endpoint như hình dưới.
6. Các lỗi thường gặp khi thiết lập
6.1. Lỗi không kết nối đến Azure SQL Database
Đây là lỗi mà Connection từ Fabric không thấy được Azure SQL Database.
Để khắc phục lỗi này, các bạn kiểm tra thiết lập Sercurity của Azure SQL Database Server.
Nếu public network đang “disable”, các bạn cần mở Public Network cũng như cho phép kết nối như bên dưỡi.
1. Public Network Access: Selected Network
2. Chọn Allow Azure Services and Resources to access this server
6.2. Lỗi chưa turn-on System-assigned managed identity
Khi Fabric thiết lập giáo tiếp, xác thực với Azure SQL Database thông qua API, cần thông qua Managed Identity.
Để khắc phục lỗi này, các bạn chỉ cần vào Identity tag của Azure SQL Database server để turn-on option này lên.
6.3. Unable to grant required permission to the source server. PowerBI user with prefix…not found.
Lỗi này do chưa mở chế độ Service principals can use Fabric APIs. Azure SQL Database không tương tác được với Fabric.
Để khắc phục lỗi này, các bạn cần vào Admin Portal và Turn on Service principals can use Fabric APIs thành “Enable”
Đường dẫn: Tenant setting > Developer setting > Service principals can use Fabric APIs
Lưu ý: các bạn cần có quyền Fabric Administrator để thao tác với Tenant setting, nếu không các bạn có thể yêu cầu Fabric Administrator trong tổ chức để thiết lập.
6.4. Lỗi Request Failed with 409
Đây là lỗi chưa đăng ký sử dụng Mirroring Database trên Microsoft Fabric tenant
Các bạn cần vào Fabric Tenant Setting để thiết lập cho cho Database Mirroring thành Enable.
Đây cũng là thiết lập mà các bạn cũng cần phải có Fabric Administrator để thiết lập Tenant Settings
Đường dẫn: Tenant settings > Microsoft Fabric > Database Mirroring
