Kho dữ liệu Azure SQL là gì?

Spread the love

Microsoft đã chuyển đổi các dịch vụ Azure của mình thành các giải pháp đám mây cấp doanh nghiệp kết hợp các tính năng tiên tiến như quản lý và phân tích dữ liệu.

Microsoft đã ra mắt Kho dữ liệu Azure SQL khi họ đưa ra quyết định sử dụng đám mây. Microsoft đang thúc đẩy Kho dữ liệu Azure SQL với năng lượng lớn. Đây là một dịch vụ quản lý cơ sở dữ liệu linh hoạt kết hợp các tính năng kho dữ liệu đàn hồi với nó.

Kho dữ liệu Azure SQL là gì?

Azure SQL Data Warehouse (hiện được gọi là Azure Synapse Dedicated SQL Pool, một kho dữ liệu dựa trên đám mây, cho phép bạn tạo và cung cấp một kho dữ liệu trên Microsoft Azure. Azure Data Warehouse có thể xử lý lượng lớn dữ liệu quan hệ và không quan hệ. Nó cung cấp Khả năng kho dữ liệu SQL và một nền tảng điện toán đám mây.

Nó hỗ trợ các máy chủ SQL nguyên bản và có thể di chuyển các máy chủ SQL hiện có sang Kho dữ liệu SQL. Bạn cũng có thể sử dụng các truy vấn và cấu trúc tương tự. Ngoài ra, người đăng ký có quyền truy cập tức thì để mở rộng quy mô, tạm dừng và thu nhỏ tài nguyên kho dữ liệu của họ.

Nó được sử dụng để cung cấp giải pháp kho dữ liệu dựa trên SQL cấp doanh nghiệp hoàn chỉnh. Nó cũng có thể được sử dụng theo những cách sau:

  • Di chuyển các kho dữ liệu hiện có (tại chỗ) sang đám mây
  • Cung cấp giải pháp kho dữ liệu cho các ứng dụng và dịch vụ cần lưu trữ và truy xuất dữ liệu tại thời điểm chạy – chẳng hạn như các ứng dụng web.
  • Một giải pháp kho dữ liệu kết hợp kết nối với Kho dữ liệu được lưu trữ trên Azure và Máy chủ SQL tại chỗ.

Tính năng tốt nhất của Azure SQL Data Warehouse là tính chất đàn hồi của nó. Nó cho phép khả năng mở rộng và khả năng quản lý cả tài nguyên lưu trữ và tính toán riêng biệt. Nó tạo ra một nền tảng win / win nơi người dùng chỉ trả tiền cho những gì họ sử dụng và khi họ sử dụng nó.

Mặt tính toán của Kho dữ liệu Azure SQL dựa trên Đơn vị Kho dữ liệu (DWU), theo dõi các tài nguyên tính toán như I / O lưu trữ và bộ nhớ trên tất cả các nút máy tính tham gia.

Kho dữ liệu Azure SQL cung cấp một tính năng bảo mật kết nối. Điều này cho phép bạn giới hạn quyền truy cập vào các địa chỉ IP hoặc dải IP cụ thể bằng cách sử dụng các quy tắc tường lửa. Tích hợp với xác thực Azure Active Directory (AAD) sẽ cho phép bạn kết nối với Azure SQL Data Warehouse bằng cách sử dụng danh tính từ Azure AD.

Mã hóa nhiều lớp cung cấp khả năng bảo vệ ở trạng thái nghỉ, chuyển động và đang sử dụng để bảo vệ dữ liệu của bạn không bị lạm dụng. Các công cụ bổ sung có sẵn để kiểm tra và giám sát dữ liệu cũng như xác định các vi phạm bảo mật.

  Làm cách nào bạn có thể xóa tài khoản Xbox của mình

Khi kết hợp với các công cụ khác của Microsoft, Azure SQL Data Warehouse cung cấp hiệu suất vô song, đây là một lợi thế lớn so với các dịch vụ tương đương khác trên thị trường.

Nhóm SQL dành riêng cho Azure Synapse

Azure Synapse SQL Pool Dedicated SQL Pool (trước đây là Azure SQL Data Warehouse) là một kho dữ liệu xử lý song song khổng lồ tương tự như các công nghệ cơ sở dữ liệu mở rộng quy mô dựa trên cột như Snowflake và Amazon Redshift. Nó trông giống như một SQL Server truyền thống cho người dùng cuối, nhưng nó không lưu trữ và xử lý dữ liệu trên một nút.

Điều này có thể cải thiện đáng kể hiệu suất của các kho dữ liệu có kích thước lớn hơn vài Terabyte, nhưng có thể có các giải pháp tốt hơn cho các triển khai nhỏ hơn.

Kiến trúc bên dưới rất khác so với Máy chủ SQL truyền thống. Điều này có nghĩa là cú pháp và phương pháp phát triển cũng khác nhau.

Các bản phân phối được ánh xạ tới các nút Tính toán trong một nhóm SQL chuyên dụng. Nhóm điều chỉnh lại các bản phân phối của bạn cho các nút Tính toán khi bạn mua thêm tài nguyên máy tính.

Bạn có thể nhập dữ liệu lớn bằng cách sử dụng các truy vấn PolyBase SQL đơn giản và sau đó sử dụng công cụ truy vấn phân tán để phân tích hiệu suất cao.

Nhóm SQL chuyên dụng, trước đây là SQL DW, sẽ cung cấp cho doanh nghiệp của bạn một nguồn chân lý duy nhất cho phép bạn tích hợp và phân tích dữ liệu nhanh hơn và cung cấp thông tin chi tiết mạnh mẽ hơn.

Sự khác biệt giữa nhóm SQL dành riêng cho Azure Synapse và nhóm SQL chuyên dụng trong không gian làm việc Azure Synapse Analytics là gì?

PowerShell là một trong những khu vực khó hiểu nhất trong tài liệu giữa “Nhóm SQL chuyên dụng (trước đây là SQLDW) và nhóm SQL chuyên dụng“ Phân tích Synapse ”.

Việc triển khai ban đầu của SQL DW sử dụng một máy chủ logic tương tự như Azure SQL DB. Một mô-đun PowerShell có tên Az.Sql được chia sẻ.

Mô-đun này tạo một nhóm SQL mới (trước đây là SQLDW) bằng cách sử dụng lệnh ghép ngắn New.AzSqlDatabase. Nó có thông số “Edition” cho phép bạn chỉ định rằng bạn muốn có một DataWarehouse.

Synapse Analytics đi kèm với một mô-đun PowerShell mới từ Az.Synapse khi nó được phát hành lần đầu tiên. Để tạo nhóm SQL chuyên dụng trong Không gian làm việc Synapse Analytics, bạn sẽ sử dụng New-AzSynapseSqlPool.

Mô-đun PowerShell này không yêu cầu bạn bao gồm thông số “Phiên bản”, vì nó chỉ được sử dụng cho các tạo tác Synapse.

Một nhóm SQL chuyên dụng cung cấp khả năng lưu trữ và tính toán dựa trên T-SQL. Dữ liệu có thể được tải, lập mô hình và xử lý trong Synapse để cung cấp thông tin chi tiết nhanh hơn.

Azure Synapse cung cấp các nhóm Serverless SQL và Apache Spark ngoài các nhóm SQL Chuyên dụng. Bạn có thể chọn một trong những quyền dựa trên yêu cầu của bạn.
Nhóm SQL không máy chủ cho phép bạn truy vấn dữ liệu được lưu trữ trong hồ dữ liệu của bạn.

Azure Synapse Dedicated SQL Pool làm gì?

Azure Synapse Dedicated SQL Pool sử dụng kiến ​​trúc mở rộng quy mô để phân phối việc tính toán dữ liệu trên nhiều nút. Bạn có thể chia tỷ lệ máy tính một cách độc lập với bộ nhớ vì tính toán khác với bộ nhớ.

  14 ứng dụng nhịn ăn ngắt quãng tốt nhất để giữ cho bạn khỏe mạnh vào năm 2022

Các nhóm SQL không máy chủ là không máy chủ và mở rộng quy mô tự động để đáp ứng các yêu cầu về tài nguyên truy vấn. Nó thích ứng với việc thay đổi cấu trúc liên kết bằng cách thêm, bớt hoặc không qua các nút. Điều này đảm bảo rằng truy vấn của bạn có đủ tài nguyên và có thể được hoàn thành thành công.

Synapse SQL dựa trên kiến ​​trúc dựa trên nút. Synapse SQL sử dụng kiến ​​trúc dựa trên nút. Các ứng dụng có thể kết nối với nút Điều khiển và đưa ra các lệnh T-SQL. Đây là điểm duy nhất cho Synapse SQL.

Các nút điều khiển Azure Synapse SQL sử dụng công cụ truy vấn phân tán để tối ưu hóa các truy vấn để xử lý song song và sau đó chuyển các hoạt động đến các nút Tính toán để chúng có thể thực hiện công việc của mình song song.

Nút điều khiển nhóm SQL không máy chủ sử dụng công cụ xử lý truy vấn phân tán (DQP), để tối ưu hóa và điều phối thực thi phân tán.

Điều này được thực hiện bằng cách tách truy vấn người dùng thành các truy vấn nhỏ hơn có thể được thực thi trên các nút Tính toán. Mỗi tác vụ là một đơn vị thực thi phân tán. Nó lấy dữ liệu từ các tác vụ khác, nhóm các tệp và đọc chúng từ bộ nhớ.

Các nút tính toán lưu trữ tất cả dữ liệu người dùng và chạy các truy vấn song song. Dịch vụ di chuyển dữ liệu (DMS), một dịch vụ nội bộ cấp hệ thống, di chuyển dữ liệu giữa các nút để cho phép thực hiện các truy vấn song song và trả về kết quả chính xác.

Synapse SQL sử dụng Azure Storage để bảo mật dữ liệu người dùng. Azure Storage lưu trữ và quản lý dữ liệu của bạn. Có một khoản phí riêng cho việc sử dụng bộ nhớ.

Tính năng của Azure Synapse Dedicated SQL Pools

Dưới đây là các tính năng hàng đầu của Azure Synapse SQL Pool:

  • Bạn có thể hỏi về dữ liệu ở nhiều định dạng khác nhau như Parquet, JSON và CSV trong data lake.
  • Người dùng có thể xem dữ liệu gần đây nhất bằng cách sử dụng trừu tượng quan hệ.
  • T-SQL cho phép bạn chuyển đổi dữ liệu trong hồ theo cách đơn giản, có thể mở rộng
  • Các nhà khoa học dữ liệu có thể nhanh chóng kiểm tra cấu trúc và nội dung của dữ liệu hồ bằng OPENROWSET hoặc các tính năng suy luận lược đồ tự động.
  • Các kỹ sư dữ liệu có thể sử dụng pool để khám phá hồ và chuyển đổi, tạo hoặc đơn giản hóa các đường ống chuyển đổi dữ liệu của họ.
  • Các nhà phân tích dữ liệu có thể truy cập dữ liệu và kích hoạt các bảng bên ngoài thông qua ngôn ngữ T-SQL và các công cụ quen thuộc khác. Các công cụ này cũng có thể được kết nối với một nhóm SQL không máy chủ.
  • Tạo báo cáo BI ngay lập tức bởi các chuyên gia tình báo kinh doanh qua bảng Spark hoặc hồ dữ liệu.

Nhóm SQL chuyên dụng Vs. Nhóm SQL không máy chủ

Nhóm SQL không máy chủ

Không gian làm việc Azure Synapse có một nhóm SQL không máy chủ hoạt động như một dịch vụ truy vấn trên các hồ dữ liệu. Nó không yêu cầu cấu hình bổ sung để truy cập dữ liệu. Nó hoàn toàn không có máy chủ và không yêu cầu cơ sở hạ tầng để thiết lập hoặc duy trì.

  27 dịch vụ lưu trữ trang web miễn phí tốt nhất

Việc chia tỷ lệ có thể được thực hiện tự động để đáp ứng các yêu cầu về tài nguyên. Người dùng chỉ trả tiền cho dữ liệu được xử lý và không phải trả cho bất kỳ tài nguyên dự trữ nào. Nhóm SQL serverless cũng tạo thống kê để tối ưu hóa việc thực thi truy vấn.

Ví dụ: khi chúng tôi chạy một truy vấn hai lần hoặc chạy hai truy vấn có kế hoạch thực thi tương tự, những thống kê này có thể được sử dụng lại.
Các tính năng này cho phép chúng tôi nhanh chóng phân tích số lượng lớn dữ liệu mà không cần sao chép hoặc tải nó vào một cửa hàng cụ thể.

Nhóm SQL chuyên dụng

Nhóm SQL dành riêng cho Synapse là sự kế thừa cho Kho dữ liệu Azure SQL và cung cấp tất cả các tính năng kho dữ liệu doanh nghiệp. Tuy nhiên, không có nhóm SQL không máy chủ. Thay vào đó, người dùng phải tạo và xóa nhóm SQL dành riêng cho Synapse. Chúng tôi cũng có thể chọn các tài nguyên mà nó sẽ sử dụng.

Các tài nguyên này được đo lường bằng cách sử dụng các nhóm SQL chuyên dụng của Synapse. Chúng được gọi là Đơn vị Kho dữ liệu (DWU). DWU đề cập đến sự kết hợp của các tài nguyên CPU, bộ nhớ và IO.

Số lượng DWU xác định hiệu suất và chi phí của pool. Thay vì bị tính phí cho mỗi truy vấn, chúng tôi sẽ bị tính phí cho bất kỳ thời điểm nào nhóm hoạt động, bất kể nó đã thực hiện bao nhiêu công việc.

Để tránh phát sinh thêm chi phí, có thể dừng và khởi động lại các hồ bơi chuyên dụng. Chúng tôi đã tạo một nhóm SQL chuyên dụng 100 DWU cho thử nghiệm của chúng tôi.

Sau khi nhóm được tạo, dữ liệu có thể được tải vào nó bằng cách sử dụng lệnh COPY, PolyBase với các truy vấn T-SQL hoặc một đường dẫn. Những dữ liệu này sẽ được lưu trữ trong bộ lưu trữ dạng cột trong các bảng quan hệ.

SQL PoolServerless SQL Pool chuyên dụng Điều này cho phép bạn truy vấn hồ dữ liệu và nhập nó.Người dùng có thể truy vấn các tệp hồ dữ liệu. Máy chủ chuyên dụng. Không cần cơ sở hạ tầng để chuyển đổi hoặc thăm dò dữ liệu. cơ sở trả cho mỗi yêu cầu. Tài nguyên được phục hồi phải chịu chi phí. Chi phí xử lý dữ liệuer-Truy vấn được tính. Trả cho mỗi DWU được cung cấp. Trả cho mỗi TB Xử lý.

Sự kết luận

Vì vậy, đó là tất cả về Kho dữ liệu Azure SQL (bây giờ được gọi là Azure Synapse Dedicated SQL Pool). Mặc dù Nhóm SQL chuyên dụng có thể trông giống với Máy chủ SQL truyền thống từ nhiều góc độ, nhưng kiến ​​trúc cơ bản (Xử lý song song khối lượng lớn) lại hoàn toàn khác. Điều này có nghĩa là một số khái niệm và kỹ thuật nhất định chỉ có thể áp dụng cho Nhóm SQL chuyên dụng.

Bạn cũng có thể khám phá Sự khác biệt giữa Data Lake và Data Warehouse.

x