Middleware Dịch vụ: Vận chuyển dữ liệu và Nạp dữ liệu - núm vú

Trong hầu hết các tình huống, hai dịch vụ trung gian - lựa chọn và khai thác, và đảm bảo chất lượng - diễn ra trên cùng một nền tảng (hệ thống) mà trên đó nguồn dữ liệu cư trú. Nếu kho dữ liệu của bạn sẽ được lưu trữ trên một nền tảng khác với nguồn dữ liệu, bạn phải sử dụng dịch vụ di chuyển dữ liệu để thực hiện việc chuyển dữ liệu giữa hệ thống với hệ thống. Bạn có thể sử dụng một dịch vụ tương đối đơn giản (ví dụ như xử lý bằng một chương trình truyền tệp đơn giản). Dịch vụ di chuyển, nếu bạn cần nó vào thời điểm này, chỉ cần di chuyển dữ liệu QA'd vào môi trường mà bạn dự định thực hiện các phép biến đổi bổ sung.

Nếu bạn đang thực hiện quá trình chuyển đổi và xử lý chất lượng (QA) của bạn trên một nền tảng khác với nền tảng mà bạn chạy kho dữ liệu sản xuất của bạn (ví dụ như trên máy chủ phát triển chứ không phải trên máy chủ hoạt động), bạn phải thực hiện một dịch vụ di chuyển dữ liệu khác để lấy dữ liệu đến nơi bạn muốn nó cư trú. Quá trình này thường chỉ liên quan đến việc truyền tập tin tương đối đơn giản.

Dịch vụ tải dữ liệu sẽ tải các dữ liệu được trích xuất, QA'd, chuyển đổi và tái QA'd vào kho của bạn. Bạn có thể tải dữ liệu thông qua một chương trình tùy chỉnh, SQL (một tuyên bố INSERT, ví dụ), hoặc một tiện ích.

Nếu bạn cần tải một khối lượng lớn dữ liệu, hãy thử sử dụng tiện ích tải nhanh, thường đòi hỏi phải mất nhiều thời gian hơn cách tiếp cận theo chương trình hoặc SQL.

Nếu bạn sử dụng SQL để tải dữ liệu của bạn vào cơ sở dữ liệu quan hệ, hãy cố gắng làm cho việc tải càng hiệu quả càng tốt bằng cách tắt đăng nhập (nếu sản phẩm DBMS của bạn cho phép). Nếu công việc tải được hủy bỏ một cách bất thường, bạn chỉ cần sử dụng lệnh DROP hoặc TRUNCATE để loại bỏ bảng đã tải một phần của bạn, khắc phục sự cố gây ra việc chấm dứt và khởi động lại công việc.

Quá trình này thường nhanh hơn nhiều nếu bạn bật các cơ sở cần thiết cho dữ liệu kiểu OLTP và tính toàn vẹn của giao dịch (với chi phí đi kèm).