Tổng thể (population) là tập hợp tất cả các phần tử thuộc đối tượng được khảo sát. Các phần tử này có một số điểm chung nhất định. Tùy theo mục đích khảo sát mà số phần tử `N` của tổng thể có thể ít hay nhiều. Tuy nhiên trong lĩnh vực thống kê, `N` thường lớn, thậm chí rất lớn. Các tổng thể có số phần tử bé ít có ý nghĩa trong khảo sát thống kê.

Mẫu (sample) là tập hợp của một số phần tử được rút ra từ tổng thể. Như vậy ta có thể xem mẫu là một tập hợp con của tổng thể (Hình 1). Mẫu có thể được tạo ra bằng cách chọn lựa ngẫu nhiên các phần tử của tổng thể, hay theo một phương thức nào đó.

Hình 1 Tổng thể và mẫu

Số phần tử `n` của mẫu còn được gọi là kích thước mẫu hay cỡ mẫu. Số phần tử của mẫu được chọn lựa tùy theo yêu cầu cụ thể của xử lý số liệu. Trong các trường hợp xử lý đơn giản, mẫu được xem là lớn khi `n>=30`.

Từ tập hợp các giá trị của một biến nào đó, ta có thể xác định được một số đại lượng đặc trưng cho tập hợp giá trị này như trị trung bình, phương sai, độ lệch chuẩn. Nếu các đại lượng này đặc trung cho một tổng thể, ta gọi đó là “thông số” (parameter). Nếu các đại lượng ấy đặc trưng cho một mẫu, ta gọi đó là “số thống kê” (statistic).

Thông thường, ta cần biết các thông tin về tổng thể. Tuy nhiên việc thu thập thông tin cho toàn bộ tổng thể trong đa số trường hợp đòi hỏi một chi phí lớn, đôi khi rất lớn, về nhân lực, tài lực và thời gian. Ngoài ra trong một số trường hợp, điều này là không thể thực hiện được như để thu được các số liệu phân tích thành phần, ta phải phá huỷ mẫu. Trong các trường hợp như vậy, việc thu thập thông tin chỉ có thể thực hiện trên các mẫu có số phần tử ít hơn, thậm chí ít hơn rất nhiều. Do đó, để thông tin thu thập có độ chính xác và tin cậy nhất định, cần có những phương pháp hiệu quả, có cơ sở khoa học vững chắc.

Mối quan hệ giữa thông số của tổng thể và số thống kê của mẫu (rút ra từ tổng thể ấy) là một trong các nội dung nghiên cứu chính của khoa học thống kê.