Một cách khái quát, xác suất (probability) là khả năng để một sự kiện nào đó xẩy ra. Thí dụ khi ta tung một đồng xu đồng chất và đẳng hướng, khả năng để mặt ngửa là mặt số là 50%, và ta gọi xác suất của sự kiện này là 0,50.

Như vậy, xác suất có mối liên hệ với tần suất (tần số tương đối), một dạng của tỷ lệ. Dựa vào điểm này, ta có thể ước lượng được xác suất trong một số trường hợp đơn giản. Thí dụ trong một lọ có 3 viên bi xanh và 7 viên bi đỏ có kích thước và vật liệu giống hệt nhau. Nếu ta lấy một cách ngẫu nhiên một viên bi từ lọ này, thì xác suất để lấy được viên bi xanh là 3/10.

Để thu được giá trị cho các biến của dữ liệu, ta phải thực hiện các “thí nghiệm”, tiến hành các quan sát, đo lường, từ đó thu được kết quả.

Trong các thí nghiệm khoa học thông thường, ta có thể đoán hay biết được kết quả của chúng. Thí dụ nếu ta trộn lẫn axit HCl và sút NaOH, ta biết rằng ta sẽ thu được muối NaCl và nước H₂O. Hoặc nếu ta để một vật rơi tự do, ta biết vật có chuyển động nhanh dần đều với gia tốc là 9,81.

Tuy nhiên nếu ta tung một đồng xu hay một xúc xắc đồng chất, ta không thể xác định trước được mặt ngửa sẽ xuất hiện gì. Kết quả của các “thí nghiệm” loại này không thể xác định trước một cách chắc chắn được ngay cả khi ta lặp lại nhiều lần trong điều kiện “giống nhau”. Ta gọi loại “thí nghiệm” này là thử nghiệm thống kê (statistical experiment) hay vắn tắt hơn “phép thử” (trial).

Không gian mẫu (sample space) là tập hợp tất cả các kết quả của một thử nghiệm thống kê.

Thí dụ 1 : Tung một đồng xu có hai mặt là mặt hình và mặt số. Nếu mặt ngửa là mặt hình, ta ký hiệu kết quả là H, nếu là mặt số, ta ký hiệu kết quả là S. Như vậy không gian mẫu gồm hai phần tử là H và S, và được ký hiệu như sau:

    K = { H, S }

Thí dụ 2 : Tung một xúc xắc lập phương có 6 mặt (gọi tắt là xúc xắc), kết quả lả mặt ngửa của xúc xắc ấy. Như vậy không gian mẫu gồm 6 phần tử tương ứng với 6 mặt và được ký hiệu như sau:

    K = { 1, 2, 3, 4, 5, 6 }

Thí dụ 3 : Tung hai đồng xu, kết quả là mặt ngửa của hai đồng xu ấy và sử dụng các ký hiệu tương tự như thí dụ 1. Không gian mẫu gồm 4 phần tử và được ký hiệu như sau:

    K = { HH, HS, SS, SH }

Thí dụ 4 : Tung hai xúc xắc, kết quả là mặt ngửa của các xúc xắc ấy và được ký hiệu là (`ab`) với `a` là mặt ngửa của xúc xắc thứ nhất, và `b` là mặt ngửa của xúc xắc thứ hai. Không gian mẫu gồm 36 phần tử và được ký hiệu như sau:

     K = { (11), (12), (13), (14), (15), (16),
           (21), (22), (23), (24), (25), (26),
           (31), (32), (33), (34), (35), (36),
           (41), (42), (43), (44), (45), (46),
           (51), (52), (53), (54), (55), (56),
           (61), (62), (63), (64), (65), (66) }

Qua các thí dụ trên, ta thấy không gian mẫu là tập hợp của nhiều phần tử có kiểu giá trị giống nhau. Mỗi phần tử này đại diện cho một sự kiện sơ cấp (là sự kiện mà ta không thể chia nhỏ hơn được nữa) và được ký hiệu là E_i.

Xét thử nghiệm tung một xúc xắc và sự kiện "mặt ngửa là số chẵn". Như vậy sự kiện này gồm 3 phần tử là 2, 4, và 6, là một tập hợp của 3 sự kiện sơ cấp.

Một cách tổng quát, sự kiện (event) là một tập hợp con của không gian mẫu. Từ một không gian mẫu, ta có thể đặt ra các quy định để tạo nên các sự kiện khác nhau. Mỗi quy định này sẽ tạo ra một tập hợp con E có các phần tử là các phần tử của K (hay E ⊂ K).

Để việc khảo sát được thuận tiện, người ta thường dùng giản đồ Venn để biểu diễn các khái niệm trên (Hình 1).

Hình 1 Dùng giản đồ Venn để biểu diễn không gian mẫu và sự kiện

Trên giản đồ Venn, không gian mẫu được biểu diễn bằng một đường cong kín K, bên trong là các điểm đại diện cho các sự kiện sơ cấp E_i. Sự kiện E được biểu diễn bằng đường cong kín bên trong K.