Salah satu bidang utama dalam statistika inferensia adalah pendugaan parameter. Teori statistika inferensia mencakup semua metode yang digunakan dalam penarikan kesimpulan mengenaiksuatu populasi. Pendugaan adalah suatu metode yang dilakukan untuk mengetahui di sekitar berapa nilai-nilai karakteristik suatu populasi terletak dengan menggunakan nilai-nilai karakteristik sampel, sedangkan parameter merupakan sebarang nilaikyang menjelaskan ciri populasi . Oleh karena itu, pendugaan parameter adalah prosedur yang dilakukan untuk menduga parameter populasi, sepertiknilai harapan, ragam, dan lain-lain. Penduga yang diperoleh dapat menghasilkanknilai yang lebih kecil atau lebih besar dari nilaiksebenarnya, tetapi penduga yang diharapkankadalah penduga yang nilainya cukup dekat dari nilai parameter yang di duga.
Dalam hal pendugaan suatu parameter terdapat beberapa metode yang digunakan, diantaranya metode MLE dan metode Bayes. Perbedaan metode MLE dan metode Bayes adalah pada metode MLE kesimpulan didasarkan semata-mata pada informasi dari sampel yang diambil dari populasi. Sementara itu, metode Bayes menggunakan atau menggabungkan pengetahuan subjektif mengenai distribusi peluang dari parameter yang tidak diketahui dengan informasi yang diperoleh dari data sampel. Pengetahuan subjektif mengenai distribusi peluang darikparameter yang tidak diketahui tersebut merupakan distribusi awal yang memberikan informasi tentang suatu parameter disebut distribusi prior, sedangkan informasi yang diperoleh dari data sampel dinyatakan dalam bentuk fungsi likelihood. Gabungan distribusi prior dan fungsi likelihood kemudian membentuk distribusikbaru yang disebut dengan distribusi posterior. Dengan cara seperti ini dugaan parameter yang dihasilkan dengan metode Bayes akan lebih mendekati pada nilai sebenarnya daripada metode MLE. Selain itu metode Bayes tidak memerlukan asumsi model klasik seperti pada metode MLE.