Theo sách "Chín đời chúa, mười ba đời vua triều Nguyễn", từ khi còn nhỏ, Khải Định đã nổi tiếng chơi bời, chẳng chịu học hành, chỉ thích bài bạc. Vòi vĩnh tiền mãi, lại không sinh được con, Khải Định bị bố mẹ vợ khinh thường. Quan đại thần, đồng thời là bố vợ Trương Như Cương có lần giận quá đã gọi ông ta là đồ “bất lực”.