Был трижды женат: на Нэнси Аллен (1979—1983), на Гэйл Энн Херд (1991—1993) (от брака есть дочь Лолита, 1991 г.
Был трижды женат: на Нэнси Аллен (1979—1983), на Гэйл Энн Херд (1991—1993) (от брака есть дочь Лолита, 1991 г. р.) и на Дарнелл Грегорио-Де Пальма (1995—1997) (от брака есть дочь Пайпер, 1996 г. р.). Также у Брайана есть падчерица — актриса Уилла Холланд.