要求退定金

专家您好：
我于今年看中一栋小高层电梯房（一梯两户），双方在中介处签了合同，并交了2万定金，后来得知他家对门的邻居家男子喝酒死亡。感觉不吉利，小孩晚上害怕，于是要求退房。但是他不愿意退还定金。我们只要求退一万，毕竟我们没有事先打听，但是他一分钱也不愿意退。请您分析一下。