Расторжение договора займа с залогом (ипотека)

Скажите а можно расторгнуть договор займа с залого (ипотеки)  без суда  если залогодержатель погиб? Например в одностороннем порядке? Либо по совместному заявлению залогодержателя(его наследники) и залогодателя? Говорят что в таких ситуацих суд может растянуться и на несколько лет.