жилищное право

У нас дом с участком в долевой собственности. На моем участке стоит сарай в аварийном состоянии, начал заваливаться к другим соседям (не тем с кем мы в долевой). Хотим его перестроить, но те с кем мы в долевой, согласия не дают. Подскажите, можно ли перестроить без их согласия?