母を扶養・介護することを条件に実家を相続した兄が、実際には母の介護を全くしていません。遺産分割協議をやり直したり、実家を返してもらったりすることはできますか？

遺産分割協議の内容を履行しない共同相続人がいたとしても、原則として遺産分割協議の解除ややり直しなどはできず、協議内容も無効にはなりません。

しかし、共同相続人全員が合意すれば、一度成立した遺産分割協議を解除して、改めて遺産分割協議を行うことができます。
ご質問のケースでは、改めて行う遺産分割協議のなかで、これまでの条件の不履行を理由に、ご実家を別の人の所有とする旨を話し合うことになるでしょう。