Нотариус правильно вам сообщает. Ваш брат в настоящее время отказаться от наследства не может.
Из вашего вопроса следует, что брат обратился с заявлением к нотариусу. Таким образом он принял наследство. Ваш брат отказаться от наследства мог в течение шести месяцев со дня открытия наследства, т.е. со дня смерти вашей мамы.
Согласно п. 1 ст. 1153 Гражданского кодекса РФ принятие наследства осуществляется подачей по месту открытия наследства нотариусу или уполномоченному в соответствии с законом выдавать свидетельства о праве на наследство должностному лицу заявления наследника о принятии наследства либо заявления наследника о выдаче свидетельства о праве на наследство.
В соответствии с п. 2 ст. 1157 ГК РФ наследник вправе отказаться от наследства в течение срока, установленного для принятия наследства (ст. 1154), в том числе в случае, когда он уже принял наследство.
Согласно п. 1 ст. 1154 ГК РФ наследство может быть принято в течение шести месяцев со дня открытия наследства.
Статьей 1153 Гражданского кодекса РФ установлено, что наследство открывается со смертью гражданина. Объявление судом гражданина умершим влечет за собой те же правовые последствия, что и смерть гражданина.