Нет конечно.
Тем более если участок приватизирован.
Могут принудительно взыскать через суд расходы по содержанию и обслуживанию участка (охрана, свет мусор и т.д).
По Уставу садоводческих обществ, правление может отобрать участок, если он принадлежит обществу и передать более "правильным" садоводам, если есть долги или участок заброшен и не обрабатывается, но в Вашем случае бояться нечего.