Здравствуйте! Вот сделали статью по поводу разграничения скорости Интернета для устройств в домашней сети https://lan1.by/post2822.
По поводу заблокировать устройство по вай-фай, зайдите в настройки модема "Basic"-"WLAN" и сверху будет вкладка "WLAN Filtering". К сожалению, модема под рукой нет, не могу точно посмотреть. В этой вкладке скорей всего будет ввод mac-адресов тех устройств, которые необходимо не пускать подключаться к вай-фай.
А касательно программы не подскажу. Сделайте просто сложнее пароль к вай-фай, измените сеть Wi-Fi, поменяйте данные на вход в модем и включите блокировку определенных мак-адресов через вкладку "WLAN Filtering". Этого должно быть достаточно для защиты.