Раз модемы виснут прочно, значит проблема в них как минимум. Другое дело что то что система их доводит до этого тоже не дело :-(. Я бы рекомендовал идти в двух направлениях а) искать что в системе заставляет модемы виснуть. б) выяснить почему они висну. Думаю этот вопрос можно поискать в интернете и искать его в общем случае, безотносительно FreeBSD, Omega и т.п.
Кстати, хороший тест, проявляется ли тоже самое со стандартными портами. Хотя он ничего кроме дополнительной информации статистического плана не дает, но хоть какая-то дополнительная информация.
А с sio и новым mgetty хуже, или от версии mgetty не зависит?