скажите, по какому правилу пишется слово домоРОЩенный?

Вы имеете в виду написание о? Здесь о под ударением, никакую другую букву мы и не можем написать. Правило, гласящее, что в этом корне с чередованием перед щ всегда а, регулирует написание на месте безударного гласного.