Здесь это происходит еще до смерти Араторна. То есть младенец, которому еще меньше двух лет, уже "пошел со своей матерью и жил" где-то там! Не мать с младенцем пошла, не отец семейства их туда направил, а младенец пошел и, так уж и быть, мать с собой взял.
Вот, взял и поковылял, волоча мать за подол. Ибо тоже был "спешиал" и с самого рождения знал, куда и когда ему идти!

В сагах и даже летописях встречаются формулировки "некто в детстве жил там-то". Но всегда конкретизируется: с матерью, с воспитателем или еще с кем-то. Или еще точнее: такая-то женщина переехала с детьми к родственникам\покровителям или в предоставленное ей во владение место по такой-то причине. А тут прямо-таки сплошной арагорноцентризм.

И спрашивается заодно: а почему Араторн отправил жену и младенца к Элронду? В столь нежном возрасте еще никакого особого воспитания младенцу еще не требовалось. Все его потребности вполне была в состоянии обеспечить мать. Так зачем?
Обычно ребенка предъявляли обществу в три года (появлялась некоторая надежда, что он вскоре не помрет). А "постриги" военных сословий были в основном лет в семь. До этого возраста мальчиком занимались женщины и учили какать в горшок и есть ложкой. Ну и там читать-писать-считать и жить в обществе. С семи лет, собственно, начиналась подготовка воина.
Как ни крути, а получается, что этой Гилраен просто негде было нормально жить в этих "твердынях".
И вообще странно: он так добивался, так добивался этой юной девицы в жены, а теперь отправляет ее с глаз долой на неопределенный срок. Или у дунэдайн как у эльфов, после рождения потомства до следующего брачного сезона М и Ж не имеют никакого интереса друг к другу?
Так жену обычно заволят не только для приплода. Вон, Ханума открытым текстом сообщает, что с женой можно гулять по улице и ходить в гости!

Не говоря уже о том, что она должна дом вести и мужу мозги вправлять.