Если по канве сюжета, то получается так.
Гендальф, узрев измену Сарумана, проницнул, что Денетор тоже может быть обойден Саруманом или Сауроном. и потому Гондору грозит гибель, если он, Гендальф, немедленно не исправит ситуацию и не возьмет дело в свои руки.
Про то, что Сарумана Серый считает изменником, канон говорит ещё во время совета у Элронда. То есть ничего нового Гэндальф сейчас не узнал.
А вот про то, что изменником может оказаться Денетор, Гэндальф нигде ни полслова не говорит. Зато он прекрасно знает, что Денетор его не жалует, а уж теперь, после гибели Боромира, ситуация и вовсе фиговая. Так что "взять ситуацию в свои руки" ему там не дадут. И он прекрасно это понимает, предупреждая Пиппина, что Денетор - это не то, что
маразматичный добрый дедушка Теоден.
Внешне же наблюдая ситуацию, можно предположить такую штуку. При помощи своих деревяшек Гендальф разорил только столицу этого небольшого субгосударства - Изенгард. Существовать только промышленный город без сельскохозяйственной базы не может. Следовательно вблизи и вдали проживает много народу, считающего себя вассалами Сарумана. И очень довольного таким правительством. Роханцы уходят на сбор войска, уходят далеко. и когда это войско соберется - неизвестно. А дунландцы могут подойти к Изенгарду в любой момент. И неизвестно, сообрязят ли деревяшки быстро выступить на защиту премудрого дедушки. Или вперед его истыкают стрелами. что бы он не рассказывал о своей неуязвимости - никакиз доказательств тому нет. И его с легкостью издырявят стрелами, поднимут на копье. А то еще какая беженка, вернувшись к всоему разоренному жилищу, топором наладит. Потому Гендальф и отправляется в самую мощную крепость Эндора. Да еще в намет. Потому как главное в его профессии - вовремя смыться с места действия.
Так всё это он не сию секунду узнал! И от Изенгарда они всё-таки отъехали на некоторое расстояние, а рыскать ночью в степи в поисках Гэндальфа никто не станет, да никто о нём и не знает, а кто знает - тот взаперти в Ортханке сидит. И деревяшки поговорить с ними не пустят никого.
Подданные Сарумана могут сколько угодно собираться, но фишка-то в том, что кроме хуорнов и энтов, никаких врагов никто из уцелевших жителей Изенгарда не видел, и то, что это всё по наущению Гэндальфа, никто не знает. Так что с этой стороны Серому бояться нечего. Опять же, с вечера он спокойно лёг спать. А вот после эпизода с палантиром - именно после него! - у старого пятки зачесались. Да так, что до утра подождать не мог!