此时，散骑常侍郗愔上前道：“皇太后，此次只怕拒绝了桓温的请求，只会给朝廷带来灾难啊！”

皇太后褚蒜子和众位大臣听后，都是默默地点了点头。

皇太后褚蒜子道：“如此，便同意临贺郡公的意见，革去殷浩中军将军之职，贬为庶人。

另命桓温为征西大将军，持节都督荆、司、雍、益、梁、宁六州诸军事，自行募集兵员，北伐秦国。”

晋室朝廷免去殷浩官职，将他流放到东阳郡信安县。

殷浩虽然被罢黜流放，但却从来没有说过半句怨言，神情依旧坦然。

每天谈道咏诗，就是连他的家人也看不出他有半点被流放的悲伤神色，只是每天用手在空中写着“咄咄怪事”四个大字。

以前的朝中大臣和故旧好友再也没有人来看他，更没有人再像以前那样，频频请他出山为官。

殷浩的外甥韩伯素来受到殷浩的赏识和喜欢，他也随殷浩一同被流放。

一年之后，韩伯回京，殷浩送他到河边，看到河水涟漪，杨柳依依，遂低声吟咏道：“富贵他人合，贫贱亲戚离。”

说罢不由地抽泣哽咽，潸然泪下。

后来，桓温打算让殷浩担任尚书令，派人送信给殷浩，殷浩见后，欣喜如狂，满口答应。

殷浩拿来笔墨纸砚准备回信，写了一遍，感觉不大满意，于是揉成一团，扔到地上，拿来新纸，再次书写。

又写了一封，感觉还是不够完美，于是又扔掉。

如此反复几十次，直到最后觉得满意为止。

于是殷浩将信纸装入信封内，准备寄给桓温，觉得又不放心，再次拿出来看看，见书信内容准确无误后，再次重新装入信封。

殷浩又觉得不放心，又拿出来看，如此又反复十几次，直到最后满意为止，这才封好信封，寄给了桓温。

桓温收到书信后，打开信封一看，里面竟然是一封空白信函，顿时大怒，以为殷浩这是有意调戏他，于是二人从此绝交。

在此之后，殷浩再也没有收到一封来自朝廷请他出山入仕的信笺。

永和十二年（公元356年），殷浩在忧闷中死去。

事后，桓温对郗超说：

“殷浩品格高洁，能言会道，假使让他担任尚书令和仆射之类的职务，足以成为朝廷百官的楷模。