宋亡，胡石塘退栖山中。忽必烈诏下求贤，召见于便殿，因久居出山应聘，其心情自难平静，趋步张皇间，帽子突然歪了。 忽必烈问其所学。 胡石塘对答：“治国平天下之学！”元世祖笑曰：“你连自己的帽子都戴不端正，又能平天下吗？” 竟不知如何作答。 陈蕃乃后汉名人，年15岁时，独处一室，庭宇芜秽。父亲的朋友薛勤来访，问：“孺子何不洒扫以待宾客？” 陈蕃曰：“大丈夫处世，当扫除天下，安事一室乎？” 后来，陈蕃师从于胡广，被举为孝廉，历任多官，为人清廉耿直，升太尉，任内多次谏诤时事，再免。 灵帝即位，为太傅、录尚书事，与大将军窦武共同谋划翦除宦官，事败而死。 陈蕃清世之志的故事载于正史，胡石塘不可能不知，然张皇之中，竟未仿此作答，更见其迂？ 其实，胡石塘是个极富个性的人。 辞章有精魄，海内求者如购拱璧，家中绝粮，尚严词拒绝百锭润笔，怒曰：“我岂为宦官作墓铭！” 全家饿肚子，胡石塘却说出此话，真是落地有声，正气凛然。 后来，元世祖怜其贫，特授胡石塘为扬州路儒学教授。
