入朝为官了。可等他面见皇帝的时候，也没提出什么高明有用的建议，大家对此都特别失望。和他一起被征召的河南名士张楷就直接说：“人活在世上，要么出来做官，要么隐居起来。我本来以为你既然愿意出来做官，就肯定能辅佐好皇帝，拯救百姓于苦难之中。没想到你一开始仗着有才，把皇帝都惹火了，后来即使接受了官职和俸禄，却对朝廷一点帮助都没有，真是两头都没做好。”
司马光就说话了：古代的君子，要是遇到国家政治清明就出来做官，国家政治昏暗就隐居不出。隐居，并不是君子所愿意的，只是因为无人了解自己，而自己的主张又无法得以推行，奸邪小人充斥朝廷，而自己又会因此遭受祸害，所以才隐藏自己的才能，远远地避开他们。圣明的君王举荐隐逸之士，提拔出身卑微的人才，原本是因为他们对国家有益，并非以此来迎合世俗的视听。因此，有道德就足以得到君主的尊敬，有才能就足以庇护百姓，身穿粗布衣服而怀揣美玉，深藏不露而不急于求售，这样的人，圣明的君王应该竭尽礼节去征聘他，降低自己的身份去恭敬地对待他，虚心地向他请教，克制自己的私欲来听从他的意见，这样之后才能使恩泽广施于四方，功业流传于天地之间。这是因为圣明的君王看重的是他们的治国方略，而不是他们的个人身份，追求的是治国的实际效果，而不是虚名。
如果礼节已经完备，心意已经恳切，而贤才仍然不前来做官，那么君主就应该在内心自我反省，而不敢强迫他前来，应该这样想：难道是我的德行浅薄，不足以让他仰慕吗？难道是国家政治混乱，不值得他辅佐吗？难道是奸邪小人在朝，使他不敢前来吗？难道是我的诚意不够，使他担忧自己的意见不会被采用吗？为什么贤才不追随我呢？如果君主的德行已经很深厚了，政治已经很清明了，奸邪小人已经远离了，诚意已经足够大了，那么贤才就会主动叩门自荐，又怎么会有君主殷勤求访而贤才却不前来的情况呢！荀子说：“用火光诱捕蝉，关键在于把火点亮，然后摇动树木就行了；如果火光不亮，即使摇动树木，那也没有什么用处。如今的君主如果能够使自己的德行昭明，那么天下的人就会归附他，就像蝉趋向明亮的火光一样。”有的君主以不能招致贤才为耻，于是就用高位来引诱他们，用严刑来威胁他们。假如对方真是君子，那么官职并不是他所贪图的，刑罚也不是他所畏惧的，最终还是不可能被招致；能够被招致的，都是贪图官职、畏惧刑罚的人，这样的人又有什么可贵之处呢！至于那些在家庭中以孝顺父母、友爱兄弟而着称，在乡里以品行高尚而闻名，不义之财绝不苟取，不义之官绝不就任，洁身自好，安守本分，悠闲自得地度过一生的人，虽然他们的才能不足以使君主尊贵，也不足以庇护百姓，但他们也是修身自好的优秀之士。圣明的君王应当褒奖优待、安抚供养他们，使他们能够实现自己的志向。就像汉昭帝对待韩福，光武帝对待周党那样，以此来勉励人们廉洁知耻，美化风俗，这也就可以了，实在不应当像范升那样对他们进行诋毁，也不应该像张楷那样对他们求全责备。至于那些伪装自己以获取名誉，标新立异以惊世骇俗，不接受朝廷的俸禄却去争夺商人的利益，不接受小的官职却觊觎公卿宰相的高位，名不副实，内心与行为相悖的人，这就是华士、少正卯之类的人，他们能够免于圣王的诛杀就已经很幸运了，哪里还值得去征聘召见呢！
当时，朝廷又征召广汉郡人杨厚、江夏郡人黄琼。黄琼，是黄香的儿子。杨厚到京城后，就预言汉朝将有三百五十年的厄运，以此作为鉴戒，被任命为了议郎。黄琼快要抵达洛阳时，李固就派人在路上给他送上了书信，信中说：“君子认为伯夷心胸狭隘，柳下惠态度不严肃，所以既不做伯夷那样的心胸狭隘之人，也不做柳下惠那样不严肃的人，在二者之间，这才是圣贤立身的珍贵之处。如果您确实想要枕于青山、栖息山谷，效仿巢父、许由的行迹，那也就罢了；但如果您打算辅佐朝廷、拯救黎民百姓，现在正是时候。自从有人类以来，清明的政治少，污浊的风俗多，一定要等到尧、舜那样的圣君出现，那么作为有志之士想要实现自己的理想，就永远没有机会了。我常听人说：‘高而尖的东西容易折断，洁白的东西容易被污染。’在盛大的名声之下，实际才能往往难以与之相称。不久前，鲁阳人樊英受到朝廷的征召，他刚到的时候，朝廷还专门为他设立坛席，像对待神明一样对待他，虽然他没有什么特别突出的表现，但他的言行操守，也没有什么缺失；然而，人们对他的诋毁之言却到处流传，他的名声也立刻受到了损害，这难道不是因为人们对他的期望过高，他的名声太盛了吗？所以，民间的议论都说‘所谓的处士纯粹是徒有虚名’。希望先生您能施展远大的谋略，让众人叹服，彻底洗雪这种社会舆论！”黄琼到京城后，就被任命为了议郎，不久后又升任为尚书仆射。黄琼过去曾跟随父亲在尚书台办事，所以非常熟悉那些典章旧例；等到他后来担任官职的时候，对官府的事务就更加通达熟练了，他在朝堂上发表争议性的言论，没有人能够驳倒改变他的意见。他多次上书言事，皇帝也大多予以采纳。