呂布隨後又被負責招賢館的陳琳攔住，陳琳一定要讓呂布去會見最近一個月內投奔中央軍的賢才。
呂布那求賢似渴的名聲已經響徹整個大漢，他不能自己砸自己的招牌，便跟着陳琳去了招賢館。
歷史上，東吳孫權設立招賢館，命顧雍、張紘延接四方賓客，得到會稽闞澤、彭城嚴畯、沛縣薛綜、汝陽程秉、吳郡朱桓、陸績、吳人張溫、烏傷駱統、烏程吾粲等人，這些人都爲東吳的興盛立下汗馬功勞。
呂布有念於此，便在鄴城設立了招賢館，讓擅長待人接物的陳琳負責。
陳琳此時雖然兼任少府，但少府的權力已經被下面那些太醫令、太宮令、太史令、尚方令等令、丞分擔，陳琳每天要做的事情很少，呂布便讓他兼管招賢館，好發揮他巧舌如簧、長袖善舞。招賢館不單只是接待四方投效人員，還負責起草招賢佈告、處理往來函件，正好可以發揮陳琳的文采。
這招賢館名義上是朝廷設立的，所以讓九卿之一的陳琳負責，也不會遭人非議，實際上這個招賢館裡的所有英才都會預先被呂布中央軍甄選一遍，然後才把剩下的交給朝廷其他各司衙門。
招賢館靠近鄴城南門，共有十個院落，每個院落都有三層小樓，整個招賢館總共能夠容納三百多名賢才居住。
呂布在外作戰了將近一個月，在這一個月裡陸續投奔的賢才足有五六百人，有些是呂布慕名已久，並派人徵召的，這樣的人很少；有些是沒什麼名聲，卻對自己才能很有信心，揭了呂布的招賢榜的。
當然也不排除有些招搖撞騙的，但呂布深感孟嘗君得雞鳴狗盜之輩相助、信陵君得侯嬴朱亥佐助的禮賢下士的典範，不再重蹈曹操錯過張鬆、孫權錯過龐統、劉備差點錯過龐統的錯誤，便在領兵作戰之前一再叮囑陳琳，莫要輕視任何前來投奔的賢才，只要他能展露才能，不管是什麼樣的才能，都要讓他住在招賢館裡，等待呂布回來面試。
呂布知道來了五百多賢士，心裡甚是高興，笑着對陳琳說道：“攬天下英才而爲我用，何愁大業不成！”
陳琳卻苦着臉說道：“主公，來得多是無名之輩，主公之前在洛陽派人徵召的賢才大部分都拒絕前來。”
呂布非常平靜地問道：“在洛陽的時候，我聲名不顯，沒有多少賢才投奔是可想而知的，我們到了鄴城以後，我大破白波賊、南匈奴、黑山張燕、黑山於毒，名聲逐漸響亮起來，又有太傅盧植、太師蔡邕、太保馬日磾、司徒楊彪、太尉劉虞、司空劉弘、尚書令黃琬、涼州牧皇甫嵩、幷州牧朱儁爲我盟友，慕名而來的賢才應該多起來纔是啊。”
陳琳依然苦笑道：“主公說的沒錯，我們在洛陽的時候過於樂觀，派了一些普通士卒前去徵辟那些賢才，那些賢才多說‘未聞世上有呂布’而拒絕了我們，願意來鄴城的張機是因爲主公答應委任他爲太醫令，華佗前來鄴城是抱着跟張機競爭的心態，滿寵則是因爲跟郭嘉、徐晃有交情，真正因爲我們的徵召書信而來的沒有一個！我們到了鄴城，派出文吏前去徵辟，並一一許諾官職，這才勉強招來了幾個，還有十幾個正在路上。”
呂布心裡狂受打擊，面上表情還依然是那麼平靜：“呃，你先告訴我，到底是那些人不肯前來？！”
陳琳看呂布表情如常，以爲呂布心境好，先說了一下豫州的賢才：“豫州的許褚、劉馥拒絕前來。”
呂布皺起眉頭，甚是不解地問道：“許褚、劉馥爲何不願前來？！”
陳琳搖搖頭：“許褚乃是譙縣豪強，許家宗族壯丁足有五千多人，還修築了塢堡。兩年前，汝南葛陂賊兵有二萬多人前去攻打許家塢堡，許家箭矢用完了，許褚便讓許家老少男女都去搬來石頭往塢堡外面砸，賊兵不敢靠近。賊兵圍困塢堡多日，堡內糧食將盡，許褚便假意與賊請和，商量用牛換取糧食，賊兵把牛牽走後，牛又跑了回來，許褚便去陣前，拉着牛尾行走百餘步，賊兵大驚，不敢再來取牛，從此淮、汝、陳、樑之地，聽到許褚之名便深感畏懼。許褚還蓄養了數百俠客，縱橫豫州，無人敢當。
許褚有賴於此，當我們第一次前去徵召，他便說大大咧咧地說，從來沒聽過天下有個呂布。我們第二次又派人前去徵召，他說許家宗族皆不願遠離故土，等呂布那天打過來了我再投不遲！”
呂布很欣賞典韋，因爲典韋是一個呼嘯山林快意恩仇的獨行俠，與之相反，呂布有些討厭許褚，也許就是討厭他是擁兵一方的地方豪強，就是因爲這些擁兵自保又自相殘殺的地方豪強，人數居多的漢人才打不過人數稀少的五胡，像許褚這種地方豪強，往往會在胡人打過來的時候投降做漢奸，無論是五胡亂華時期，還是北宋末、南宋末、明末、民-國時期，概莫能外，君不見抗日戰爭時期那些二鬼子漢奸大多都是地方土豪演化的。
呂布討厭許褚，更因爲他在那段歷史上是曹操的忠狗，是一個很胖的忠狗，算是自己的宿命仇敵之一，當然呂布現在討厭許褚的原因是兩次都不給自己面子，非常粗暴冷淡地拒絕了自己的徵召。
呂布冷笑道：“等我打到譙縣，早已猛將如雲，兵強馬壯，手下已有黃忠、典韋、王越、趙雲等蓋世猛將，我又何必再用許褚，再去容忍許褚那個獨立塢堡的存在？！許褚，從你第二次拒絕我呂布，你的頭已經不屬於自己了！”
陳琳見呂布的脾氣開始發作了，心裡一驚，猶豫着不肯往下說。
呂布哈哈大笑道：“孔璋，這些人不來投奔我們，反倒讓我覺得有些意思，無敵的日子實在太寂寞了！
對了，那個劉馥爲何拒絕我？！”
陳琳道：“那個劉馥，乃是宗親之後，第一次說從未聽過主公的名字，第二次則乾脆避而不見。”
呂布對這個空有治政能力卻無眼光慘被曹操刺死的劉馥再無興趣，淡淡笑道：“說說緊靠冀州的兗州那些人才，我估計除了滿寵之外，其他人都不想過來投奔我吧！”
陳琳苦笑着點點頭：“主公，您說得很是，程昱、李典、呂虔、毛玠、樑習都拒絕了，哎，漏了一個，阮瑀來了。”
呂布無奈地搖搖頭：“讓我猜猜，阮瑀前來多半是看在他恩師蔡太師邕的面上吧！”
阮瑀，字元瑜，陳留世家阮氏子弟，是歷史上著名的建安七子之一，年輕時曾拜蔡邕爲師，因得蔡邕指點，文章寫得十分精煉，聞名於當時。歷史上，曹操聞聽阮禹有才，爲蒐羅人才，召他做官，阮禹不應，後曹操又多次派人召見，匆忙中阮禹逃進深山，曹操不甘心，命人放火燒山，這才逼出阮禹，勉強應召。由於阮禹多次辭官不做，曹操在一次大宴賓客時，把他安排在樂隊之中，想煞一下他的傲氣，不想阮禹精通音律，即興撫弦而歌：“奕奕天門開，大魏應期運”，一方面歌頌了曹操的事業，另一方面也表達了自己願爲曹操效忠的思想。曹操聽完，大爲高興，請他做司空軍謀祭酒。從此以後，曹操軍中檄文多出於他和陳琳之手。建安十六年，阮禹隨軍西征關中，曹操請他代筆寫一封書信，他騎在馬上沉吟片刻，揮毫點就，呈給曹操，曹操提筆想作些修改，竟不能增損半字。
在歷史上，阮瑀的兒子比他有名的多，他兒子叫做阮籍。
陳琳苦笑道：“主公所料甚是。”
呂布臉上勉強露出一絲笑容：“阮瑀現在何處？”
陳琳指了指遠處的蔡邕府邸：“阮瑀現在他恩師的府邸做客。”
呂布剛纔去蔡家吃了一個閉門羹，一時片刻也不想再去被蔡老頭冷遇，便對陳琳說道：“你派人看着太師府，阮瑀出了太師府，若是回來招賢館便好，若是他強行離開鄴城，你要趕快派人把他拉到招賢館，由我說服他加入中央軍！”
那段歷史上，曹操如日中天的時候，阮瑀還不肯爲他效力，呂布也不能肯定阮瑀會看在恩師面上爲自己效勞，這個傢伙跟那個司馬懿一樣，都非得曹操下死命令威脅才肯出來效力，他若不肯爲呂布效力，呂布也想試試曹操的手段。
呂布又問道：“那個呂虔，我願跟他結爲同宗兄弟，他卻爲何拂我一片好意？”
陳琳說起呂虔，亦止不住滿腔的忿恨道：“這個呂虔實在可恨！他竟然說，寒門破戶之子，安能爲我兄！”
呂布怒極反笑道：“好一個呂虔！他如此看重家世，看樣子他是世家子弟了？！”
“呂虔所在的呂家乃是兗州任城的世家大族，呂虔家有四千多家兵，橫霸一方，堪稱任城的土皇帝。”
呂布冷冷一笑道：“靠血統繼承來的數千家兵算得了什麼，敢比我白手起家創立的中央百萬大軍嗎？呂虔，既然你不想成爲我呂家人，那你就給我從人間消失吧！”