出乎意料的是，卡特對史密斯的系統戰適應不良，上場時間急遽下降，更慘的是，高中時代名氣不如他的賈米森、奧古拉加卻有越打越好的趨勢。史密斯對此的表示是“當時每個人，包括卡特自己，都對他有着過度、不切實際的期待，這也是一般高中明星球員的通病。其實我覺得他打得還好，慢慢的看得見進步幅度，但是每個人卻都想知道他出了什麼差錯，造成他更大的壓力。”
卡特自己也說:“有時我想知道自己到底怎麼了，有時我則想把這個問題拋到九霄雲外，不去管它。我要求自己接受逐漸減少的上場時間，現在回顧起來，這件事讓我的心智更加堅強。”很顯然，那是令人失望的一年，卡特以平均7.5分、3.8個籃板結束了大一賽季，比起高中時候的輝煌，此時的卡特很平庸。
96年的大一暑假，卡特決定不讓過去一年的挫折再度發生，他每天由場上各個不同的地點投籃至少500次以上，也偶爾打打鬥牛，鞏固球技，並極力彌補自己的弱點。他不希望自己是球隊中的負面力量，必須能發揮正面貢獻才行，也不希望自己在場上得過且過混日子。他發誓:無論球賽還剩20分鐘或是隻剩20秒，我都要聚精會神力拼到底。
卡特爲此付出了極大的努力，各種磨鍊讓他變得堅強，自然上天會對他有回報。可是他沒考慮到一點受傷。大二賽季剛一開始，卡特果然有大幅的成長，前10場球平均13.8分、4.7個籃板，北卡則交出9勝1負的戰績。不過他在ACC賽季開幕戰對威克森林大學一役臀部受傷退場，北卡大敗收場，接下來又連續輸給馬里蘭和弗吉尼亞，寫下史密斯接掌北卡35年以來，首度在ACC賽季開局三連敗的羞恥紀錄，一時之間全美譁然。
如果卡特健康，他無疑是一個相當恐怖的球員，你可以看到，他的成績並非完全出類拔萃，但是他就是能讓球隊贏球，可是一旦他受傷，球隊圍繞他建立起來的戰術體系將顛覆無存，球隊輸成什麼樣子都有可能。卡特的傷病真是前科累累，和艾弗森的傷處衆多不同，卡特只集中在幾處，然後反覆受傷，典型的就是他的右臂、臀部、膝蓋和腳踝，每個地方都至少完蛋過兩次，有的甚至還是捱了兩刀。
所以說，別看卡特重新回到全明星得票老大的位置上，他能不能參加仍然未知，畢竟離全明星賽開始還有近一個月，什麼事都有可能發生。
卡特雖然總是避人不見，傷病太多，又很嚴重，所以不光出場時間少，連帶根本不到客場觀戰，有很多球迷一個賽季想見卡特一面都難，但是並不代表他的人氣有問題，剛好相反神秘的卡特有越來越狠的勢頭，甚至壓過了帶傷出陣的艾弗森，成爲球衣銷量之王，單週銷量近30000件，僅次於新一代狀元秀詹姆斯創造的紀錄，但總銷量上詹姆斯想要追上卡特，還得有一些時日。
說起卡特選擇15號球衣，還有一件趣事。在卡特的初中時代，喬丹已經是家喻戶曉的風雲人物，自然而然的，每個球員都想穿上球隊中的23號球衣，卡特也不例外，雖然他知道自己可能搶不到這個背號。此時，老媽的一句話改變了他的想法。米切爾告訴他:“如果你選擇另一個背號，讓它成爲大家以後搶著要的號碼，會讓我更以你爲榮。”就這樣，卡特選了15號。時至今日，米切爾回想起來，竟然在卡特的15號中找到一個巧合。她說“1加5等於6，羅馬數字的6是VI，難怪後來有許多人叫文斯爲VI Vince的簡稱。”
本賽季開始之後，卡特還沒有任何大的狀況，但是自從訓練師露出聳聽之言之後，種種對卡特不利的預言也出爐，不同於之前挑他過去的傷病史，連迷信也搬上了檯面。原來在03賽季之前，卡特榮幸成爲EA-款遊戲的代言人，就是大名鼎鼎的《NBALive2004》。
《NBA Live 2004》在遊戲界可謂風雲之作，每年發售都會引起轟動，熱潮可以歷經一年不衰，但是04年的EA系列產品卻不太受球星們歡迎，尤其是做封面代言的球星。因爲在《NBA Live 2004》沒圈定代言之前，EA的其它遊戲都有了封面代言，結果《NFL2004》的封面人物、亞特蘭大獵鷹隊的四分衛維克在季前賽中斷腿至今未出場;《NHL 2004》的封面球星是亞特蘭大長尾鮫隊的希特利，他駕駛的法拉利撞到牆上，同車的隊友斯奈德不幸身亡。
不過卡特對有關遊戲封面人物走背運的迷信說法不屑一顧，“那是他們運氣不好罷了，我成爲代言人物之後，好運會伴着我率領猛龍隊一直殺到季後賽的。”卡特笑嘻嘻的說。其實EA一直有請NBA大牌球星代言Live系列的習慣，去年是基德，今年是卡特。近五年來，EA 似乎對NBA中的光頭球員情有獨鍾五年中一共請了四位光頭球員。
不過光頭倒不是關鍵，關鍵是EA只找最熱門的球星，02賽季的基德是處在01賽季MVP第二的位置上，而卡特則是有傷在身，賽季很快報廢，這次EA選中了卡特，自然是對他的促銷能力十分看重。EA的NBA系列遊戲已經暢銷了十年，是全世界最成功的籃球遊戲，在過去十年中，這個系列的遊戲總共銷出了1800萬套。在《NBA Live 2004》中，卡特的形象將出現在遊戲的包裝和宣傳廣告中。
在一份聲明中，卡特表示能爲該遊戲代言是“一項無上的光榮，也是我籃球生涯中完美的一幕”。卡特稱自己是一個鐵桿遊戲迷在此之前他還曾爲微軟開發的《NBA InsideDrive2002》》遊戲做過形象代言人，而那款遊戲恰好是爲了與EA的NBALive系列遊戲對抗而開發的。相比起來，卡特似乎更害怕爲微軟開發的《NBAInsideDrive 2002》代言，因爲在爲微軟的遊戲代言後他就黴運不斷，03年4月更是因受傷而休養了好長一段時間。