早年经历
张齐贤年仅三岁时就遭遇后晋末年的动乱，随家人迁家到洛阳。他少年时虽孤贫，却用功学习，志向远大。张齐贤因敬慕唐初名臣李大亮的为人，因此取字为师亮。
赵匡胤到西都，齐贤以布衣身份到赵匡胤马前献策，被召到行宫，齐贤以手画地，逐条陈述十件事，分别是：下并汾；富民；封建；敦孝；举贤；太学；籍田；选良吏；慎刑；惩奸。其中有四件符合赵匡胤的意思，张齐贤坚持认为十条都是好的，赵匡胤发怒，令武士把他拖出去了。赵匡胤回朝后，对赵光义说：“我到西都，只得到一个张齐贤罢了。我不打算授任他官职，今后可以让他辅佐你任宰相。”
贤明察活人
太平兴国二年（977年），赵光义开科取士，本想把齐贤录取为前几名，有司偶然选择失误，赵光义不高兴。一榜进士都授任京官，于是任命齐贤以大理评事身份通判衡州。当时衡州审讯劫贼，审判后都要处死，张齐贤到任后，救活其中误判的五人。从荆渚到桂州，水路邮递铺夫数千户，被邮役困苦，衣食不足，齐贤上奏减去了一半。
太平兴国四年（979年），任职期满回朝，恰逢赵光义亲征后汉，张齐贤朝见，迁为秘书丞。忻州刚刚攻下，任命他为知州事。
上书直谏
太平兴国五年（980年），赵光义召张齐贤回朝，改任著作佐郎，直史馆，改任左拾遗。同年冬，太宗北征，议论的人都说应当速取幽蓟，张齐贤上疏说：“如今海内统一，朝野安定无事，关系到陛下忧虑的，难道不是因为河东刚刚平定，驻屯军队太多，幽蓟未被攻下，粮草运输过劳吗？我认为这些不足为虑。自从河东平定，我任知忻州，捕捉到契丹纳米典吏，都说契丹是从山后转运粮草到河东。据我考虑，契丹能自备军粮，则是对于太原不是不尽力，然而太原最终被我方占有，是因为契丹军力不足。河东刚刚平定，人心还未安定，岚、宪、忻、代几州没有军营，敌人进攻则田地尽失，敌人侵扰边界则守备为忧。到了国家扼守要害地方，增加壁垒，控制扼守左右边，边防严密，恩信已经实行，民心已经安宁时，敌人还跑到雁门、阳武谷来争夺小利，其后果是他们的智力能料知的。圣人行事，一举一动都考虑周到，百战百胜，不如不战而胜，如果慎重考虑，则契丹不足吞，燕蓟不足取。自古边疆之事难以处理，并非完全因为敌国，也大多由于边吏侵扰导致的。如果边缘诸营寨抚御得到合适人选，只要加固壁垒挖深沟濠，蓄精养锐，以闲逸自处，我方安宁敌方劳顿，这是李牧之所以为赵所用。所谓择卒不如择将，任力不如任人。如果这样则边疆宁静，边疆宁静则转运之劳可减，转运减则河北的百姓得到休养生息，百姓得到休养生息，则田产丰富而蚕绩增加，百姓专心务农积聚粮食，充实边疆的用度。况且敌人的心也是择利避害的，怎么肯跑到必死之地去作寇呢？我听说以六合之内为家者以天下为心，哪里有以争尺寸之地为事，斗强弱之势而后已的呢？所以圣人先务本而后求末，使国内安定来抵御敌国。百姓是本，土地是末。五帝先王，没有不先务根本的啊。尧、舜之治没有别的方法，在于使百姓安定并且为百姓谋利罢了。百姓安定且有利后，则远方之人恭敬到来。陛下爱护百姓，谋利天下之心，真是尧、舜啊。我猜想群臣大多因为纤微的利益，任用克下之术，侵扰穷苦百姓，以为有成。至于百姓的疾苦，看到了像没有看到，听见了像没有听见，招来民怨导致祸害，没有比这更大的了。希望慎重选择通儒，分路采访两浙、江南、荆湖、西川、岭南、河东，凡是以前赋敛苛重的地方，予以改正，因循旧例谋利于百姓，使赋税课利都有利于民，可以长久实行，为圣朝立法；除去旧弊，天下诸州有不方便百姓的，委托长吏上告。胆敢照行旧法者，处以重罚。使天下百姓都知道陛下的心意，感戴陛下的恩惠，用德政来感动远方之人，用恩惠来谋利于百姓，则远方之人的归服，可指日而待。”
纠正民弊
太平兴国六年（981年），任江南西路转运副使，同年冬天，改任右补阙，加任转运正使。齐贤到任，询知饶、信、虔三州是出产铜、铁、铅、锡的地方，推求前代铸钱法，拿饶州永平监所铸钱为定式，每年铸钱五十万贯，一共用去十五万斤铜，三十六万斤铅，十六万斤锡，到朝廷当面陈述这件事，陈述详细准确，议者不能指责。
从前，各州罪人多械送到京城，在路上死去的有五六成。齐贤在路上遇到南剑、建昌、虔州押送的罪犯，要来案卷一看，凡不是首犯的，全部为他们解伸冤屈。于是向朝廷竭力建议，以后凡送囚犯到京城，委任明察的官吏审问，如果不实，就向原来审问的官吏问罪。从此江南送罪犯到京城的减去一大半。从前，江南各州百姓，住在官府土地上的要交地房钱，吉州沿江土地虽然沉没，仍要交勾栏地钱，编木在水上浮居的要交水场钱，都是前代弊政，张齐贤上奏建议都免掉了。
在南唐时期，江南百姓中每户能交纳税钱三千以上的人家出壮丁一人，刺脸，自备兵器送到官府，出战就发给他，每天支给粮食二升，名为义军。内附朝廷后，把这些人都放回家务农。到这时，言者认为这些人长期在军中，不喜欢农事，请求派遣使者选择人员充任军士，连同他们的家属送到朝廷。齐贤上言说：“江南义军，本都是良民，横遭黥配，无法逃避。江南攻克之后，就放回家务农，长期被皇家所苦，都喜欢农业。如果挨户搜索，不会没有惊扰。法律崇尚固定，政事崇尚清静，以前的赦令既然放他们归农，不如仍然按旧敕执行。”
张齐贤身居使职，勤于纠正民弊，务行宽大之政，江南百姓都不忘思念他。召回朝廷，授任他为枢密直学士，升为右谏议大夫、签书枢密院事。
大战辽军
雍熙初年（984年），张齐贤改任左谏议大夫。
雍熙三年（986年），宋军大举北伐，猛将杨业战死。赵光义访求近臣作为策应，张齐贤请求前往，即授任他为给事中、知代州，与部署潘美一起统领边疆军队。当时辽兵从湖谷进攻，逼近城下，神卫都校马正率领所部在南门外列阵，寡不敌众，副部署卢汉赟畏惧，保营自固。齐贤选派厢军二千人，从马正的右面出发，慷慨誓师，以一当百，辽兵于是退却。
在此之前，张齐贤约潘美指挥并州军队来会战，不久，使者被辽兵捉去。张齐贤因为会期既然泄露，并且考虑到潘美的军队会被辽所袭。后来潘美派的使者到，说军队已从并州出发，到了柏井，接到密诏，东边部队在君子馆遭到失败，并州全军不许出战，已经回到并州了。当时辽兵遍山，张齐贤说：“敌人只知道潘美要来会师，而不知道潘美已退兵。”于是把使者关闭在密室，半夜派出军队二百人，每人拿一面旗帜，背一束草，离州城西南三十里，打出旗帜燃烧干草。辽兵远远看见火光有旗帜，以为是并州部队到了，惊骇而逃走。张齐贤先在土磴砦埋下二千伏兵，袭击大败辽军，擒俘辽军北大王的儿子一人，帐前舍利一人，杀敌数百，俘获二千匹战马及很多兵器。捷报上奏，齐贤把功劳归于卢汉赟。
端拱元年（988年）冬天，授任工部侍郎。辽兵又从大石路往南侵犯，张齐贤预先选择厢兵一千人分为二支，分别驻扎在繁畤、崞县。下令说：“代西有敌人，则崞县的部队出战，代东有敌人，则繁畤的部队出战。战斗发生后，则郡中部队集合作战。”到此时，辽兵果然被驻扎在繁畤的部队打败。
出将入相
端拱二年（989年），建立屯田制。张齐贤兼任河东制置方田都部署，经宰相赵普力荐，被召入朝，授刑部侍郎、枢密副使。
淳化二年（991年）夏天，任参知政事。几个月后，授任吏部侍郎、同中书门下平章事。张齐贤的母亲孙氏年纪有八十多岁，封为晋国太夫人，每次入宫朝见，赵光义叹服说：“婆婆有福，生得好儿，为国家分忧。”常常下手诏慰问，给与赏赐，朝官们都感到他家很荣幸。
当初，王延德与朱贻业一同掌管京城粮仓，想求任地方官，朱贻业与参政李沆是亲家，就向李沆请托，李沆替他向张齐贤请托，张齐贤告诉了赵光义。赵光义因为王延德曾经奉事晋王府，厌恶他不自己陈述请求而委托执政大臣，召见并斥责了他。王延德、朱贻业都瞒着不说实情，张齐贤不想连累李沆，单独承担责任。
淳化四年（993年）六月，罢前职任尚书左丞。十月，命他知定州，张齐贤因为母亲年老不愿去。不久，遭母丧，水浆不入口者七天，从此每天只吃一碗粥，守丧期间一直不吃酒肉蔬果。不久转任礼部尚书、知河南府，当时监狱有死犯将处决，张齐贤到任后，马上辨明案情而放了他。三天后，改任知永兴军。当时閤门祗候赵赞因为议论政事得到赵光义宠幸，提点关中粮食，所做多豪横不法。张齐贤论奏列举他的罪状，终于伏法。不久改任知襄州，又改任知荆南，又改任知安州。一年后，加任刑部尚书。
赵恒即位，召他入朝授任兵部尚书、同中书门下平章事。曾经向赵恒从容讲说帝王之道，而推究其所以然的根本，并且说：“我受陛下异常恩遇，所以加倍报答。”赵恒说：“我认为帝王之道无迹可循，只要政事适当则近于帝王之道啊。”当时他的亲戚中有人因分财不均互相诉讼，又入宫告状。齐贤说：“这不是台府能决断的，我请求自己处治。”赵恒表示同意。张齐贤坐在相府里，召诉讼的人来问道：“你是认为他家分得多，你家分得少吗？”回答说“：是。”命他写下名字。于是召来两个官吏，令甲家到乙家住宅，乙家到甲家住宅，财物不能移动，分书交易。第二天上奏给赵恒，赵恒非常高兴地说：“我本来知道非你不能决定。”郊祀礼后，加任门下侍郎。与李沆同事，不和。因冬至日朝会时醉酒失仪，免去相位。
明于料事
咸平四年（1001年），李继迁攻陷清远军，赵恒任命齐贤为泾、原等州军安抚经略使，以右谏议梁颢为他的副手。张齐贤上言说：“清远军陷没以来，青冈砦被烧弃之后，灵武郡援兵阻隔势力孤单，这是继迁所窥伺而一定到的地方。以事势而论，讨伐则力不足，防御则有余。没有别的方法，蕃部大族首领向来与李继迁有矛盾，不如给他们官职，诱以货利，用恩信交结他们，并且以利害激发他们，则山西之蕃部族帐，无不倾心为朝廷出力。我所统率的十二个州、军，现有二万士兵，如果加上沿疆料柬本城等军，又得五万多人，招致蕃部，其数又超过十几万人。只要敌人出动，我方归守，敌人东备我方则击其西，使他们奔走不暇，怎能成为我方祸患呢？现在灵武军民一起不超过六七万，陷于危亡的境地，如果继迁明年春天在我方未集中兵力以前，发兵救援灵武，全部出动其军队，并力围攻，则灵州城一定难以固守。万一灵州城失陷，敌人声势会大增，即使多聚军队，广积财货，也难保必胜。我之所以请求封潘罗支为六谷王，是恐怕继迁早晚用兵断绝他卖马之路。如果朝廷使者能见到潘罗支，则泥埋等族，西南远蕃，不难招集。西南既受命，而边缘之军势大张，则鄜、延、环、庆之浅蕃，原、渭、镇戎之熟户，自然归化。然后让他们与野战部队及驻扎军队互相声援，那么李继迁听说后，必定不敢在灵州、河西驻扎军队。万山如果败退，则贺兰蕃部也慢慢叛离继迁。如果说名器不可以假人，爵赏不可以滥及，这是圣人治国的常道，不是随时事变化应变的法则。”
张齐贤又请求调来江淮、荆湘丁壮八万加强防御，朝廷议论认为动摇民心，并且湖泊之乡的人远戍西鄙也不方便，这件事就停止不办了。
张齐贤又说：“灵州地处边隅，当城镇还完好、碛路还未阻塞时，朝廷内外已经说应当放弃，从继迁叛乱以来，危困越发厉害。南距镇戎约五百多里，东离环州仅六七天路程，如此畏途，不必攻夺，则城中之民怎么出来，城中之兵又怎么回去？想保护城中军民，按理应当接应。为今之计，如果能增加精兵，以合西边驻屯、换防的军队，接着以原、渭、镇戎的军队，率领山西熟户从东界进入，严约会师日期，两路并进，假如继迁分兵抵抗，我方则乘机而易攻。况且在路途奔波，首尾难顾，千里趋利，不失败就会被俘。我认为兵锋未交，而灵州之围自解。然后迁移灵州军民到在萧关、武延川险要地方设立的营寨居住，这样做则蕃汉人士之心有所依赖。等到叛乱平定后，仍回到旧州，然后指挥蕃汉之兵，乘机进攻，则成功不难。”朝廷不能用他的计策。不久，灵武果然失陷。
宦海沉浮
咸平四年（1001年）闰十二月，授任右仆射、判汾州兼经略使，不出发，改为判永兴军兼马步军部署。当时薛居正的儿子薛惟吉的妻子柴氏早年守寡，把她家的财产及书籍论告都储藏起来，打算改嫁张齐贤。薛惟吉的儿子安上为此上诉。赵桓不想理睬这件事，命司门员外郎张正伦前去讯问，柴氏的回答与安上的诉状不同。把这件事交给御史，发觉是张齐贤的儿子太子中舍张宗诲教柴氏这样说。张齐贤因此被贬为太常卿、分司西京，张宗诲贬为海州别驾。
景德初年（1004年），重新升齐贤为兵部尚书、知青州。赵恒到澶渊，任命他兼任青、淄、潍三州安抚使。
景德二年（1005年），改任吏部尚书。张齐贤上疏说：“我在先朝时，常忧虑灵、夏两镇会被继迁并吞，议事者认为我的忧虑太过分了，大略列举往事以明本末。当时大臣们都以为继迁只是怀恋祖辈旧地，别无他心，先帝任命他为银州廉察，以满足他的心愿。到陛下赐给他银、夏二州土地，宠任为节度，从此奸威愈滋，逆志尤凶。多次阻断灵州粮路，又侵扰边境城池，几年之间，灵州终于被他吞没。当灵池、清远军即将陷没时，我正接受经略的使命。我认为对付继迁需要一两处强大蕃族与之为敌，这乃是用蛮夷对付蛮夷，古今之上策。于是请求朝廷以六谷王名目封潘罗支，使他效力。当时朝廷亲信大臣意见，全然与我的计谋不同，从中阻挠。到继迁被潘罗支射杀后，边患才算稍稍平息。现在继迁的儿子德明像以往那样攻劫城池，析靅游龙钵等人又都在他的军中，他们志向也似乎不小。我忧虑的是德明乘皇上到东方之际，去进攻六谷，则瓜、沙、甘、肃、于阗几处渐渐被他控制。如果潘罗支还在，则德明不足为虑；现在潘罗支已死，厮铎督恐怕不是他的对手。希望委任大臣经制其事。”
无疾而终
张齐贤跟从赵恒到东边封禅回朝后，被授任为右仆射。当时建筑玉清昭应宫，张齐贤说画瑞符，有损自谦之理，又违背奉天之意，多次请求停止此项工程。
大中祥符三年（1010年），出京判河阳军，跟从赵恒祭祀汾阴回朝，升为左仆射。
大中祥符五年（1011年），换任回朝，请求归家养老，以司空衔退休。入宫辞别时便坐，刚拜见就仆倒地上，真宗急忙阻止他，允许他的两个儿子扶持着上殿，命令给他加上三个坐垫。回到洛阳，购置裴度的午桥庄，庄中有很多池榭松竹，张齐贤每天与亲朋旧友喝酒吟诗，心情很旷达闲适。
大中祥符七年（1014年）六月，张齐贤无疾而终，终年七十二岁。真宗闻讯后颇为悲伤，派入内殿头邵文雅致祭，并馈赠财物及布帛、粟、麦等。追赠司徒，为他废朝二日。
皇祐四年（1052年），追谥“文定”。
不忘旧恩
张齐贤年轻时，家中贫困，父亲去世无法埋葬，河南县吏替他办丧事，齐贤非常感激他，以兄礼奉事他，即使显贵也不变。仲兄张昭度曾经教他经书，张昭度去世后，张齐贤上表请求追赠他光禄寺丞。他又曾经投靠太子少师李肃家，李肃死后，替他办理丧事，逢年过节祭祀他。赵普因而向赵光义推荐齐贤，未被重用，赵普就在皇上面前述说上述事实，说：“陛下如果进用齐贤，那么齐贤今后感恩，更会有过于此。”赵光义非常高兴，于是重用他。
求—醉饱
张齐贤还是布衣平民时，自己一个人没钱了，都没钱住旅店。有一次，有一伙强盗，有十多人，在旅店里面吃吃喝喝，住店的人吓得连跑带躲。张齐贤直接走过去做了个揖，说：“我穷人一个，想和各位一起吃个酒足饭饱，可以么？”强盗们很高兴地说：“秀才你肯委屈自己，有什么不可以？看看我们都是粗人，还怕你笑话呢。”就给他让座。张齐贤说：“做强盗的，不是卑鄙的人，都是世上的英雄。我也是一个豪爽的人，各位又何必参与呢？”就拿了个大碗倒酒喝，一饮而尽，这样连喝三碗。又拿了个猪肘子，用手指分成几段嚼着吃，吃得像虎狼一样。这群盗贼看傻了，都嘀咕：“真是个宰相的料子。要不然，怎么能这样不拘小节呢！改天管理天下，要记得我们都是不得已当了强盗啊，但愿能早点交这样的朋友。”都送上值钱的东西。张齐贤都收下了，满载而归。
激浊扬清
张齐贤家举行宴会，一个仆人偷了若干件银器藏在怀里，张齐贤在门帘后看见却不过问。后来，张齐贤晚年任宰相，他家的仆人很多也升迁了，只有那位仆人竟没有官职俸禄。于是这个奴仆乘空闲时间跪在张齐贤面前说：“我侍候您时间最长，比我后来的人都已经封官，您为什么独独遗忘了我呢？”于是哭泣不停。张齐贤同情地说：“我本来不想说，你又会怨恨我。你还记得在江南时，你偷盗银器的事吗？我将这件事藏在心中近三十年没有告诉过别人，即使你自己也不知道。我现在位居宰相，任免官员，激励贤良，斥退贪官污吏，怎能推荐一个小偷做官呢？看在你侍候了我很长时间，现在给你三十万钱，你离开我这儿，自己选择一个地方安家吧。因为我既然揭发这件过去的事，你也必然有愧于我而无法再留下。“仆人十分震惊，哭着拜别而去。