英宗治平二年，中进士，任通川县主簿。一天，进入寺中看到大藏经的卷册齐整，生气地说道：“吾孔圣之书，乃不及此！”欲着无佛论，后来读《维摩经》，看到“此病非地大，亦不离地大”，深有所感，于是归信佛法。
不久，渝州蛮夷发动叛乱，他说服首领投降，被朝廷征召为南川知县。章惇治理夔夷的时候，经常侮辱郡县官吏，因此没人敢和他说话。有人想到只有张商英足以和他抗衡，就传檄召他到夔州。章惇询问当地人才，使者就把张商英介绍给了他。章惇马上喊他进去一起吃饭。
张商英穿着道士服装，长揖就坐。章惇随意狂言乱语，张商英不时加以辩驳，举止潇洒，高出章惇一筹。章惇非常高兴，引他为坐上客。章惇回到朝廷，把他推荐给王安石，因而被皇帝召见问话，从检正中书礼房擢升为监察御史。
王安石变法后，有人反对屡次要废新法。商英上书说道：“三年无改于父之道，可谓孝矣。今先帝陵土未干，即议变更，得为孝乎？”他巧妙地利用“孝道”来维护变法。并且写信给苏轼，其中有“老僧欲往乌寺，呵佛骂祖”的不满言语。吕公著听
说后，很不高兴，把他调出京城，先任河东刑狱，后在江西、淮南任职。
哲宗初年，张商英任开封府推官，出任提点河东刑狱，连续任河北、江西、淮南使者。哲宗亲自当政，召他任右正言、左司谏。张商英非常怨恨元祜大臣没有重用自己，就极力攻击他们，指责内侍陈衍动摇高太后，以至于把她比为吕后和武则天。他请求朝廷褫夺赠给司马光、吕公著的谥号，捣毁他们的墓碑和坟墓；说文彦博忘恩负义，以及苏轼、范祖禹、孙升、韩川等人，于是这些人都相继受到谴责。
蔡京担任宰相，张商英和他交好。遇到草拟朝廷公文时，就对他大加赞美。不久他被任命为尚书右丞，转左丞。不久，他又和蔡京政见不合，多次说蔡京“身为宰相，却一心迎合君主”。蔡京被罢免宰相，削除官籍，张商英任鄂州知州。蔡京恢复宰相职位，张商英以散官被安置在归州和峡州。
大观四年，蔡京再次被逐，张商英被起用任杭州知州。结果被赵佶留在朝廷任资政殿学士、中太一宫使。不久，任命为中书侍郎。很快又被任命为尚书右仆射。蔡京长久以来窃夺大权，朝廷上下都怨恨愤慨。众人看到张商英敢于提出异议，多次称赞他为贤臣。
赵佶因为他有声望，就任他做宰相。当时长期干旱，一日，彗星出现在天空。这天晚上，彗星没有出现，第二天，就下了大雨。赵佶很高兴，大字书写了“商霖”二字赐给张商英。
张商英处理政务公平，认为蔡京虽然标榜恢复新法，但不过是借此来威胁控制国君，禁锢士大夫罢了。于是他大力变革弊政，废除当十钱进而改革币制，恢复转般仓进而废除直接运输，施行纸钞以便于通商行旅，免除不合理赋税以减轻百姓的负担。
张商英还劝说赵佶节制浮华奢侈的生活，停止修建土木工程，打击投机钻营的佞臣。赵佶对他颇有几分畏惧，曾经修葺装潢升平楼，告诫主管官吏凡是遇到张丞相骑马来到，一定要把工匠藏在楼下，直到他走过去才哪恢复工作。
赵佶想任命杨戬担任节度使，张商英说道： “祖宗法规，内侍不担任团练使。有功劳应当提拔之人，则应另外设置昭宣、宣政等使官加以褒奖，从没有听说过要授予旄钺执掌军权的。”一直坚持不签发任命状，人们更是称赞他。
他曾经到五台山礼拜文殊菩萨像，有所感应。于是塑文殊像供奉在山寺，并撰写发愿文。不久，遇到大旱灾，他入山祈雨，三次都很灵验，因此闻名于朝中。他又归还僧寺田三百顷，以此表达崇佛的赤诚。他任职江淮荆浙等路发运使的时候，礼谒东林寺常总禅师，得到禅师的印可。
接着他又到兜率寺的从悦禅师处参学，在该寺的面，拟瀑轩题诗中有“不向庐山寻落处，象王鼻孔缦朝天”，意思是讥讽从悦禅师不肯定东林禅师。
