康熙皇帝直接掌握国家大权以后，还做了一件大事，就是治理黄河。明末清初，兵荒马乱，修黄河的事没人过问。结果，本来就很容易出事的黄河，泥沙淤塞，泛滥成灾，越发不可收拾了。
黄河一发大水，漫漫黄汤铺天盖地而来，不仅周围百姓的房屋和田地被淹没，就连运河上的运输都被阻塞了。南方的大米运不到北京，清朝政府的开支和北方军队的给养都受到严重影响。康熙皇帝常常为这件事焦虑。他说：“河道关系到漕运（从南方通过运河把大米等物资运往北京，称为漕运），是国家的紧要大事。”他把“河务”“漕运”“三藩”六个大字写在宫殿的柱子上，每天吃饭、睡觉都琢磨怎样处理才妥当。
康熙十五年（公元一六七六年），黄河又发了大水，扬淮地区七个州县成了一片汪洋。第二年，等平定“三藩”的战事一出现转机，康熙皇帝就毅然决定，着手治理黄河。他选用了精明能干的武英殿学士靳辅当河道总督。
靳辅是辽宁辽阳人，接到任命之后，他回到家中，想起河务繁杂，责任重大，前任决督就是因为办理不善而被革职，不免长吁短叹，发起愁来。正在这时候，外面走进一个人来。那人上前行礼，高声说：“恭喜大人，黄河年久失修，天下必定要出现能够担当这件大事的人才。这样的人才，不是大人又能是哪一个呢？况且，只要肯用心办事，天下就没有办不到的事情。”靳辅听了这话，心情顿时开朗了许多。那人又接着说：“在下保证以平生所学。辅佐大人。”靳辅连忙站起来道谢，说：“与君一席话，胜读十年书。”他马上打点行装，很快就赴任去了。
进来开导靳辅的这个人名叫陈潢，是浙江钱塘人。他自幼聪明好学，喜欢研究农田水利方面的学问，后来屡次参加科举考试，都没有考中。六年前，他出外游学路过邯郸，在吕洞宾祠的墙壁上写了一首诗，诗中写道：“四十年中公与侯，虽然是梦也风流，我今落魄邯郸道，要替先生借枕头。”流露出怀才不遇的苦闷心情。
恰好这时靳辅赴安徽当巡抚路过这里，也去吕洞宾祠游玩，他一眼看到陈潢的诗，不禁拍手叫好。他又仔细一看，墙上墨迹未干，知道陈潢还没走远。就急忙命家人四处查访。没过多久，家人找到陈潢，请他来见靳辅。两人见面后，谈得十分投机。按清朝惯例，凡是州县以上的地方官，都要聘请幕宾，协同料理各种事务。靳辅当即决定请陈潢为幕宾。从此，陈潢就一直跟随在靳辅身边了。这一次靳辅任河道总督，自然也要带着陈潢一起去的。
靳辅上任以后，带着陈潢从黄河河口溯流而上，沿河视察了湖堰闸坝，勘测水情地势，亲自找两岸百姓和工匠了解情况。晚上，他们查阅典籍资料，研究治河方略。他们往返几百里，经过三个多月的调查研究，终于拟定出大修黄河的方案，随后，陈潢为靳辅一连草拟了八篇奏章，把他们的方案报告给康熙皇帝。他们提出，必须把黄河、运河、淮河视为一体，通盘治理。在治河技术上，除了承袭前人筑堤等方法以外，他们又提出了放淤固堤法。把大量泥沙引进河岸的低尘地区造田；开引堵决法，使决口不堵自灭，以及测水法、减水坝等新办法。
康熙皇帝觉得靳辅的治河方略既大胆又合理，很快批准了。并调来成千上万的工匠、役夫，日夜施工。靳辅和陈潢每天亲临工地监督。民夫们先在黄河下游挖河三百里。这样，不仅疏通了河道，而且把挖出来的黄河土筑坝，填堵大小决口，使河水安然入海。然后，他们又在河南等地黄河中游河岸修筑堤坝，成功地控制了周围河泽湖泊进入黄河的水量。在第三期工程中，他们在淮河和运河先后动工，或堵决口筑堤坝，或开河挑河改运口，把运河入黄河的河口由地势低的地方改到地势高的地方，结果长年淤积在扬淮地区七州县的洪水退出了，运河的漕运也畅通无阻了，漕船行经黄河的航程缩短了十分之九，既安全又迅速。
治河工程的开销很大，有时甚至要动用几十万两甚至几百万两白银。有关官吏肥饱私囊很方便，那些靠做安发财的官吏一向把当河道总督看成是美差，从中可以发一笔大财。但是，靳辅这个人很廉洁，分外之财他从来分文不取。不仅如此，他还处处以身作则，不论哪里出现险情，他都亲自到现场指挥。黄河两岸百姓和工匠夫役们对他赞不绝口，十分拥戴。
经过八年的努力，黄河大修和增修工程结束了。康熙皇帝听说黄河大治，十分高兴，决定南巡视察黄河河道。他先到山东，察看了黄河北岸河堤一百八十里。他有时登岸步行，有时亲自涉水，用仪器勘测水势地形。靳辅跟随左右，对所有工程一一详加解释，说古论今，如数家珍。
康熙皇帝每到一处，都召集当地的耆老秀才，了解地方风土人情。百姓在他面前，异口同声地赞扬靳辅廉洁奉公，治河有方。他听了更加高兴，视察完毕，就把靳辅召到面前，当面赐给他自己亲笔写的诗，还鼓励说：“朕知道你实心任事，两岸百姓也交口称赞你。你治河有方，朕放心了。”说完又问：“你身边一定有博古通今的人吧？”靳辅连忙如实地报告了陈潢的情况。后来靳辅又上书请求表彰陈潢十年如一日，帮助他治理黄河的功劳。康熙皇帝特地下命令，授给了陈潢金事道的官衔。
不料黄河防治工程完成以后，一场灾难降临到靳辅和陈潢的头上。原来，康熙皇帝南巡的时候，偶尔提到开下河（疏浚黄河入海口）的想法，大臣于成龙等几个人听到这个风声，就迎合康熙皇帝，在朝廷上正式提出开下河的主张。靳辅和陈潢得到消息，立即就地进行勘测。经过调查研究，靳辅上奏皇帝，说明提出开下河的主张不妥当。因为海口处河床不高，如果再深挖，海水很容易倒灌；不如修筑海口河堤，防止河水泛流。康熙皇帝把靳辅召到北京，亲自主持御前会议，讨论此事。靳辅虽然据理力争，但众口难平。康熙皇帝也听不进靳辅的意见，另拨二十万两白银，让另外一个大臣前往黄河入海口，专管开下河的事。
不久，又有一些人为了官田这件事弹劾勒辅。原来黄河水患基本消除以后，河两岸一些无主荒田渐渐露出水面，可以耕种了，当地的豪田强纷纷抢地霸田。有些贫苦百姓也占了小块地种上了庄稼。靳辅为了这件事给皇帝上收，请求丈量田亩，把这些土地做为官田，让百姓屯垦，收入做为治河经费。康熙皇帝批准了这个建议。这样，地方上的豪强因为不能随意霸占土地而心怀不满；那些占了小块地的百姓也受到一些影响。于是，恶意攻击靳辅、陈潢的谣言就乘机而起：说靳辅治河无功，偏听幕宾陈潢，甚至不同意开下河，也成了一条“罪状”……于成龙暗中指使漕运总督，不放漕船进入中河，然后再四处散布河道弊坏的谣言。靳辅在朝廷上百般辩解，但是，康熙皇帝也认为他在开下河和屯田这两事上有过失，罢免了他的职务，陈潢的命运就更惨了，他被捕入京，活活气死了。陈潢死后，靳辅十分难过。可是，他不肯向朝廷上的议论妥协，仍然坚持自己的主张。
几年之后，康熙皇帝第二次南巡。他沿途勘测治黄工程，访察民情，深深感到靳辅等人治理黄河卓有成效。他下令让靳辅复职。
当靳辅再一次接到河道总督任命的时候，已经五十九岁了。他感到自己年老力衰，将会不久于人世。但是，他回想起十五年前赴任时陈潢的那一席话，就毅然决定接受任命。临行前，他写下《义友竭忠书》，上奏康熙皇帝，列举了陈潢的功绩，请求昭雪他的冤案，恢复他的官衔。不幸的是，靳辅到达宿迁（在江苏省）任所后，由于操劳过度，病又加重，当年冬天就去世了。他一死，为陈潢昭雪的事也就没人再提起了。靳辅死后五十年内，黄河没有出现严重的水患。百姓们怀念他，纷纷传说他是“河伯再生”，还为他建立了祠堂，靳辅留下的《靳文襄公奏议》《治河方略》，陈潢留下的《治河述言》（由他的朋友张蔼生整理）都成为我国水利史的名著，受到后人的重视。
当年带头反对靳辅和陈潢的大臣于成龙，后来继任为河道总督，还是按照靳辅的治河方略办事。康熙皇帝看到这种状况，责问他：“你们运去经常对靳辅说长道短，现在怎么样了？”于成龙满脸通红，吞吞吐吐地说：“臣那时无知妄言，现在也不得不按靳辅的规矩行事了。”