同治五年十一月初五日（1866年12月11日），奕䜣上一奏折，请在原同文馆内添设一馆，专门学习天文、算学等自然科学知识。招生对象有很大变化，不是招收幼童，而是满汉举人及恩、拔、岁、副、优五贡生等正途出身之五品以下京外各官年龄在20以上者，聘请西人在馆任教。

慈禧太后见折允奏。在得到批准后，奕䜣便考虑设馆招生的具体细节问题，经深思熟虑又上一折，提出扩大招生范围，把翰林院编修、检讨、庶吉士等也列为招生对象，拟定了详细的章程。这道奏折又得到了慈禧太后的批准。同治六年正月，奕䜣三上奏折，推荐原太仆寺卿徐继畬为总管同文馆事务大臣。

太仆寺卿为从三品，以徐继畬为总管同文馆事务大臣，这就提高了同文馆的地位，使人们不敢轻视它。慈禧太后当天便予以批复，不仅同意了奕䜣的推荐，而且指示徐继畬仍在总理各国事务衙门行走，表明了对洋务派的支持。然而，洋务派提出的聘请外国教习和让翰林院的编修、检讨、庶吉士也入馆学习，触动了当时顽固守旧势力的神经。

同治六年正月二十九日（1867年3月5日），山东道监察御史张盛藻的一封上疏引起了轩然大波。奏疏中反对招收正途科甲人员学习天文算学，认为自强之道不在制造轮船、洋枪，而在气节。有了气节，“以之御灾而灾可平，以之御寇而寇可平”，关键是“读孔孟之书，学尧舜之道”，“何必令其习为机巧”？与此呼应，二月十五日，大学士倭仁上一奏折，支持张盛藻的意见反对设立天文算学馆。倭仁是名于时的理学大师，又是同治帝的师傅，位高权重，附和者甚众。

慈禧太后将倭仁的奏折交由总理衙门评议。奕䜣主持下的总理衙门毫不客气，痛驳倭仁等人不识时务的论调。奕䜣更是将倭仁一军，请旨饬令倭仁立即“酌保数员”，并“另行择地设馆，由倭仁督办讲求”，与同文馆“互相砥砺”。上谕发抄后，倭仁无言以对，只好向朝廷回奏，自己并无“意中之人”，恳求朝廷撤回以前的奏议，不再反对设馆和聘请外籍教师授课。

奕䜣并未就此罢休，他奏请太后准许倭仁在总理衙门行走，要他直接参与为其所深恶痛绝的“洋务”活动。倭仁多次恳辞，奕䜣再三驳斥，致使倭仁无法申辩，硬着头皮上任，“中途故坠马，遂以足疾请假。”这场斗争使顽固派的气焰有所收敛。然而一波未平，一波又起。

同治六年京师干旱不止，又发疫情，顽固派乘机反扑，将此天灾人祸来比附洋务派的改革，大肆渲染是洋务派的改革触怒了天意。候选直隶知州杨廷熙进一步发挥这种荒谬的“天象示警”之说，呈递《请撤销同文馆以弭天变折》，详述同文馆之设有“十”不可解，完全是“不当于天理，不恰于人心，不合于众议”的举动，请求两宫皇太后收回成命，以杜乱萌。

这份奏折是继倭仁之后顽固派的又一次猛烈反击。慈禧太后看到这个奏折后十分气愤，立即命军机处起草上谕驳斥杨廷熙，措辞严厉，指责杨廷熙草莽无知，并痛诋倭仁等人的守旧主张，表现了对洋务运动的完全支持。对倭仁，慈禧太后又下一谕，仍命其在弘德殿行走，其余差使全免。

这场大争论，在慈禧太后的支持下似乎以洋务派的胜利告终。表面上看，顽固派处境尴尬，不敢再公开提出反对意见，天文算学馆也照计划开设了。但因为浮言四起，正途出身的投考者很少，一省只有一、二人愿意报考，一旦报考“遂为同乡、同列所不齿”。最后仅招收了30人。在顽固派的影响下，洋务派的胜利也是无从谈起的。