坂西一郎把剿灭后方这伙敌人的事情交给了第八十六独立混编旅团之后，便一心又扑到了指挥战役的事情上，再次命令第116师团和第四十七师团加快渡江速度，配合左
翼的三十四师团和第六十八师团中路突破，向芷江方向进攻。
于是在十七日之后，第116师团和第四十七师团都加快了渡江的速度，顶着不断被空袭，加速了渡江，并且在第十七日开始，先渡江的日军部队开始向前发动了攻势。
重广支队也开始在十七日向维山展开了攻势，可是重广支队注定要倒大霉了，尚未抵达维山，就开始遭到七十三军第十五师的阻击。第十五师在维山一带层层设防，重广支队打的是步步维艰，他们没想到中国的这支部队居然战斗力这么强，往往都是死拼不退，迫使他们不得不停下来反复集中优势兵力
进行突击，才能向前继续推进，结果让他们进展十分缓慢，打到维山的时候，重广支队就足足花费了三天时间。这比他们原计划预定的时间晚了两天，按照坂西一郎的计划，重广支队在渡江之后，一旦开始发动进攻，必须要在两天之内拿下杨溪桥，但是到了二十日重广支队还在维
山跟中方的第十五师纠缠，距离杨溪桥还远着呢。整体上按照王耀武的布置，中方的左翼主要由第七十三军负责防御，中路则由第一百军负责防御，右路由第七十四军负责防御，第十八军则配合第七十三军负责左翼，汤
恩伯的第二十七集团军的第九十四军则负责湘西南一带的防御。
这么一来整体情况就比较明了了，重广支队撞上的是第七十三军的第十五师和第七十七师。
而第四十七师团主力则对上的是七十三军的第七十七师和第十八军的第十八师。
第116师团渡江之后，目标直指芙蓉山一带，这一带则是由第一百军负责防御，第16师团先碰上的是第一百军的第三十六师和第十九师。
至于第三十四师团和第六十八师团则会分别对上中方的第九十四军和第七十四军。
第四十七师团的渡边洋带着伤率领着第四十七师团主力渡江之后，开始向石马江、巨口铺一线，向着顺水桥和乌树下一带攻击前进。起初第四十七师团主力进攻还比较顺利，但是当他们攻击前进到了顺水桥的时候，就被第七十三军的第七十七师一部阻挡在了顺水桥一带，双方在顺水桥一带展开了激战
。此时七十三军已经获得了一批美式武器，另外前期准备弹药也比较充足，重火力得到了空前的加强，不但获得了一些山炮，而且还获得了一批美式的八十一毫米迫击炮，
让他们的部队战斗力得到了大幅提高。
再加上此战全国都十分关注，连美国人都十分关注这一战，中方几乎精锐尽出，整整把五个王牌军中的三个集中到了湘西，来打这一场会战。
这三个王牌军是王耀武的老班底第七十四军，廖耀湘的新六军和胡琏的第十八军，可见此次中国对于湘西会战的重视程度。
第七十三军虽然不是王牌部队，但是战斗力却也不可小觑，两个师的师长都不是软蛋，第十五师师长梁祗六不说了，前期已经展现出了他骁勇善战的本事。
第七十七师师长是唐生海，此人也是一名老将，打仗一样不含糊，派出了一个团的兵力，驻守在顺水桥和乌树下一带阻击日军。
第四十七师团在抵达顺水桥之后，立即便遭到了早已在这里等候他们的第七十七师的奋力抵抗。
七十七师利用之前构筑好的即设阵地，在顺水桥一带死死的拖住了四十七师团，渡边洋带伤督战，但是连攻数日也未能拿下顺水桥。
此时重广支队在维山一带，还在跟第十五师纠缠，始终无法突破第十五师的拦截，七十三军还集中火力支援第十五师，凶猛的火炮给重广支队造成了不小的杀伤。
于是重广支队只能无奈的呼叫渡边洋给他们提供支援，并且向他们靠近，但是渡边洋这边在顺水桥一点，也打的是举步维艰，根本腾不出手去增援重广支队。而第116师团在渡江之后，立即便向芙蓉山一带第一百军的防御阵地发动了攻势，他们先是兵分三路，一路攻击桃花坪一带，那里驻守着三十六师五十七团的一个连的兵力
，日军第一阵进攻，直接就被打退了回来。
于是鬼子又增派了一千多兵力，强攻桃花坪，那个连的中国官兵，面对十倍于他们的日军，死战不退，激战两日之后，无一人投降，全员战死在了桃花坪一带。
随即第116师团又向芙蓉山外围阵地岩口铺发动了攻势，可是在岩口铺驻守了第一百军第三十六师某团的一个连的部队。这个连的中国官兵，面对着数十倍于他们的日军，同样也选择了死战到底，他们连一共一百九十余人，就靠着这一百九十余名中国官兵，却死死的挡住了第116师团一路人
马的进攻。
激战数日之后，第116师团屡战屡败，始终拿不下岩口铺这个小小的中方的阵地，反倒是死伤不轻。第116师团三路兵马，另外还获得了独立山炮兵第二连队和一个工兵联队的助战，但是却在芙蓉山一带，被中方的一个团的兵力，给死死的挡在了芙蓉山之下，撞得是头破
血流。
几天下来日军主力部队在中路和右路的进攻悉数遇阻，完全没有取得任何像样的战果，每一支日军几乎都碰上了坚决抵抗的中方的部队，打的是十分狼狈。于是不管是第116师团还是第四十七师团亦或是重广支队，都向坂西一郎汇报，说他们遭遇了中国军队的精锐主力部队，这些中国的部队全部都是全美械装备，火力非常凶
悍，使得他们进攻屡屡受挫。这把坂西一郎给忽的一愣一愣的，觉得如同被兜头浇了一盆冷水一般，果真应了前些天他的那个担忧，这次芷江战役果不其然遇上了大麻烦了。