1940年3月上旬，黃河北岸寶塔遭到侵略軍的重兵進攻，先以飛機狂轟濫炸，繼以重炮猛烈襲擊。第一旅旅長馬元祥見勢危急，親率一騎兵連渡河增援。侵略軍以步、炮、空、坦克的優勢兵力連續發動進攻。馬元祥臂部負傷，第一旅人員傷亡慘重，武器馬匹損失過半，中央陣地被突破，迫不得已後退。日軍將馬部遺棄的
拴在木樁上的戰馬百餘匹一一射殺。血色殘陽之中，中國官兵遙望目睹，無不咬牙切齒，痛哭流涕。
1940年，馬彪師整編為騎兵第八師，共三個團。中秋之夜，月華如水。日本侵略軍乘中方軍民歡聚過節之際，以大炮、坦克、裝甲車配合步兵，圍攻龍亢鎮。馬彪親臨前線督戰，立令二團輕騎迂迴包剿，襲擊敵人側背，並令三團重整旗鼓，奮力反擊。敵人在前後夾擊下，奪路向蒙城西北方向潰退，大放毒氣，阻礙追擊。敵軍慌忙撤退時，又在渦、蒙之間的丘陵地帶遭到侯鏡如師的埋伏截殺。
在沙河以北，渦河兩岸地區，只有馬彪部和新四軍彭雪楓部兩支隊伍。馬彪師三團團長謝高峰將友人介紹他與彭雪楓建立關係的信設法送去，不久彭雪楓即派其副官長和兩個人來馬彪師建立關係。一次，彭雪楓部送來100匹布給騎八師做軍裝，馬彪師以戰馬十匹、步槍十支回敬。蚌埠日軍六十師團及兩個偽軍師只要一出動，兩部就互通情報，彼此配合，多次成功地阻遏了日寇的進犯和掃蕩。但是好景不長，國民黨最高當局透過電話和戰區長官司令部，告誡馬彪謹防上當受騙。謝高峰曾向馬彪建議，斷絕兩方關係就會影響抗日大局，對最高當局的指責，可否在口頭上接受，在行動上拒絕。馬彪不置可否，但徘徊煩悶心情溢於言表。
騎八師也接受上級旨意，和新四軍搞些摩擦衝突。摩擦總計四次，其中兩次是奉命行事。來電指明某地有日軍駐防，命令他們襲擊，奇怪的是到了那裡時，不是日軍卻是友軍。雙方情況不明，旋即互相對射。有時是國民黨九十二軍襲擊新四軍，總要把馬彪師拉上去墊背。這樣的事多半是在夜間偷偷摸摸乾的。
一次，馬彪師直屬工兵連鑽進了彭部的口袋，被俘百餘人。彭部經過查詢知是友軍便將人槍全部歸還。但馬彪覺得顏面無光，有點動火，即於第三天夜晚派了兩個營，偷襲彭部也抓回了60多人槍，以示報復。翌日早晨吃飯時，馬彪問謝高峰如何發落，謝因事前毫無所知，大吃一驚。同桌吃飯的人多數主張扣下人槍。謝說： 都是抗日部隊嘛！發生點誤會，不應該計較，現在既然抓來了他們的人和槍，也算出了氣。人家能把我們的人放回來，我們為何不把他們的人放回去呢？ 馬彪採納謝高峰的意見，即把彭部人槍如數送還。
1941年以後，馬彪兼任何柱國騎兵第二軍副軍長，並有升任六十四軍軍長的傳言。於是有人向青海馬步芳告密，說馬彪有野心，想脫離青海，加之馬彪師補充兵員多來自豫皖陝等地，也似乎有擺脫青海的跡象。1942年夏，馬步芳生怕騎八師的兵權完全落到蔣介石中央軍的手裡，因而急忙由青海飛往重慶，向何應欽進行活動後，向蔣介石當面報告說： 馬彪因年老申請離休，擬由馬步康接替 蔣介石準其所請。
馬彪含冤未回青海，索性居住西安。不久接到蔣介石電召，旋去重慶面謁蔣介石，當面訴說並未要求退休，並表示抗戰危急關頭，寧願當個老黃忠戰死沙場，死而後已。蔣介石少不了嘉許馬彪勇敢善戰，屢立戰功，犒賞了美幣10萬元，並分別電示西安胡宗南及蘇魯豫皖邊區總司令湯恩伯，妥善安置。湯恩伯接電後，便籌備成立騎兵縱隊，安排由馬彪領導，曾派人到甘肅夏河等地買馬數百匹，先成立了第一團。但在繼續買馬中受到馬步芳的忌恨刁難，買馬事宜很難進行。馬彪看到成立騎兵縱隊的計劃就要落空，於是返回西安，即以中將參議的名