1941年12月8日，天津的日軍占領了英租界。何思源在英租界的家人，雖然馬上搬到了意大利租界，但還是沒有逃脫日軍的魔掌。12月31日，巡捕來傳喚何宜文（何思源的妻子）到意租界工部局去，那裡有日本憲兵，意租界當局把何宜文當場交給了給日本憲兵。
日本憲兵稱早已知道何思源的家人藏在英租界，并出示截獲的何宜文與何思源的來往信件，對何宜文說：“皇軍要同何思源合作，請你去山東走一趟，勸勸他。”
接着，日本憲兵不顧何宜文的抗議，把她押回家中，強令立刻收拾行李，由駐魯北沾化的日本憲兵小隊長小林愛男把何宜文及子女共五人押上火車，坐的是三等慢車，當晚到滄縣，次日改乘汽車到惠民，住在一個日本人家中，有日本憲兵監視，僞軍便衣看守。
日本人給何宜文母子照了一張與小林愛男的合影。後來何宜文才知道，日軍把這張照片放大，連同勸降信一起，派郵差送給時任國民黨魯北行署主任的何思源，何思源沒有拆看信的内容，就集合部隊，當衆把信撕個粉碎，并明确表态，堅決抗戰到底，決不投降！隻留下這張照片作為日軍的罪證。
那時日軍已宣布：以何宜文母子5人為人質；以南京的僞部長或山東僞省長職位（可任選其一）為誘餌，逼迫何思源與他們“合作”。否則，就要進行“掃蕩”，并将把何宜文母子放在日軍隊伍前面，何思源如抵抗，就會先打死自己的家屬，日軍之殘暴可見一斑。
負責看管何宜文母子的僞軍小頭目姓丁，此人暗中非常照顧，他對日本憲兵說，押在這裡不友善，就另找了一所民房給何宜文母子居住，這裡仍有僞軍看守，日本人卻不常在跟前。每餐由當地飯館送飯，這個僞軍丁頭目還給何宜文母子買來罐頭，說是何思源托他買的。
原來魯北行署對僞軍工作做得相當深入，惠民當地的僞軍，包括僞軍司令在内，許多人都與遊擊隊建立了關系，姓丁的小頭目也是其中之一。是以，對日軍的活動，何思源了如指掌。不久，何思源通過僞軍關系，派來老勤務員張憲五扮成僞軍士兵來照顧何宜文母子的生活，并帶來何思源寫在小紙條上的法文密信，叫妻子何宜文（原籍法國人）不要怕，日本人決不敢殺害你和孩子。從此幾乎每天都有人秘密來往，傳遞資訊。
在何思源的鼓勵下，何宜文更加堅強，小林愛男幾次要何宜文給何思源寫信勸降，都被拒絕；何思源的一個舊朋友，當時山東的大漢奸朱經古派人來慰問和勸告，何宜文也未理睬。
有一次，何宜文當面斥責小林愛男：“你們打不了何思源，拿婦女小孩出氣，真卑鄙！”小林愛男惱了，拔出手槍比劃說：“皇軍的寬大，要不，你們死了死了的有！”
過了幾天，姓丁的僞軍頭目的和幾個日僞兵帶着何宜文坐一輛大騾車走了，說是去找何思源，4個孩子交給勤務員張憲五照看。3天後，何宜文回來了，說沒有找到何思源。但後來，何宜文偷偷告訴孩子們，說她在一天夜裡，在清河鎮同何思源見了面，那是姓丁的僞軍頭目在請日本兵上炮樓喝酒的時候，在其他僞軍的幫助下，何思源進來同何宜文秘密會見的。後來，何思源談起此事時，曾說那些日本兵是些“傻種”。
有一天，門外鬧嚷嚷，大批日僞軍從門前經過，許多輛炮車呼隆呼隆地過去了。看守的僞軍說：“皇軍去掃蕩何思源啦。”何宜文很擔心。過了兩天，飯館送飯的人趁僞兵不在跟前，悄悄地對何宜文說：“日本兵回來了，死了不少人，拉了一汽車死屍呢。”從此，對何宜文母子的看管放松了一些，準許何宜文上街走走。
原來這段時間裡，何思源對日軍進行了針鋒相對的鬥争。因為意大利當局是幫兇，何思源就電請重慶國民政府把在河南一帶的70名意大利傳教士和修女集中在一起作為“反人質”（這批意僑後來被釋放，并未受到虐待），何思源宣布：日軍如敢殺我家屬一人，我們就殺意大利10人，以為報複。同時派人到平、津、京、滬投書各外國領事館、中外報館、教會、慈善團體等，揭露和譴責日軍違犯國際公法，以婦孺為人質的罪行；聲明國民政府扣留意僑作為“反人質”是萬不得已，後果應由日軍負責。
意大利駐汪僞南京政府的代表為了意僑的安全，向日軍交涉。岡村甯次不得不下令山東日軍司令限期将何思源家屬送回天津。但山東日軍還不甘心，又發動一次大規模包圍襲擊，企圖将何思源活捉，也未得逞。
1月下旬，小林愛男表示要送何宜文母子回天津，先把五人送到濟南，住在石太岩飯店。有些不相識的人偷偷地來探望，送來點心水果，流着淚走了。
在濟南，何宜文去見了日本在山東的司令土橋，土橋假惺惺地表示慰問，要求何宜文在濟南發表廣播講話，承認她是自願在日軍協助下來山東尋夫，沒有尋到，現在要回津。
何宜文說：“我的中國話說得不好，不會廣播。如果一定要我講，我隻能照實說，不會說瞎話。”
土橋隻好叫小林愛男把何宜文母子送回天津，但是依然派出憲兵監視，何宜文母子還是無法與何思源相聚。直到1944年3月，何宜文化裝成外國教會的修女，帶着子女秘密離開天津，輾轉各地，最後到了西安。至此，何宜文母子才算是徹底脫離了威脅。