在日本生活的4年多時間，母親的工作亦不輕松。除了照顧父親，她還要照顧4個男孩的起居（包括前房母親——我們稱為莫氏母親所生的3個哥哥，加上母親潘氏自己所生的四哥），別的不說，光是做衣服、鞋襪，就有忙不完的工作。當時雖有一男仆、一女仆幫忙，仍然要在洋油燈下做到晚上十二時。

1913年冬，母親生下我，來年冬天她又懷孕在身。1915年3月，父親攜帶全家由日本返回老家掃墓，安排好母親待產(chǎn)后，又帶大哥潛明去日本。1915年7月五弟慈明出生。

父親在日本幫羅振玉整理藏書及古物，學術研究的成就是多方面的，有詩詞、戲曲等，最主要的是對甲骨文、金文、漢簡的研究，在當時就有世界性的影響。他既為羅氏工作，生活上自然需要依賴其資助，其時正值京都百物飛漲，日常費用，漸覺不充裕。而羅振玉歷年印書，所費甚多，父親不愿再有累于羅氏，欲先返國。

通過同鄉(xiāng)鄒安先生聯(lián)系，父親得上海英籍猶太人哈同之邀，回上海在哈同創(chuàng)辦的學術雜志擔任編輯之職。1916年，父親攜帶大哥潛明由日本返國，居住上海愛文義路大通路吳興里392號。1917年，妹松明出生。

當時在上海，家里人口眾多。母親快生六弟，我已七歲，由三舅帶回海寧，住在外婆家。1919年10月，六弟登明出生。

父親在上海住了10年，主要是幫忙編書、做研究、寫書。

據(jù)蔣君章先生的回憶，上海哈同花園的正式名稱是“愛儷園”，園內(nèi)設有“倉圣明智大學”。蔣先生說，開學儀式時，王國維先生排列第三——校長在最前面，其次是教務長和王國維先生等重要教習。他在小學讀書時，即已久仰王國維先生的大名。

他說，王先生是短短的身體，嘴唇上蓄著八字胡須，瓜皮小帽，綴有紅帽結，后面拖著一根長辮子。這是他的特別標記。

在上海的這幾年，生活雖然艱難，父親著作卻頗多，漸受國內(nèi)外學者的注意。外國學者與父親也常相往來。

1918年，父親拒絕了北京大學校長蔡元培的邀請，不愿前往北大任教，反而前往倉圣明智大學擔任經(jīng)學教授。日本京都大學有意延攬父親，也遭到婉辭。

1919年4月，羅振玉自日本返國，父親與伯希和（歐美公認的中國學領袖、探險家，也是敦煌盜寶的始作俑者）、羅振玉等在上海會見，論學為樂。日本人狩野直喜將他從倫敦大英博物館錄得的敦煌殘卷數(shù)篇，提供給父親，父親因此得以發(fā)表許多有關敦煌殘卷的文章。當年10月，父親開始為烏程蔣汝藻編撰《藏書志》，其后又為《浙江通志》撰寫文章，生活相當忙碌。

1921年，北京大學再度托請馬衡代邀父親前往擔任文科教授，不知何故，父親再度拒絕?；蛟S當時父親仍為蔣汝藻編寫《藏書志》吧。一直到1922年年初，父親才答應擔任北大研究所國學通訊導師，不必前往北京任職，可以在上海繼續(xù)編書寫作。