40歲的年齡，按照壹般人的想法，早過了創業的年齡，但沃森不這麽想，他對自己有信心，認為潛力還遠遠沒發揮出來，潛意識裏，他認為自己可以幹出壹番大事業。
兩個月後，沃森遇上了IBM前身的奠基者弗林特。弗林特是華爾街最紅火的金融家，號稱“信托大王”。他對沃森的才幹早有所聞，旋即聘任他為計算制表記錄公司的經理。這家弗林特屬下的公司，主要生產天平、磅秤、計時鐘和制表機等。由於前任在經營方面不得要領，成立不到三年已是負債累累、瀕臨破產。沃森之所以對這家公司感興趣，主要看中它的產品。他認為計時鐘、制表機等都是辦公自動化的工具，具有廣闊的商業前景。
最初，因為沃森曾經被定過罪，董事們只讓他當壹個小小的經理，但精明的沃森除了要得壹份體面的薪水外，還要求能夠得到利潤的壹定比例作為獎勵。而董事們急於扭虧。對沃森的要求壹壹答應，但是大家在心裏是看不起他的。公司裏沃森是孤立的，只有弗林特壹個人支持他。從1914年到1924年，沃森就這樣忍辱負重地壹直工作著，發揮了當初死纏爛打當上推銷員的精神，用自己的成績說服眾人對他的歧視。
沃森上任後的第壹件事便是向銀行借貸5萬美元。用於產品研發。當銀行對公司的償債能力提出質疑時。他解釋說?“負債只說明過去。而這筆貸款是為了未來。”這句沃森壹生中最偉大的推銷詞打動了銀行官員，於是他順利借得款項。在度過最初的艱難時刻後。公司業績開始迅速上升。
第壹次世界大戰結束時，制表機需求量激增。幾乎每壹家大保險公司和鐵路公司都用上了計算制表記錄公司生產的霍勒利斯制表機。不久，政府部門也采用了。沃森適時地推出新型的打印——制表組合機，更是受到廣大客戶的歡迎，定貨單堆得老高，產品供不應求。1919年，公司的銷售額高達1300萬美元，利潤也升至210萬美元。1924年2月，已經身為公司總經理的沃森決定將公司更名為國際商用機器公司，簡稱IBM。是年，沃森剛滿50歲。從此，他抹去了同任何人有關聯的最後痕跡，開始了自己與IBM融為壹體的後32年生涯。
30年代初，IBM開始打入打字機行業，生產打字機、打孔卡片，以及打孔機、分類機、會計計算機等系列產品，並推出電動打字機、字母制表機等新產品。到30年代末，IBM公司的銷售額增長到3950萬美元，其利潤達到910萬美元，竟超過其他4家同類型大公司的總和，壹躍而成為全美最大的商用機器公司。
這時的托馬斯·沃森不知道，未來的世界將由數字掌控，他生產的打孔機正暗示著未來世界的趨勢，他也不知道自己公司生產出來的計算機是多麽重要，將怎樣改變世界。這個超級推銷員坦誠自己不喜歡美酒與姑娘，只是喜歡“雇傭推銷員”。而30年代IBM的成功就是靠這些經過沃森專門培訓的推銷員。
大戰結束後，計算機市場初露端倪，IBM充當先鋒，率先攻占計算機市場。雖然沃森沒上過大學，沒有任何技術背景，但長時間的市場經營鍛煉出他敏銳的直覺，如果沒有沃森，可能會出現完全不同的計算機——壹種運算的工具而不是技術。所以，他才被人稱為“計算機之父”，而真正的計算機事業是在他的後代手裏蓬勃發展起來的。
早在1933年，IBM就曾為哥倫比亞大學設計了壹種高速運算器，1937年，哈佛大學的計算機專家艾肯博士建議沃森綜合幾種機器，造出更快的運算器，為此沃森撥款50萬美元，歷時6年之久，研制出世界上第壹臺自動順序控制計算機，名為“馬克1號”，每秒鐘可以進行3次計算。1946年，IBM又推出第壹臺電子計算器，1948年，又推出壹臺部分電子部分電機的數字計算機，這臺機器安裝在IBM紐約總部，直接向參觀者進行實際操作表演。IBM開始涉足電子計算機領域，但還不能說IBM在電子技術和計算機工業技術方面的真正崛起。
當時在業界內出名的是雷明頓—蘭德公司，這是兩個專業研究人員成立的，1946年，他們成功地制成了世界上第壹臺電子計算機，命名為“埃尼亞克”，計算速度比IBM的快了太多。面對如此強大的競爭對手，IBM是發展前景莫測的電子計算機，還是繼續經營收益可觀的打孔卡機？IBM內部展開了激烈的爭論。以老沃森為首的壹派認為，盡管計算機能夠解決所有重要的科學計算問題，但是價格昂貴，幾乎沒有人肯出資買這樣壹臺機器，況且計算機的前途是很渺茫的，用途不是很廣。老沃森的兒子小托馬斯·沃森卻不以為然，他深信到壹定時候，計算機將具有巨大的市場，父子倆之間時常因此而爭論不休。
正在這時，市場傳來了反饋意見：打孔卡計數器出現嚴重滯銷。面對現實，沃森意識到，先進的電子計算機時代已經到來，是自己讓賢的時候了。1949年，IBM總裁正式任命兒子小沃森為執行副總裁，放手讓年輕人去幹新興行業。
1956年，剛剛完成權力交接的沃森因為心臟病去世了。而1955年是他生命中最完美的壹年，公司收益7億美元，幾乎是戰後1946年的6倍，進入80年代之後，IBM成為世界上最大的工業公司。