多彩な家系である。父である青木湯之助氏は、戦前、タップダンサーやコメディアンとして活躍し、戦後は甘味喫茶、コーヒーショップを開業し、一転、事業家の道を歩み始める。兄であり、青木家の長男であるロッキー青木氏は、レスリングで渡米し、52キロ級で全米チャンピオンになったこともある。日本人としてアメリカで飲食店を成功させた人物としても有名で、のちには冒険家としても認められている。この父や兄と比較すると、エネルギッシュな青木四郎氏といえども、どちらかといえば堅実で慎重なタイプに思えてくる。時々、語気を強めるが、落ち着いた話しぶりからも誠実な人柄が透けてみえる。しかし、青木四郎氏の実業界への登場は、父や兄に劣らずセンセーショナルだった。

1971年、青木四郎氏は、ニューヨーク郊外に200名は収容できる合掌造りのレストラン「GASHO OF JAPAN」」を開業した。オープン後、2日間は、町民を無料で招待。連日、深夜まで客の列は途絶えなかったそうだ。町は、このレストラン誕生に、熱狂した。

当時を振り返り、青木氏は語る。「白川郷にある合掌造りの民家（富山・金沢の県境にあり、現在は、世界文化遺産にも指定されている）を買い取り、いったん解体して、コンテナで日本の違う場所に移して一度組み立てたんです。古い建物のため使えない木材などもありましたから。そして足りない箇所を日本で補って作り、完成したらまたばらしてアメリカに持っていったんです。高山から大工さんを7人連れてきて、こちらで建て直した。当時は私も若かったんですね。市の許可をとらずに建て始めたものだから、裁判になりましてね。たまたま弁護士が、日本贔屓で、熱を入れて弁護してくれたおかげで、結局、罰金100ドルで済んだんですが。その意味では開業する前から注目されていたといえるかもしれませんね」。でも、どうして許可が必要だったのだろうか？　「市からすれば、何ができるのか、わからなかったんでしょうね。何しろ、200年前の日本の民家を建て始めたんですから。しかも、昭和46年の頃ですからね」。

青木氏がいうニューヨークの郊外とは中心地であるマンハッタンから40マイルほど離れ、ニュージャージーに程近い町だったようだ。「父親以外は、全員、反対しましてね。父は賛成してくれたんですが、心配はしていたようですね。だから、こういったんです。四郎、大丈夫か。これで失敗したら2軒目はないぞってね」。

当時の円・ドルのレートは1ドル360円。海外旅行すら、ままならない時代である。すでに渡米後、10年。父の片腕として、敏腕を振るってきた経験がある。青木四郎氏は、その10年間であたためた構想で一気に勝負にでた。オープン後2日が過ぎても、客足は衰えず、青木氏が見込んだ通り、ニューヨークの中心地マンハッタンからも、隣の大都市、ニュージャージからも、連日、津波のように車が押し寄せて来たのである。28歳の若き実業家、誕生の瞬間でもあった。