生い立ちと音楽
医学博士小野貞衛の長男として九州小倉市(現在の北九州市小倉区) に生まれる。
小学校時代から高等学校時代の間にピアノ、尺八、箏を習い、高校時代には都山流尺八準師範に合格し、在籍していた修猷館高校の名にちなんで「猷山」の名を受ける。
当時、将来音楽家を目指すという志はなかったと思われるが、この時代に修得したことが後年の小野衛の人生に大きな影響を与え、音楽的基盤となったことは否めない
宮城道雄との出会い、師事、共演
昭和10年上京、東京帝国大学理学部物理学科に入学。
「東京に出て一番に東京帝大の同学科の大先輩である田辺尚雄先生宅を訪れた。
田辺先生は当時既に音楽理論の第一人者として有名な方であったが、田舎出の一書生の無礼をとがめもせず招じ入れて話を聞いて下さった。
そこで宮城道雄先生の住所を教えていただき、そして宮城道雄先生のもとに入門した。」（1984年会報巻頭文より）
大学に通いながら宮城道雄のもとに箏の稽古に通い、その間に田辺尚雄の著書をむさぼり読んだ。
その中で箏、三絃楽譜の五線譜表記法を学び取り、さらに工夫を加えて箏曲五線譜を作成した。
入門して数年後には、尺八奏者として宮城道雄と数々の共演をするようになった。
宮城道雄の音楽の継承と現代邦楽の作曲
同門の盲人の親友から点字を習い、宮城道雄作曲の点字の譜面から普通譜面への書き換えも行った。
宮城道雄の薦めにより、笙を宮内省楽師多忠紀に、フルートを岡村雅雄に師事。
昭和12年から諸井三郎のもとで作曲法を学び、その門人により結成された「新声会」にて作品を毎年発表。
昭和23年毎日コンクール作曲第二部入選、
翌24年「新声会」同人として毎日音楽賞を受賞
昭和28年作曲の「箏二重奏の為のソナタ」が翌年NHKラジオ放送で初演、広く音楽界に認められるに至った。
後年、「この曲を宮城先生が評価してくださったことで、作曲家として、さらに後継者としての力量も認められたと感じた」と小野衛は語っている。
邦楽器による自らの作品を世に問う形で昭和30年に第１回作品発表会を開催し、小野衛の音楽は大いに開花した。
昭和36年、吉川英史、中能島欣一両氏と共に監修したレコード「箏曲と地唄の歴史」（ビクター）が芸術賞を受賞。
さらに、若手邦楽家の為の公の教育機関として生まれた「NHK邦楽技能者育成会」の講師として、新しい日本音楽を担う若い演奏家の育成に尽力した。
独立そして「創明音楽会」の創立
宮城道雄の急逝に因って発生した宮城会の諸問題の責任をとり、昭和41年宮城家から離籍、小野姓に戻り、「創明音楽会」を創立した。
創立の翌年昭和42年から会報を発行、全国の会員に自らの音楽意識を伝えるとともに、会員の音楽知識の向上を図り、会員相互の親睦を促進、さらに、宮城道雄の遺した邦楽器による合奏音楽の理念を継承し、創明合奏団を結成した。
「宮城道雄先生との演奏感覚は、先生の死後二度と戻ってこなかった。その死とともに私の演奏も死んでしまったのだ」（1968年当会会報巻頭文より）
以後、作曲と門下生の育成に全力を注いだ。
創明音楽会の発展と次代への継承
生い立ちと音楽
小野衛は積極的に作品を創り続け、五線譜を中心とした箏の演奏法と楽理・楽典等音楽理論を教える。
また、師範試験を昭和42年より実施。
昭和57年、作品43曲を収録したレコードを「小野衛の世界」として発行、その演奏は自ら育成した門下生が中心となった。
昭和59年には、会員の要望もあり、同じくCBSソニーより「小野衛 古典のしおり」を発行、さらに宮城道雄作品の解説書「宮城道雄の音楽」を発刊。
その後、創明の発展を祈念し、生前に会長を小野正志氏に委ね、自身は名誉会長に就任した。
平素は殆ど医者にはかからないほど健康であったが、晩年胃潰瘍・白内障・大腸の手術を受け、2001年の創立35周年記念全国演奏会の出演は不可能であった。
そして、同年11月14日帰らぬ人となった。
小野正志現会長の謝辞にあるように、正に栄光と波瀾の人生であったといえる。
命日は現会長によって「猷山忌」と命名された。