Makine Öğrenimi Algoritmasını Kullanarak Konuşma Sinyallerinden İyileştirilmiş Özellik Parametresi Çıkarma(1)

Soyut: Konuşma tanıma, yazılım veya donanımın bir konuşma sinyalini alma, konuşma sinyalindeki konuşmacının özelliklerini tanımlama ve daha sonra konuşmacıyı tanıma kabiliyetini ifade eder. Genel olarak, konuşma tanıma süreci üç ana adımı içerir: akustik işleme, özellik çıkarma ve sınıflandırma/tanıma. Özellik çıkarmanın amacı, önceden belirlenmiş sayıda sinyal bileşeni kullanarak bir konuşma sinyalini göstermektir. Bunun nedeni, akustik sinyaldeki tüm bilgilerin işlenmesinin aşırı derecede külfetli olması ve bazı bilgilerin tanımlama görevinde alakasız olmasıdır. Bu çalışma, gerçek zamanlı akıllı şehir ortamlarında konuşma tanıma uygulamalarının performansını iyileştirmek için konuşma sinyallerinden özellik parametresi çıkarımı gerçekleştiren makine öğrenimi tabanlı bir yaklaşım önermektedir. Ayrıca, bir ana bellek bloğunu önbelleğe eşleme ilkesi, bilgi işlem süresini azaltmak için verimli bir şekilde kullanılır. Önbellek blok boyutu, önbellek performansını güçlü bir şekilde etkileyen bir parametredir. Özellikle bu tür süreçlerin gerçek zamanlı sistemlerde uygulanması yüksek bir hesaplama hızı gerektirmektedir. İşlem hızı, gerçek zamanlı sistemlerde konuşma tanımada önemli bir rol oynar. Özellik parametrelerinin konuşma sinyallerinden çıkarılmasında ivmeyi artıran modern teknolojilerin ve hızlı algoritmaların kullanılmasını gerektirir. Konuşma sinyallerinin dijital olarak işlenmesi sırasındaki hız aşırtma sorunları henüz tam olarak çözülmedi. Deneysel sonuçlar, önerilen yöntemin sinyal özniteliklerini başarıyla çıkardığını ve diğer geleneksel konuşma tanıma algoritmalarına kıyasla kesintisiz sınıflandırma performansı elde ettiğini göstermektedir.

Cistanche Deserticola

anahtar kelimeler: Konuşma tanıma; paralel hesaplama; dağıtılmış bilgi işlem; çok çekirdekli işlemci; özellik çıkarma; Spektral analiz

1. Giriş

İnsanlar ve bilgisayar teknolojisi arasındaki iletişim yaklaşımlarının oluşturulması, modern yapay zekanın kritik bir görevidir. Kullanıcıların bilgi girmesi için en kolay yöntemlerden biri konuşma sinyalleridir. Bu nedenle, konuşma sinyali işleme teknolojisi ve araçları, bilgi toplumunun gerekli bir parçası haline gelmiştir. Konuşma tanıma, konuşma sinyali işlemenin temel bir araştırma yönü ve hayati bir insan-bilgisayar etkileşimi tekniğidir. Konuşma sinyalleri semantik, kişisel ve çevresel bilgileri içerir [1]. Konuşma sinyali işlemeye yönelik genel yaklaşım, sinyal parametrelerinin değişmediği varsayılarak, sinyalin sabit boyutlu zaman pencerelerine bölündüğü kısa süreli analiz kullanmaktır. Daha doğru bir sinyal temsili elde etmek için pencereler arasına bir örtüşme yerleştirilir. Her pencereye spektral analiz ve doğrusal tahmin gibi özellik çıkarma algoritmaları uygulanır. Ancak bu işlemlerde hız ve süre de dikkate alınmalıdır.

Çöl ginsengi

Zamanlama, gerçek zamanlı sinyal işlemenin çeşitli alanlarında önemli bir husustur. İşlemci kaynakları verimli bir şekilde kullanılarak ve dijital işlem süresini azaltmak için yeni ve hızlı algoritmalar geliştirilerek işlem hızı oranı artırılabilir. Ancak, yüksek performanslı bilgi işlem sorunları henüz tamamen çözülmemiştir [2]. Ayrıca, dijital sinyal işleme donanım ve yazılımının geliştirilmesiyle otomatik konuşma tanımada önemli ilerlemeler kaydedilmiştir. Bununla birlikte, bu ilerlemelere rağmen, makineler, özellikle konuşmacıdan bağımsız konuşma tanımada, doğruluk ve hız tanıma açısından insan emsallerinin performansıyla boy ölçüşemez. Bu nedenle, konuşma tanıma üzerine yürütülen büyük miktarda araştırma, mevcut konuşma tanıma tekniklerinin geniş uygulama yelpazesi ve sınırlamaları nedeniyle, konuşmacıdan bağımsız konuşma tanıma problemlerine odaklanmıştır [3].

Özetle, çalışmanın ana katkıları aşağıdaki gibidir:

Cistanche çayı

Cistanche Deserticola çay ürünlerini incelemek için tıklayınız.

【Daha fazlasını isteyin】 E-posta:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Bir kişiyi konuşma sinyalleriyle tanımlama süreci birkaç aşamadan oluşur. Bunların arasında, bazı adımlar daha fazla hesaplama süresi gerektirir. Bu bir spektral analizdir. Makine öğrenimi algoritmalarında özellikle önemli olan parametrelerden biri de eğitim süresidir. Bu çalışmada, özellikleri çıkarma sürecinin konuşma sinyallerinin tanımlanması için önemli olduğunu bulduk. Ek olarak, makine öğreniminde çok zaman alır. Spektral analiz sürecinin bağımsız işlemlerden oluştuğu ve paralelleştirmenin mümkün olduğu tespit edilmiştir.

Deneyler, FFT ve DCT spektral dönüşümlerinin spektral analizde iyi sonuçlar verdiğini göstermiştir. Spektral analiz işlemi, konuşma sinyalinin her bölümü için geçerlidir. Bu, bu özellikleri konuşma sinyalinden açıkça ayırt etmemizi sağlar. OpenMP ve TBB araçlarının yardımıyla, hesaplamaları hızlandırmayı mümkün kılan paralel bir hesaplama algoritması geliştirildi.

Segment boyutu, bir konuşma sinyalini segmentlere ayırırken önemlidir. Deneyler sırasında, konuşma sinyalinin segment boyutunun, merkezi işlemcinin önbelleğine bağlı olduğu bulundu. Özellikle, çok çekirdekli işlemcilerde segmenti önbellek boyutuyla eşleştirmenin, makine öğreniminde hesaplama hızı üzerinde olumlu bir etkiye sahip olduğu bulunmuştur.

TBB ve OpenMP kullanan çok çekirdekli işlemcilerde bir makine öğrenme algoritması kullanarak konuşma sinyallerinden özellik parametresi çıkarımı için sinyallerin spektral dönüşümleri için yeni bir paralel uygulama yöntemi önerilmiştir.

Ana bellek bloğunu önbelleğe eşleme ilkesinin ve önbellek bloğunun boyutunun etkin kullanımının işlem hızını artırabileceği de bulundu.

Yakınımdaki Cistanche eki-Bellek Geliştirme

Bu makalenin geri kalanı şu şekilde organize edilmiştir. Bölüm 2, belirli konuşma sinyali özelliklerini çıkarmak için mevcut çalışmaları gözden geçirmektedir. Bölüm 3, deneylerle özellik çıkarma adımlarını açıklar. Bölüm 4, özellik parametrelerini konuşma sinyallerinden ayrıntılı olarak çıkarmak için önerilen yüksek performanslı hesaplama algoritmasını sunar. Uygulamamıza dayanan deneysel sonuçlar Bölüm 5'te tartışılmaktadır. Bölüm 6 önerilen yöntemin sınırlamalarını vurgulamaktadır. Son olarak, Bölüm 7 bulguları özetleyerek ve gelecekteki araştırma yönlerini belirterek çalışmayı sonlandırır.

2. İlgili Çalışmalar

Konuşma sinyallerinin bölümlenmesi ve seçilen parçaların parametrik göstergelerinin hesaplanması için yeni yöntemler, algoritmalar ve daha modern uygulamalar geliştirilmekte ve iyileştirilmektedir, böylece spektral analiz kullanılarak konuşma sinyallerinin bir spektrogramı oluşturulmaktadır [4-7]. Dünya çapında çeşitlendirilmiş ses klipleriyle konuşmacının tanımlanması, özellikle güçlü ve ayırt edici özelliklerin çıkarılmasında çok önemli ve zorlu bir görevdir [8]. Geleneksel MFCC gerçekleştirmesinden daha hızlı ve enerji açısından daha verimli olan yeni bir Mel Frekans Cepstral Katsayıları (MFCC) öznitelik çıkarma sistemi Korkmaz ve diğerleri tarafından önerilmiştir. [9]. Yüksek geçişli bir ön vurgulama filtresi kullanmak yerine, düşük geçişli bir filtre kullandılar. Yüksek frekanslarda sinyalin enerjisini artırmak için ön vurgulama gerektiğinden, yüksek geçiş filtresiyle birlikte bir bant geçiren filtre uyguladılar. Önceki çalışmalarımızda [10], konuşmacı tanımlama için yeni bir MFCC tabanlı yöntem sunmuştuk. Geleneksel MFCC'leri kullanmak yerine, özellik setimiz olarak Mel spektrogramından pikseller kullanıyoruz. Spektrogram, yeni bir veri kümesi oluşturmak için bir 2-D dizisine dönüştürüldü. Konuşmacıyı tanımlamak için, 10-katlı çapraz doğrulama tekniğiyle birkaç öğrenme algoritması uygulamaya kondu. Tanh aktivasyon fonksiyonuna sahip çok katmanlı bir algılayıcı (MLP) yardımıyla, yüzde 90,2'lik en iyi doğruluk elde edildi.

Özellik çıkarımı, sonraki işleme ve analiz için nispeten daha düşük bir veri hızında konuşma dalga biçimini bir parametrik temsil biçimine değiştirerek gerçekleştirilir [11–14]. Özellik çıkarma yaklaşımları genellikle her konuşma sinyali için çok boyutlu bir özellik vektörü verir. Özellik çıkarımı, konuşmacı tanımanın en alakalı kısmıdır. Bir konuşmacının diğerlerinden ayrılmasında konuşma özelliklerinin hayati bir yeri vardır. Özellik çıkarma, konuşma sinyalinin gücüne herhangi bir zarar vermeden konuşma sinyalinin büyüklüğünü azaltır [15–17]. [18]'de yazarlar, konuşmacıya bağlı bir otomatik konuşma tanıma performansını iyileştirmek için ilk kısa süreli Fourier dönüşümünü hesaplamak için kullanılan spektral analiz penceresinin boyut ve kaydırma parametrelerinin ince ayarını kullanan yeni bir yaklaşım tanıttılar. (ASR) sistemi. Doktorların yokluğunda, sıradan insanlar yapay zeka yaklaşımları kullanılarak oluşturulan karar destek sistemlerini kullanabilir. Erken ve invaziv olmayan kalp durumu tespiti, fonokardiyogram (PCG) sinyalleri kullanılarak gerçekleştirilebilir [19–21].

Konvolüsyonel sinir ağlarının (CNN'ler), özellik uzayındaki yapısal lokaliteyi başarılı bir şekilde simüle ettiği ve öteleme varyasyonunu azaltmak ve özellik uzayındaki bozulmaları ve küçük değişiklikleri ayarlamak için önyargılı bir frekans bölgesi içinde havuzlamayı kullandığı gösterilmiştir [22]. Mukhamadiyev ve ark. Özbek dili ve lehçeleri için uçtan uca derin sinir ağı gizli Markov modeli konuşma tanıma modeli ve hibrit bağlantıcı zamansal sınıflandırma (CTC) dikkat ağı önerdi. Önerilen yaklaşım, dikkat modeli eğitiminde CTC amaç fonksiyonunu etkin bir şekilde kullanarak eğitim süresini azaltır ve konuşma tanıma doğruluğunu geliştirir [23]. [24]'te kalp sesi sinyallerini doğrudan bir elektrokardiyogramdan (EKG) bağımsız olarak normal ve anormal olarak ayıran tek boyutlu bir evrişimli sinir ağı (CNN) modeli kullanılarak özellik çıkarma ve sınıflandırma önerilmiştir. Evrişim çekirdeği 52'den küçük olduğunda, bu çalışmada kullanılan kalp sesi sinyalleri için 1D CNN'de sınıflandırma doğruluğunun 2D CNN'den daha yüksek olduğunu iddia ediyorlar çünkü büyük bir evrişim çekirdeği hesaplama karmaşıklığına yol açabilir ve giderek daha fazla zaman alır. . [25]'te, TIMIT veri tabanı (TIMIT Akustik-Fonetik Sürekli Konuşma Corpus) kullanılarak konuşma özelliği dizileriyle ilgili akustik modellerin durum dizilerinin sonsal doğruluğunu maksimize etmek için derin bir sinir ağı eğitildi.

3. Ön İşleme: Malzemeye Genel Bakış

Yakınımdaki Cistanche eki-Bellek Geliştirme

Bu amaçla, konuşma sinyallerinden ve parametrik gösterimlerden öznitelik parametrelerini çıkarmak için hızlı algoritmaların geliştirilmesi, işleme için yararlı ve bilgilendirici örneklerin çıkarılması ve seçilen akustik bölümlerin spektrogramlarının uygulanması için programların geliştirilmesi vazgeçilmezdir.

Konuşma tanıma sistemleri iki ana alt sistemden oluşur:

Konuşma sinyallerinin birincil işlenmesi (fonogram);

Akıllı bir algoritma (spektrogram) kullanarak akustik sembollerin sınıflandırılması.

Birinci alt sistem, sinyallerin ve sinyal özelliklerinin bir dizi bilgilendirici akustik özelliği olarak akustik semboller üretir. İkinci alt sistem, elde edilen akustik özelliklere dayalı olarak konuşma sinyalini parametrik bir forma dönüştürür. Konuşma sinyali işleme aşağıdaki aşamalardan oluşur:

Konuşma sinyalinin sınırlarının ayrılması;

Dijital filtreleme;

Segmentasyon;

Düzleştirme penceresinin uygulanması;

Spektral dönüşüm ve spektral frekansların normalleştirilmesi.

Bu adımlar, konuşma sinyallerinden özellik parametrelerini çıkarmak için yaygın olarak kullanılır ve ana özellikleri aşağıda ele alınır.

3.1. Sınırların Ayrılması

Gelen sinyalden konuşmanın sadece bölümlerinin çıkarılması veya gürültülü bir ortamda bir cümlenin başlangıç ​​ve bitiş anlarının belirlenmesi konuşma işlemede önemli bir görevdir. Bu sorunu çözmek için konuşma sinyalinin aşağıdaki özellikleri kullanılır: konuşma sinyalinin kısa vadeli enerjisi, sıfırda kesişen nokta sayısı, sinyal içindeki sessizlik alanı değerlerinin dağılım yoğunluğu ve spektral entropi. Geleneksel konuşma tanıma sistemleri, gelen konuşma sinyallerinden konuşma sınırlarını belirlemek için bir sinyalin geçici ve spektral enerjilerine (örneğin, ses etkinliği tespiti) dayanan teknikleri kullanır [26-28].

Konuşma sinyalinin ana parametreleri, konuşma sinyalinin kısa vadeli enerjisi ve sıfırdan geçen nokta sayısıdır. Kural olarak, bir konuşma sinyalinin parametreleri zaman içinde hızla değişir; bu nedenle, bir konuşma sinyalini üst üste binmeyen 10 ila 30 ms uzunluğundaki parçalara işlemek alışılmış bir durumdur. Konuşma sinyali bu aralık içinde durağandır ve konuşma sinyalindeki sessizlik alanları geçici enerji hesaplanarak kaldırılır. Bu sorunu çözme algoritması, bir sonraki konuşma sinyalinin 256 kısa vadeli enerji değerinden oluşan N dizisine bölünmüştür.

Konuşma sinyalini bölerek her parçanın enerjisinin hesaplanması paralel ve dağıtık hesaplama için uygundur. Her parça bağımsız olarak işlenir. İşleme n çekirdekli bir çok işlemcide uygulanırsa, n parçanın enerjisini aynı anda hesaplamak mümkün olacaktır. Bu nedenle, bu aşamada paralel işleme verimliliğini artırmak mümkündür [29–32].

3.2. Sıfır Geçiş Sayısı

Sıfır geçiş, matematiksel bir fonksiyonun işaretinin değiştiği (örneğin, pozitiften negatife) bir noktadır; bu nokta, fonksiyonun grafiğinde eksenin kesişmesiyle (sıfır değeri) gösterilir [33]. Bir sinyaldeki sıfır geçiş frekansı, onun spektral özelliklerinin en basit göstergesi olabilir. Örneğin, bir konuşma sinyalinde sıfırdan geçen noktaların sayısı aşağıdaki denklem kullanılarak belirlenebilir:

Şekil 1. Spektral entropi analizine dayalı konuşma ayırma yöntemi.

3.3. Dijital Filtreleme

Tipik, yararlı bir sinyale ek olarak, çeşitli gürültü türleri mevcuttur. Gürültü, konuşma tanıma sistemlerinin kalitesini olumsuz etkilediğinden, gürültüyle başa çıkmak acil bir konudur. Sistemdeki gürültü seviyelerini azaltmak için iki tür dijital filtre kullanılır: hat filtresi ve başlangıç ​​filtresi. Doğrusal bir filtre, tüm düşük ve yüksek frekansları yakaladığı için düşük ve yüksek frekanslı filtrelerin bir kombinasyonu olarak düşünülebilir. Daha sonra tanımlama için kullanılan karakteristik işaretler üzerindeki yerel bozulmaların etkisini en aza indirmek için ilk filtreleme uygulanır. Spektral hizalama için bir konuşma sinyali alçak geçiren bir filtreden geçirilmelidir [35].

3.4. segmentasyon

Segmentasyon, bir konuşma sinyalini ayrı, örtüşmeyen parçalara bölme işlemidir. Sinyal genellikle cümleler, kelimeler, heceler, fonemler ve hatta daha küçük fonetik birimler gibi konuşma birimlerine bölünür. Çok sayıda konuşmacının sözlerini içeren kayıtların bölümlere ayrılması, sözce parçalarının belirli konuşmacılara atfedilmesini içerebilir. "Bölüm istasyonları" terimi bazen konuşma sinyalinin parametreleştirilmesinden önce çerçevelere bölünmesini ifade etmek için kullanılır [36,37].

3.5. Spektral Dönüşüm

Konuşma tanıma sürecinin ilerleyen aşamalarında kullanılan konuşma sinyallerinin temel özelliklerini ayırt etmek gerekir. İlk özellikler, konuşma sinyallerinin spektral özelliklerinin analiz edilmesiyle belirlenir. Hızlı Fourier dönüşümü algoritması, bir konuşma sinyalinin spektral frekansını elde etmek için yaygın olarak kullanılır [38,39].

3.6. Spektral Frekansların Normalleştirilmesi

Akıllı algoritmalardaki tüm hesaplama süreci, hareketli ondalık sayılara dayanır. Bu nedenle, sinir ağları kullanılarak sınıflandırılan nesnelerin parametreleri [{{0}}.0, 1.0] aralığı ile sınırlıdır. Ortaya çıkan spektrum, sinir ağı kullanılarak spektral işlemeyi uygulamak için 0 ile 1 arasında normalleştirilir. Bunu başarmak için, her vektör bileşeni maksimum bileşenlerine bölünür.

Spektral işleme yöntemleri, konuşma sinyalinden elde edilen tüm veri örneklerinin kullanılmasını sağlar. Birçok konuşma sinyalinin belirli bir frekans yapısı ve spektral özellikleri vardır. Spektral yöntemler, konuşma sinyallerinin yüksek hassasiyette işlenmesini sağlar. Spektral işlemenin dezavantajları, sinyallerin yerel özelliklerinde düşük esneklik, spektral boyutların olmaması ve nispeten yüksek hesaplama maliyetlerini içerir.

Fourier dönüşümü, dalgacık analizi ve diğer birçok algoritma, konuşma sinyallerinin spektral işlenmesinde yaygın olarak kullanılmaktadır. Fourier dönüşümü, konuşma işleme de dahil olmak üzere bilimin birçok alanında kullanılmaktadır. Konuşma sinyali işlemede Fourier dönüşümü, sinyali zaman alanından bir frekans bileşeni olarak spektral alana dönüştürür [40].

Önceki çalışmalarda spektral analiz için ayrık Fourier dönüşümü (DFT), ayrık kosinüs dönüşümü (DCT), kısa süreli Fourier dönüşümü ve dalgacık dönüşümü uygulanmıştı. Bu yöntemler, bir konuşma sinyalinin parçalarını frekans alanına dönüştürmek ve spektrumu hesaplamak için kullanıldı. Spektral dönüşümler için paralel algoritmalar oluşturmak için TBB ve OpenMP paketleri kullanıldı. Bu yöntemlerde, komut sinyali çerçevelere böler; örneğin, her kare için N=16, 32, … veya 4096 [4]. Oluşturulan her çerçevenin boyutu, önbelleğin blok boyutuna eşittir çünkü önbellek, paralel işlemenin verimliliğini etkileyen bir faktördür. Hızlanma sonuçları Şekil 2'de gösterilmektedir.

Şekil 2. (a) dört ve (b) sekiz çekirdekli işlemciler için hızlanma sonuçları.

Paralel işleme algoritmalarının yazılım uygulaması için kişisel bilgisayarlar ve sunucular kullanılarak uygulanan dört ve sekiz çekirdekli işlemciler üzerinde Tablo 1'de sıralandığı gibi seri ve paralel işlemler yapılmıştır.

Tablo 1. Intel işlemcilerin özellikleri.

DCT algoritmasının ana özelliği periyodikliktir. DCT'nin bir avantajı, sinyal enerjisinin çoğunu az sayıda faktöre yoğunlaştırma eğiliminde olmasıdır. Aşağıdaki denklemler katsayı matrisinin öğelerini sağlar:

burada L(k) DCT'nin değeridir, k katsayıların bir indeksidir, x(n) veri öğelerini temsil eder ve N çerçeve boyutudur.

Fourier analiz parametreleri, spektral alan içindeki konuşma sinyallerinin dijital olarak işlenmesinde çoğu konuşma tanıma sisteminde öznitelik vektörleri oluşturmak için kullanılan yöntemlerin temelidir. Fourier analizinde konuşma sinyallerinden spektrogram görüntüleri oluşturmak için Mel-frekans cepstral katsayıları (MFCC'ler) [41] ve lineer öngörücü kodlama (LPC) teknikleri [42,43] kullanılır. Fourier analizi kullanılarak elde edilen spektrumlar, Şekil 3'te gösterildiği gibi bir konuşma sinyaliyle ilgili kısa ve kesin bilgiler sağlar.

Şekil 3. DFT: (a) zaman alanı içindeki frekans aralığındaki değişim ve (b) spektrogram.

Deneylerde spektral analiz için iki boyutlu (2D) sinyaller kullanılmıştır. Paralel görüntü işleme algoritmalarında kullanılan 2B spektral analiz özellikleri, çok çekirdekli işlemcilerde paralel işleme için uygundur [38]. Özellikle, ileri ve ters dönüşüm vektörleri ve matrisleri ikili boyutlara sahiptir ve bu çok çekirdekli işlemci mimarisinin uyumluluğu, hesaplama hızını etkili bir şekilde artırabilir. Bu nedenle, 2B sinyalleri işlemek için kullanılan algoritmaların donanımsal gerçeklenmesi için farklı işlemci özelliklerine sahip bir bilgisayarda sıralı ve paralel işleme uyguladık (Tablo 2).

Tablo 2. Intel işlemcileri uygulama özellikleri.

Tüm 2B sinyal, her aşamada farklı boyutlarda özdeş parçalara bölündü [44]. Seçilen fragmanların değerleri, 16 × 16 ve 1024 × 1024 piksel çözünürlükleri arasındaydı. OpenMP paketini kullanan paralel DCT algoritmasının hızı, sıralı algoritmanınkiyle karşılaştırıldığında Şekil 4'te gösterilmektedir. çok çekirdekli işlemcilerdeki algoritma, çekirdek sayısına yakın bir hız aşırtma sonucu verir.

Şekil 4. 2B paralel spektral analiz için hızlanma sonuçları.