Geliştirilmiş Otomatik Kodlayıcı ile Büyük Veri Videosunda Anormal Tespit

1. Giriş

Üst düzey bir bilgisayarla görme görevi olarak, video anomali tespiti, videodaki anormal ve normal aktiviteleri ve anormal kategorileri etkili bir şekilde ayırt edebilen, belirli bir video sekansındaki anormal olayların otomatik olarak tespit edilmesini ifade eder. Son birkaç yılda, araştırmacılar anomali tespiti ile ilgili birçok araştırma yürüttüler [1-9]. Normal olaylarla karşılaştırıldığında, nadiren meydana gelen veya gerçekleşme olasılığı düşük olan olaylar genellikle anormal olaylar olarak kabul edilir. Bununla birlikte, uygulamada, bilinmeyen olay tipleri ve belirsiz anomali tanımları nedeniyle etkili bir anomali tespit modeli oluşturmak zordur. Mevcut anomali saptama yöntemlerinin çoğu, öğrenilen normal modelden farklı olan herhangi bir modelin anormallik olarak kabul edildiği varsayımına dayalı olarak tasarlanmıştır. Bu tür varsayımlara dayanarak, farklı senaryolardaki aynı aktivite normal veya anormal olaylar olarak temsil edilebilir. Örneğin, iki kişinin sokakta kavga ettiği bir kavga sahnesi anormal kabul edilebilirken, iki kişi boks yaparken normaldir. Ayrıca, yüksek boyutlu video verilerinde, video dizisinde olay temsilinin zorluğunu artıran çok miktarda gereksiz görsel bilgi vardır.

Çin otu cistanche

Önceki çalışmalara göre anomali tespit yöntemleri genel olarak iki türe ayrılabilir. Bazı anormallik tespit yöntemleri, video dizilerindeki normal kalıpları modellemeye odaklanan yeniden oluşturma hataları aracılığıyla tasarlanır [3–5, 7, 8, 10, 11]. (Bu yöntemler, eğitim aşamasında normal modelin özellik temsil modelini öğrenir ve yeniden yapılandırma hataları veya belirli eşikler gibi test aşaması sırasında test verilerinin nihai anormal puanını belirlemek için anormal ve normal örnekler arasındaki farkları kullanır [7 –14]. Yeniden oluşturma tabanlı anormallik tespit yöntemleri, video dizilerindeki normal kalıpları yeniden oluşturmada iyi olsa da, bu yöntemlerle ilgili temel sorun, büyük ölçüde eğitim verilerine dayanmalarıdır. Başka bir yöntem türü, anormallik tespitini bir sınıflandırma problemi olarak görür [ 15, 16]. Bu yöntemler için, bir video sekansının anomali skoru, bir optik eş histogramı (HOF) veya dinamik doku (DT) gibi özellikleri çıkarmak için eğitimli bir sınıflandırıcı kullanılarak tahmin edilir. (bu yöntemlerin performansı, eğitim örneklerine büyük ölçüde bağımlıdır.Tatmin edici bir performans elde etmek için, bu tür anomali tespit yöntemlerinde etkili ve ayırt edici özelliklerin çıkarılması esastır [17–20]. Bununla birlikte, iki tür yöntem genellikle olaylar arasındaki ilişkileri nispeten basit bir şekilde modellemektedir [7, 10, 21–23]. Örneğin, yalnızca doğrusal ilişki dikkate alınır ve bu, birçok gerçek dünya örneğinde karmaşık, yüksek ölçüde doğrusal olmayan ilişkiler için yeterli değildir.

Çölde yaşayan cistanche

Son yıllarda, derin öğrenmeye dayalı yöntemler video algılama alanına uygulandı ve büyük ilerleme kaydetti [24–26]. Örneğin, otomatik kodlayıcılar (AE) anormallikleri tespit etmek için yeniden oluşturma hatalarını kullanır ve bu temelde bir dizi yöntem geliştirilmiştir. Ek olarak, anormallik algılama problemini çözmek için üretken çekişmeli ağlar (GAN) ve uzun kısa süreli bellek (LSTM) de uygulanmıştır. Bununla birlikte, AE, anormal olayları yeniden oluşturma yeteneği ile sonuçlanan güçlü bir genelleme yeteneğine sahip olabilir. [14]'te araştırmacılar, anormal eğitim örnekleri olmadığı için anormal örneklerin yeniden yapılandırılmasının tahmin edilemez olması gerektiğini ve bunun da anormal örnekler için daha büyük yeniden yapılandırma hatalarına yol açabileceğini belirtti. Bazı anormallikler, normal eğitim verileriyle ortak bir kompozisyon modelini paylaşıyorsa veya kod çözücü "çok güçlü" ise ve bazı anormallik kodlarını iyi çözemiyorsa, AE anomaliyi iyi bir şekilde yeniden yapılandırabilir. AE'nin eksikliklerinin üstesinden gelmek için bu makale, derin AE'yi geliştirmek için bir bellek modülü kullanır ve bellekle artırılmış bir AE (Bellek AE) yöntemi geliştirir. Yeni bir test örneği girildiğinde, Bellek AE bunu doğrudan kodlayıp kod çözücüye girmeyecek, bellek modülündeki ilgili içeriği almak için bir sorgu olarak kullanacaktır. (tr, içerik toplanır ve kod çözücüye iletilir. (işlem, dikkat adresleme ile gerçekleştirilir. Ayrıca, bu makale, bellek içeriğinin özellikteki sorgulara yaklaşmasını teşvik edebilen bellek adresleme ağırlıklarının seyrekliğini tetiklemek için türevlenebilir büzülme operatörleri kullanır.) Eğitim aşamasında, kodlayıcı ve kod çözücü, daha düşük bir ortalama yeniden oluşturma hatası elde etmek için bellek modülünü aynı anda günceller. Test aşamasında, öğrenilen bellek içeriği sabitlenir ve az miktarda normal bellek öğesi kullanılacaktır. Bunlar, giriş kodunun komşuları olarak seçilirse, yeniden oluşturma hatası çok açık olacaktır.Birkaç genel kıyaslama veri seti üzerinde yapılan deneyler, Bellek AE'nin algılama performansının son teknolojiye ulaştığını göstermektedir.

Cistanche Deserticola'nın Ana Kimyasal Bileşenleri

2. Algoritmanın Prensibi

Şekil 1, üç alt yapıya ayrılan Bellek AE'nin genel ağ yapısını göstermektedir: kodlayıcı (girdiyi kodlamak ve sorguları oluşturmak için kullanılır), kod çözücü (yeniden yapılandırma için kullanılır) ve bellek modülü (bellek ve ilgili adresleme işlemleriyle birlikte). Şekil 1'de gösterildiği gibi, test edilecek olay verildiğinde, kodlayıcı önce kodlanmış değerini alır. Bellek modülü, kodlanmış değeri bir sorgu olarak kullanarak, bellek modülündeki en ilgili içeriği dikkat tabanlı bir adresleme operatörü aracılığıyla alır ve ardından yeniden yapılandırma için kod çözücüye iletir. Eğitim sırasında kodlayıcı ve kod çözücü, yeniden oluşturma hatasını en aza indirmek için parametreleri optimize eder ve aynı zamanda kodlanmış normal verilerin prototip öğelerini kaydetmek için bellek modülünü günceller. Bir test örneği verildiğinde model, yeniden yapılandırmayı gerçekleştirmek için yalnızca bellek modülünde kayıtlı sınırlı normal kalıpları kullanır. Bu şekilde, rekonstrüksiyon normal örneğe yakın olma eğilimindedir. Bu nedenle, normal numunenin yeniden oluşturma hatası küçüktür ve anormal hata büyüktür.

Şekil 1: (önerilen bellek AE'nin e akış şeması.

2.1. Kodlayıcılar ve Kod Çözücüler. (kodlayıcı ve kod çözücü, AE'nin iki parçasıdır. olarak ifade edilebilen bir kodlayıcı fw1 (·) ve bir kod çözücü gw2 (·)

burada x ve x', sırasıyla AE'nin girişi ve yeniden yapılandırılmış girdidir, z, x'in kodlama sonuçlarıdır ve W1 ve W2, kodlayıcı ve kod çözücünün parametrelerini gösterir; bu, aralarındaki yeniden oluşturma hatasını en aza indirerek elde edilebilir. x ve x':

Anormal olup olmadığını belirlemek için normal örneğin [19, 20] hatasını yeniden yapılandırarak AE, anormal algılama görevini çözmek için başarıyla kullanılmıştır. Bununla birlikte, anormal numunelerin yeniden yapılandırılması tahmin edilemez olmalıdır; bu, anormal numuneler için daha büyük yeniden yapılandırma hatalarına neden olabilir. Bu sorunu çözmek için, Bölüm 2.2'de AE'ye bir bellek modülü tanıtılmış ve bir Bellek AE önerilmiştir.

2.2. Bellek modülü. (önerilen yöntem, prototip kodlama modunu kaydetmek için bir bellek modülü ve bellek modülüne erişim için bir adresleme işlemi içerir.

2.2.1. Dikkat Temelli Temsil. (e dikkat modülü, N gerçek zamanlı vektör içeren bir M ∈ RN×C matrisi olarak tasarlanmıştır. Basit olması için, C'nin z'nin boyutu olduğunu varsayalım; o zaman Ζ � RC olsun. Bir satır vektörü verildiğinde mi, ∀i ∈ [ N], burada [N], 1'den N'ye kadar bir tamsayıdır. Her biri, mi'yi bir bellek öğesini temsil eder, z ∈ RC sorguları kümesi verildiğinde, bellek ağı?z'yi elde eder ve w ∈ R1×N olarak bir soft adres vektörü ile yanıt verir. aşağıdakiler:

burada w bir satır vektörüdür ve tüm öğelerin toplamı 1'dir, bu da i'nin w öğesi olan wi'yi temsil eder. (e ağırlık vektörü, z hesabı ile w elde edilebilir. Denklem (4)'te gösterildiği gibi, adres ağırlığının bellek modülüne w yakın olması gerekir. (e karma parametresi, bellek modülünün maksimum kapasitesi olan N olarak tanımlanır. N olmasına rağmen, farklı veri kümeleri için en iyisini bulmak kolay değildir, neyse ki AE Belleği N ayarına duyarlı değildir. Yeterince büyük N, her veri kümesine iyi uygulanabilir.

2.2.2. Bellek Adreslemesine Dikkat. Bellek AE'de, bellek modülü, eğitim aşamasının orijinal normal modu M'yi ayrıntılı olarak kaydetmek için tasarlanmıştır. (e bellek modülü, içerik adreslenebilir bellek, z⌢ olarak tanımlanır ve adresleme şeması, w, dikkat ağırlığını, sorgu ile bellek öğesi arasındaki benzerliğe dayalı olarak hesaplar. Şekil 1'de gösterildiği gibi, her ağırlık şu şekilde hesaplanabilir: softmax işlemi kablosuz:

burada d(·, ·) benzerlik ölçüsünü temsil eder. (is paper bunu bir kosinüs benzerliği olarak tanımlar:

Tıpkı (4)–(6) denklemlerinde olduğu gibi, bellek modülü z'nin bir temsilini elde etmek için en benzer bellek öğesini alır. Bellek boyutunun sınırlandırılması ve seyrek adresleme teknolojisi nedeniyle, bir seferde yalnızca az sayıda dahili bellek öğesi adreslenebilir. (bu nedenle, bellek modülünün etkin davranışı şu şekilde açıklanabilir. Eğitim aşamasında, Bellek AE'deki kod çözücü, bellek öğelerinin etkin kullanımını gerektiren yeniden yapılandırma için çok az sayıda adreslenebilir bellek öğesi kullanmakla sınırlıdır. (bu nedenle) , yeniden oluşturma sırasında, bellek modülünün giriş normal modunda en temsili prototip modunu kaydetmeye zorlanması gerekir. Test aşamasında, eğitilmiş bellek verildiğinde, yeniden yapılandırma için yalnızca bellekteki normal mod alınabilir. (bu nedenle , normal örnekler daha iyi yeniden yapılandırılabilir Tersine, anormal girdinin kodlanmış değeri, geri alınan normal modelle değiştirilebilir, bu da anormal örnekte büyük bir yeniden yapılandırma hatasına neden olur.

2.3. Eğitim. Örnekleri içeren bir veri seti verildi xi? ?TI�1, xi' eğitim örneklerinde xi'nin yeniden yapılanma örneklerini göstersin; minimum yeniden düzenleme şu şekilde gerçekleştirilir:

(e l2 normu, yeniden oluşturma hatasını ölçmek için kullanılır; wi', her numune xi'nin bellek adresleme ağırlığını temsil eder. w''nin seyrekliğini daha da artırmak için, eğitim sırasında seyrek düzenlileştirme en aza indirilir. Tüm w''lerin negatif olmadığı düşünülürse ve ‖w'‖1 � 1, aşağıdaki gibi bir optimizasyon problemi oluşturulur:

Denklem (7) ve denklem (8)'in kayıp fonksiyonunu birleştirerek, Bellek AE'nin amaç fonksiyonu aşağıdaki gibidir:

işte eğitim sürecindeki hiperparametre. Uygulamada, 0.0002 olarak ayarlanır. Eğitim sürecinde, bellek geri yayılma ve gradyan iniş yoluyla güncellenir. Geri yayılımda, yalnızca sıfır olmayan adresleme ağırlığına sahip bellek öğesinin gradyanı sıfır olmayabilir.

2.4. Ölçek. Model eğitildikten sonra, diş çerçevesi t'nin (x, y) konumundaki pikselin yeniden oluşturma hatası aşağıdaki denklemle hesaplanabilir:

burada h(·) tüm modeli temsil eder. Onuncu çerçevenin piksel düzeyinde yeniden oluşturma hatası verildiğinde, görüntünün tüm çerçevesinin yeniden oluşturma hatası, e(t) � toplanarak elde edilebilir. (x,y)e(x,y,t). (tr, çerçevenin anomali puanı şu şekilde hesaplanabilir:

Son olarak, s(t) > θ olarak anormal olup olmadığını belirlemek için bir eşik ayarlanabilir.

3. Deney

Bu bölümde, önerilen yöntemin etkinliği doğrulanmış ve mevcut diğer yöntemlerle karşılaştırılmıştır. Şu anda deneyler için iki genel veri seti kullanılmaktadır, yani Avenue veri seti ve ShanghaiTech veri seti. (e eğri altındaki çerçeve seviyesi alanı (AUC) ve EER nicel değerlendirme göstergeleri olarak kullanılır.

3.1. Hazırlık. (e Avenue veri seti, Hong Kong Şehir Üniversitesi'nin sokak aktivitelerini yakalamak ve kaydetmek için 640 × 360 piksel çözünürlüğe sahip sabit bir kamera kullanır. (e veri seti Hesaplamalı Zeka ve Nörobilim 3, normal insan davranışını içeren 16 eğitim videosu ve 21 anormal olaylar ve insan davranışı içeren test video klipleri.Toplam 30652 kareye sahiptir ve tüm test videolarında hedef düzeyinde açıklamalar vardır yani uzamsal konumlardaki anormallikleri işaretlemek için dikdörtgen bir alan kullanılır.Normal davranış, üzerinde yürüyen insanlardır. anormal olaylar, insanların çöp atması/eşya atması, dolaşması, kameraya doğru yürümesi, çimlerin üzerinde yürümesi ve nesneleri atmasıdır.(e ShanghaiTech veri seti, anormal olay tespiti için çok zorlu bir koleksiyondur. Diğer veri setlerinden farklı olarak, 13 farklı toplam 330 eğitim videosu ve 107 test videosu dahil olmak üzere farklı aydınlatma koşulları ve kamera açılarına sahip sahneler (e test seti, piksel düzeyinde açıklamalarla birlikte toplam 130 anormal olay içerir. (Eğitim setinde 274515 kare, test setinde 42883 kare ve anormal karede 17090 kare olmak üzere tüm veri setinde toplam 316154 kare vardır. (e her video karesinin çözünürlüğü 480×856'dır. NVIDIA GTX1080TI donanım platformu ve 8 GB video belleği olan bir platformda test edilmiştir ve yazılım ortamı PyTorch ve Python 3.6'dır. değerlendirme indeksi olarak alıcı çalışma karakteristik eğrisi (ROC) kullanılır. Çerçeve seviyesi değerlendirme göstergeleri için, bir çerçevenin en az bir pikseli anormal olarak işaretlenirse, çerçeve anormal kabul edilir ve çerçeve seviyesi AUC, gerçek etiketin çerçeve düzeyi ile çerçeve düzeyinde algılama sonucu.

Cistanche Deserticola'nın Ana Kimyasal Bileşenleri

Cistanche ürünlerini incelemek için tıklayınız

【Daha fazlasını isteyin】 E-posta:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

3.2. Deneysel kurulum. Tüm video kareleri 227 × 227'ye ayarlanır ve ardından gri tonlamalı görüntülere dönüştürülür. (Modelin e girişi 227×227×5 yani modelin girişi olarak birbirini takip eden 5 frame kullanılmaktadır. Her evrişim katmanından sonra bir parti normalleştirme katmanı ve bir ReLU uyarma katmanı bulunmaktadır. (e decoder) 4 ters evrişim katmanı içerir. (e dikkat modülü, her bellek bölümünün, video bölümünün bir alt bölgesine karşılık gelen, özellik haritasındaki bir piksele bir özelliği kaydetmesine izin verecek şekilde ayarlanmıştır. (bu nedenle, bellek modülü 10 00 × 64 matris. (e Adam optimizer tüm model parametrelerinin optimizasyonu için seçilmiştir. (e ilk öğrenme oranı 0.0001 ve iterasyon sayısı 1000'dir. (e momentum parametresi) ρ1 0,9 ve ρ2 0,999 ve parti boyutu 128'dir.

3.3. Deneysel sonuçlar. Video anomali tespitinde önerilen yöntemin etkinliğini kanıtlamak için, bu makale onu mevcut 12 farklı yöntemle karşılaştırmaktadır. Bunların arasında, MPPCA (olasılıksal ana bileşen analizörünün melezi) artı SF (sosyal güç) [17] ve MDT (dinamik dokunun melezi) [18], manuel özelliklere dayalı yöntemlerdir; Conv-AE [8], 3D Conv [19], Stacked RNN [20] ve ConvLSTM-AE [21], MemNormality [10] ve ClusterAE [22] otomatik kodlayıcılara dayalı yöntemlerdir; AbnormalGAN [7] ve Pred plus Recon [23], rakip ağların yöntemini üretmeye dayalıdır. Tablo 1, çeşitli yöntemlerin kare düzeyinde video anomali algılama sonuçlarını göstermektedir. İki veri setinin sonuçlarında, AE'ye dayalı yöntemin genellikle el yapımı özniteliklere dayalı yönteme göre daha iyi olduğu ve daha yüksek çerçeve düzeyinde AUC'ler elde edildiği gözlemlenebilir. (çünkü el yapımı özellikler genellikle diğer görevlere göre çıkarılır ve bu nedenle yetersiz olabilir. AE tabanlı yöntemlerde, ConvLSTM-AE, Conv-AE'den daha iyidir çünkü ilki zaman bilgisini daha iyi yakalayabilir. Ayrıca, GAN'a dayalı yöntemlerin çoğu temel yöntemden daha iyi performans gösterdiğine dikkat edilmelidir. Son olarak, bu makalede önerilen Bellek AE yöntemi, Avenue veri setinde yüzde 85,7 çerçeve düzeyinde AUC'ye ulaşıyor ve bu, en iyi performans gösteren Pred plus Recon'dan yüzde 0,6 daha yüksek. [23] yöntemi; bu yazıda önerilen yöntem, ShanghaiTech veri setinde çerçeve düzeyinde AUC'ye yüzde 75,3 ulaşırken, bu, çerçeve düzeyinde AUC'de diğer yöntemlerden yüzde 2 öndedir ve etki çok açıktır. Bellek AE'ye dayalı olarak önerilen yöntem, anormallikleri iyi bir şekilde yeniden yapılandırabilen ve bazı rastgele hatalar ortaya çıkaran bellek parçalarını kullanır. Ek olarak, Avenue veri kümesiyle karşılaştırıldığında, ShanghaiTech veri kümesi daha yüksek bir çerçeve düzeyinde AUC elde etmiştir. daha önce diğer veri kümelerinde görünmeyen, daha karmaşık olan birden çok sahne ve anormal olay. ShanghaiTech veri kümesindeki tek bir sahnenin algılama sonuçlarını doğrulamak için, eğitim ve test için tek sahneli bir video segmenti kullanılır. 83 segment (yüzde 25 ) eğitim için ve 34 segment (yüzde 32 ) test için kullanılarak, Avenue veri kümesindekine benzer bir düzeye ulaşmış olan yüzde 86,3 kare düzeyinde AUC elde edildi. Özetle, önerilen Bellek AE yöntemi, farklı veri türlerine esnek bir şekilde uygulanabilir. Önerilen yöntem, yalnızca yeniden oluşturma hatalarını kullanarak en az spesifik bilgi ile daha iyi sonuçlar elde edebilir. Önceden tanımlanmış bellek modülünün anormal video olaylarını tespit etme performansını değerlendirmek için bir sonraki adım bellek modülünün boyutunu değiştirmek ve Avenue veri seti üzerinde deneyler yapmaktır ve çerçeve seviyesi AUC değerleri Tablo 2'de verilmiştir. Yeterince büyük bir bellek modülü boyutu verildiğinde, Bellek AE yönteminin sağlam bir şekilde en iyi sonuçları üretebildiği bulunabilir. Bellek modülünün boyutu 1000'den büyük olduğunda, algılama sonucu üzerindeki etkisi küçüktür, ancak daha büyük bir bellek modülü boyutunun kullanılması daha büyük bir hesaplamayla sonuçlanacaktır, bu nedenle bellek modülü boyutu 1000 olarak seçilir. Şekiller Sırasıyla 2(a) ve 2(b), Avenue veri setinde ve ShanghaiTech veri setinde bazı tespit sonuçlarını gösterir. (e Tablo 1: EAA açısından son teknoloji yöntemlerle karşılaştırma.

el yapımı özelliklere dayalı yöntemden daha iyidir ve daha yüksek kare düzeyinde AUC'ler elde edilir. (çünkü el yapımı özellikler genellikle diğer görevlere göre çıkarılır ve bu nedenle yetersiz olabilir. AE tabanlı yöntemlerde, ConvLSTM-AE, Conv-AE'den daha iyidir çünkü ilki zaman bilgisini daha iyi yakalayabilir. Ayrıca, GAN'a dayalı yöntemlerin çoğu temel yöntemden daha iyi performans gösterdiğine dikkat edilmelidir. Son olarak, bu belgede önerilen Bellek AE yöntemi, Avenue veri setinde yüzde 0,6 olan yüzde 85,7 çerçeve düzeyinde AUC'ye ulaşıyor. en iyi performans gösteren Pred plus Recon [23] yöntemi; bu makalede önerilen yöntem, ShanghaiTech veri setinde çerçeve düzeyinde AUC'ye yüzde 75,3 ulaşırken, çerçeve düzeyinde AUC'de diğer yöntemlerden yüzde 2 daha öndedir ve etki çok açıktır . (esas olarak, Bellek AE'ye dayalı olarak önerilen yöntemin, anormallikleri iyi bir şekilde yeniden oluşturabilen ve bazı rastgele hatalara yol açabilen bellek parçalarını kullanmasıdır. Ayrıca, Avenue veri kümesiyle karşılaştırıldığında, ShanghaiTech veri kümesi daha yüksek bir çerçeve düzeyinde AUC'ye ulaşmıştır. esas olarak, ShanghaiTech veri setinin daha önce diğer veri setlerinde görünmeyen ve daha karmaşık olan birden fazla sahne ve anormal olay içermesi nedeniyle. ShanghaiTech veri kümesindeki tek bir sahnenin algılama sonuçlarını doğrulamak için, eğitim ve test için tek sahneli bir video segmenti kullanılır. 83 segment (yüzde 25 ) eğitim için ve 34 segment (yüzde 32 ) test için kullanılarak yüzde 86,3 kare düzeyinde AUC elde edildi ve Avenue veri kümesindekine benzer bir düzeye ulaştı. Özet olarak, önerilen Bellek AE yöntemi, farklı veri türlerine esnek bir şekilde uygulanabilir. Önerilen yöntem, yalnızca yeniden oluşturma hatalarını kullanarak en az spesifik bilgi ile daha iyi sonuçlar elde edebilir. Önceden tanımlanmış bellek modülünün anormal video olaylarını tespit etme performansını değerlendirmek için bir sonraki adım bellek modülünün boyutunu değiştirmek ve Avenue veri seti üzerinde deneyler yapmaktır ve çerçeve seviyesi AUC değerleri Tablo 2'de verilmiştir. Yeterince büyük bir bellek modülü boyutu verildiğinde, Bellek AE yönteminin sağlam bir şekilde en iyi sonuçları üretebildiği bulunabilir. Bellek modülünün boyutu 1000'den büyük olduğunda, algılama sonucu üzerindeki etkisi küçüktür, ancak daha büyük bir bellek modülü boyutunun kullanılması daha büyük bir hesaplamayla sonuçlanacaktır, bu nedenle bellek modülü boyutu 1000 olarak seçilir. Şekiller Sırasıyla 2(a) ve 2(b), Avenue veri setinde ve ShanghaiTech veri setinde bazı tespit sonuçlarını gösterir. (Yeşil kutudaki kareler, normal video kliplerden normal karelerdir ve kırmızı kutudaki kareler, anormal video kliplerden anormal karelerdir. Konfeti düşürme, kaldırımda bisiklete binme, dayak vb. tespit edilmek

Tablo 2: (e bellek boyutu sayısının Avenue veri kümesinin deneysel sonuçları üzerindeki etkisi (çerçeve düzeyinde AUC/yüzde).

Şekil 2: Algılama sonuçlarının örnekleri. (a) Avenue veri kümesinden örnek. (b) ShanghaiTech veri kümesinden örnek.

4. Sonuç

(bu makale, videolarda büyük veri anormallik algılamasının performansını iyileştirmek için bir Bellek AE önermektedir. Bir girdi verildiğinde, önerilen Bellek AE yöntemi, kodlanmış bir gösterim elde etmek için önce bir kodlayıcı kullanır ve ardından kodu, en alakalı olanı almak için bir sorgu olarak kullanır. Hafıza modülü tipik normal kalıpları kaydetmek üzere eğitildiğinden, önerilen AE Hafızası normal numuneleri iyi bir şekilde yeniden oluşturabilir ve anormalliklerin yeniden oluşturma hatasını genişletebilir, bu da bir anormallik saptama standardı olarak yeniden oluşturma hatasının rolünü güçlendirir. İki veri seti üzerinde yapılan deneyler, önerilen yöntemin çok yönlülüğünü ve etkinliğini kanıtlıyor. Gelecekte, anormallik tespiti için adresleme ağırlıklarının kullanımını inceleyeceğiz. Önerilen bellek modülünün evrensel olduğunu ve kodlayıcının yapısıyla hiçbir ilgisi olmadığını göz önünde bulundurarak ve kod çözücü, daha karmaşık bir temel modele entegre edilecek ve daha zorlu veri kümeleri üzerindeki deneylerde kullanılacaktır.

Yakınımdaki Cistanche eki-Bellek Geliştirme

Referanslar

[1] F. Dong, Y. Zhang ve X. Nie, "Video anormallik algılaması için çift ayrımcı üretken çekişmeli ağ", IEEE Access, cilt. 8, s. 88170–88176, 2020.

[2] K. Doshi ve Y. Yılmaz, "Güvenlik videolarında sıralı anomali tespiti", Proceedings of the CPRRW içinde, s. 934-935, Seattle, WA, ABD, Haziran 2020.

[3] K. Doshi ve Y. Yılmaz, "Sürekli öğrenme için gözetim videolarında anomali tespiti", Proceedings of the CPRRW içinde, s. 254-255, Seattle, WA, ABD, Haziran 2020.

[4] K. Jayanta, "Dutta ve bonny Banerjee. Artımlı kodlama uzunluğu kullanılarak anormal olayların çevrimiçi tespiti", AAAI Bildiriler Kitabında, s. 3755–3761, Austin, Teksas, ABD, Ocak 2015.

[5] Y. Feng, Y. Yuan ve X. Lu, "Kalabalık anomali tespiti için derin olay modellerini öğrenmek", Neurocomputing, cilt. 219, s. 548–556, 2017.

[6] D. Gong, L. Liu, V. Le ve ark., "Anomaliyi tespit etmek için normalliği ezberlemek: denetimsiz anormallik tespiti için bellekle zenginleştirilmiş derin otomatik kodlayıcı", ICCV Bildiriler Kitabında, s. 1705–1714, Seoul, Kore, Ekim 2019.

[7] M. Ravanbakhsh, M. Nabi, E. Sangineto, L. Marcenaro, C. Regazzoni ve N. Sebe, IEEE Uluslararası Görüntü İşleme Konferansı Bildiriler Kitabı'nda "Üretken rakip ağlar kullanan videolarda anormal olay tespiti" , s. 1577–1581, Pekin, Çin, Eylül 2017.

[8] M. Hasan, J. Choi, J. Neumann, AK Roy-Chowdhury ve LS Davis, "Video sekanslarında öğrenme geçici düzenliliği", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition içinde, s. 733– 742, Las Vegas, NV, ABD, Haziran 2016.

[9] W. Liu, W. Luo, D. Lian ve S. Gao, "Anomali tespiti için gelecek çerçeve tahmini - yeni bir temel", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition içinde, s. 6536– 6545, Salt Lake City, UT, ABD, Haziran 2018.

[10] H. Park, J. Noh ve B. Ham, "Anomali tespiti için bellek kılavuzlu normalliği öğrenme", IEEE Konferansı Bilgisayarla Görü ve Örüntü Tanıma Bildirileri içinde, s. 14 372–{{ 3}}, Seattle, WA, ABD, Haziran 2020.

[11] MZ Zaheer, J.-h. Lee, M. Astrid ve S.-I. Lee, "Eski altındır: çekişmeli olarak öğrenilen tek sınıf sınıflandırıcı eğitim paradigmasını yeniden tanımlama," IEEE Bilgisayarla Görme ve Örüntü Tanıma Konferansı Bildiriler Kitabında, s. 14 183–214 193, Seattle, WA, ABD, Haziran 2020.

[12] X. Zhu, J. Liu, J. Wang, Y. Fang ve H. Lu, "Görünüm ve dinamik ortak modelleme yoluyla kalabalık sahnede anormallik tespiti", IEEE Uluslararası Görüntü İşleme Konferansı Bildiriler Kitabında, 2705–2708, Melbourne, VIC, Avustralya, Eylül 2013.

[13] RVHM Colque, CAC J´unior ve WR Schwartz, "Videolardaki anormal olayları tespit etmek için optik eş yönelim ve büyüklük histogramları", Proceedings of the Sibgrapi Conference on Graphics, Patterns, and Images içinde, s. 126–133 , Salvador, Bahia, Brezilya, Ağustos 2015.

[14] Bo Zong, S. Qi, RM Martin, ve diğerleri, "Deep autoencoding Gaussian mix model for unsupervised anomaly Detection", Proceedings of the International Conference on Learning Representations içinde, Vancouver, Kanada, Nisan 2018.

[15] M. Sabokrou, M. Fayyaz, M. Fathy, Z. Moayed ve R. Klette, "Deep-anomaly: full convolutional neural network for fast anomaly Detection in kalabalık sahneler," Computer Vision and Image Couldning, cilt. 172, s. 88–97, 2018.

[16] C. Li, Z. Han, Q. Ye ve J. Jiao, "Yörünge seyrek yeniden yapılandırma analizine dayalı görsel anormal davranış tespiti", Neurocomputing, cilt. 119, hayır. 7, s. 94–100, 2013.

[17] V. Mahadevan, W. Li, V. Bhalodia ve N. Vasconcelos, "Kalabalık sahnelerde anomali tespiti", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), s. 1975–1981, IEEE, San Francisco, CA, ABD, Haziran 2010.

[18] W. Li, V. Mahadevan ve N. Vasconcelos, "Kalabalık sahnelerde anormallik algılama ve yerelleştirme," Model Analizi ve Makine İstihbaratı Üzerine IEEE İşlemleri, cilt. 36, s. 18–32, 2014.

[19] Y. Zhao, B. Deng, C. Shen, Y. Liu, H. Lu ve X.-S. Hua, "Spatio-Temporal AutoEncoder for video anomaly Detection", Proceedings of the ACM International Conference on Multimedia (ACM MM), s. 1933–1941, ACM, Mountain View California USA, Ekim 2017.

[20] W. Luo, L. Wen ve S. Gao, "A revisit of seyrek kodlama tabanlı anomali tespiti in stacked RNN framework", Proceedings of the IEEE International Conference on Computer Vision (ICCV), Venedik, İtalya, Ekim 2017.

[21] W. Luo, L. Wen ve S. Gao, "Remembering history with convolutional LSTM for anomaly Detection", Proceedings of the IEEE International Conference on Multimedia and Expo (ICME), s. 439–444, IEEE, Hong Kong, Temmuz 2017.

[22] Y. Chang, Z. Tu, W. Xie ve J. Yuan, "Video anomali tespiti için kümeleme güdümlü derin otomatik kodlayıcı", Proceedings of the European Conference on Computer Vision (ECCV), s. 329–345, Springer, Glasgow, Birleşik Krallık, Ağustos 2020.

[23] L. Wen, W. Luo, D. Lian ve S. Gao, "Anomali tespiti için gelecek çerçeve tahmini – yeni bir temel", IEEE Bilgisayarla Görme ve Örüntü Tanıma Konferansı (CVPR) Bildiriler Kitabında, s. 6536–6545, IEEE, Salt Lake City, UT, ABD, Haziran 2018.

[24] M. Song, "İki katmanlı sinir ağlarının manzarasının ortalama alan görünümü", Proceedings of the National Academy of Sciences, cilt. 115, hayır. 33, s. E7665–E7671, 2018.

[25] B. Ding ve G. Wen, "SAR görüntülerinin hedef tanınması için seyreklik kısıtlaması en yakın alt uzay sınıflandırıcısı," Journal of Visual Communication and Image Representation, cilt. 52, s. 170–176, 2018.

[26] T. Wang ve H. Snoussi, "Global optik arkadaş oryantasyon histogramı aracılığıyla anormal görsel olayların tespiti", Adli Bilişim ve Güvenlik Üzerine IEEE İşlemleri, cilt. 9, hayır. 6, s. 988–998, 2014.