Videolardan Kamera Kimliği Tespiti /
Source Camera Identification from Videos
Enes Altınışık ; thesis advisor Hüsrev Taha Sencar.
- xiv, 53 pages : illustrations ; 29 cm
Tez (Yüksek Lisans Tezi)--TOBB ETÜ Fen Bilimleri Enstitüsü Ağustos 2019
Görüntüleme Sensörü Işık Tepki Farklılığı (PRNU) kamera sensörünün üretim sürecindeki farklılıklardan kaynaklanan, sensöre özgü bir gürültüdür. Bu gürültü kameranın çektigi tüm medyalara aktarılmaktadır. Bu nedenle PRNU gürültüsü bir tür kamera kimligi olarak düşünülebilir. Fotograflardan PRNU gürültüsünün elde edilmesi ve dogrulanması, üzerinde çokça çalışılmış bir konudur. Fakat video verilerinden kamera kimliğinin tespiti konusunda hala adreslenmesi gereken 3 temel problem vardır. Bunlar: Video kodlama, boyutlandırma ve stabilizasyon işlemleridir. Yapılan çalışmalarda bu problemlerin etkisi incelendi ve bu etkileri ortadan kaldırmak için yapılması gerekenler belirlendi. Bu problemlerden ilki olan video kodlama işlemi iki temel yönden kamera kimligi tespitini zorlaştırmaktadır. Bunlar döngü filtresi ve niceleme değişkenidir. Yapılan araştırmalar ile döngü filtresinin video kod çözümü aşamasında elimine edilebilecegi gösterildi. Videonun sıkıştırma oranını belirleyen niceleme değişkeni ile video çerçevesinin sahip oldugu gürültünün güvenirliği arasında mevcut olan ilişki analiz edilmiş ve bu ilişki kullanılarak videonun her makro blogunun ağırlıklandırılması önerilmiştir. Bu iki yöntem, 21 farklı Android telefondan oluşturulan veri kümesi üzerinde test edilmiş ve başarımı yaklaşık 3-5 kat artırdıgı gösterilmiştir. Ayrıca açık bir veri kümesinde yapılan testlerde, yöntemlerin kamera kimliği için gerekli süreyi düşürdüğü gözlemlenmiştir. Videoda çözümlenmesi gereken bir diğer problem farklı çözünürlüklere sahip videolar ve/veya fotoğraflar arasındaki doğru boyutlama oranının tespit edilmesidir. Bu amaç ile kendi oluşturdugumuz 21 farklı Android telefona ait farklı çözünürlükte video ve fotoğraflar içeren veri kümesi üzerinde çeşitli testler yaptık. Bu yapılan testler ile farklı çözünürlüğe sahip video ile video, fotoğraf ile fotoğraf ve video ile fotoğraf arasında, doğru boyutlandırma işleminin nasıl yapılacağı ile ilgili yöntemler gelistirildi. Gelistirilen yöntemler ile fotoğraflar için 1/6'dan büyük, videolarda ise 1/10'dan büyük boyutlandırma oranları için kamera kimliği dogrulaması yapılmıştır. Videodan kamera kimliği çıkarmada en önemli problemlerden biri stabilizasyon işlemidir. Bu işlem temel olarak video içinde çekimden kaynaklı bozulmaları düzeltmek için uygulanan çeşitli geometrik dönüşümlerdir. Bu dönüşümlerin etkisinden kurtulmak için aynı dönüşümler kamera kimligine de uygulanmalıdır; fakat stabilizasyon esnasında uygulanan geometrik dönüşümleri bilmek mümkün değildir. Bu nedenle uygun geometrik dönüşüm yüzeyinde arama yapılmalıdır. Yapılan testler ile daha önce hiç bir yöntem ile eşleştirilemeyen videoların %64'ü eşleştirilmiştir. Tez kapsamında genel olarak videodan kamera kimliği çıkartımında problem olan: Video kodlama, boyutlandırma ve stabilizasyon işlemleri incelenmiş ve bu problemlerin çözümü için yöntemler geliştirilmiştir. Geliştirilen yöntemler farklı veri kümeleri üzerinden test edilmiştir ve basarımın artıgı gösterilmiştir. The photo-response non-uniformity (PRNU) is a distinctive image sensor characteristic, and an imaging device inadvertently introduces its sensor's PRNU into all media it captures. Therefore, the PRNU can be regarded as a camera fingerprint and used for source attribution. The imaging pipeline in a camera, however, involves various processing steps that are detrimental to PRNU estimation. In the context of photographic images, these challenges are successfully addressed and the method for estimating a sensor's PRNU pattern is well established. But those related video generation, such as downscaling, stabilization, and video coding, largely remain untackled. With this perspective, this work introduces methods to mitigate disruptive effects of widely deployed H.264 and H.265 video compression standards on PRNU estimation. Our approach involves an intervention in the decoding process to eliminate a filtering procedure applied at the decoder to reduce blockiness. It also utilizes decoding parameters to develop a weighting scheme and adjust the contribution of video frames at the macroblock level to PRNU estimation process. Results obtained on videos captured by 21 cameras show that our approach increases the PRNU matching metric up to more than five times over the conventional estimation method tailored for photos. Tests on a public dataset also verify that the proposed method improves the attribution performance by increasing the accuracy and allowing the use of smaller length videos to perform attribution. Another problem on camera ID verification is the effect of in-camera downsizing. Downsizing operation must be addressed before the verification process for both videos and photos which have different resolutions. For this purpose, we used 21 Android phones' videos and photos with different resolutions. We analyzed the appropriate downsizing approach for different resolution videos and photos. Convenient downsizing methods are recommended for video to video, photo to photo and video to photo. Analysis of media obtained from 21 smartphone shows that the downsizing of photos by a factor of 4 or higher suppresses PRNU noise pattern significantly. On the contrary, it is observed that the source of unstabilized videos can be verified quite reliably at almost all resolutions. We combined our observations in a camera ID verification procedure considering downsized media. Stabilization last and most important step for the camera ID verification procedure. This process contains geometric transforms that fit to distortions basically caused by shaking when a video was be recording. Geometric transforms must be applied to camera id before the verification process, but how the geometric transform applied to video is not known. Therefore, we try all geometric transforms by using a brute-force attack. Tests on a public dataset show that 64% of videos which can not be verified by using another method, can be verified by using our method. Generally, we analyze the effect of video coding, downsizing, and stabilization process on the source camera identification process. To eliminating these effects, we generate different approaches and test them on public and our datasets.
Görüntüleme sensörü ışık tepki farklılığı H264 H265 Döngü filtresi Niceleme değişkeni Photo response non-uniformity Loop filter Quantization parameters