Dünya nüfusunun yaklaşık %10’u işitme engelli. Bu insanlar duyamıyor, kendini ifade edemiyor ve çoğu sosyal hayattan ve iş hayatından soyutlanmış. Ancak Göncü Musa Zeytun’un ve ekibinin girişimiyle işaret dili dijitale dönüştürülüyor ve iletişim engeli tarihe karışıyor.
Göncü Musa Zeytun, Z kuşağı bir girişimci ve Facebook arkadaşlarım arasında yer alıyordu. Proje ile ilgili yaptığı paylaşımları görünce hemen kendisiyle iletişime geçip, bu güzel haberi okuyucularımla paylaşmak istedim. Zeytun, proje ile ile ilgili oldukça iddialı ve şöyle diyor: “Meta da olsa bu evrende insan “nüfusunun %10’u” göz ardı edilemez ve soyutlanamaz. Bütün platformlarda ve tabi ki gerçek hayat koşullarında olması gerektiği gibi engellerin eşitliğe set vurmasına izin vermeyeceğiz, tüm bireylerin hakkı olan eşitliği sağlamak için Dostext’ le çok değerli bir adım atacağız.”
İşitme engelli insanlar için şahane bir projeyi hayata geçirdiniz. Detayları öğrenebilir miyim?
İşitme engellilerin bağımsız ve eşit şekilde hayata katılımını sağlamak istiyoruz. Bu nedenle sosyal yaşamdan, eğitime, internet sitelerinden, online gazetelere, sosyal medya ve videolara kadar her alanda ekranın alt köşesinde, onların yanında olacağız.
Projemiz DosText teknolojisi ile çalışıyor. Tüm işitme engellilere ‘kulak vermeye’, onların sesi olmaya çalışan DosText günümüz teknolojisini en etkili şekilde kullanıp işitme engelli bireyler için hayatı kolaylaştırıcı, parlak bir çözüm ortaya koyuyor. Dostext gerçek hayattaki işaret dili çalışmalarını dijitale aktararak işitme engelli bireyler için her an her yerde kolaylıkla anlaşabilme ve anlaşılabilme ihtiyaçlarına benzersiz bir çözüm sunuyor. Animasyonlarda 3D karakterler alınan veriyi işaret dilinde canlandırıyor ve tam tersi şekilde hareketleri de metin veya sese çevirebiliyor. Bilinenin aksine işitme engelli bireyler ile iletişime geçmek için yazılı iletişim pek sağlıklı bir yöntem değil. İşitme engelli bireyler işaret dilinin dilbilgisi ve yapısı Türkçe’den farklı olduğundan çoğu zaman okumakta ve anlamakta zorluk çekiyorlar. Bu nedenle işitme engellilere özel olan işaret dilinin tıpkı online çeviri uygulamaları gibi Türkçeye çeviren ve tam tersini de yapabilen bir uygulama gibi de düşünülebilir. Bu uygulama ile işitme engellilerle sınırsız bir iletişim sağlanabiliyor.
“Metaverse veya iş simülasyonlarında bireylerin isteğe bağlı bir işaret dili çevirmeni imkanı da bu proje ile sağlanabilir.”
Nasıl çalışıyor?
Veri, ses algılama süzgecinden geçip gerekli kütüphanelerde belirli kalıplar halinde araştırılıyor ve ilgili dosya bulunup ekranda gösterimi yapılıyor böylelikle belirlenen animasyon dosyasına girmiş oluyor daha sonra oluşturulan model üzerinde hareketi sergiliyor. Bu modeller uygulamalara, bilgisayarlara uyumlu hale getirilerek kullanıcıya sunuluyor. Kullanıcı isterse bir eklenti ile bütün ses ve metinleri işaret dilinde de görebilecek. Ekranların sağ altında, açılıp kapanabilen animasyon diğer kullanıcıların dikkatini dağıtmazken işitme engelli kullanıcılara “ses” olacak.
Projenin insanlık için yararları nelerdir?
Dostext bir bireyin en temel hak ve özgürlükleri anlamında da onların yanında. En temel insan hakkı olan, anadilde eğitim, bilgiye erişim, bilgi mahremiyeti, kendini ifade etme, düşünce özgürlüğü ve dile getirme, özgürlük, barınma gibi hakları o kişilere sağlamada kendisini bir rol üstlenici olarak konumlandırıyor. Bir birey artık tek başına istediği bilgiye erişebilecek, sosyalleşebilecek, çalışmak için yeterli donanımlara ve bilgi birikimine ulaşabilecek. Bunların hepsini yaparken de yanında bir başkasına ihtiyaç duymayacak. Uygulama ilk başlangıçta en temel ihtiyaçlardan yola çıkıp, devamında da spesifik konularda da bireylerin isteklerine yanıt vermeye başlayacak.
Yazışma ekranlarında emoji ve animasyonlar da olacak mı?
Göze estetik gelen ve sanal alemde varlığımızı temsilen kullanılabilen animasyonlar Dostext projesinde işaret dilini sergilemek için yaratılacak! Animasyonlarda görüntü işleme, giyilebilen teknolojiler ve animasyon oluşturma programları kullanılacak. Hareketler derinlik kameraları ve telefon kameraları ile anlaşılınca, uygun yazılım programları ile anlamlandırılacak ve kullanıcıya sunulacak. Bu animasyonların stüdyoda işaret dili eğitmenleri veya işitme engelli bireylerle çalışmalar yapılıp, derin öğrenme aracılığıyla vücutlarında önceden belirlenen noktaların vektörleri elde edilerek oluşturulması planlanıyor. İşaret dili eğitmenleri stüdyoda giyilebilir teknolojiler giyecek. Bu teknolojiler sayesinde, derin öğrenme ile, hareketlerin vektörleri elde edilecek. Her hareketin animasyon modeli Unity gibi programlar ile üretilecek.
Nasıl bir fark yarattınız?
Bu alanda söylenen veya yazılan kelimelerin animasyona dönüştürüldüğü çalışmalar olsa da yetersizler. Şu anda mevcut eylemler resim, video ve çok az sayıda animasyon ile yapılmış. Dostext ise doğrudan işitme engelli bireylerin anladığı ses olmayı amaçlıyor. Hali hazırdaki çalışmaların çoğunda proje sonunda süreklilik sağlanamıyor. Dostext bu sürekliliği ve etkinliği sağlamak için gerekirse kelimelere eklemeler yapacak ve zaman ilerledikçe, kullanıcı sayısı arttıkça kendini geliştirecek. DosText deneyimi zaman ilerledikçe daha da iyileşecek. Algoritma kullanıcı sayısı artıkça dünyanın her noktasından farklı ortamlardan, farklı koşullardan aldığı verilerle gün geçtikçe daha çok öğrenecek. Bu öğrenmenin sonucunda da doğruluk yüzdesi hep yukarı doğru tırmanacak.
Mevcut denemelerdeki ilk eksik cümle kalıplarının oluşturulmaması ve yüz mimiklerinin olmaması. Yüz mimikleri olmadan sadece el hareketleri ile işaret dilinde tam manayı anlayabilmek çok büyük bir sorun. Dostext bu konuda bir devrim yapıyor ve sözcük sözcük değil, cümle kalıplarıyla çeviriler yapıyor. Bunu yaparken de gerektiğinde duygu durumları dahil bir çok yerde mimikleri de kullanarak kullanıcıya tam çeviri hizmeti sunuyor.
Karakterler istenilirse komik, gerçekçi ve istenilirse de avatar seçenekleriyle kullanıcıya hizmet veriyor. Burada cümleler arasındaki geçişler, çözünürlükler ve FPS olayına çok dikkat ediliyor. Çünkü yapmış olmak için değil, hakkı olanı hak sahibine hakkıyla vermek istiyor.
Elektronik dünyanın içinde bir “dost” olmayı hedefliyor. Telefonlarda, internet sitelerinde, kamu kurumlarında, otobüslerde, uçaklarda, reklamlarda ve daha bir çok alanda… Sadece telefon olarak kısıtlamıyor kendisini örnekleri gibi. Örneklerinden en büyük farkı bu alandaki hakimiyeti. Elektronik ortamda var olan bütün yazı ve sesleri araç fark etmeksizin işaret diline çevrilmesi başlı başına bir devrim.
Projeyi nasıl hayata geçirdiniz, ekipte kimler var?
Proje ekibi çok dinamik ve çok genç. Projenin kemik kadrosunda çalışanların %60’dan fazlası kadınken, yönetimde ise kadınların oranı %80. Yaş ortalaması ise 22. Z kuşağının kıvrak zekasını, teknolojiye hakimiyetini ve tembelliğini işte bu projede görebilirsiniz. Tembellik dediğimizde yanlış anlaşılmasın en kısa yollar, en hızlı sistemler ve en sade kodları yazanlar tembellerdir. Biz bütün enerjimizi ve sahip olduğumuz yeteneklerimizi optimize ederek projeyi oluşturduk.
Yatırım aldınız mı?
Yatırım konusunda ne yazıktır ki yurtiçinde pek destek göremedik. Yurtdışı teklifleri ve sponsorlukları çok oldu. Yurtiçi yatırım konusunda da şuan birkaç firma ile görüşüyoruz. Aynı zamanda TÜBİTAK bizimle iletişime geçti ve neler yapabiliriz bunları konuşuyoruz. Biz gençlerin yardıma ihtiyacı yok. Yani destek bekliyoruz. .
