Söylenen ya da yazılanı anında işaret lisanına çeviren yazılım geliştirildi

Fen-Edebiyat Fakültesi Matematik ve Bilgisayar Bilimleri Kısmında görevli Dr. Öğr. Üyesi Ahmet Faruk Aslan ve Dr. Özer Çelik, 2016 yılında TÜBİTAK 1512 Teknogirişim Sermayesi Dayanağı programına yaptıkları müracaatın akabinde aldıkları 150 bin liralık destekle Akıllı Çeviri Sistemleri Bilişim Şirketini kurdu.

Melek Yatırımcı Ağı’nda “tohum yatırım” alarak işitme engellilerin eğitim öğretim, bankacılık, sigortacılık, irtibat, ulaşım ve sıhhat üzere temel hayat konularında yaşam kalitelerinin artırılması için pratik, teşebbüsçü ve yenilikçi hizmetler sunmak üzere kolları sıvayan uzmanlar 4 yılın sonunda 3 yazılım geliştirdi.

Bu yazılımlardan “İşaret Lisanı Web” ile “PDF Eklentisi”nde web sitesi ve PDF içerikleri işaret lisanına dönüştürülüyor. “Video Çeviri Sistemi”nde de manzaraların içindeki alt yazı eklentilerinin işaret lisanına çevrilmesi sağlanıyor.

ESOGÜ Teknopark’ta faaliyet gösteren şirketin kurucu ortağı Özer Çelik, AA muhabirine yaptığı açıklamada, Türkiye’de 3,5 milyon, Avrupa’da 40 milyon, dünyada ise 360 milyon işitme engellinin bulunduğunu söyledi.

Bu bireylere yönelik çift taraflı irtibat sistemini kurmayı amaçladıklarını belirten Çelik, “İşitme engelliler günlük hayatta işaret lisanı bilmeyenlerle bağlantı kurmakta zorlanıyor. Bu sorunu çözmek için 4 yıldır çalışmalar yürütüyoruz.” dedi.

Çelik, bağlantı kurmakta sorun yaşayan işitme engellilerin yaklaşık yüzde 50’sinin okuduğunu anlayamadığını fark ettiklerini anlattı.

Bunun nedenlerine değinen Çelik, “Çünkü Türk işaret lisanı ile Türkçe lisan bilgisi birbirinden farklı. Türk işaret lisanında sözlerde ek kavramı yoktur ve farklı bir lisan bilgisi yapısı vardır. Çok dar söz dağarcığına sahiptir. İşitme engelliler, Türk işaret lisanı dağarcığında olmayan sözleri okuduklarında anlamakta zorluk yaşıyor.” diye konuştu.

Geliştirilen yazılımlar nasıl çalışıyor?

Çelik işitme engelliler ile işaret lisanı bilmeyenleri karşılıklı görüştürecek bir sistem geliştirmek istediklerini vurguladı.

Kelam konusu irtibatın iki taraflı oluştuğunu lisana getiren Çelik şöyle devam etti:

“Birincisi bizim söylediklerimizin ya da yazdıklarımızın anlık olarak animasyon yahut gerçek şahıslarla çekilmiş görüntüler yardımıyla işaret lisanına dönüştürülmesi. İkincisi de işitme engellilerin yaptığı işaret lisanı tekniklerini yapay zekayla algılayıp metne ve sese dönüştürmek. Gayemizin birinci kısmını tamamladık. Bizim söylediklerimiz ya da yazdıklarımız anlık olarak işaret lisanına dönüştürülebiliyor. Web, görüntü ve PDF eklentileri geliştirdik. Bununla ilgili üç ulusal, bir de milletlerarası patent başvurusu yaptık.”

Özer Çelik, geliştirdikleri “İşaret Lisanı Web” yazılımında, web sayfasına giren işitme engellinin eklentiye dokunmasıyla üç boyutlu avatar ya da gerçek çevirmenin site üzerinde belirip cümleleri anlık işaret lisanına dönüştürdüğünü aktardı.

Ayrıyeten, bankacılık ya da resmi kurumlardaki kontratlar için “PDF Eklentisi” eserini hazırladıklarını bildiren Çelik, PDF belgesi açılıp eklentiye dokunulduğunda avatarın sayfa üzerinde belirip cümleleri anlık işaret lisanına çevirdiği bilgisini verdi.

Çelik, işitme engellilerin sinema ya da görüntü izlerken de alt yazı olsa bile sorun yaşadıklarını tespit ettiklerine değinerek bu gereksinime yönelik geliştirdikleri “Video Çeviri Sistemi” eklentisi sayesinde alt yazı belgesindeki metinlerin senkronize halde işaret lisanına dönüştürüldüğünü belirtti.

İşitme engellilerin yaptığı işaretleri metne dönüştürmek için AR-GE çalışmaları sürdürdüklerini anlatan Çelik, “İşitme engelliler işaret lisanıyla bağlantı kurarken gündelik ömürde sorun yaşıyor. Bu bağlantıdaki meseleleri gidermeye çalışıyoruz. Günlük ömürlerini kolaylaştırıyoruz. Yerli imkanlarla, kendi yazılımcılarımızla, geliştirmeler yapıyoruz. Aynı ortamda işaret lisanı bilmeyenler ile işitme engellinin bağlantı kuracakları bir yapıyı sağlayacağız.” sözünü kullandı.