Veri Bilimcilerinizin Sizi Daha Akıllı, Daha Hızlı Hale Getirmesine Yardımcı Olun

Dell'in BT departmanı Dell IT, tüm uygulamalara yapay zeka ve makine öğrenimi özellikleri kazandırma hedefiyle veri bilimi platformunu büyütüyor.

BT departmanının 2020’de veri bilimcilerin Dell genelinde yapay zeka (AI) ve makine öğrenimi (ML) odaklı süreçler oluşturmalarına yardımcı olmak için Kurumsal Veri Bilimi Platformunu hayata geçirdiğinde en büyük zorluk, şirket genelinde zaten veri bilimi çalışmalarını başlatmış olan 1.800 ekip üyesinin bu girişime nasıl bir tepki verecekleriydi.

Bu vizyonu gerçekleştirmenin temelinde veri bilimcilerin uçtan uca deneyimlerini geliştirerek veri bilimi sürecini daha iyi ve daha hızlı hale getirmek yatıyor.

Neler öğrendik?

Daha önceki bir blog yazımda (Veri Bilimini Demokratikleştirme, Yapay Zeka ve Makine Öğreniminin Desteklenmesine Yönelik Tümleşik Bir Yaklaşım) Kurumsal Veri Bilimi platformunun oluşturulma sürecini aktarmıştım. Bu platform şu anda 650’den fazla kullanıcıyı destekliyor ve bu yılın sonuna kadar 1.000 kullanıcıya ulaşma yolunda ilerliyor. Sonuç olarak, Kurumsal Veri Bilimi Ekibi, veri bilimi deneyimine artık daha bütünsel bakıyor. Bu süreç boyunca devam eden yatırımlarımıza odaklanmamıza yardımcı olacak birkaç önemli içgörü keşfettik.

Öncelikle, veri biliminde tek bir bedenin herkese uymadığını gördük. Henüz oluşmaya başlayan ekipler, ilk galibiyetleri elde eden yeni oluşmaya başlayan ekipler ve gelişmiş yeteneklere ihtiyaç duyan olgun ekipler olmak üzere üç farklı veri bilimi kullanıcısı bulunuyor. İlk kullanıcı türü, basit ve kullanıma hazır bir şey isterken üçüncü tür, büyük bilgi işlem havuzlarına erişmelerine veya modelleri dağıtıp entegre etmelerine yardımcı olacak çok sayıda özelleştirme yetenekleri istiyor.

Bu farklı ihtiyaçları standardizasyon, şablonlar ve otomasyonla karşılamak için çalışıyoruz. Veri bilimcilerin doğrudan tavsiye alabilecekleri, yardım için başvurabilecekleri bir BT ekibi sağlayarak ihtiyaçlarını farklı kritik yöntemlerle de karşılıyoruz.

Farklı türlerde veri bilimi çalışanı olmasına rağmen, hepsinin birkaç ortak ihtiyacı bulunuyor. Öncelikli ihtiyaç veriler. Verileri keşfetme, toplama, güvenli bir şekilde işleme, kalıplar ve içgörüler elde etme ihtiyacı duyuyorlar. Gene olarak yinelemeli bir şekilde çalışıyorlar. Yani verileri topluyor, analiz ediyor, yorumluyor ve sonuçları ortaya koyduktan sonra yeniden ilk adıma geri dönüyorlar. Bu, genellikle konunun uzmanı tarafından belirlenerek mühendislere ve veri bilimcilerine teslim edilen bir iş fırsatından kaynaklanan, hipotezlerini neyin desteklediğini bulmaya yardımcı olan bir “tekrarlama” döngüsüdür. Bu döngü, hipotezleri doğrulamak için ne kadar hızlı gerçekleşirse veri bilimi ekibinin sunacağı sonuçlar da o kadar iyi olur.

Kurumsal Veri Bilimi platformu ekibi, özellikle veri bilimi pratisyenlerinin en çok zaman harcadığı veri erişimi ve işleme otomasyonu olmak üzere, bu tekrarlayan süreçleri hızlandırmaya yardımcı olacak araçlar üzerinde çalışıyor.

Şu an için veri bilimcilerin Dell’in çeşitli veritabanlarında konumlanan ihtiyaç duydukları verileri nerede bulacaklarını ve bunlara nasıl erişeceklerini kendi başlarına bulmaları gerekiyor. Tablolarda arama yapıyor ya da aradıklarını bulmak için etrafa soruyorlar. Yüzlerce insanın bunu tekrar tekrar ve silolar şeklinde yaptığını hayal edin. Bu işi yaparken, bir süreci optimize etmek için en yararlı verilerin hangileri olduğunu tanımlayarak bilgiyi etkin bir şekilde bulup değer yaratıyorlar.

Amacımız, veri bilimcilerinin daha hızlı hareket etmelerine yardımcı olmak ve oluşturdukları değerli verileri toplamak. Bunu başarmak için, veri bilimcilerimizle en çok veri topladıkları alanları belirlemek için işbirliği yapıyoruz ve bu konumlardan veri bulma, toplama ve işleme sürecini standartlaştıracak bir çözüm üretiyoruz. Buradaki ana fikir, Dell’in veri gölünden ve şirket genelindeki diğer ana veri havuzlarından verilere anında ve güvenli bir şekilde erişmelerini sağlamak.

Veri bilimcileri verileri topladıktan sonra, bu verileri diğer veri bilimi ekiplerinin de kullanabileceği hale getirmek için oluşturdukları yeni veri özelliklerini sürümlendirme, belgeleme, test etme ve kataloglama gibi süreçler için destek sağlıyoruz.

Tüm yetenekler, veri bilimcileri için dahili olarak geliştirilen SDK (Yazılım Geliştirme Kiti) paketlerinde bir araya getirdiğimiz API’ler tarafından yönlendiriliyor. Bu, bizim teknolojimizle kendi seçtikleri dil (örneğin Python) aracılığıyla çok basit ve verimli bir şekilde kolayca etkileşim kurmalarına yardımcı oluyor.

Yapay zeka modellerine daha hızlı erişim

Veri bilimcileri veri unsurunun ötesinde, uğraştıkları sorunu çözmek için algoritmalar kullanmak ve ardından istenen sonucu veren modeli oluşturmak ve eğitmek de dahil olmak üzere, geliştirme süreçlerinin diğer adımları etrafında çeşitli ortak ihtiyaçları paylaşıyorlar.

Ekip, veri bilimcilere verdiğimiz desteği büyüttüğümüzde, çoğu veri bilimcinin modellerinde belirli işlevler için çok benzer algoritmalar oluşturduklarını, her zaman küçük miktarlarda veri kullanarak çalışmalarına başladıklarını ve ardından asıl işe odaklandıklarını buldu.

Kurumsal Veri Bilimi ekibinin, yapay zeka ve makine öğrenimine yönelik DevOps konusunda uzmanlaşmış, veri bilimcilerinin modellerini daha hızlı çalıştırıp daha verimli şekilde ölçeklendirmelerine yardımcı olmak için şablonlar ve altyapı kurulumları sağlamaya çalışan bir alt ekibi bulunuyor. Buradaki en önemli amacımız projelerin fikir aşamasından üretime daha hızlı geçmesini sağlamak. Bunun için yazılım mühendisliği ekibimiz, önce çeşitli kullanım durumlarını anlamak ve başarıya götürmek, ardından sürecin nerede tekrarlandığını belirlemek ve çözümler oluşturmak için veri bilimcilerle yakın bir şekilde çalışıyor.

İlk çalışmalarımız, temel algoritmalar oluşturmaya başlamamıza rehberlik etti. Bu, veri bilimcilerinin modellerini her seferinde en baştan oluşturmak zorunda kalmayacakları anlamına geliyor. Benzer bir şekilde, veri bilimciler iş yüklerini paralel hale getirmelerine yardımcı olan taslaklardan, özel bilgi işlem örneklerinden (GPU’lar gibi) faydalanabiliyor ve algoritmaları ölçeklenebilir şekilde yeniden eğitebiliyorlar. Oluşturulan ilk şablonlar yapay zeka ve makine öğrenimi platformumuzda bulunan tüm çalışma alanlarına dahil edilmiş durumda. Veri bilimcilerinin başlamak için bu şablonları açmaları ve değişiklik yapmaları yeterli. İlk veriler, kullanıcılarımızın bu araçları kullandıkları takdirde fikirden üretime altı ila on kat daha hızlı ilerlediklerini gösteriyor.

Son aşamayı kusursuzlaştırma

Müşteriler ve iş açısından bakıldığında, veri bilimindeki en önemli adım yapay zeka ve makine öğrenimi modellerinin getirdiği yeni anlayışlardan ve yeniliklerden değer elde etmek için Dell uygulamalarına uygulandıkları son aşama. Kurumsal Veri Bilimi ekibi, burada da şablonlar, eğitim ve destek sağlayarak hız ve verimlilik sağlamak için çalışmalarına devam ediyor.

Ekip, bu görevleri hızlandırmak için yetenek transferi ve eğitime odaklanıyor. Bir yandan mühendislerin anlayabileceği ve hızlı bir şekilde uygulamalara uygulayabilecekleri standartlaşmış teknolojiler vasıtasıyla dağıtıma hazır modeller oluşturmaları için veri bilimcilerini eğitmemiz gerekiyor. Diğer yandan üretim ölçeğinde dağıtımı sorunsuz hale getirmek için mühendislik ekiplerinin veri bilimi teknolojilerine daha aşina olmalarına yardımcı olmamız gerekiyor.

Ekip şu anda yeni veri bilimi modellerini BT uygulamalarına aktarmak için yedi üretim katılımı vakasına odaklanıyor. Bunun, standardizasyona ve ortak mimari oluşturmaya yönelik modellerin tanımlanmasına yardımcı olması bekleniyor. Önceden tamamlanması birkaç ay süren bu tür uygulamaları, 2021’in ikinci yarısından itibaren altı ila sekiz haftaya indirmeyi amaçlıyoruz.

Veri bilimi, yapay zeka ve makine öğrenimi, teknolojinin en çok değişen alanları arasında yer alıyor ve aynı zamanda müşteri deneyimini ve iş sonuçlarını iyileştirme açısından büyük bir fırsatı temsil ediyor. Dell’in iş birimlerinde inovasyonları teşvik eden veri bilimi sürecini iyileştirmede büyük adımlar attık. Verimliliği artırmak için standart ve otomatik özellikler geliştirmeye devam edeceğiz.

Bu konudaki belki de en büyük başarımız, veri bilimini çok daha doğrudan, otomatik olmayan bir etkileşimle desteklemek. Veri bilimcileri ve mühendisleri soruları olduğunda ekibe rahatça ulaşabiliyor. Ayrıca her etkileşimden bir şeyler öğreniyoruz. Kurumsal Veri Bilimi ekibimizin en büyük amacı da bu.