Gemini Nano'yu geliştirme: LoRA ile daha yüksek kaliteli özetler sunma

Yae Jee Cho

Yayınlanma tarihi: 21 Mayıs 2025

Özetleme, büyük dil modellerini (LLM'ler) kullanan en yaygın ve en önemli yapay zeka görevlerinden biridir. Özetler, uzun makalelerden yoğun sohbet günlüklerine ve çok sayıda yoruma kadar geniş içerikleri hızlı bir şekilde anlamanın önemli bir yoludur. Özetler sayesinde zamandan tasarruf edebilir, üretkenliği artırabilir ve daha hızlı, daha bilinçli kararlar alabilirsiniz.

Farklı ayrıntı düzeyleri ve biçimlendirme beklentileri olan birçok farklı özet türü vardır. Chrome, çeşitli özet türlerinin beklentilerini karşılamak için Gemini Nano'nun çıktısını iyileştirmek amacıyla Google Cloud ile birlikte çalıştı.

Gemini Nano'yu, tüm özet stillerinde ve uzunluklarında deneyimi ve çıkış kalitesini artırmak için düşük rütbeli uyum (LoRA) ile hassaslaştırdık. Ayrıca, özet kalitesinin olgusallık, kapsam, biçim ve okunabilirlik gibi farklı yönleri için otomatik ve otomatik derecelendirme değerlendirmeleri uyguladık.

Bu farkın pratikte nasıl göründüğünü görselleştirdik. Bu uygulamayı deneyebilir ve Gemini Nano ile LoRA'nın çıkışlarını karşılaştıran anlık bir demoya göz atabilirsiniz.

Summarizer API nedir?

Açıklayıcı Web Uzantılar Chrome Durumu Amaç
MDN Chrome 138 Chrome 138 Görünüm Gönderim Amacı

Summarizer API, uzun metin içeriklerini kısa ve kolay anlaşılır özetlere dönüştürür. API, Chrome'a yerleştirilmiştir ve çıkarım yapmak için Gemini Nano'yu kullanır.

Farklı siteler için çeşitli stillerde ve uzunluklarda özetler gerekebilir. Örneğin, bir haber sitesiyseniz makalelerinizdeki önemli noktaların yer aldığı bir madde listesi sunabilirsiniz. Alternatif olarak, ürün yorumlarına göz atan kullanıcılar yorum duyarlılığının hızlı ve kısa bir özetinden yararlanabilir. Bu özelliği göstermek için Welsh Corgis ile ilgili Wikipedia sayfasını short uzunluğunda özetledik.

Özet türü Çıkış
headline ## Welsh Corgi: A History of Royalty and Herding Dogs
key-points * Welsh Corgi, Galler'de ortaya çıkan küçük bir çoban köpeğidir.
* İki ana cins vardır: Pembroke ve Cardigan Welsh Corgi.
* Pembroke daha popülerdir ve İngiliz kraliyet ailesiyle ilişkilendirilmiştir.
tldr Galler ve İngiliz kraliyet ailesinde uzun bir geçmişe sahip olan küçük bir sürü köpeği olan Welsh Corgi'nin iki çeşidi vardır: Pembroke ve Cardigan. Her ikisi de tilkiye benzeyen yüzleri, kısa bacakları ve sürü güdüleriyle bilinir.
teaser Gallerli çiftçiler için sürü köpeği olarak kullanılan mütevazı köklerinden, İngiliz kraliyet ailesinin simgesi haline gelene kadar Galler corgi'sinin tarihini keşfedin.

Summarizer API Playground'u kullanarak diğer sayfalarla denemeler yapabilirsiniz.

İnce ayarlarla deneme yapın

İnce ayar, yalnızca 138.0.7180.0 sürümünden itibaren Chrome Canary'da bir işaret olarak kullanılabilir. Bu modeli kullanmak için:

  1. Chrome Canary'ı açın.
  2. chrome://flags/#summarization-api-for-gemini-nano uygulamasına gidin
  3. Uyarlama ile etkin'i seçin.
  4. Tarayıcıyı yeniden başlatın.
  5. Geliştirici Araçları Konsol'u açın ve Summarizer.availability() yazın. Bu işlem, ek LoRA'nın indirilmesini başlatır.

İndirme işlemi tamamlandıktan sonra denemeye başlayabilirsiniz.

Özetleyicinin performansını değerlendirme

İnce ayarlanmış Gemini Nano'nun performansındaki artışı, temel olarak otomatik ve otomatik değerlendirici olmak üzere iki değerlendirme yöntemini kullanarak ölçtük. İnce ayar, modelin aşağıdakiler gibi belirli görevleri daha iyi yerine getirmesine yardımcı olur:

  • Tıbbi metinleri daha iyi çevirin.
  • Belirli bir sanat stilinde görseller oluşturun.
  • Yeni bir argo terimini anlama

Bu durumda, her özet türünün beklentilerini daha iyi karşılamak istedik.

Otomatik değerlendirme

Otomatik değerlendirme, bir modelin çıkış kalitesini değerlendirmek için yazılım kullanır. Bu tekniği, İngilizce girişlerin özetlerinde biçimlendirme hatalarını, cümle tekrarlarını ve İngilizce olmayan karakterlerin varlığını aramak için kullandık.

  • Biçimlendirme hataları: Özet yanıtların istemdeki biçimlendirme talimatlarına uyup uymadığını kontrol ederiz. Örneğin, kısa önemli noktalar stilinde her madde işaretinin yıldız işaretiyle (*) başlayıp başlamadığını ve madde işareti sayısının 3'ü aşmadığını kontrol ederiz.

  • Cümle tekrarı: Aynı cümlenin tek bir özet yanıtta tekrarlanıp tekrarlanmadığını kontrol ederiz. Bu, yanıtın düşük kaliteli olduğunu gösterir.

  • İngilizce olmayan karakterler: Giriş İngilizce olduğunda yanıtın İngilizce olmayan karakterler içerip içermediğini kontrol ederiz.

  • Çıktıda köprü: Yanıtta, girişte bulunmayan Markdown biçiminde veya düz metin biçiminde köprü olup olmadığını kontrol ederiz.

İki giriş stilini değerlendirdik: taranan makaleler ve sohbet günlükleri.

  Başlık TLDR Önemli noktalar Teaser
  Base / LoRA ile Base / LoRA ile Base / LoRA ile Base / LoRA ile
Biçim hataları %13,54 / %7,05 %41,07 / %4,61 %12,58 / %6,36 %51,17 / %6,74
Cümle tekrarı %0,07 / %0,07 %0,21 / %0,0 %0,10 / %0,10 %0,10 / %0,03
İngilizce olmayan hatalar %3,95 / %0,03 %1,38 / %0,0 %2,41 / %0,03 %1,44 / %0,0
Köprüler %0,07 / %0,0 %0,14 / %0,0 %0,14 / %0,0 %0,34 / %0,0
Farklı özet türlerindeki 970 makale için otomatik değerlendirme.
  Headline TLDR Önemli noktalar Tanıtım videosu
  Base / LoRA ile Base / LoRA ile Base / LoRA ile Base / LoRA ile
Biçim hatası %13,17 / %0,24 %22,92 / %0,18 %4,43 / %0,09 %29,64 / %3,51
Cümle tekrarı %0,0 / %0,0 %0,0 / %0,0 %0,0 / %0,0 %0,03 / %0,0
İngilizce olmayan bir hata %0,15 / %0,0 %0,15 / %0,0 %0,03 / %0,0 %0,06 / %0,0
Köprü %0,0 / %0,0 %0,0 / %0,0 %0,0 / %0,0 %0,0 / %0,0
1091 sohbet girişi örneğinde otomatik değerlendirme.

Gemini Nano'da ince ayar yaptıktan sonra hem makaleler hem de sohbet günlükleri için farklı özet türlerinde biçim hata oranında önemli bir düşüş gördük.

Otomatik değerlendirici değerlendirmesi

Gemini Nano'nun çıkış kalitesini değerlendirmek için otomatik değerlendirici değerlendirmesi amacıyla Gemini 1.5 Pro'yu kullandık. Her özetin farklı bir amacı olduğundan, ölçütler ve ölçütlerin değeri farklı özet türleri için farklıydı. Tüm özet türleri aşağıdakiler açısından değerlendirildi:

  • Kapsam: Özet, girişin temel amacını doğru bir şekilde yansıtıyor mu?
  • Doğruluk: Özet doğru mu? Özet, metinde açıkça belirtilmeyen veya ima edilmeyen yeni bilgiler sunuyor mu?
  • Biçim: Özet, geçerli Markdown söz dizimine göre biçimlendirilmiş mi? Özet, istenen maksimum cümle uzunluğuna uyuyor mu?
  • Anlaşılırlık: Özet tekrarlıyor mu? Özet, ana mesajı mümkün olan en az kelimeyle doğru bir şekilde aktarıyor mu?

Bu özet türlerinin farklı amaçları olduğundan belirli özet türleri için ek metrikler geçerlidir:

  • Etkileşim: (headline): Özet, genel kitle tarafından hemen anlaşılabiliyor mu? Özet, genel kitle için ilgi çekici ve cazip bir üslup kullanıyor mu?
  • Özet (tldr): Özet net, kısa ve dikkat süresi çok kısa olan bir kullanıcı tarafından hemen anlaşılabilir mi? Temel mesajı, hızlı bir şekilde okunabilmesi için kolayca anlaşılır bir biçimde etkili bir şekilde özetliyor mu?
  • Teşvik (teaser): Özet, merak uyandırıcı bir etki oluşturuyor ve okuyucuyu metnin tamamını okuyarak daha fazla bilgi edinmeye teşvik ediyor mu? İlgi çekici ve ilginç içerikler sunduğunu ima eden bir dil mi kullanılıyor?

Otomatik düzenleyiciden yararlanarak temel modelin ve LoRA'lı modelin çıkışını yan yana karşılaştırdık. Otomatik derecelendirme aracının puanları 0 ile 1 arasında ortalamaya alındı ve bu ortalama eşik değere göre değerlendirildi.

Somut bir sonuç elde etmek için veri varyansını azalttık ve konumsal önyargıyı azalttık.

  • Veri varyansının azaltılması: Bağımsız çalıştırmalar biraz farklı sonuçlar verebileceğinden, giriş başına üç bağımsız çıkışın puanlarını ortalamasını aldık. Hem temel modelin hem de hassas ayarlanmış Gemini Nano'nun çıkışlarını ortalamasını aldık. Çıkışlar arasındaki puan farklılıkları çok az olsa da ortalamalar, büyük veri kümelerini daha güvenilir bir şekilde anlamamıza yardımcı olur.

  • Konumsal önyargıyı azaltma: Değerlendiriciyle ilk paylaşılan özetin değerine öncelik vermemek için sonuçları iki kez değerlendirdik ve ardından nihai puanların ortalamasını aldık.

    1. Modeli LoRA ile, ardından temel model ile değerlendirdik.
    2. Ardından, siparişi geri aldık. Önce temel modeli, ardından LoRA'lı modeli değerlendirdik.
    3. Nihai puanların ortalamasını aldık.
      Short Orta Uzun
      Base / LoRA ile Base / LoRA ile Base / LoRA ile
    Önce LoRA %74,29 / %86,64 %76,11 / %81,38 %68,62 / %78,95
    Önce temel model %68,02 / %88,60 %64,97 / %87,58 %58,25 / %86,35
    Sürüm C (Ortalama) %71,02 / %89,18 %69,59 / %84,08 %63,47 / %82,65
    key-points özet türü için kazanç oranları. Daha yüksek değerler daha iyi sonuçlar verir.

Aynı modelden elde edilen çıkışlar için puanlamadaki fark yalnızca biraz farklı olsa da ortalamalar, büyük veri kümelerini daha güvenilir bir şekilde anlamamıza yardımcı olur.

500 makalede, hassas ayarlanmış Gemini Nano, temel modelden önemli ölçüde daha iyi performans gösterdi.

  Headline TLDR Önemli noktalar Tanıtım videosu
  Base / LoRA ile Base / LoRA ile Base / LoRA ile Base / LoRA ile
Kısa %74,74 / %89,12 %55,76 / %89,50 %71,02 / %89,18 %53,47 / %87,14
Aracı %73,10 / %87,89 %41,82 / %81,21 %69,59 / %84,08 %48,98 / %86,74
Uzun %60,99 / %89,32 %50,51 / %84,85 %63,47 / %82,65 %62,65 / %87,55
Farklı özet ve uzunluk türlerinde 500 makale genelinde otomatik makale yazma aracının kazanç yüzdesi. Yüksek sayılar daha iyi sonuçlar anlamına gelir.

500 sohbet günlüğünü değerlendirdiğimizde de aynı sonuç elde ettik. İnce ayarlanmış Gemini Nano, temel modeli geride bıraktı.

  Headline TLDR Önemli noktalar Tanıtım videosu
  Base / LoRA ile Base / LoRA ile Base / LoRA ile Base / LoRA ile
Short %70,59 / %96,15 %66,27 / %97,79 %81,60 / %97,40 %67,48 / %96,14
Orta %76,67 / %95,13 %56,02 / %94,98 %82,60 / %97,20 %50,41 / %96,95
Uzun %59,03 / %94,32 %65,86 / %95,58 %75,00 / %97,60 %70,94 / %97,16
Farklı özet ve uzunluk türlerinde 500 sohbet günlüğündeki otomatik puanlayıcı kazanma oranı. Yüksek sayılar daha iyi sonuçlar anlamına gelir.

Bu sonuçlar, hassas ayarlarımızın genel özet kalitesini iyileştirdiğini gösteriyor.

LoRA ile daha iyi özetler

İnce ayar, geleneksel olarak modelin parametreleri ayarlanarak yapılır. Modern yapay zeka modelleri çok büyüktür. Bu nedenle, bu işlem yavaş ve pahalıdır ve modelin yepyeni bir kopyasının depolanmasını gerektirir.

Tüm parametreleri değiştirmek yerine modeli istediğimiz yöne yönlendirecek küçük ek parçalar eklesek ne olur? Daha küçük boyutları sayesinde çok daha hızlı eğitim sağlarlar. Bu, düşük rütbeli uyarlamanın (LoRA) temel ilkesidir. LoRA'da, modelin belirli parçaları değişmeden kalır. Bu duruma genellikle parametrelerin dondurulması denir. Ardından, küçük düzeltmelerle daha küçük bir veri kümesi tanıtılır ve eğitim çalışmaları bu eklenen parçalara odaklanır.

Aslında, genellikle orijinal parametrelerin% 2'si kadarını LoRA ile eğitebilir ve yine de çıkışlarınızda önemli değişiklikler görebilirsiniz.

Bu yöntem neden işe yarar? Birçok davranış (ör. yeni stiller, görevler veya bilgiler) her model parametresinde değişiklik yapılmadan dahil edilebilir. Bu değişiklikler, modelin mevcut bilgisindeki küçük kalıplar veya yönler olarak ifade edilebilir. LoRA, orijinal modele dokunmadan bu kalıpları verimli bir şekilde yakalar.

Gemini Nano temel modelini, LoRA eklendikten sonraki sonuçlarla karşılaştıran bazı örneklere göz atın.

Gemini Nano'dan Joshua Tree Ulusal Parkı Wikipedia makalesinde "ilgiyi çeken ve içeriğin özünü aktaran" kısa bir başlık oluşturmasını istedik.

Gemini Nano LoRA özellikli Gemini Nano
Joshua Tree Ulusal Parkı'nın Eşsiz Peyzajı ve Tarihi Joshua Tree: Kaliforniya'da Çöllerin Ortasında Yer Alan ve Simge Ağaçların Evi Olan Ulusal Park

Ardından Gemini Nano'dan Ratatouille makalesi için kısa bir tanıtım istedik. "Kullanıcıları metnin tamamını okumaya teşvik eden ilgi çekici bir cümle yazın."

Gemini Nano LoRA özellikli Gemini Nano
Ratatouille, genellikle domates ve sarımsak içeren haşlanmış sebzelerin kullanıldığı, sevilen bir Fransız Provençal yemeğidir. Kökenleri 18. yüzyıla dayanan bu yemeğin hazırlanışı zaman içinde değişti. Bazı şefler sebzelerin ayrı ayrı lezzetlerini vurgularken bazıları daha yumuşak ve daha birleşik bir doku tercih ediyor. Fransız kökenli olan ratatuy, İspanya'daki piperade ve Akdeniz'deki tian gibi dünyanın çeşitli mutfaklarındaki benzer yemeklere ilham vermiştir. "Ratatouille" (2007) filmi, yemeğin mutfaktaki çok yönlülüğünü ve duygusal etkisini göstererek yemeğin popülerliğini daha da artırdı. Fransız Provençal mutfağının sebze güveci yemeği olan ratatouille, zengin bir mutfak geçmişine sahiptir. Basit bir güveçten, dünyanın dört bir yanındaki kitleleri büyüleyen modern bir mutfak şaheserine dönüşmüştür.

Gerçek zamanlı çıkarım demosu

Gemini Nano ile LoRA özellikli Gemini Nano arasındaki çıkışların karşılaştırmasını gösteren bir arayüz oluşturduk.

Gemini Nano'dan Okyanus Güneş Balığı makalesi için short uzunluğunda bir tldr özet oluşturmasını istedik. tldr ve short için "hızlı okunabilen" 1 cümlelik bir yanıt gerektiğini unutmayın.

Sonuçların oluşturulması ve çıktının okunması için ne kadar süre gerektiğini gerçek zamanlı olarak izleyin.

Gemini Nano, hassas ayar yaparak belirli talimatları uygulayan daha iyi bir özet oluşturabilir.

Etkileşim kurma ve geri bildirim paylaşma

Özetlerinizin, hassas ayarlanmış Gemini Nano'dan nasıl etkilendiğiyle ilgili geri bildirimlerinizi öğrenmek isteriz.

Tarayıcıda büyük dil modelleri de dahil olmak üzere model kullanan tüm yerleşik yapay zeka API'lerini keşfedin.

  1. Chin-Yew Lin. 2004. ROUGE: Özetlerin Otomatik Değerlendirilmesi İçin Bir Paket. Text Summarization Branches Out (Metin Özetleme Yeni Alanlara Açılıyor), 74-81. sayfalar, Barselona, İspanya. Association for Computational Linguistics. ↩

  2. Kishore Papineni, Salim Roukos, Todd Ward ve Wei-Jing Zhu. 2002. BLEU: Makine çevirisinin otomatik olarak değerlendirilmesi için kullanılan bir yöntemdir. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics (ACL '02) (Association for Computational Linguistics 40. Yıllık Toplantısı Bildirileri) adlı kitapta. ↩

  3. Mousumi Akter, Naman Bansal ve Shubhra Kanti Karmaker. 2022. "Extractive Summarization Task"ın Otomatik Değerlendirmesini Yeniden İnceleme: ROUGE'dan Daha İyisini Yapabilir miyiz? Association for Computational Linguistics: ACL 2022, Dublin, İrlanda, 1547-1560 sayfaları. Association for Computational Linguistics. ↩

  4. Daniel Deutsch ve Dan Roth. 2021. İçerik Kalitesi Metriklerinin Özetlerin Bilgi Kalitesini Ölçtüğü Ölçüde In Proceedings of the 25th Conference on Computational Natural Language Learning, sayfa 300-309, Online. Association for Computational Linguistics. ↩