بلاک، شرکت مالی جک دورسی، مدل صوتی جدیدی به نام Dessa منتشر کرد که به‌صورت full-duplex کار می‌کند؛ یعنی هم‌زمان می‌تواند صحبت کند و گوش بدهد. این مدل از آزمایشگاه پژوهشی بلاک آمده و طبق گفته‌ی شرکت، کاملاً روی گفتار انسانی آموزش دیده و برای اجرای آن یک NVIDIA GPU کافی است.

تفاوت با مدل‌های رایج#

بلاک در بیانیه‌ی خود گفته که مدل‌های صوتی رایج غیرطبیعی به‌نظر می‌رسند چون متنی در مسیر تولید گفتار وجود دارد که بخشی از اطلاعات صوتی را از بین می‌برد. مدل‌هایی مثل ElevenLabs v4 و Fish Audio Drama 3 از برچسب‌های صوتی (voice tags) برای هدایت هیجان در گفتار استفاده می‌کنند، اما بلاک ادعا می‌کند که در Dessa هیجان در خود مدل ساخته شده است. با این حال، مشخص نیست آیا این هیجان همچنان با نوعی برچسب هدایت می‌شود یا نه.

Dessa از نظر معماری شبیه مدل GPT-Live اوپن‌ای‌ای است که اوایل امسال منتشر شد. برخلاف مدل‌های معمول که برای بازیابی دانش به یک مدل زبانی بزرگ متصل می‌شوند، بلاک گفته دانش Dessa از داده‌های گفتاری مکالمه‌ای‌اش می‌آید.

دسترسی و محدودیت‌ها#

پژوهشگران بلاک چند نمونه مکالمه با Dessa منتشر کرده‌اند که در آن‌ها ربات صداهای مختلف، ریتم‌های متفاوت و حالات هیجانی گوناگونی از خود نشان می‌دهد. در یکی از نمونه‌ها، ربات می‌گوید از کار خسته است و در همان لحظه صدایش خسته به‌نظر می‌رسد.

مدل می‌تواند روی رایانه‌ی مصرفی مثل MacBook M4 Max یا بهتر از آن به‌صورت محلی اجرا شود. اما در حال حاضر هیچ دسترسی عمومی به Dessa وجود ندارد. بلاک فراخوانی برای پژوهشگران ایمنی منتشر کرده تا مدل را آزمایش کنند — احتمالاً برای بررسی مواردی که یک عامل صوتی می‌تواند طرف مقابل را فریب دهد.

چرا بلاک این کار را می‌کند#

بلاک در حوزه‌ی مالی و فروش راه‌حل به کسب‌وکارهای کوچک فعالیت دارد. Square از قبل از هوش مصنوعی صوتی برای مدیریت سفارش‌ها استفاده می‌کند. حالا با داشتن مدل صوتی خودشان که روی دستگاه اجرا می‌شود، می‌توانند تجربه‌های کسب‌وکاری و مصرفی بیشتری را با هزینه‌ی کمتر ارائه دهند.

خوانش تحریریه: برای کسی که ایجنت صوتی می‌سازد، این خبر یعنی چه#

اگر روی سیستم‌های گفت‌وگوی صوتی کار می‌کنید، Dessa یک نشانه‌ی مهم است: مدل‌های full-duplex که مستقیماً روی گفتار آموزش می‌بینند و به مدل زبانی متصل نمی‌شوند، دارند از مرحله‌ی آزمایشگاهی بیرون می‌آیند. اما تفاوت عملی‌اش هنوز مشخص نیست. Dessa دسترسی عمومی ندارد، بلاک ادعای «GPT3 moment for speech» را مطرح کرده ولی جزئیات فنی مثل معیارهای ارزیابی، اندازه‌ی مدل یا مقایسه‌ی کمّی با رقبا منتشر نشده. اگر الان در حال ساخت ایجنت صوتی هستید، این خبر به‌تنهایی معماری فعلی‌تان را عوض نمی‌کند؛ اما نشان می‌دهد که مسیر «متن‌محور → صوت‌محور» جدی‌تر شده و باید برای روزی آماده باشید که مدل‌های صوتی بومی جایگزین لایه‌ی LLM پشت گفتار شوند.

منبع: TechCrunch AI