فیلم بیشتر »»
کد خبر ۱۰۱۸۷۲۸
تاریخ انتشار: ۰۶:۰۰ - ۱۴-۰۹-۱۴۰۳
کد ۱۰۱۸۷۲۸
انتشار: ۰۶:۰۰ - ۱۴-۰۹-۱۴۰۳

تصویرسازی هوش مصنوعی از خیابان‌ها با گوش دادن به صدای آنها

تصویرسازی هوش مصنوعی از خیابان‌ها با گوش دادن به صدای آنها
هر خیابانی صدای خاص خود را دارد که اکنون هوش مصنوعی می‌تواند از شنیدن آن برای تولید تصاویر آنها استفاده کند.

در حالی که هم اکنون مدل‌های هوش مصنوعی وجود دارند که جلوه‌های صوتی را برای مطابقت با تصاویر بی‌صدا از خیابان‌ها و مکان‌های دیگر تولید می‌کنند، یک فناوری جدید آزمایشی دقیقاً برعکس عمل می‌کند و تصاویر را با دقت عجیبی از صدای خیابان‌ها تولید می‌کند.

به گزارش ایسنا و به نقل از نیو اطلس، پروفسور یوهائو کانگ و همکارانش از دانشگاه تگزاس در آستین، یک مدل تبدیل صدا به تصویر را بر روی مجموعه داده‌ای از کلیپ‌های صوتی و تصویری ۱۰ ثانیه‌ای آموزش داده‌اند.

این کلیپ‌ها شامل تصاویر ثابت و صدای محیطی بود که از ویدیوهای یوتیوب از خیابان‌های شهری و روستایی در آمریکای شمالی، آسیا و اروپا گرفته شده بود.

این سیستم با استفاده از الگوریتم‌های یادگیری عمیق، نه تنها یاد گرفت که کدام صداها با کدام موارد درون تصاویر مطابقت دارند، بلکه همچنین تشخیص داد که کیفیت صدا با کدام محیط بصری مطابقت دارد.

هنگامی که آموزش این سیستم کامل شد، هوش مصنوعی وظیفه تولید تصاویر را بر اساس صدای محیطی ضبط شده از ۱۰۰ کلیپ دیگر که از خیابان‌ها ضبط شده بود، بر عهده گرفت و برای هر ویدیو یک تصویر تولید کرد.

متعاقباً گروهی از داوران انسانی هر یک از آن تصاویر را در کنار دو تصویر تولید شده از خیابان‌های دیگر مشاهده کردند، در حالی که به صدای ویدیویی که تصویر بر اساس آن ساخته شده بود، گوش می‌دادند. وقتی از آنها خواسته شد که تشخیص دهند کدام یک از این سه تصویر با موسیقی متن مطابقت دارد و آنها به طور متوسط ​​با ۸۰ درصد دقت تواستند تشخیص دهند.

علاوه بر این، هنگامی که تصاویر تولید شده توسط رایانه تجزیه و تحلیل شد، تصاویر تولید شده از آسمان، فضای سبز و ساختمان‌ها به شدت با تصاویر واقعی موجود در ویدئوهای اصلی مرتبط بود.

در واقع در بسیاری از موارد، تصاویر تولید شده، شرایط نوری ویدئوهای منبع، مانند آسمان آفتابی، ابری یا شبانه را نیز منعکس می‌کردند. این ممکن است با عواملی مانند کاهش صدای ترافیک در شب یا صدای حشرات شبانه امکان‌پذیر شده باشد.

اگرچه این فناوری می‌تواند کاربردهایی مانند دریافت یک ایده تقریبی از محل ضبط صدا در پزشکی قانونی داشته باشد، اما هدف این مطالعه بیشتر بررسی این است که چگونه صدا به حس مکان ما کمک می‌کند.

دانشمندان این مطالعه می‌گویند: نتایج می‌تواند دانش ما را در مورد تأثیر ادراکات دیداری و شنیداری بر سلامت روان انسان افزایش دهد و همچنین ممکن است شیوه‌های طراحی شهری را بهینه کند و کیفیت کلی زندگی در جوامع را بهبود بخشد.

این مطالعه در مجله Nature منتشر شده است.

ارسال به دوستان
captcha
این فرمانده ایرانی پرچم انگلیس را در قشم پایین کشید اولین کچاپ دنیا اصلا گوجه نداشت؛ داستان عجیب سس محبوبی که از ماهی شروع شد شاه صوفی مسلک قاجار که بود و چه کرد؟/ درباره محمدشاه سومین پادشاه سلسله قاجار چگونه به فرزندانمان مدارا کردن بیاموزیم؟ چیزی که آدم‌های موفق دارند و بقیه ندارند نقشه جهان یک ایراد بزرگ دارد (+عکس) شاه پلو با مرغ ؛ مواد شاه پلو چیست ؟ / طرز تهیه خوشمزه‌ترین پلو مخلوط ایرانی با مرغ قانون «زنان و کودکان اول» از کجا آمده است؟ روش درست نگهداری هندوانه بریده در یخچال تا ۵ روز اهمال‌کاری «تنبلی» نیست؛ چرا مدام کارها را به فردا می‌اندازیم؟ اگر ناپدید شوید، چه کسی سراغتان را می‌گیرد؟ برندگان ایگ نوبل ۲۰۲۶ معرفی شدند؛ جایزه‌ای برای عجیب‌ترین و بامزه‌ترین تحقیقات علمی چرا بسیاری از مجسمه‌های باستانی بینی ندارند؟ این جمله‌ها را به فرد مضطرب نگویید؛ حالش را بدتر می‌کند اضطراب چطور بیماری‌های جسمی را شعله‌ور می‌کند؟ | هشدار روانپزشک به کنترل اضطراب با ورزش