بینایی رایانه ای در تسلا

این مقاله در https://www.thinkautonomous.ai/blog/؟p=computer-vision-at-tesla عکس توسط Vlad Tchompalov در Unsplash

وقتی به دنیای بینایی رایانه نگاه می کنیم ، می توانیم یک فاصله واقعی بین دوره های واقعیت و آنلاین مشاهده کنید.

به عنوان مثال ، شما ممکن است در یک دوره آنلاین نحوه اجرای یک شبکه YOLO را بیاموزید ، اما یک مورد استفاده در دنیای واقعی ممکن است 7 شبکه YOLO را در GPU های توزیع شده درخواست کند. و معماری HydraNet این چه عجایبی است؟ ما همه اینها را در Coursera نیاموختیم!

بنابراین امروز ، تصمیم گرفتم ویدیویی را از Andrej Karpathy ، AI Lead در تسلا جدا کنم و آنچه را که در داخل نرم افزار تسلا اتفاق می افتد برای شما توضیح دهم. پیوند ویدیو را در پایان این مقاله به اشتراک می گذارم.

امیدوارم متوجه شوید که هیچ چیز را نمی توانید درک کنید ، حداقل از یک مفهوم سطح بالا. < /p>

عمیقاً در زیر فرو می رویم:

وظایف - تسلا چه می کند؟ سنسورها - خلبان خودکار از چه حسگرهایی استفاده می کند؟ شبکه های عصبی - تسلا چگونه شبکه های عصبی خود را معماری می کند؟ آموزش - آموزش شبکه چگونه اتفاق می افتد؟ مرور کامل پشته - مرور کلی سیستم کامل آنها.

به طور خاص ، ما به یکی از نگرانی های مهم تسلا می پردازیم: 50 کار باید روی رایانه انجام شود ، به طور همزمان ، در رایانه ای که فضای زیادی را اشغال نمی کند.

رایانه FSD

پس بیایید به آن برسیم!

قبل از آن

من یک لیست پستی در مورد فناوریهای خودمختار ، کامپیوتر دارم بینایی و هوش مصنوعی اکثر افراد در آن مهندسانی مانند شما هستند و روزانه ایمیل هایی دریافت می کنند که حاوی محتوای فنی ، نکات شغلی و داستانهای داخلی است که هر روز زندگی آنها را تغییر می دهد. - ایمیل های خصوصی را در این پیوند دریافت کنید!

1. وظایف

به گفته ایلان ماسک ، از ابتدای ژوئیه (2020) ، تسلا به خودروهای کاملاً خودران نزدیک است-که به عنوان خودمختاری سطح 5 نیز شناخته می شود. چه واقعیت داشته باشد چه نباشد ، یک چیز بیش از پیش روشن می شود: تسلا آماده است تا قبل از دیگران به خودمختاری کامل برسد. هنگامی که آنها این کار را انجام می دهند ، بقیه احتمالاً به سرعت دنبال می شوند.

دستیابی تسلا به سطح 5 برابر است با راجر بانیستر ورزشکار که برای اولین بار یک مایل را در 4 دقیقه می دوید. این کار کاملاً غیرممکن بود ، تا اینکه راجر بنیستر آن را انجام داد ، و سپس همه ناگهان دنبال کردند.

یک وسیله نقلیه تسلا چه کار می کند؟

عملکرد اصلی هر وسیله نقلیه خودران ، از جمله کارهایی که در تسلا انجام می شود این است که در خط صحیح بمانید ، سپس مسیر را تغییر دهید تا مسیر درست را دنبال کنید.

بدیهی است که وظایفی مانند تشخیص موانع بخش بزرگی از پشته است. و ویژگی های دیگر مانند Smart Summon به خودرو اجازه می دهد تا راننده را در یک پارکینگ پیدا کند. این وظایف اضافی ، در میان سایر وظایف ، به خط اصلی و مسیر اصلی حرکت می کند تا به سمت هدف بلند مدت حرکت کند: قابلیت های کامل خودران.

تسلا باید تمام این وظایف را انجام دهد وظایف تسلا امروزه مشهور است. از تشخیص خط ، مهمترین ویژگی خودروهای خودران گرفته تا ردیابی عابران پیاده ، آنها باید همه چیز را پوشش دهند و هر سناریویی را پیش بینی کنند. برای این منظور ، آنها از حسگرها استفاده می کنند.

2. حسگرها

تسلا از 8 دوربین برای عملکرد استفاده می کند. با این کار ، آنها می توانند تمام مناطق اطراف وسیله نقلیه را پوشش دهند تا نقطه کوری وجود نداشته باشد.

نمای از 8 دوربین

8 دوربینبا RADAR های اضافی ترکیب می شوند تا بتوانند موانع را به طور م locateثر شناسایی و آنها را شناسایی کنند. RADAR ها حسگرهای مکمل بسیار خوبی هستند زیرا می توانند سرعتها را مستقیماً تخمین بزنند. می توانید در مقاله RADAR من بیشتر بیاموزید.

این تصاویر دوربین چگونه پردازش می شوند؟ استفاده از شبکه های عصبی.

نگران از دست دادن آخرین اخبار ML نباشید. مشترک شوید و اجازه دهید آن را پیدا کنیم و هر هفته با شما و 14000 نفر دیگر به اشتراک بگذاریم.

3. شبکه های عصبی

بین وسایل نقلیه ، خطوط پیاده رو ، حاشیه جاده ها ، گذرگاه ها و سایر متغیرهای محیطی خاص ، تسلا کارهای زیادی برای انجام دادن دارد. در حقیقت ، آنها باید حداقل 50 شبکه عصبی را به طور همزمان اجرا کنند تا بتواند کار کند. این امر در رایانه های معمولی امکان پذیر نیست.

تسلا از معماری خاصی به نام HydraNets استفاده می کند ، جایی که ستون فقرات به اشتراک گذاشته می شود. HydraNets دارای ستون فقرات در تمام اجسام و سرهایی است که در کارهای خاص آموزش دیده اند. این باعث افزایش سرعت استنتاج و همچنین سرعت آموزش می شود. شبکه عصبی تسلا < /img>

شبکه های عصبی با استفاده از PyTorch ، یک چارچوب یادگیری عمیق که ممکن است با آن آشنا باشید ، آموزش می بینند.

هر تصویر با ابعاد (1280 ، 960 ، 3) ، از طریق این عصب خاص منتقل می شود. شبکه. ستون فقرات یک ResNet 50 اصلاح شده است - اصلاح خاص استفاده از "Dilated Convolutions" است. سرها بر اساس تقسیم بندی معنایی - معماری FPN/DeepLab/UNet به با این حال ، به نظر نمی رسد "پایان کار" باشد زیرا تبدیل بین پیکسل های دو بعدی و سه بعدی مستعد خطا است. من هر دو این مفاهیم را در درس خود آموزش می دهم SEGMENTATION IMAGE: تکنیک های پیشرفته برای کامپیوترهای مشتاق کارشناسان بینایی من این دوره را برای همه کسانی که می دانند چگونه backpropagation کار می کند طراحی کردم-این تنها شرط لازم در کنار پایتون مبتدی است.

چیز دیگری که تسلا استفاده می کند نمای چشم پرنده است

گاهی اوقات نتایج یک شبکه عصبی باید به صورت سه بعدی تفسیر شود. نمای چشم پرنده می تواند به تخمین فاصله ها کمک کند و درک بسیار بهتر و واقعی تری از جهان ارائه دهد.

احضار هوشمند در تسلا با استفاده از نمای چشم پرنده

برخی از کارها بر روی چندین دوربین اجرا می شوند. به عنوان مثال ، برآورد عمق چیزی است که ما عموما در دوربین های استریو انجام می دهیم. داشتن 2 دوربین به تخمین بهتر فاصله ها کمک می کند. تسلا این کار را با استفاده از شبکه های عصبی با رگرسیون در عمق انجام می دهد.

برآورد عمق از 2 دوربین با استفاده از این دید استریو و ادغام سنسور ، تسلا نیازی به LiDAR ندارد. آنها می توانند برآورد فاصله را تنها بر اساس این دو دوربین انجام دهند. تنها ترفند این است که دوربین ها از لنزهای یکسان استفاده نمی کنند: در سمت راست ، فاصله های بیشتر بسیار نزدیک تر به نظر می رسند.

تسلا همچنین وظایف مکرر مانند برآورد چیدمان جاده دارد. این ایده مشابه است: چندین شبکه عصبی به طور جداگانه اجرا می شوند و یک شبکه عصبی دیگر در حال ایجاد اتصال است.

به صورت اختیاری ، این شبکه عصبی می تواند مکرر باشد تا زمان را در بر گیرد.

problem مشکل اصلی تسلا این است که از 8 دوربین ، 16 مرحله زمانی (مکرر معماری) ، و اندازه دسته ای 32.

به این معنی است که برای هر پاس رو به جلو ، 4096 تصویر پردازش می شود. من در مورد شما اطلاعی ندارم ، اما MacBook Pro من هرگز نمی تواند از این پشتیبانی کند. در واقع ، GPU نمی تواند این کار را انجام دهد - نهحتی 2 GPU!

برای حل این مشکل ، تسلا روی معماری HydraNet شرط بندی می کند. هر دوربینی از طریق یک شبکه عصبی واحد پردازش می شود. سپس همه چیز در شبکه عصبی میانی ترکیب می شود. نکته شگفت انگیز این است که هر کاری تنها به چند قسمت از این شبکه غول پیکر نیاز دارد.

به عنوان مثال ، تشخیص شیء فقط به دوربین جلو ، ستون فقرات جلو و دوربین دوم نیاز دارد. همه چیز یکسان پردازش نمی شود.

8 شبکه عصبی اصلی مورد استفاده تسلا

4. آموزش

آموزش شبکه با استفاده از PyTorch انجام می شود. چندین کار مورد نیاز است و آموزش بر روی 48 سر شبکه عصبی می تواند زمان زیادی را صرف کند. در حقیقت ، آموزش برای تکمیل به 70،000 ساعت GPU نیاز دارد. تقریباً 8 سال است.

تسلا در حال تغییر حالت آموزش از "رفت و برگشت" به "استخر کارگران" است. در اینجا ایده وجود دارد: در سمت چپ - گزینه طولانی و غیرممکن. در وسط و راست ، گزینه های جایگزین مورد استفاده آنها.

من جزئیات زیادی برای به اشتراک گذاشتن آن قسمت ندارم ، اما اساساً ، این مجموعه از کارگران به موازات وظایف سریعتر شدن شبکه به هم نزدیک می شوند.

5. بررسی کامل پشته

امیدوارم اکنون ایده روشنی از نحوه کار در آنجا داشته باشید. درک آن غیرممکن نیست ، اما قطعاً متفاوت از چیزی است که ممکن است به آن عادت کرده باشیم. چرا؟ از آنجا که این شامل مشکلات بسیار پیچیده ای در دنیای واقعی است.

در یک دنیای کامل ، شما نیازی به معماری HydraNet ندارید-فقط از یک شبکه عصبی در هر تصویر و در هر کار استفاده کنید ... اما امروزه ، انجام این کار غیرممکن است.

علاوه بر این ، تسلا باید به طور مداوم نرم افزار خود را بهبود بخشد. آنها باید داده های کاربران را جمع آوری کرده و از آنها استفاده کنند. از این گذشته ، آنها هزاران وسیله نقلیه دارند که در آنجا رانندگی می کنند ، احمقانه خواهد بود که از داده های آنها برای بهبود مدل خود استفاده نکنند. هر داده ای جمع آوری ، برچسب گذاری و برای آموزش استفاده می شود. شبیه فرایندی به نام یادگیری فعال (در این مورد در اینجا اطلاعات بیشتری کسب کنید).

این حلقه کامل است. پشته کامل تسلا

بیایید پشته را از پایین به بالا تعریف کنیم.

داده-تسلا داده ها را از وسایل نقلیه و تیمی برچسب می زنند. GPU Cluster - تسلا از چندین GPU (که خوشه ای نامیده می شود) برای آموزش شبکه های عصبی آنها و اجرای آنها استفاده می کند. DOJO - تسلا از چیزی استفاده می کند که آنها دوجو می نامند فقط بخشی از کل معماری را برای یک کار خاص آموزش دهد. این بسیار شبیه به آنچه آنها در استنباط انجام می دهند است. آموزش توزیع شده PyTorch - تسلا از PyTorch برای آموزش استفاده می کند. ارزیابی - تسلا آموزش شبکه را با استفاده از توابع ضرر ارزیابی می کند. استنتاج ابری - پردازش ابری به تسلا اجازه می دهد تا ناوگان خودروهای خود را به طور همزمان بهبود بخشد. استنتاجFSD - تسلا رایانه خود را ساخته است که دارای واحد پردازش عصبی (NPU) و GPU های خود برای استنتاج است. حالت سایه-تسلا نتایج و داده های خودروها را جمع آوری کرده و آنها را با پیش بینی هایی که برای بهبود حاشیه نویسی مقایسه می شود مقایسه می کند: این یک حلقه بسته است!

⏩ در اینجا ویدئویی است که همه چیز را شرح می دهد. فقط تصاویری را که به شما نشان دادم نوشتم و جمع آوری کردم.

ممکن است کمی از همه چیز که توضیح دادم غرق شده باشید. بسیار پیشرفته تر از آن چیزی است که اکثر دوره ها آموزش می دهند ، و طبیعی است. با این حال ، امروزه شرکت ها اینگونه عمل می کنند. آن استبه ندرت می توان شرکتی را مشاهده کرد که از دسته های از پیش ساخته شده از لایه های متحرک بدون تغییر استفاده کند.

در اینجا خلاصه ای از همه مواردی است که ما در مورد آن بحث کردیم:

تسلا همزمان روی 50 وظیفه کار می کند ، که باید همه آنها بر روی یک کامپیوتر بسیار کوچک به نام FSD (Fully Self-Driving) اجرا می شوند. برای انجام این کار ، آنها از معماری HydraNet استفاده می کنند که به آنها اجازه می دهد از شبکه یکسانی برای هر کاری ، فقط با سرهای مختلف استفاده کنند. همه سرها شامل تقسیم بندی تصویر می شوند. تسلا از 8 دوربین استفاده می کند که با هم ادغام شده اند. هر دوربینی برای یک کار واحد استفاده نمی شود. آموزش با استفاده از PyTorch و مجموعه ای از معماری کارگران (برخی از وظایف به طور همزمان آموزش می بینند) انجام می شود. یک حلقه کامل اجرا می شود: رانندگان داده ها را جمع آوری می کنند ، تسلا این داده های دنیای واقعی را برچسب گذاری می کند و سیستم آنها را بر روی آن آموزش می دهد.

هدف تسلا این است که اولین شرکتی باشد که به خودمختاری کامل دست یافته است. امروزه آنها با ارزش ترین شرکت خودروسازی در کل جهان هستند و قصد توقف در آنجا را ندارند. آنها با چالش های جالبی روبرو هستند که ما در هنگام یادگیری هوش مصنوعی و یادگیری عمیق از راحتی خانه های خود با آنها روبرو نیستیم.

امیدوارم داستان امروز به شما در بررسی نحوه "دنیای واقعی" کمک کرده باشد. انجام می دهد! اگر می خواهید بیشتر پیش بروید ، در ایمیل های خصوصی من مشترک شوید و اطلاعات ، راهنمایی ها و داستانهای روزانه در مورد AI ، Computer Vision و Autonomous Vehicles را دریافت کنید! جرمی کوهن >

تبصره ویرایشگر: ضربان قلب یک نشریه و انجمن آنلاین مبتنی بر مشارکت است که به کاوش در تقاطع نوظهور توسعه برنامه تلفن همراه و یادگیری ماشین اختصاص داده شده است. ما متعهد هستیم که از توسعه دهندگان و مهندسان از هر قشری حمایت و الهام بگیریم.

مستقل از نظر ویرایش ، Heartbeat توسط Fritz AI ، پلت فرم یادگیری ماشینی که به توسعه دهندگان کمک می کند تا دستگاه ها را ببینند ، بشنوند ، حمایت و منتشر می شود. حس کنید و فکر کنید ما به مشارکت کنندگان خود پرداخت می کنیم و تبلیغات نمی فروشیم.

اگر می خواهید مشارکت داشته باشید ، به تماس ما برای مشارکت کنندگان سر بزنید. همچنین می توانید برای دریافت خبرنامه های هفتگی ما (هفته نامه یادگیری عمیق و خبرنامه هوش مصنوعی Fritz) ثبت نام کنید ، در Slack به ما بپیوندید و Fritz AI را در توییتر دنبال کنید تا آخرین یادگیری ماشین تلفن همراه را مشاهده کنید.

استفاده آموزش انجام

یاد بگیرید که ماهی کوچک باشید

آیا می خواهید موفق باشید؟ در حلقه خود بهترین نباشید.

عکس از سباستین پنا Lambarri on Unsplash

موارد خاصی همیشه به راحتی به ذهنم رسیده اند. نوشتن ، سخنرانی در جمع ، سریع با پوزخند روی پاهایم - اینها در خانه چرخ من است. وقتی افراد به مهارت های من در این زمینه ها اذعان می کنند احساس خوبی دارد.

مسئله این است که خوب بودن در کاری می تواند منجر به رکود شود. اگر می خواهید همیشه بهترین یا باهوش ترین اتاق باشید ، حتی بهتر بودن را از دست می دهید.

وقتی درباره موضوعی اطلاعات زیادی می دانید یا در زمینه خاصی تجربه زیادی دارید ، آسان است که ناخواسته شجاعت ایجاد کند. این شجاعت می تواند فلج کننده باشد زیرا وقتی در انجام کار ماهر هستیم ، می توانیم از خود راضی باشیم.

با خودآموزی کمبود رشد همراه است. این باعث می شود ما به جای رشد و ترقی به سطح بعدی ، در دریایی از اهمیت شخصی خود پارو بزنیم. ممکن است احساس خوبی داشته باشد ، اما ما به جایی نمی رسیم.

جستجوی منتورها

رمز موفقیت یادگیری از افرادی است که قبلاً کاری را که ما می خواهیم انجام دهیم ، انجام داده اند. افرادی که بیش از ما می دانند می توانند در زندگی ما حکمت را بیان کنند. ما مجبور نیستیم این کار را به همان روشی که آنها انجام داده اند انجام دهیم ، اما باید داستان های آنها را دریابیم. بینش آنها ارزشمند است.

سفر آنها چگونه بود؟ چه شکست هایی داشتند؟ چه توصیه هایی می توانند ارائه دهند؟ زیاد گوش کنید ، چند س askال بپرسید و اجازه دهید خرد آنها روی شما بیفتد.

آیا نویسنده ای وجود دارد که او را تحسین کنید؟ یک تاجر که از تجارت با او لذت می برید؟ سرک بکش. از طریق ایمیل به افراد مراجعه کنید یا به آنها مراجعه کنید. دستیابی به آن صدمه ای نمی زند.

پاسخی ندارید؟ مشکلی نیست شخص دیگری را پیدا کنید تا از او س askال کند.

به گروهی بپیوندید که افرادی که همان کار را انجام می دهند با یکدیگر ملاقات می کنند. جلسات اتاق بازرگانی ، گروه های نویسندگان ، کلینیک های بسکتبال - مکان هایی را برای جمع آوری دیگران که به آنچه شما برای شما مهم است پیدا کنید. شما در حال انجام هر کاری هستید ، محل تجمع افرادی که همان کار را انجام می دهند را پیدا کنید.

من به یک گروه نویسنده محلی پیوستم زیرا فهمیدم که در گروه نویسندگان که تشکیل دادم ، بیشترین تجربه و موفقیت را داشته ام. این خوب است ، اما من می خواهم یک ماهی کوچک شوم. من می خواهم از دیگران که کتاب چاپ کرده و معامله با نمایندگان معامله کرده اند بیاموزم و تجارت را درک کنم.

وقتی به جایی می روم که مردم بیشتر از من می دانند ، می توانم این اطلاعات را برداشت کرده و به نویسندگان خودم برگردانم. 'گروه. همچنین به من کمک می کند تا در سفر شخصی خود به عنوان نویسنده رشد کنم.

علاوه بر این ، به پادکست ها گوش دهید. تعداد زیادی از آنها وجود دارد که بسیاری از آنها برای کمک به مردم در مناطق خاص تخصص دارند. من به Joanna Penn's The Creative Penn Podcast گوش می دهم زیرا من علاقه مندم که چگونه او یک تجارت کارآفرین خلاق برای خود ایجاد کرده است. به احتمال زیاد پادکستی وجود دارد که در سفر به موفقیت نیز به شما کمک می کند.

کتاب بخوانید. من هم اکنون مشغول خواندن کتاب Called to Creat by Jordan Raynor هستم. Stephen King’s On Writing چشمهایم را باز کرد و به من کمک کرد تا عادت های نوشتاری ام را توسعه دهم. برای یادگیری تعقیب رویاها روشن شده استمن را با خواندن Chase the Lion توسط مارک باترسون.

صحبت کنید ، گوش دهید ، بخوانید. در خلا کار نکنید مربیان خود را پیدا کنید و به دانش آنها توجه کنید.

با خودتان جلسه داشته باشید

اگر محتاط نباشیم ، مشغله تلاش برای رسیدن به اهدافمان می تواند باعث پرهیز از درون بینی شود. وقت تلف کنید کمی وقت بگذارید تا با خودتان بنشینید. به کاری که انجام داده اید و ارتباط آن با اهداف خود نگاهی بیندازید.

یادگیری استقبال از مکث بازتابنده برای حرکت به جلو بسیار مهم است. شخم زدن کورکورانه پیش رو و بدون بررسی دقیق می تواند مانع پیشرفت ما شود. در جلسه ای با خود ، باید س hardالات سختی از خود بپرسید. این یک روش کارآمد برای یادگیری این است که شما واقعاً چه ماهی کوچکی هستید.

آیا شما به روشی که دوست دارید مثمر ثمر هستید؟ آیا کار شما نتیجه ای دارد که شما را به سمت اهداف خود سوق می دهد؟ ؟ در کدام زمینه ضعف به کمک نیاز دارید؟ آیا موضوعی وجود دارد که بخواهید درباره آن بیشتر بدانید اما وقت خود را برای متوقف کردن و پرسیدن از شخصی اختصاص نداده اید؟ چه کاری انجام می دهید که بتوانید بهتر انجام دهید؟ آیا بین راهی بین کارهای شخصی و شخصی به روش سالم تعادل برقرار می کنید؟

در حالت ایده آل ، بهترین کار این است که انجام دهید این هم قبل و هم بعد از مشورت با مربیان خود. قبل از به دست آوردن خرد از یک مربی ، می توانید خود و پیشرفت خود را ارزیابی کنید. پس از انجام این کار ، صحبت با شخص دیگری ممکن است به شما کمک کند تا فضاهایی را که در نظر نگرفته اید پر کنید.

یادداشت برداری کنید یا یک دفترچه یادداشت داشته باشید. این یک رکورد در حال اجرا ایجاد می کند که می توانید با گذشت زمان به آن رجوع کنید ، به شما کمک می کند روند زندگی خود را ببینید. این یک سند زنده می شود که پیشرفت شما را ردیابی می کند.

از وقتی که این فکر را شروع کردم ، یاد گرفتم که جلسات را با خودم بخواهم. هنگامی که فهمیدم شلوغی سرسختانه من با نتایجی که می بینم متناسب نیست ، باید مکث کنم.

عکس توسط Crew در Unsplash

حالا برو!

هنگامی که از مشاوران بینش کسب کردید و با خود مشورت کردید ، مراحل آگاهانه بعدی را انجام دهید. با آماده شدن ، احتمالاً کارآیی و موفقیت شما نسبت به گذشته بیشتر خواهد بود.

ما باید از یکدیگر یاد بگیریم - شامل شکست ها و موفقیت ها. از مکانهای مختلف به منابع ضربه بزنید و از آنها استفاده کنید تا به شما کمک کند تا تفکر خود را از نو تنظیم کنید.

اقدامات عمدی و خود بازتابی بسیار کمک می کند. آن را از یک ماهی کوچک بردارید.

از خواندن شما متشکرم! من تریسی گرهارد-کوپر هستم و از شما دعوت می کنم اگر دوست دارید صحبت های واقعی تری درباره زندگی واقعی بخوانید ، مرا دنبال کنید. لطفاً برای مشاغل میانسالی ، نشریه من Middle Ground را نیز دنبال کنید. بیایید زندگی را به عمد انجام دهیم.

انجام کنید.