تجزیه‌ و تحلیل داده‌‌های حمل‌ و نقل هوشمند (کتاب الکترونیک)

فهرست

فهرست............................................................................................................................................... 3

مقدمه.................................................................................................................... 15

فصل اول

مشخصات سیستم‌های حمل‌ونقل هوشمند و ارتباط آن با تجزیه‌وتحلیل داده‌ها.... 21

1.1 سیستم‌های حمل‌ونقل هوشمند به‌عنوان کاربردهای مبتنی بر داده روش‌های......................... 21

1.1.1 سیستم داده ITS.............................................................................................................. 24

1.1.2 منابع داده ITS و فناوری‌های جمع‌آوری داده................................................................. 26

1.2 تجزیه‌وتحلیل کلان داده و زیر ساخت حمایتی از آن................................................................. 28

۱.۳ معماری ITS: چارچوب کاربردهای ITS................................................................................... 33

1.3.1 سرویس‌های کاربری و الزامات خدمات کاربران.............................................................. 35

1.3.2 معماری منطقی................................................................................................................. 36

1.3.3 معماری فیزیکی................................................................................................................ 36

1.3.4 بسته‌های خدماتی............................................................................................................. 38

1.3.5 استانداردها........................................................................................................................ 39

1.3.6 امنیت................................................................................................................................ 39

1.4 مروری بر کاربردهای ITS........................................................................................................ 40

1.4.1 انواع کاربردهای ITS....................................................................................................... 42

1.4.2 کاربرد و ارتباط ITS با تجزیه‌وتحلیل داده‌...................................................................... 46

1.5 سیستم‌های حمل‌ونقل هوشمند گذشته، حال و آینده................................................................ 49

1.5.1 دهه 1960 و 1970.......................................................................................................... 50

1.5.2 دهه ۱۹۸۰ و ۱۹۹۰.......................................................................................................... 51

1.5.3 دهه 2000........................................................................................................................ 53

1.5.4 دهه 2010 به بعد............................................................................................................. 54

1.6 بررسی اجمالی کتاب: تجزیه‌وتحلیل داده برای برنامه‌های ITS............................................... 56

1.7 تمرین‌‌ها..................................................................................................................................... 59

1.8 مراجع......................................................................................................................................... 60

فصل دوم

مبانی تجزیه‌وتحلیل داده‌ها.................................................................................... 63

۲.۱ مقدمه......................................................................................................................................... 63

2.2 جنبه‌های عملکردی تجزیه‌وتحلیل داده‌ها................................................................................. 66

2.2.1 تجزیه‌وتحلیل توصیفی..................................................................................................... 67

2.2.1.1 آمار توصیفی.................................................................................................................. 68

2.2.1.2 آنالیز داده‌های اکتشافی.................................................................................................. 70

2.2.1.3 ترسیم آنالیز داده‌های اکتشافی........................................................................................ 71

2.2.1.4 مطالعات موردی تحلیل داده‌های اکتشافی........................................................................ 76

2.2.2 تجزیه‌وتحلیل تشخیصی.................................................................................................. 78

2.2.2.1 مطالعات موردی آنالیز تشخیصی...................................................................................... 79

2.2.2.1.1 سیستم موفقیت دانش‌آموزان.................................................................................. 79

2.2.2.1.2 کوپا..................................................................................................................... 81

2.2.2.1.3 تجزیه‌وتحلیل تشخیصی در آموزش و یادگیری......................................................... 81

2.2.3 تجزیه‌وتحلیل پیشگویانه.................................................................................................. 82

2.2.3.1 موارد استفاده از تحلیل پیشگویانه ​................................................................................... 84

۲.۲.۴ تجزیه‌وتحلیل تجویزی..................................................................................................... 84

۲.۳ ارزیابی ویژگی‌های داده‌............................................................................................................. 86

2.3.1 آنالیز SQL: RDBMS، OLTP  و OLAP................................................................. 87

2.3.2 ویژگی‌های کسب‌وکار: هوش تجاری، هشدار داده و داده‌کاوی...................................... 88

2.3.2.1 هوش تجاری................................................................................................................ 89

2.3.2.2 انبارهای داده، طرح‌واره ستاره و مکعب‌های OLAP.......................................................... 90

2.3.2.3 ابزارهای ETL.............................................................................................................. 93

2.3.2.4 سرورهای OLAP......................................................................................................... 93

2.3.2.5 داده‌کاوی...................................................................................................................... 94

2.3.3 تجزیه‌وتحلیل بصری........................................................................................................ 98

2.3.4 تجزیه‌وتحلیل کلان داده.................................................................................................. 99

2.3.5 تجزیه‌وتحلیل شناختی................................................................................................... 100

۲.۴ علم داده................................................................................................................................... 101

2.4.1 چرخه عمر داده.............................................................................................................. 103

2.4.2 کیفیت داده..................................................................................................................... 105

2.4.3 ساخت و ارزیابی مدل‌ها................................................................................................. 106

۲.۵ ابزارها و منابع تجزیه‌وتحلیل داده‌ها........................................................................................ 110

2.6 آینده پژوهی............................................................................................................................. 114

2.7 خلاصه فصل و نتیجه‌گیری.................................................................................................... 115

2.8 تمرین‌ها................................................................................................................................... 117

2.9 مراجع....................................................................................................................................... 118

فصل سوم

ابزارها و تکنیک‌های علوم داده جهت پشتیبانی از تجزیه‌وتحلیل داده‌ها در برنامه‌های حمل‌ونقل........................................................................................... 122

3.1 مقدمه...................................................................................................................................... 122

3.2 مقدمه‌ای بر محیط برنامه‌نویسی R برای تجزیه‌وتحلیل داده‌ها.............................................. 123

3.3 تبادل داده‌های پژوهشی.......................................................................................................... 125

3.4 انواع ساختارهای اساسی داده‌ها: قالب‌ها و فهرست داده‌ها...................................................... 127

3.4.1 قالب داده‌ها.................................................................................................................... 127

3.4.2 فهرست.......................................................................................................................... 130

3.5 ورود داده‌ها از فایل‌های خارجی.............................................................................................. 131

3.5.1 محدودشده..................................................................................................................... 131

3.5.2 XML............................................................................................................................ 134

3.5.3 SQL.............................................................................................................................. 139

3.6 سرمایه‌گذاری آنلاین داده‌های رسانه‌های اجتماعی................................................................ 141

3.6.1 جستجوی ایستا.............................................................................................................. 142

3.6.2 جریان پویا...................................................................................................................... 143

3.7 فرآیند کلان داده: آماده‌سازی هادوپ...................................................................................... 145

3.8 خلاصه فصل........................................................................................................................... 147

3.9 تمرین‌ها................................................................................................................................... 148

3.10 مراجع.................................................................................................................................... 148

فصل چهارم

مرکزیت داده‌ها: چرخه عمر و کانال ارتباطی داده‌ها............................................ 149

4.1 مقدمه...................................................................................................................................... 149

4.2 موارد استفاده و قابلیت تغییر داده‌ها......................................................................................... 151

4.3 داده‌ها و چرخه عمر ITS......................................................................................................... 156

4.3.1 مدل چرخه عمر USGS............................................................................................... 156

4.3.2  مرکز ادغام دیجیتال (DCC) مدل ادغام..................................................................... 159

4.3.3 مدل DataOne............................................................................................................. 161

4.3.4 تحقیق پژوهشی مدل چرخه عمر SEAD................................................................... 162

4.4 کانال ارتباطی داده................................................................................................................... 167

4.5 آینده پژوهی............................................................................................................................. 175

4.6 خلاصه فصل و نتیجه‌گیری.................................................................................................... 176

۴.۷ تمرین‌ها................................................................................................................................... 176

4.8 مراجع....................................................................................................................................... 179

فصل پنجم

زیرساخت داده‌های سیستم‌ حمل‌ونقل هوشمند.................................................. 181

5.1 مقدمه...................................................................................................................................... 181

5.2 کاربردهای سیستم حمل‌ونقل متصل و مشخصات فرآیند آن................................................. 182

5.3 مروری بر زیرساخت‌ها............................................................................................................. 185

5.4 زیرساخت‌های سطح بالا......................................................................................................... 188

5.4.1 نقشه‌برداری و فراتر از آن: پردازش داده‌های مقیاس‌پذیر​............................................. 188

5.4.2 پردازش جریان  و پالایش داده..................................................................................... 191

5.4.3 SQL و فرمت داده‌ها.................................................................................................... 192

5.4.4 مدیریت داده‌های دسترسی کوتاه‌مدت و تصادفی......................................................... 194

5.4.5 تجزیه‌وتحلیل مبتنی بر جستجو.................................................................................... 195

5.4.6 هوش تجاری و علم داده............................................................................................... 195

5.4.7 یادگیری ماشین.............................................................................................................. 196

5.5 زیرساخت‌های سطح پایین...................................................................................................... 196

5.5.1 هادوپ: مدیریت محاسبه و ذخیره‌سازی....................................................................... 197

5.5.2 هادوپ در فضای ابری................................................................................................... 198

5.6 خلاصه فصل و نتیجه‌گیری.................................................................................................... 200

5.7 تمرین‌ها................................................................................................................................... 201

5.8 مراجع....................................................................................................................................... 203

فصل ششم

امنیت و حریم خصوصی داده‌های خودروهای مدرن........................................... 207

6.1 مقدمه...................................................................................................................................... 207

6.2 شبکه‌های وسایل نقلیه متصل و برنامه‌های کاربردی آن........................................................ 210

6.2.1 شبکه‌های درون خودرو.................................................................................................. 210

6.2.2 شبکه‌های خارجی.......................................................................................................... 211

6.2.3 برنامه‌های نوآورانه وسایل نقلیه..................................................................................... 212

6.3 سهامداران و ذی‌نفعان............................................................................................................. 215

6.4 طبقه‌بندی حمله...................................................................................................................... 217

6.5 تجزیه‌وتحلیل امنیت................................................................................................................ 218

6.5.1 تجزیه‌وتحلیل آسیب‌پذیری پروتکل و شبکه................................................................. 218

6.5.2 حملات........................................................................................................................... 222

6.5.2.1 حملات سیستم ضد سرقت........................................................................................... 223

6.5.2.2 حملات ECU............................................................................................................. 226

6.5.2.3 حملات TPMS.......................................................................................................... 230

6.5.2.4 حملات VANET...................................................................................................... 231

6.6 راه‌حل‌های امنیتی و حریم خصوصی....................................................................................... 233

6.6.1 اصول رمزنگاری............................................................................................................. 235

6.6.2 راه‌حل‌های امنیتی ارتباطات باس.................................................................................. 236

6.6.2.1 ابهام سازی کد............................................................................................................ 237

6.6.2.2 احراز هویت، محرمانگی و یکپارچگی............................................................................. 237

6.6.2.2.1 احراز هویت........................................................................................................ 237

6.6.2.2.2 محرمانگی.......................................................................................................... 238

6.6.2.2.3 یکپارچگی.......................................................................................................... 239

6.6.2.3 تله‌های Rootkit........................................................................................................ 241

6.6.2.4 سیستم تشخیص نفوذ.................................................................................................. 242

6.6.2.5 درگاه فایروال.............................................................................................................. 242

6.6.3 امنیت و حریم خصوصی WPAN................................................................................ 243

6.6.3.1 چک‌لیست امنیتی بلوتوث............................................................................................. 243

6.6.3.2 WPAN  ایمن........................................................................................................... 244

6.6.3.3 فعال‌سازی حریم خصوصی داده‌ها در WPAN............................................................... 245

6.6.4 VANET ایمن............................................................................................................. 246

6.6.5 به‌روزرسانی سیستم‌عامل OTA ECU ایمن............................................................... 249

6.6.6 پیمایش حریم خصوصی داده‌های حسگر...................................................................... 253

6.6.7 مبادله ایمن..................................................................................................................... 254

۶.۷ آینده پژوهشی......................................................................................................................... 255

6.8 خلاصه فصل و نتیجه‌گیری.................................................................................................... 255

۶.۹ تمرین‌ها................................................................................................................................... 256

6.10 مراجع.................................................................................................................................... 256

فصل هفتم

تصویرسازی تعاملی داده‌ها................................................................................ 261

۷.۱ مقدمه...................................................................................................................................... 261

7.2 تصویرسازی داده‌های سیستم‌‌ حمل‌ونقل هوشمند.................................................................. 264

۷.۳ قدرت تصویرسازی داده‌........................................................................................................... 265

۷.۴ کانال ارتباطی تصویرسازی داده‌.............................................................................................. 268

7.5 طبقه‌بندی سیستم‌های تصویرسازی داده................................................................................ 270

۷.۶ مرور اجمالی استراتژی‌ها......................................................................................................... 272

۷.۶.۱ کاهش مقدار داده........................................................................................................... 274

7.6.2 حروف کوچک بصری.................................................................................................... 275

۷.۷ استراتژی‌های ناوبری.............................................................................................................. 277

7.7.1 بزرگنمایی و جابجایی.................................................................................................... 277

۷.۷.۲ نگاه اجمالی و جزئیات.................................................................................................... 278

۷.۷.۳ تنظیم تصویر و زمینه..................................................................................................... 279

۷.۸ استراتژی‌های تعامل بصری.................................................................................................... 280

7.8.1 انتخاب............................................................................................................................ 280

7.8.2 اتصال............................................................................................................................. 281

7.8.3 فیلترینگ........................................................................................................................ 282

۷.۸.۴ تنظیم مجدد و بازسازی................................................................................................. 283

۷.۹ اصول طراحی تصویرسازی داده مؤثر...................................................................................... 284

۷.۱۰ یک مطالعه موردی: طراحی یک ابزار تجزیه‌وتحلیل بصری چند متغیره.............................. 287

۷.۱۰.۱ تصویرسازی چند متغیره با استفاده از مختصات موازی تعاملی.................................. 288

۷.۱۰.۲ نمایش داده‌های پویا از طریق دست‌کاری مستقیم.................................................... 289

7.10.3 خلاصه متغیر پویا از طریق تصویرسازی‌های تعبیه‌شده............................................. 290

۷.۱۰.۴ چندین دیدگاه هماهنگ.............................................................................................. 291

7.11 خلاصه فصل و نتیجه‌گیری.................................................................................................. 293

۷.۱۲ تمرین‌ها................................................................................................................................ 294

۷.۱۳ منابع جهت کسب اطلاعات بیشتر........................................................................................ 295

7.14 مراجع.................................................................................................................................... 296

فصل هشتم

تجزیه‌وتحلیل داده در مهندسی سیستم‌های حمل‌ونقل هوشمند......................... 300

8.1 مقدمه...................................................................................................................................... 300

۸.۲ پیشینه مطالعات....................................................................................................................... 302

۸.۲.۱ مدل توسعه سیستم‌ها.................................................................................................... 302

۸.۲.۱.۱ آغاز پروژه................................................................................................................... 303

۸.۲.۱.۲ مهندسی مقدماتی........................................................................................................ 304

۸.۲.۱.۳ طرح‌ها، مشخصات و برآوردها....................................................................................... 304

۸.۲.۱.۴ ساخت ‌و تولید............................................................................................................. 304

۸.۲.۱.۵ اتمام پروژه.................................................................................................................. 305

۸.۲.۱.۶ عملیات و نگهداری...................................................................................................... 305

۸.۲.۲ مهندسی پیوسته............................................................................................................. 306

8.2.3 AADL......................................................................................................................... 307

۸.۲.۳.۱ مروری بر زبان............................................................................................................ 308

8.2.3.2 ضمیمه رفتاری............................................................................................................ 310

۸.۲.۳.۳ ضمیمه خطا................................................................................................................ 311

۸.۲.۳.۴ AGREE.................................................................................................................. 314

۸.۲.۳.۵  Resolute................................................................................................................. 315

۸.۳ سناریو توسعه........................................................................................................................... 316

۸.۳.۱ تجزیه‌وتحلیل داده‌ها در معماری................................................................................... 317

۸.۳.۲ سناریو............................................................................................................................. 318

8.4 خلاصه فصل و نتیجه‌گیری.................................................................................................... 326

8.5 تمرین‌ها................................................................................................................................... 327

8.6 حل تمرین‌ها............................................................................................................................ 329

8.7 پیوست A................................................................................................................................ 330

8.7.1 هستی‌شناسی خطا EMV2........................................................................................... 330

8.8 مراجع....................................................................................................................................... 331

فصل نهم

تجزیه‌وتحلیل داده‌های کاربری‌های ایمنی.......................................................... 333

9.1 مقدمه...................................................................................................................................... 333

۹.۲ بررسی اجمالی تحقیقات ایمنی................................................................................................ 334

۹.۲.۱ عوامل انسانی................................................................................................................. 334

۹.۲.۲ مدل تعداد/نرخ  تصادف................................................................................................. 335

۹.۲.۳ مطالعه قبل و بعد........................................................................................................... 337

۹.۲.۴ مدل‌سازی شدت آسیب تصادف.................................................................................... 338

۹.۲.۵ ایمنی وسیله نقلیه تجاری.............................................................................................. 339

۹.۲.۶ طرح گشت بزرگراه مبتنی بر داده.................................................................................. 340

۹.۲.۷ ایمنی یادگیری عمیق از داده‌های بزرگ و ناهمگن..................................................... 341

9.2.8 عملکرد ترافیک در زمان واقعی و نظارت بر ایمنی....................................................... 341

۹.۲.۹ وسایل نقلیه متصل و ایمنی ترافیک............................................................................. 342

۹.۳ روش‌های تحلیل ایمنی........................................................................................................... 344

۹.۳.۱ روش‌های آماری............................................................................................................ 344

۹.۳.۱.۱مدل‌سازی داده‌های شمارش.......................................................................................... 344

۹.۳.۱.۲ مدل‌سازی دسته‌بندی داده‌ها......................................................................................... 347

۹.۳.۲ هوش مصنوعی و یادگیری ماشین................................................................................ 351

۹.۴ داده‌های ایمنی........................................................................................................................ 355

۹.۴.۱ اطلاعات تصادفات......................................................................................................... 355

۹.۴.۲ اطلاعات حجم ترافیک.................................................................................................. 356

۹.۴.۳ اطلاعات جاده‌ای........................................................................................................... 358

۹.۴.۴ اطلاعات هواشناسی....................................................................................................... 359

۹.۴.۵ اطلاعات وسیله نقلیه و راننده........................................................................................ 360

۹.۴.۶ مطالعه رانندگی طبیعی................................................................................................... 360

9.4.7 نوآوری‌های کلان داده و داده‌های باز........................................................................... 362

۹.۴.۸ اطلاعات دیگر................................................................................................................ 364

۹.۵ مسائل و آینده پژوهی.............................................................................................................. 365

۹.۵.۱ مسائل موجود در تحقیقات ایمنی موجود....................................................................... 365

۹.۵.۲ آینده پژوهی................................................................................................................... 366

۹.۶ خلاصه فصل و نتیجه‌گیری.................................................................................................... 369

۹.۷ تمرین‌ها................................................................................................................................... 370

9.8 مراجع....................................................................................................................................... 372

فصل دهم

تجزیه‌وتحلیل داده‌‌های کاربردی حمل‌ونقل کالا بین مُدی................................... 374

10.1 مقدمه.................................................................................................................................... 374

10.1.1 باربری بین مُدی فراهم‌شده توسط ITS.................................................................... 375

۱۰.۱.۲ تجزیه‌وتحلیل داده‌های ترابری بین مُدی فراهم‌شده توسط ITS.............................. 376

۱۰.۲ تجزیه‌وتحلیل داده‌های توصیفی........................................................................................... 376

۱۰.۲.۱ تجزیه‌وتحلیل منحصربه‌فرد......................................................................................... 376

۱۰.۲.۱.۱ آزمون مجذور کای..................................................................................................... 378

۱۰.۲.۱.۲ آزمون  K-S.............................................................................................................. 378

۱۰.۲.۱.۳ آزمون  A-D............................................................................................................ 378

۱۰.۲.۱.۴ نظرات در مورد آزمون‌های مجذور کای، K-S و A-D................................................... 379

۱۰.۲.۲ تجزیه‌وتحلیل دومتغیره............................................................................................... 383

۱۰.۳ تجزیه‌وتحلیل داده‌های پیش‌بینی‌شده.................................................................................. 386

۱۰.۳.۱ تجزیه‌وتحلیل تجارب.................................................................................................. 386

۱۰.۳.۲ تجزیه‌وتحلیل چند متغیره............................................................................................ 391

10.3.3 رگرسیون فازی............................................................................................................ 395

۱۰.۴ خلاصه فصل و نتیجه‌گیری.................................................................................................. 398

۱۰.۵ تمرین‌ها................................................................................................................................ 398

10.6 حل تمرین‌ها......................................................................................................................... 400

10.7 مراجع.................................................................................................................................... 401

فصل یازدهم

داده‌های رسانه اجتماعی در حمل‌ونقل................................................................ 402

11.1 مقدمه‌ای برای رسانه‌های اجتماعی...................................................................................... 402

۱۱.۲مشخصات داده‌های رسانه‌های اجتماعی............................................................................... 404

۱۱.۲.۱ حجم و سرعت............................................................................................................. 406

۱۱.۲.۲ دقت و درستی.............................................................................................................. 407

۱۱.۲.۳ تنوع.............................................................................................................................. 407

۱۱.۲.۴ ارزش........................................................................................................................... 408

۱۱.۳ تجزیه‌وتحلیل داده‌های رسانه‌های اجتماعی......................................................................... 409

۱۱.۴ کاربرد داده‌های رسانه‌های اجتماعی در حمل‌ونقل............................................................... 414

۱۱.۴.۱ برنامه‌ریزی حمل‌ونقل................................................................................................. 414

۱۱.۴.۲ پیش‌بینی ترافیک......................................................................................................... 415

11.4.3 مدیریت ترافیک در طول رویدادهای برنامه‌ریزی‌شده................................................ 416

۱۱.۴.۴ مدیریت ترافیک در طول رویدادهای برنامه‌ریزی نشده............................................. 416

۱۱.۴.۵ انتشار اطلاعات مربوط به ترافیک.............................................................................. 418

۱۱.۵ آینده پژوهی/ چالش‌های مربوط به تجزیه‌وتحلیل داده‌های رسانه‌های اجتماعی فراهم‌شده توسط تحلیلگران داده..................................................................................................................... 419

۱۱.۵.۱ رسانه‌های اجتماعی: یک منبع مکمل داده‌های حمل‌ونقل........................................ 419

۱۱.۵.۲ زیرساخت داده‌های بالقوه............................................................................................ 420

۱۱.۶ خلاصه فصل......................................................................................................................... 425

۱۱.۷ نتیجه‌گیری........................................................................................................................... 426

۱۱.۸ تمرین‌ها................................................................................................................................ 427

11.9 مراجع.................................................................................................................................... 428

فصل دوازدهم

یادگیری ماشین در تجزیه‌وتحلیل داده‌های حمل‌ونقل......................................... 433

۱۲.۱ مقدمه.................................................................................................................................... 433

۱۲.۲ روش‌های یادگیری ماشین.................................................................................................... 435

۱۲.۲.۱ یادگیری تحت نظارت................................................................................................. 435

۱۲.۲.۱.۱ طبقه‌بندی................................................................................................................. 436

۱۲.۲.۱.۲ رگرسیون.................................................................................................................. 437

۱۲.۲.۲ یادگیری بدون نظارت................................................................................................. 437

۱۲.۲.۲.۱ خوشه‌بندی................................................................................................................ 438

۱۲.۲.۲.۲ پیوستگی.................................................................................................................. 438

12.3 درک اطلاعات....................................................................................................................... 439

12.3.1 تعریف مسئله............................................................................................................... 439

۱۲.۳.۲ جمع‌آوری داده‌ها.......................................................................................................... 441

۱۲.۳.۳ همجوشی داده‌ها......................................................................................................... 442

12.3.4 پیش‌پردازش داده‌ها..................................................................................................... 444

۱۲.۴ الگوریتم‌های یادگیری ماشین برای تجزیه‌وتحلیل داده‌ها.................................................... 445

۱۲.۴.۱روش‌های رگرسیون...................................................................................................... 445

۱۲.۴.۲ درخت تصمیم‌گیری..................................................................................................... 450

۱۲.۴.۳ شبکه‌های عصبی........................................................................................................ 452

۱۲.۴.۴ ماشین بردار پشتیبانی.................................................................................................. 455

۱۲.۴.۵ خوشه‌بندی................................................................................................................... 457

۱۲.۴.۶ ارزیابی.......................................................................................................................... 458

12.5 یک مطالعه موردی................................................................................................................ 460

۱۲.۶ خلاصه فصل و نتیجه‌گیری.................................................................................................. 463

۱۲.۷ تمرین‌ها................................................................................................................................ 463

12.8 مراجع.................................................................................................................................... 464

12.9 پیوست................................................................................................................................... 465