پاکسازی داده‌ها

برنامه پاکسازی داده یکپارچگی و سازگاری داده‌ها را با ویژگی‌های زیر حفظ می‌کند:

• حذف داده‌های تکراری: ثبت‌های تکراری را ادغام یا حذف می‌کند تا از منحصربه‌فرد بودن داده‌ها اطمینان حاصل شود.

• بازیافت‌ها: رکوردهای قدیمی را برای بایگانی یا حذف شناسایی می‌کند.

• فرمت‌ها: داده‌های متنی را با یافتن و جایگزینی آن مطابق با نیازهای مشخص شده، استانداردسازی می‌کند.

قوانین قابل سفارشی‌سازی تضمین می‌کنند که داده‌های متنی به‌روز، ساده، با فرمت یکسان و مطابق با الزامات قالب‌بندی خاص شرکت باقی بمانند.

نصب ماژول‌ها

برنامه پاکسازی داده از چند ماژول تشکیل شده است. برای دسترسی به تمام ویژگی‌های موجود، موارد زیر را نصب کنید:

نام نام فنی	توضیحات
بازیافت داده data_recycle	ماژول پایه فعال‌سازی ویژگی بازیافت.
پاکسازی داده data_cleaning	ویژگی پاکسازی فیلد را برای قالب‌بندی داده‌های متنی در چندین رکورد فعال می‌کند.
پاکسازی داده (ادغام) data_merge	ویژگی حذف موارد تکراری را برای یافتن رکوردهای مشابه (یا تکراری) و ادغام آنها فعال می‌کند.

Additionally, several app-specific modules are available

حذف داده‌های تکراری CRM data_merge_crm	ویژگی حذف موارد تکراری را در برنامه CRM فعال می‌کند و از ویژگی پیش‌فرض ادغام CRM استفاده می‌کند.
عملیات ادغام سامانه پشتیبانی data_merge_helpdesk	ویژگی ادغام را برای برنامه سامانه پشتیبانی فعال می‌کند.
عملیات ادغام پروژه data_merge_project	ویژگی ادغام را برای برنامه پروژه‌ها فعال می‌کند.
حذف داده‌های تکراری UTM data_merge_utm	ویژگی ادغام را برای برنامه ردیاب UTM فعال می‌کند.
ادغام حسابداری انبار data_merge_stock_account	در صورت ادغام محصولاتی که ممکن است بر ارزش‌گذاری موجودی تأثیر بگذارد، در صورت نصب برنامه انبار، یک هشدار ایجاد می‌کند.

حذف داده‌های تکراری

داشبورد داده تکراری رکوردهای مشابه برای ادغام را بر اساس شرایط تطبیق در رکوردهای تعیین شده قوانین حذف تکثیر گروه‌بندی می‌کند.

از مسیر برنامه پاکسازی داده ◄ حذف تکثیر به این داشبورد دسترسی پیدا کنید.

نوار کناری قانون هر یک از قوانین فعال برای حذف داده‌های تکراری را لیست می‌کند و تعداد کل داده‌های تکراری شناسایی شده در کنار هر قانون نمایش داده می‌شود.

به‌طور پیش‌فرض، قانون همه انتخاب شده است. رکوردها بر اساس قانون خود، با رتبه‌بندی شباهت (از ۱۰۰٪)، با ستون‌های زیر گروه‌بندی می‌شوند:

• ایجاد شده در: تاریخ و زمانی که رکورد اصلی ایجاد شده است.

• نام: نام یا عنوان رکورد اصلی.

• مقادیر فیلد: مقادیر اصلی رکورد برای فیلدهای استفاده شده برای تشخیص داده‌های تکراری.

• استفاده شده در: سایر مدل‌هایی که به رکورد اصلی ارجاع می‌دهند را فهرست می‌کند.

• شناسه: شناسه منحصربه‌فرد رکورد اصلی.

• اصلی است: موارد تکراری در رکورد اصلی ادغام می‌شوند. در یک گروه از رکوردهای مشابه فقط یک رکورد اصلی می‌تواند وجود داشته باشد.

یک قانون مشخص را در نوار کناری قانون انتخاب کنید تا رکوردهای تکراری فیلتر شوند.

ادغام رکوردهای تکراری

برای ادغام رکوردها، ابتدا یک رکورد اصلی در گروهی از رکوردهای مشابه انتخاب کنید. رکورد اصلی به عنوان پایه عمل می‌کند که هرگونه اطلاعات اضافی از رکوردهای مشابه در آن ادغام می‌شود.

به صورت اختیاری، می‌توان رکورد اصلی را انتخاب نکرده و به سازمان‌یار اجازه داد تا یک رکورد را به صورت تصادفی برای ادغام انتخاب کند.

در مرحله بعد، روی دکمه ادغام در بالای گروه‌بندی رکوردهای مشابه کلیک کنید. سپس، برای تأیید ادغام، روی تأیید کلیک کنید.

پس از ادغام یک رکورد، پیامی در کادر گفتگوی رکورد اصلی ثبت می‌شود که ادغام را توصیف می‌کند. رکوردهای خاصی، مانند وظایف پروژه، با لینکی به رکورد قدیمی به‌عنوان مرجع ادغام، در کادر گفتگو درج می‌شوند.

نکته

با کلیک روی دکمه لغو، گروه‌بندی‌ها را لغو کنید. با این کار، گروه‌بندی از لیست پنهان شده و بایگانی می‌شود.

گروه‌بندی‌های صرف نظر شده را با انتخاب فیلتر صرف نظر شده از نوار جستجو مشاهده کنید.

قوانین حذف داده‌های تکراری

قوانین حذف تکثیر شرایط نحوه شناسایی رکوردها به‌عنوان داده تکراری را تعیین می‌کنند.

این قوانین را می‌توان برای هر مدل در پایگاه داده و با سطوح مختلفی از ویژگی پیکربندی کرد. برای شروع، به برنامه پاکسازی داده ◄ پیکربندی ◄ حذف تکثیر بروید.

نکته

قوانین حذف تکثیر به‌طور پیش‌فرض یک بار در روز به‌عنوان بخشی از یک کرون زمان‌بندی شده (ادغام داده: یافتن رکوردهای تکراری) اجرا می‌شوند. با این حال، هر قانون را می‌توان در هر زمان به‌صورت دستی اجرا کرد.

تغییر قانون حذف داده‌های تکراری

یک قانون پیش‌فرض را برای ویرایش انتخاب کنید، یا با کلیک روی دکمه جدید یک قانون جدید ایجاد کنید.

ابتدا یک مدل برای این قانون انتخاب کنید تا هدف قرار گیرد. با انتخاب یک مدل، عنوان قانون به مدل انتخابی به‌روزرسانی می‌شود.

به صورت اختیاری، یک دامنه را برای تعیین رکوردهای واجد شرایط برای این قانون پیکربندی کنید. تعداد رکوردهای واجد شرایط در لینک :icon:`oi-arrow-right` # رکورد(ها) نشان داده شده است.

بسته به مدل انتخاب شده، فیلد حذف داده تکراری ظاهر می‌شود. انتخاب کنید که رکوردهای ادغام شده بایگانی شوند یا حذف.

در مرحله بعد، یک حالت ادغام را انتخاب کنید:

• دستی: نیاز است که هر گروه‌بندی تکراری به صورت دستی ادغام شود، همچنین فیلد اعلان به کاربران را فعال می‌کند.

• خودکار: به‌طور خودکار گروه‌بندی‌های تکراری را بدون اطلاع‌رسانی به کاربران، بر اساس رکوردهایی با درصد شباهت بالاتر از آستانه تعیین شده در فیلد آستانه شباهت ادغام می‌کند.

دکمه وضعیت فعال را در حالت فعال قرار دهید تا به‌محض ذخیره شدن این قانون، شروع به شناسایی داده‌های تکراری کند.

در آخر، حداقل یک قانون حذف داده‌های تکراری در فیلد قوانین حذف داده‌های تکراری با کلیک روی افزودن سطر در ستون فیلد شناسه منحصربه‌فرد ایجاد کنید.

• یک فیلد در مدل را از منوی کشویی فیلد شناسه منحصربه‌فرد انتخاب کنید. این فیلد برای کشف رکوردهای مشابه مورد ارجاع قرار می‌گیرد.

• یک شرط تطبیق را در فیلد تطبیق در صورت برای اعمال قانون حذف داده‌های تکراری، بسته به متن موجود در فیلد شناسه منحصربه‌فرد انتخاب کنید:

  • تطبیق دقیق: نویسه‌های موجود در متن دقیقاً مطابقت دارند.

  • تطبیق بدون حساسیت به حروف بزرگ/کوچک/تکیه: نویسه‌های موجود در متن بدون در نظر گرفتن حروف بزرگ و کوچک و تفاوت‌های تکیه خاص زبانی مطابقت دارند.

مهم

حداقل یک قانون حذف تکثیر باید تنظیم شود تا قانون بتواند داده‌های تکراری را ثبت کند.

نکته

چند فیلد دیگر برای پیکربندی پیشرفته در دسترس هستند.

اگر در یک پایگاه داده چند شرکتی باشید، فیلد بین شرکتی نیز در دسترس است. هنگامی که فعال باشد، داده‌های تکراری در شرکت‌های مختلف پیشنهاد می‌شوند.

حالت توسعه‌دهنده (حالت اشکال‌زدایی) را فعال کنید تا فیلد آستانه پیشنهاد نمایش داده شود. داده‌های تکراری با شباهت کمتر از آستانه تعیین شده در این فیلد پیشنهاد نمی‌شوند.

با تکمیل پیکربندی قانون، یا فرم قانون را ببندید، یا قانون را به صورت دستی اجرا کنید تا فورا رکوردهای تکراری را شناسایی کنید.

اجرای دستی یک قانون حذف داده‌های تکراری

برای اجرای دستی یک قانون حذف تکثیر خاص در هر زمان، به برنامه پاکسازی داده ◄ پیکربندی ◄ حذف تکثیر بروید و قانون مورد نظر را برای اجرا انتخاب کنید.

سپس، در فرم قانون، دکمه حذف تکراری را در بالا سمت چپ انتخاب کنید. با انجام این کار، دکمه هوشمند :icon:`fa-clone` داده‌های تکراری تعداد داده‌های تکراری شناسایی شده را نمایش می‌دهد.

روی دکمه هوشمند :icon:`fa-clone` حذف تکثیر کلیک کنید تا رکوردها را مدیریت کنید.

بازیافت رکوردها

از ویژگی بازیافت رکوردها برای خلاص شدن پایگاه داده از رکوردهای قدیمی و منسوخ استفاده کنید.

داشبورد بازیافت رکوردهای فیلد رکوردهایی را نمایش می‌دهد که با تطبیق شرایط در رکوردهای تعیین شده توسط قوانین بازیافت رکورد می‌توانند بایگانی یا حذف شوند.

از مسیر برنامه پاکسازی داده ◄ بازیافت رکوردها به این داشبورد دسترسی پیدا کنید.

نوار کناری قوانین بازیافت هر یک از قوانین فعال بازیافت رکورد را لیست می‌کند.

به‌طور پیش‌فرض، گزینه همه انتخاب شده است. رکوردها با ستون‌های زیر نمایش داده می‌شوند:

• شناسه رکورد: شناسه رکورد اصلی.

• نام رکورد: نام یا عنوان رکورد اصلی.

یک قانون را در نوار کناری قوانین بازیافت برای فیلتر کردن رکوردها انتخاب کنید.

برای بازیافت رکوردها، روی دکمه :icon:`fa-check` تأیید در ردیف رکورد کلیک کنید.

با انجام این کار، رکورد بسته به نحوه پیکربندی قانون، بازیافت می‌شود تا یا بایگانی شود یا از پایگاه داده حذف شود.

نکته

با کلیک روی دکمه :icon:`fa-times` لغو، گروه‌بندی‌ها را لغو کنید. با این کار، رکورد از لیست پنهان می‌شود و در آینده دوباره توسط قانون بازیافت شناسایی نمی‌شود.

با انتخاب فیلتر لغو شده از منوی کشویی نوار جستجو، رکوردهای لغو شده را مشاهده کنید.

قوانین بازیافت رکورد

قوانین بازیافت رکوردها شرایط نحوه بازیافت رکوردها را تعیین می‌کنند.

این قوانین را می‌توان برای هر مدل در پایگاه داده و با سطوح مختلفی از ویژگی پیکربندی کرد. برای شروع، به برنامه پاکسازی داده ◄ پیکربندی ◄ بازیافت رکوردها بروید.

نکته

قوانین بازیافت به‌طور پیش‌فرض، یک بار در روز، به‌عنوان بخشی از یک کرون زمان‌بندی شده (بازیافت داده: پاکسازی رکوردها) اجرا می‌شوند. با این حال، هر قانون را می‌توان در هر زمان به‌صورت دستی اجرا کرد.

به طور پیش‌فرض، قانون بازیافت رکوردی وجود ندارد. برای ایجاد قانون جدید روی دکمه جدید کلیک کنید.

در فرم قانون بازیافت رکورد، ابتدا یک مدل را برای این قانون انتخاب کنید تا هدف قرار گیرد. انتخاب یک مدل، عنوان قانون را به مدل انتخابی به روز می کند.

به صورت اختیاری، یک فیلتر را برای تعیین رکوردهای واجد شرایط برای این قانون پیکربندی کنید. تعداد رکوردهای واجد شرایط در لینک :icon:`oi-arrow-right` # رکورد(ها) نشان داده شده است.

در مرحله بعد، فیلد و محدوده زمانی را برای نحوه شناسایی رکوردها برای بازیافت توسط قانون پیکربندی کنید:

• فیلد زمان: یک فیلد از مدل را برای مبنا قرار دادن زمان (دلتا) انتخاب کنید.

• دلتا: مدت زمان را تایپ کنید، که باید یک عدد صحیح باشد (مثل 7).

• واحد دلتا: واحد زمان را انتخاب کنید (روز، هفته، ماه یا سال).

سپس، یک حالت بازیافت را انتخاب کنید:

• دستی: نیاز دارد که هر رکورد شناسایی شده به صورت دستی بازیافت شود و فیلد اعلان به کاربران را فعال می‌کند.

• خودکار: به طور خودکار گروه‌بندی‌های بازیافت شده را بدون اعلان به کاربران ادغام می‌کند.

در آخر، یک عمل بازیافت را برای بایگانی یا حذف رکوردها انتخاب کنید. اگر حذف انتخاب شده باشد، مشخص کنید که آیا رکوردهای بایگانی شده در قانون لحاظ شوند یا خیر.

پس از تکمیل پیکربندی قانون، فرم قانون را ببندید، یا قانون را به صورت دستی اجرا کنید تا فورا رکوردهایی را که باید بازیافت شوند، دریافت کنید.

Example

می‌توان یک قانون بازیافت را طوری پیکربندی کرد که سرنخ‌ها و فرصت‌های بایگانی شده‌ای را که آخرین بار یک سال پیش به‌روزرسانی شده‌اند و دلیل از دست دادن مشخصی دارند، با استفاده از پیکربندی زیر حذف کند:

• مدل: سرنخ/فرصت

• فیلتر:

  • فعال تنظیم نشده است

  • دلیل از دست دادن است خیلی گران است

• فیلد زمان: آخرین به‌روزرسانی در (سرنخ/فرصت)

• دلتا: ۱

• واحد دلتا: سال

• حالت بازیافت: خودکار

• عمل بازیافت: حذف

• شامل بایگانی شده: :icon:`fa-check-square`

اجرای دستی یک قانون بازیافت

برای اجرای دستی یک قانون بازیافت در هر زمان، به برنامه پاکسازی داده ◄ پیکربندی ◄ بازیافت رکوردها بروید و قانون مورد نظر را برای اجرا انتخاب کنید.

سپس، در فرم قانون، روی دکمه اجرا در بالا سمت راست کلیک کنید. با این کار، دکمه هوشمند :icon:`fa-bars` رکوردها تعداد رکوردهای مشخص شده را نمایش می‌دهد.

روی دکمه هوشمند :icon:`fa-bars` رکوردها کلیک کنید تا رکوردها را مدیریت کنید.

پاکسازی فیلد

از ویژگی پاکسازی فیلد برای حفظ قالب‌بندی یکسان نام‌ها، شماره تلفن‌ها، شناسه‌ها و سایر فیلدها در سراسر پایگاه داده استفاده کنید.

داشبورد رکوردهای پاکسازی فیلد تغییرات قالب‌بندی داده‌ها را در فیلدهای یک رکورد، برای پیروی از یک قرارداد تعیین شده توسط قوانین پاکسازی فیلد، نمایش می‌دهد.

با رفتن به برنامه پاکسازی داده ◄ پاکسازی فیلد به این داشبورد بروید.

نوار کناری قوانین پاکسازی هر یک از قوانین فعال پاکسازی را لیست می‌کند.

به‌طور پیش‌فرض، قانون همه انتخاب شده است. رکوردها با ستون‌های زیر لیست می‌شوند:

• شناسه رکورد: شناسه رکورد اصلی.

• نام رکورد: نام یا عنوان رکورد اصلی.

• فیلد: فیلد رکورد اصلی که حاوی مقدار برای قالب‌بندی است.

• فعلی: مقدار فعلی در فیلد رکورد اصلی.

• پیشنهادی: مقدار فرمت‌بندی شده پیشنهادی در فیلد رکورد اصلی.

برای پاکسازی و فرمت‌بندی رکوردها، روی دکمه :icon:`fa-check` تأیید در ردیف رکورد کلیک کنید.

با انجام این کار، رکورد فرمت‌بندی یا پاکسازی می‌شود.

نکته

رکوردها را با کلیک روی دکمه :icon:`fa-times` صرف نظر دور بیندازید. با انجام این کار، رکورد از لیست پنهان می‌شود و در آینده دوباره توسط قانون پاکسازی فیلد شناسایی نخواهد شد.

رکوردهای دور ریخته شده را با انتخاب فیلتر صرف نظر شده از نوار جستجو مشاهده کنید.

قوانین پاکسازی فیلد

قوانین پاکسازی فیلد شرایط پاکسازی یا فرمت‌بندی فیلدها را تعیین می‌کنند.

این قوانین را می‌توان برای هر مدل در پایگاه داده و با سطوح مختلفی از ویژگی پیکربندی کرد. برای شروع، به برنامه پاکسازی داده ◄ پیکربندی ◄ پاکسازی فیلد بروید.

نکته

قوانین پاکسازی فیلد به‌طور پیش‌فرض، یک بار در روز، به‌عنوان بخشی از یک کرون زمان‌بندی شده (پاکسازی داده: پاکسازی رکوردها) اجرا می‌شوند. با این حال، هر قانون را می‌توان در هر زمان به‌صورت دستی اجرا کرد.

به‌طور پیش‌فرض، یک قانون مخاطب برای فرمت‌بندی و پاکسازی رکوردهای برنامه مخاطبین وجود دارد. رکورد مخاطب را برای ویرایش انتخاب کنید، یا دکمه جدید را برای ایجاد یک قانون جدید انتخاب کنید.

در فرم قانون پاکسازی فیلد، ابتدا یک مدل را برای هدف قرار دادن این قانون انتخاب کنید. انتخاب یک مدل، عنوان قانون را به مدل انتخاب شده به‌روز می‌کند.

سپس، حداقل یک قانون را با کلیک روی افزودن سطر در بخش قوانین پیکربندی کنید.

با انجام این کار، پنجره پاپ‌آپ ایجاد قوانین با فیلدهای زیر برای پیکربندی ظاهر می‌شود:

• یک فیلد برای پاکسازی از مدل را برای اختصاص به یک اقدام انتخاب کنید.

• یکی از گزینه‌های عمل زیر را انتخاب کنید:

  • حذف فاصله‌های غیرضروری فیلد حذف را برای انتخاب گزینه همه فاصله‌ها یا فاصله‌های اضافی آشکار می‌کند. فاصله‌های ابتدایی، انتهایی و متوالی اضافی محسوب می‌شوند.

    Example

    نام مخاطب دکتر   علیرضا   غضنفری را می‌توان با گزینه‌های حذف زیر فرمت‌بندی کرد:

    • همه فاصله‌ها: دکترعلیرضاغضنفری

    • فاصله‌های اضافی: دکتر علیرضا غضنفری

  • تنظیم نوع حروف فیلد حالت حروف را برای انتخاب حروف اول بزرگ، همه حروف بزرگ، یا همه حروف کوچک آشکار می‌کند.

    Example

    عنوان سرنخ/فرصت lumber inc, Lorraine douglas را می‌توان با گزینه‌های حالت حروف زیر قالب‌بندی کرد:

    • حروف اول بزرگ: Lumber Inc, Lorraine Douglas

    • همه حروف بزرگ: LUMBER INC, LORRAINE DOUGLAS

    • همه حروف کوچک: lumber inc, lorraine douglas

  • قالب‌بندی تلفن شماره تلفن را به فرمت بین‌المللی کشور تبدیل می‌کند.

    Example

    • ایران: 061928374 :icon:`fa-long-arrow-right` +98 61 92 83 74

    • ایالات متحده: 800 555-0101 :icon:`fa-long-arrow-right` +1 800-555-0101

  • حذف HTML HTML را به متن ساده تبدیل می‌کند.

    Example

    متن HTML

    <h1>John Doe</h1>
    <p>Lorem ipsum dolor sit <a href="https://example.com">amet</a>.</p>
    

    متن ساده

    **John Doe** Lorem ipsum dolor sit amet [1] .[1] https://example.com
    

  پس از انتخاب یک فیلد و اقدام، روی ذخیره کلیک کنید تا پنجره پاپ‌آپ ایجاد قوانین بسته شود.

سپس، یک حالت پاکسازی انتخاب کنید:

• دستی: نیاز دارد که هر فیلد شناسایی شده به‌صورت دستی پاکسازی شود و فیلد اعلان به کاربران را فعال می‌کند.

• خودکار: فیلدها را به‌طور خودکار بدون اعلان به کاربران پاکسازی می‌کند.

پس از تکمیل پیکربندی قانون، فرم قانون را ببندید، یا قانون را به‌صورت دستی اجرا کنید تا فوراً فیلدهای مورد نیاز برای پاکسازی را ثبت کنید.

اجرای دستی قانون پاکسازی فیلد

برای اجرای دستی یک قانون پاکسازی فیلد خاص در هر زمان، به برنامه پاکسازی داده ◄ پیکربندی ◄ پاکسازی فیلد بروید و قانون مورد نظر را برای اجرا انتخاب کنید.

سپس، در فرم قانون، دکمه پاکسازی را در بالا و راست انتخاب کنید. با این کار، دکمه هوشمند :icon:`fa-bars` رکوردها تعداد رکوردهای ثبت شده را نمایش می‌دهد.

روی دکمه هوشمند :icon:`fa-bars` رکوردها کلیک کنید تا رکوردها را مدیریت کنید.

مدیریت عملیات ادغام

مدیریت عملیات ادغام اقدام ادغام موجود در منوی عملیات را برای مدل‌های موجود در پایگاه داده فعال یا غیرفعال می‌کند.

حالت توسعه‌دهنده را فعال کنید و به برنامه پاکسازی داده ◄ پیکربندی ◄ مدیریت عملیات ادغام بروید.

مدل‌ها با ستون‌های زیر لیست می‌شوند:

• مدل: نام فنی مدل.

• توضیحات مدل: نام نمایشی مدل.

• نوع: اینکه آیا مدل از نوع شیء پایه یا شیء سفارشی است.

• مدل گذرا: مدل داده‌های موقتی را مدیریت می‌کند که نیازی به ذخیره‌سازی طولانی‌مدت در پایگاه داده ندارند.

• قابل ادغام است: عملیات ادغام را برای مدل فعال می‌کند.

برای مشاهده اینکه کدام مدل‌ها به‌طور پیش‌فرض فعال هستند، از نوار جستجو برای فیلتر کردن مدل‌هایی که قابل ادغام هستند استفاده کنید.

همچنین ملاحظه نمائید

ادغام مخاطبان