ماذا يمكنك أن تفعل بمكتبة OpenCV؟
جولة في أكثر دوال مكتبة OpenCV استخدامًا وأساسيةً في Python.
ما هي OpenCV؟ ببساطة، هي مكتبة لمعالجة الصور.
هذه الجملة الواحدة تكفي لتلخيص OpenCV، لكن المكتبة تقدّم أكثر من ذلك بكثير. كُتبت أول مرة بلغة C++ بوصفها مكتبة مفتوحة المصدر وسريعة جدًا للرؤية الحاسوبية وللعمليات على الصور. واليوم يمكن استخدام OpenCV من Python وJava أيضًا، وهي شائعة في تعلّم الآلة للمعالجة المسبقة واللاحقة، وكذلك في خوارزميات الرؤية الحاسوبية التقليدية. بها يمكنك قراءة الصور الرقمية وتعديلها وتحويلها وكتابتها، وتطبيق التحويلات المورفولوجية والهندسية، بل وتتبّع الأجسام أو استخراج الخصائص بالأساليب الكلاسيكية للرؤية الحاسوبية.
يستعرض هذا الدرس أكثر دوال OpenCV استخدامًا وأساسيةً في Python.
التثبيت
باستخدام venv:
pip install opencv-python
باستخدام بيئة mamba:
mamba install -c conda-forge opencv
باستخدام poetry:
poetry add opencv-python
أيًّا كانت الأداة التي تستخدمها، يمكنك تثبيت إصدار محدد من OpenCV هكذا:
opencv-python==4.6.0.66
تحميل الصور والعمليات الأساسية
لنبدأ بالدوال الأساسية لقراءة صورة وعرضها وحفظها في ملف. سنعمل طوال الدرس على صورة يعرفها كل ممارس للرؤية الحاسوبية: lenna.png.
import cv2
import numpy as np
import sys
# load the image
file_path: str = "lenna.png"
img: np.ndarray = cv2.imread(filename=file_path,flags=cv2.IMREAD_UNCHANGED)
# check whether image was correctly loaded
if img is None:
sys.exit(f"Could not read the image {file_path}.")
# display image and wait for keyboard input
cv2.imshow(winname="Display image", mat=img)
# wait for the user key press and hide the window
key = cv2.waitKey(delay=0)
# if the `s` was pressed save the image
if key == ord("s"):
cv2.imwrite(filename="lenna_out.png", img=img)
تتيح العلامات (flags) الممرَّرة إلى cv2.imread قراءة الصورة بأوضاع مختلفة، مثل IMREAD_UNCHANGED وIMREAD_GRAYSCALE وIMREAD_COLOR وغيرها. القائمة الكاملة للأوضاع متوفرة في cv2.ImreadModes.
تنتظر الدالة cv2.waitKey مدة x من الميلي ثانية لضغط مفتاح في نافذة OpenCV. وعند ضبط المعامل delay على 0 تنتظر إدخال لوحة المفاتيح إلى ما لا نهاية. ولهذا يكون 0 الخيار المعتاد، فهو ينتظر حتى يتفاعل المستخدم. وإذا مرّرت أي قيمة أخرى فإن النافذة تُغلق إما عند انتهاء هذه المدة أو عند ضغط مفتاح، أيهما أسبق.
بعد ذلك يمكننا قراءة أبعاد صورتنا:
h, w, c = img.shape
BGR مقابل RGB
تذكّر أن OpenCV تحمّل الصور الرقمية بصيغة BGR افتراضيًا. بعبارة أخرى، القناة الأولى من مصفوفة OpenCV ذات القنوات الثلاث هي الأزرق وليست الأحمر. تأخذ الدالة cv.imread ذلك في الحسبان فتظهر الصور صحيحة، لكن عندما نحاول عرض صورة حمّلتها OpenCV باستخدام matplotlib يحدث شيء غريب، كما يوضح الناتج في الشكل 1.
import matplotlib.pyplot as plt
import matplotlib.image as AxesImage
imgplot:AxesImage = plt.imshow(X=img)
plt.show()
الشكل 1. صورة Lenna بصيغة BGR.
يحدث هذا لأن القناتين الحمراء والزرقاء مُبدَّلتان افتراضيًا. يمكنك التراجع عن هذا التبديل باستخدام cvtColor.
rgb_image: np.ndarray = cv2.cvtColor(src=img, code=cv2.COLOR_BGR2RGB)
الشكل 2. صورة Lenna بصيغة RGB.
الآن عاد كل شيء إلى طبيعته.
أنواع الصور في OpenCV
أبسط أنواع الصور في OpenCV هو np.uint8. وهو عدد صحيح بلا إشارة حجمه بايت واحد، أي يحمل قيمًا بين 0 و255. تستخدم الصورة الرمادية بايتًا واحدًا لكل بكسل، والصورة الملونة 3 بايتات لكل بكسل، والصورة ذات قناة ألفا الإضافية 4 بايتات. لاحظ أن صور jpg لا تحمل قناة ألفا أبدًا، لذا إذا احتاجت صورتك إلى الشفافية فاختر png.
افتراضيًا، تكون الصورة المحمّلة بـ OpenCV من النوع np.uint8:
>>> print(img.dtype)
uint8
قبل تمرير صورة رقمية إلى شبكة عصبية يجب تحويلها إلى float، وعادةً ما يجري تطبيعها أيضًا. تقوم الشيفرة التالية بذلك:
normalized_img: np.ndarray = img.astype(np.float32)/255.0
أو
normalized_img: np.ndarray = cv2.normalize(img.astype(np.float32), dst=None, alpha=1.0, beta=0.0, norm_type=cv2.NORM_INF
ولتطبيع الصورة بحيث تصبح أصغر قيمة فيها صفرًا وأكبرها 1 يمكننا كتابة:
float_img: np.ndarray = img.astype(np.float32)
normalized_img: np.ndarray = (float_img - np.min(float_img))/(np.max(float_img) - np.min(float_img))
أو
normalized_img: np.ndarray = cv2.normalize(img.astype(np.float32), dst=None, alpha=1.0, beta=0.0, norm_type=cv2.NORM_MINMAX)
في هذه الحالة تصبح الصورة ضمن المجال 0-1. لكننا كثيرًا ما نريد تطبيع الصورة باستخدام متوسطها وانحرافها المعياري. يمكن لكل من numpy وOpenCV فعل ذلك:
mean: tuple[float] = (0.485, 0.456, 0.406)
std: tuple[float] = (0.229, 0.224, 0.225)
float_img: np.ndarray = img.astype(np.float32)
normalized_img: np.ndarray = (float_img/255.0 - mean)/std
يمكنك أيضًا فعل ذلك مباشرة في إطار عمل للتعلّم العميق، مثل torchvision. وهذا الأسلوب هو الأفضل، لأنه يستفيد عادةً من تسريع وحدة معالجة الرسومات (GPU).
import torch
from torchvision import transforms
transforms = torch.nn.Sequential(
transforms.Normalize(mean, std),
)
normalized_img: torch.tensor = transforms(torch.tensor(float_img/255.0).permute(2,0,1))
لنعد إلى أنواع الصور: الصور الطبية مثل الأشعة السينية، وكذلك صور العمق، تُخزَّن عادةً كخرائط رمادية بعمق 16 بت. وعند تحميل مثل هذه الصورة في الذاكرة يكون نوعها uint16، بقيم ضمن المجال 0-65536.
>>> import pydicom
>>> dicom = pydicom.read_file("./heart.DCM")
>>> data = dicom.pixel_array
>>> print(data.dtype)
uint16
لعرض هذه الصورة علينا تحويلها إلى uint8.
normalized_img: np.ndarray = cv2.normalize(data.astype(np.float32), dst=None, alpha=256.0, beta=0.0, norm_type=cv2.NORM_INF).astype(np.uint8)
cv2.imshow("dicom_image", np.transpose(normalized_img[:3],(1,2,0)))
cv2.waitKey(0)
الشكل 3. عرض صورة dicom مخزّنة بعمق 16 بت. مقطع واحد من فحص MR للركبة. المصدر: Figshare
النوع الأخير، الذي يُستخدم أحيانًا لتخزين الأقنعة الثنائية، هو bool.
h, w, c = img.shape
mask: np.ndarray = np.ones_like(a=img,dtype=bool)
mask[h//2-20:h//2+20,w//2-20:w//2+20] = 0
img *= mask
cv2.imshow(winname="masked_image",mat=img)
cv2.waitKey(delay=0)
الشكل 4. صورة Lenna بعد تطبيق قناع ثنائي.
العمليات الأساسية على الصور ومعالجتها
مخطط تكرار الصورة (Histogram)
يوضح المخطط التكراري كيفية توزّع شدّات الصورة. فهو يحسب لكل قيمة ممكنة للبكسل عدد البكسلات التي لها هذه الشدّة. وفي النوع uint8 تكون القيم الممكنة 0-255. يكشف المخطط التكراري خصائص مفيدة للصورة، مثل توزّع الشدّة والتباين والسطوع. ولأن المخطط التكراري لا يمكن بناؤه إلا لصورة ذات قناة واحدة (رمادية)، فإن الصورة متعددة القنوات تتطلب مخططًا مستقلًا لكل قناة.
colors: tuple[str] = ('b','g','r')
for i,color in enumerate(colors):
histogram: np.ndarray = cv2.calcHist(images=[img], channels=[i], mask=None, histSize=[256], ranges=[0,256])
plt.plot(histogram, color=color)
plt.xlim([0,256])
plt.show()
الشكل 5. المخطط التكراري لصورة Lenna.
يُظهر المخطط أن صورة Lena تحتوي على كثير من البكسلات الحمراء عالية الشدّة. وهذا يطابق ما نراه، فالصورة تبدو حمراء فعلًا.
معادلة المخطط التكراري (Histogram equalization)
تقوم معادلة المخطط التكراري بنشر المخطط لرفع تباين الصورة. فعندما تقع البكسلات في النصف الأدنى فقط من مجال الشدّة (0-127) أو في الجزء الأعلى فقط (128-255) يكون التباين منخفضًا، لأن لكل البكسلات شدّات متقاربة. وبعد معادلة المخطط تغطي بكسلات الصورة كل مستويات الشدّة المتاحة، مما يرفع التباين.
الشكل 6. تطبيق معادلة المخطط التكراري على صورة Lenna.
equalized_channels: np.ndarray = [cv2.equalizeHist(src=img[:,:,channel]) for channel in range(img.shape[2])]
equalized_img: np.ndarray = np.concatenate(np.expand_dims(equalized_channels, axis=3), axis=2)
colors: tuple[str] = ('r','g','b')
fig = plt.figure()
ax1 = fig.add_subplot(221)
ax2 = fig.add_subplot(222)
ax3 = fig.add_subplot(223)
ax4 = fig.add_subplot(224)
ax1.title.set_text('Original histogram')
ax2.title.set_text('Equalized histogram')
ax3.title.set_text('Original image')
ax4.title.set_text('Equalized image')
plt.subplot(2,2,4)
rgb_equalized_img: np.ndarray = cv2.cvtColor(src=equalized_img, code=cv2.COLOR_BGR2RGB)
plt.imshow(rgb_equalized_img)
plt.subplot(2,2,2)
image_histogram(img=rgb_equalized_img, colors=colors)
plt.subplot(2,2,3)
rgb_img: np.ndarray = cv2.cvtColor(src=img, code=cv2.COLOR_BGR2RGB)
plt.imshow(rgb_img)
plt.subplot(2,2,1)
image_histogram(img=rgb_img, colors=colors)
plt.show()
ضبط التباين والسطوع
السطوع
يعني تغيير السطوع ببساطة إضافة ثابت إلى الصورة كلها أو طرحه منها. وهذا يقابل تحريك المخطط التكراري إلى اليسار أو اليمين، مع حصر القيم عند 255 أو 0 بحسب اتجاه الإزاحة.
shift: np.ndarray = np.array([0,0,-40], dtype=int)
img = img.astype(int)
img += shift
img = np.clip(a=img, a_min=0, a_max=255)
img = img.astype(np.uint8)
for i, color in enumerate(colors):
histogram: np.ndarray = cv2.calcHist(images=[img], channels=[i], mask=None, histSize=[256], ranges=[0,256])
plt.plot(histogram, color=color)
plt.xlim([0,256])
rgb_image: np.ndarray = cv2.cvtColor(src=img, code=cv2.COLOR_BGR2RGB)
plt.subplot(2,2,2)
plt.imshow(rgb_image)
plt.show()
الشكل 7. تطبيق ضبط السطوع على صورة Lenna.
يبيّن الشكل 7 أن طرح الثابت = 20 من القنوات الحمراء يحرّك المخطط التكراري كله إلى اليسار، فتبدو الصورة أقل احمرارًا. أما إذا أزحنا كل بكسل فسنحصل على أثر ضبط السطوع.
يتطلب ضبط السطوع تحويل الصورة إلى int64 مسبقًا، لأن الإزاحة المباشرة على قيم uint8 ستلتف حول المجال.
التباين
ضبط التباين يعني تحجيم المخطط التكراري، أي ضرب القيم.
scale: np.ndarray = np.array([1.4, 1.4, 1.0], dtype=float)
img = img.astype(float)
img *= scale
img = np.clip(a=img, a_min=0, a_max=255)
img = img.astype(np.uint8)
for i, color in enumerate(colors):
histogram: np.ndarray = cv2.calcHist(images=[img], channels=[i], mask=None, histSize=[256], ranges=[0,256])
plt.plot(histogram, color=color)
plt.xlim([0,256])
rgb_image: np.ndarray = cv2.cvtColor(src=img, code=cv2.COLOR_BGR2RGB)
plt.subplot(2,2,2)
plt.imshow(rgb_image)
plt.show()
الشكل 8. تطبيق ضبط التباين على صورة Lenna.
تصحيح غاما (Gamma correction)
يضبط تصحيح غاما سطوع الصورة بطريقة غير خطية.
فهو يُفتّح المناطق المظلمة من الصورة دون أن يُشبع بقية المناطق. وهذا مفيد بوجه خاص للصور الملتقطة في إضاءة سيئة، مثل الصورة المعروضة أدناه.
def image_histogram(img: np.ndarray,colors: tuple[str]) -> None:
for i, color in enumerate(colors):
histogram: np.ndarray = cv2.calcHist(images=[img], channels=[i], mask=None, histSize=[256], ranges=[0,256])
plt.plot(histogram, color=color)
plt.xlim([0,256])
colors: tuple[str] = ('b','g','r')
plt.subplot(2,2,3)
plt.imshow(img)
plt.subplot(2,2,1)
image_histogram(img=img, colors=colors)
# gamma correction
plt.subplot(2,2,2)
gamma: float = 0.4
img = img.astype(float)
img = np.clip(pow(img / 255.0, gamma) * 255.0, 0, 255)
img = np.clip(a=img, a_min=0, a_max=255)
img = img.astype(np.uint8)
image_histogram(img=img, colors=colors)
rgb_image: np.ndarray = cv2.cvtColor(src=img, code=cv2.COLOR_BGR2RGB)
plt.subplot(2,2,4)
plt.imshow(rgb_image)
plt.show()
الشكل 9. تطبيق تصحيح غاما على صورة غير متجانسة السطوع. المصدر: Canon
مع تصحيح غاما تصبح الصورة كلها أكثر سطوعًا، لكن لا تتشبّع أي منطقة. يعرض الشكل 9 النتيجة.
OpenCV في تطبيقات الرؤية الحاسوبية
تعمل OpenCV بأفضل شكل في المعالجة المسبقة واللاحقة للصور وفي مهام الرؤية الحاسوبية الكلاسيكية. سنلقي فيما يلي نظرة سريعة على اكتشاف المستطيلات باستخدام OpenCV.
نبدأ بصورة تحتوي على مستطيلين.
الشكل 10. صورة أوراق لعب مستخدمة في مهمة اكتشاف المستطيلات. المصدر: Sostrenegrene
الخطوة الأولى هي قراءة الصورة بوضع التدرج الرمادي. وهذا مهم، لأن عملية العتبة (thresholding) التي سنستخدمها لا تعمل إلا على الصور ذات القناة الواحدة.
# load the image in grayscale
file_path: str = "./cards.png"
img: np.ndarray = cv2.imread(filename=file_path, flags=cv2.IMREAD_GRAYSCALE)
قبل تطبيق العتبة تحتاج الصورة إلى تمويه خفيف. فهذا يزيل الضجيج ويعطي نتيجة عتبة أكثر سلاسة.
img = cv2.medianBlur(src=img, ksize=5)
نستخدم هنا العتبة التكيّفية. يحتوي الشكل 10 على ظل، وتساعد العتبة التكيّفية على تعويض عدم تجانس السطوع بين مناطق الصورة المختلفة.
thresholded_image: np.ndarray = cv2.adaptiveThreshold(
src=img,
maxValue=255,
adaptiveMethod=cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
thresholdType=cv2.THRESH_BINARY,
blockSize=11,
C=2,
)
العتبة وحدها تعطي أصلًا حدودًا جيدة، كما يوضح الشكل 11.
الشكل 11. أوراق اللعب بعد العتبة الغاوسية التكيّفية.
ومع ذلك نريد إزالة الضجيج قبل الخطوة التالية – اكتشاف الحدود (contours). لذلك نطبّق الفتح المورفولوجي على الصورة بعد العتبة.
kernel5x5: np.ndarray = np.ones(shape=(5,5), dtype=np.uint8)
opened_image: np.ndarray = cv2.morphologyEx(
src=thresholded_image,
op=cv2.MORPH_OPEN,
kernel=kernel5x5,
)
الشكل 12. أوراق اللعب بعد عملية الفتح.
جيد. أصبحت النتيجة أنظف إلى حد ما، فيمكننا الانتقال إلى اكتشاف الحدود.
contours, hierarchy = cv2.findContours(
image=opened_image,
mode=cv2.RETR_LIST,
method=cv2.CHAIN_APPROX_TC89_L1,
)
بعد أن حصلنا على الحدود من الشكل 12، ننتقل إلى تصفيتها. نريد الإبقاء فقط على الحدود التي تشبه المستطيلات والمربعات. أولًا نضبط MIN_ALLOWED_AREA الذي يستبعد كل حد صغير جدًا (ضجيج الصورة). ثم، بالمرور على الحدود واحدًا تلو الآخر، نحسب المستطيل المحيط الأصغر لكل منها. بعد ذلك نحسب مساحة الحد ونقارن المساحتين. وعندما تتقاربان قد يكون الحد مستطيلًا، فنعلّمه على الصورة بمستطيل وتسمية. الشيفرة الكاملة أدناه.
يعرض الشكل 13 النتيجة النهائية. اكتُشفت كل المستطيلات التي كنا نبحث عنها بشكل صحيح.
الشكل 13. النتيجة النهائية لمهمة اكتشاف المستطيلات.
# load the image in grayscale
file_path: str = "./cards.png"
img: np.ndarray = cv2.imread(filename=file_path, flags=cv2.IMREAD_GRAYSCALE)
# check whether image was correctly loaded
if img is None:
sys.exit(f"Could not read the image {file_path}.")
img = cv2.medianBlur(src=img, ksize=5)
thresholded_image: np.ndarray = cv2.adaptiveThreshold(
src=img,
maxValue=255,
adaptiveMethod=cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
thresholdType=cv2.THRESH_BINARY,
blockSize=11,
C=2,
)
kernel5x5: np.ndarray = np.ones(shape=(5,5), dtype=np.uint8)
opened_image: np.ndarray = cv2.morphologyEx(
src=thresholded_image,
op=cv2.MORPH_OPEN,
kernel=kernel5x5,
)
contours, hierarchy = cv2.findContours(
image=opened_image,
mode=cv2.RETR_LIST,
method=cv2.CHAIN_APPROX_TC89_L1,
)
h, w = img.shape
MIN_ALLOWED_AREA: Final[float] = 0.1*h*w
for cnt in contours:
rect: np.ndarray = cv2.minAreaRect(points=cnt)
box: np.ndarray = cv2.boxPoints(box=rect)
box = np.int0(box)
box_area: float = cv2.contourArea(contour=box)
area: float = cv2.contourArea(contour=cnt)
if box_area 0 or area 0:
continue
areas_ratio: float = (min(area, box_area)/max(area, box_area))
if area > MIN_ALLOWED_AREA and areas_ratio < 1.2 and areas_ratio > 0.8:
x1, y1 = cnt[0][0]
# label rectangle detected on the image
cv2.putText(img, 'Rectangle', (x1, y1), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2)
sorted_bbox: np.ndarray = box[np.argsort(np.linalg.norm(box, axis=1))]
# corners are in order bottom left, bottom right or top left, top left or bottom right, top right
# to be in the drawing order last two corners need to switch places
sorted_bbox_tmp: np.ndarray = sorted_bbox[2].copy()
sorted_bbox[2] = sorted_bbox[3]
sorted_bbox[3] = sorted_bbox_tmp
# draw detected rectangle on the image
img = cv2.drawContours(
image=img,
contours=[sorted_bbox],
contourIdx=-1,
color=(0,255,0),
thickness=3,
)
cv2.imshow(winname="result", mat=img)
cv2.waitKey(delay=0)
الخلاصة
تُعد OpenCV مكتبة ممتازة لمهام الرؤية الحاسوبية الكلاسيكية ومعالجة الصور. أكبر نقاط قوتها سرعتها ودعمها لعدة لغات ومجموعة دوال معالجة الصور الواسعة التي توفرها. بُنيت هذه المكتبة المفتوحة المصدر الكبيرة أول مرة بلغة c++، ولا تزال بعض خيارات التنفيذ الموروثة من c++ ظاهرة في كل من python وjava. وقبل أن تهيمن الشبكات العصبية كانت أيضًا من المكتبات الرائدة في معالجة مسائل الرؤية الحاسوبية مثل اكتشاف النصوص واكتشاف الأجسام وتصنيفها والتعرّف عليها واستخراج الخصائص واكتشاف الوجوه وتجزئة الصور وتتبّع الحركة وتتبّع الأجسام. في رأيي، OpenCV رفيق ممتاز للشبكات العصبية في معالجة الصور المُدخلة، مثلًا في تصفية الصور أو في معايرة الكاميرا.