Documentation/userspace-api/media/drivers/camera-sensor.rst

   1 .. SPDX-License-Identifier: GPL-2.0
   2
   3 .. _media_using_camera_sensor_drivers:
   4
   5 Using camera sensor drivers
   6 ===========================
   7
   8 This section describes common practices for how the V4L2 sub-device interface is
   9 used to control the camera sensor drivers.
  10
  11 You may also find :ref:`media_writing_camera_sensor_drivers` useful.
  12
  13 Frame size
  14 ----------
  15
  16 There are two distinct ways to configure the frame size produced by camera
  17 sensors.
  18
  19 Freely configurable camera sensor drivers
  20 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  21
  22 Freely configurable camera sensor drivers expose the device's internal
  23 processing pipeline as one or more sub-devices with different cropping and
  24 scaling configurations. The output size of the device is the result of a series
  25 of cropping and scaling operations from the device's pixel array's size.
  26
  27 An example of such a driver is the CCS driver.
  28
  29 Register list based drivers
  30 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
  31
  32 Register list based drivers generally, instead of able to configure the device
  33 they control based on user requests, are limited to a number of preset
  34 configurations that combine a number of different parameters that on hardware
  35 level are independent. How a driver picks such configuration is based on the
  36 format set on a source pad at the end of the device's internal pipeline.
  37
  38 Most sensor drivers are implemented this way.
  39
  40 Frame interval configuration
  41 ----------------------------
  42
  43 There are two different methods for obtaining possibilities for different frame
  44 intervals as well as configuring the frame interval. Which one to implement
  45 depends on the type of the device.
  46
  47 Raw camera sensors
  48 ~~~~~~~~~~~~~~~~~~
  49
  50 Instead of a high level parameter such as frame interval, the frame interval is
  51 a result of the configuration of a number of camera sensor implementation
  52 specific parameters. Luckily, these parameters tend to be the same for more or
  53 less all modern raw camera sensors.
  54
  55 The frame interval is calculated using the following equation::
  56
  57         frame interval = (analogue crop width + horizontal blanking) *
  58                          (analogue crop height + vertical blanking) / pixel rate
  59
  60 The formula is bus independent and is applicable for raw timing parameters on
  61 large variety of devices beyond camera sensors. Devices that have no analogue
  62 crop, use the full source image size, i.e. pixel array size.
  63
  64 Horizontal and vertical blanking are specified by ``V4L2_CID_HBLANK`` and
  65 ``V4L2_CID_VBLANK``, respectively. The unit of the ``V4L2_CID_HBLANK`` control
  66 is pixels and the unit of the ``V4L2_CID_VBLANK`` is lines. The pixel rate in
  67 the sensor's **pixel array** is specified by ``V4L2_CID_PIXEL_RATE`` in the same
  68 sub-device. The unit of that control is pixels per second.
  69
  70 Register list based drivers need to implement read-only sub-device nodes for the
  71 purpose. Devices that are not register list based need these to configure the
  72 device's internal processing pipeline.
  73
  74 The first entity in the linear pipeline is the pixel array. The pixel array may
  75 be followed by other entities that are there to allow configuring binning,
  76 skipping, scaling or digital crop, see :ref:`VIDIOC_SUBDEV_G_SELECTION
  77 <VIDIOC_SUBDEV_G_SELECTION>`.
  78
  79 USB cameras etc. devices
  80 ~~~~~~~~~~~~~~~~~~~~~~~~
  81
  82 USB video class hardware, as well as many cameras offering a similar higher
  83 level interface natively, generally use the concept of frame interval (or frame
  84 rate) on device level in firmware or hardware. This means lower level controls
  85 implemented by raw cameras may not be used on uAPI (or even kAPI) to control the
  86 frame interval on these devices.
  87
  88 Rotation, orientation and flipping
  89 ----------------------------------
  90
  91 Some systems have the camera sensor mounted upside down compared to its natural
  92 mounting rotation. In such cases, drivers shall expose the information to
  93 userspace with the :ref:`V4L2_CID_CAMERA_SENSOR_ROTATION
  94 <v4l2-camera-sensor-rotation>` control.
  95
  96 Sensor drivers shall also report the sensor's mounting orientation with the
  97 :ref:`V4L2_CID_CAMERA_SENSOR_ORIENTATION <v4l2-camera-sensor-orientation>`.
  98
  99 Sensor drivers that have any vertical or horizontal flips embedded in the
 100 register programming sequences shall initialize the :ref:`V4L2_CID_HFLIP
 101 <v4l2-cid-hflip>` and :ref:`V4L2_CID_VFLIP <v4l2-cid-vflip>` controls with the
 102 values programmed by the register sequences. The default values of these
 103 controls shall be 0 (disabled). Especially these controls shall not be inverted,
 104 independently of the sensor's mounting rotation.