drivers/net/ethernet/amd/xgbe/xgbe-mdio.c

   1 /*
   2  * AMD 10Gb Ethernet driver
   3  *
   4  * This file is available to you under your choice of the following two
   5  * licenses:
   6  *
   7  * License 1: GPLv2
   8  *
   9  * Copyright (c) 2014-2016 Advanced Micro Devices, Inc.
  10  *
  11  * This file is free software; you may copy, redistribute and/or modify
  12  * it under the terms of the GNU General Public License as published by
  13  * the Free Software Foundation, either version 2 of the License, or (at
  14  * your option) any later version.
  15  *
  16  * This file is distributed in the hope that it will be useful, but
  17  * WITHOUT ANY WARRANTY; without even the implied warranty of
  18  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  19  * General Public License for more details.
  20  *
  21  * You should have received a copy of the GNU General Public License
  22  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  23  *
  24  * This file incorporates work covered by the following copyright and
  25  * permission notice:
  26  *     The Synopsys DWC ETHER XGMAC Software Driver and documentation
  27  *     (hereinafter "Software") is an unsupported proprietary work of Synopsys,
  28  *     Inc. unless otherwise expressly agreed to in writing between Synopsys
  29  *     and you.
  30  *
  31  *     The Software IS NOT an item of Licensed Software or Licensed Product
  32  *     under any End User Software License Agreement or Agreement for Licensed
  33  *     Product with Synopsys or any supplement thereto.  Permission is hereby
  34  *     granted, free of charge, to any person obtaining a copy of this software
  35  *     annotated with this license and the Software, to deal in the Software
  36  *     without restriction, including without limitation the rights to use,
  37  *     copy, modify, merge, publish, distribute, sublicense, and/or sell copies
  38  *     of the Software, and to permit persons to whom the Software is furnished
  39  *     to do so, subject to the following conditions:
  40  *
  41  *     The above copyright notice and this permission notice shall be included
  42  *     in all copies or substantial portions of the Software.
  43  *
  44  *     THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  45  *     BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  46  *     TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A
  47  *     PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS
  48  *     BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  49  *     CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  50  *     SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  51  *     INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  52  *     CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  53  *     ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
  54  *     THE POSSIBILITY OF SUCH DAMAGE.
  55  *
  56  *
  57  * License 2: Modified BSD
  58  *
  59  * Copyright (c) 2014-2016 Advanced Micro Devices, Inc.
  60  * All rights reserved.
  61  *
  62  * Redistribution and use in source and binary forms, with or without
  63  * modification, are permitted provided that the following conditions are met:
  64  *     * Redistributions of source code must retain the above copyright
  65  *       notice, this list of conditions and the following disclaimer.
  66  *     * Redistributions in binary form must reproduce the above copyright
  67  *       notice, this list of conditions and the following disclaimer in the
  68  *       documentation and/or other materials provided with the distribution.
  69  *     * Neither the name of Advanced Micro Devices, Inc. nor the
  70  *       names of its contributors may be used to endorse or promote products
  71  *       derived from this software without specific prior written permission.
  72  *
  73  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  74  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  75  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  76  * ARE DISCLAIMED. IN NO EVENT SHALL <COPYRIGHT HOLDER> BE LIABLE FOR ANY
  77  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  78  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  79  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  80  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  81  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  82  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  83  *
  84  * This file incorporates work covered by the following copyright and
  85  * permission notice:
  86  *     The Synopsys DWC ETHER XGMAC Software Driver and documentation
  87  *     (hereinafter "Software") is an unsupported proprietary work of Synopsys,
  88  *     Inc. unless otherwise expressly agreed to in writing between Synopsys
  89  *     and you.
  90  *
  91  *     The Software IS NOT an item of Licensed Software or Licensed Product
  92  *     under any End User Software License Agreement or Agreement for Licensed
  93  *     Product with Synopsys or any supplement thereto.  Permission is hereby
  94  *     granted, free of charge, to any person obtaining a copy of this software
  95  *     annotated with this license and the Software, to deal in the Software
  96  *     without restriction, including without limitation the rights to use,
  97  *     copy, modify, merge, publish, distribute, sublicense, and/or sell copies
  98  *     of the Software, and to permit persons to whom the Software is furnished
  99  *     to do so, subject to the following conditions:
 100  *
 101  *     The above copyright notice and this permission notice shall be included
 102  *     in all copies or substantial portions of the Software.
 103  *
 104  *     THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
 105  *     BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
 106  *     TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A
 107  *     PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS
 108  *     BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
 109  *     CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
 110  *     SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
 111  *     INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
 112  *     CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
 113  *     ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF
 114  *     THE POSSIBILITY OF SUCH DAMAGE.
 115  */
 116
 117 #include <linux/interrupt.h>
 118 #include <linux/module.h>
 119 #include <linux/kmod.h>
 120 #include <linux/mdio.h>
 121 #include <linux/phy.h>
 122 #include <linux/of.h>
 123 #include <linux/bitops.h>
 124 #include <linux/jiffies.h>
 125
 126 #include "xgbe.h"
 127 #include "xgbe-common.h"
 128
 129 static void xgbe_an37_clear_interrupts(struct xgbe_prv_data *pdata)
 130 {
 131         int reg;
 132
 133         reg = XMDIO_READ(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_STAT);
 134         reg &= ~XGBE_AN_CL37_INT_MASK;
 135         XMDIO_WRITE(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_STAT, reg);
 136 }
 137
 138 static void xgbe_an37_disable_interrupts(struct xgbe_prv_data *pdata)
 139 {
 140         int reg;
 141
 142         reg = XMDIO_READ(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_CTRL);
 143         reg &= ~XGBE_AN_CL37_INT_MASK;
 144         XMDIO_WRITE(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_CTRL, reg);
 145
 146         reg = XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_PCS_DIG_CTRL);
 147         reg &= ~XGBE_PCS_CL37_BP;
 148         XMDIO_WRITE(pdata, MDIO_MMD_PCS, MDIO_PCS_DIG_CTRL, reg);
 149 }
 150
 151 static void xgbe_an37_enable_interrupts(struct xgbe_prv_data *pdata)
 152 {
 153         int reg;
 154
 155         reg = XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_PCS_DIG_CTRL);
 156         reg |= XGBE_PCS_CL37_BP;
 157         XMDIO_WRITE(pdata, MDIO_MMD_PCS, MDIO_PCS_DIG_CTRL, reg);
 158
 159         reg = XMDIO_READ(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_CTRL);
 160         reg |= XGBE_AN_CL37_INT_MASK;
 161         XMDIO_WRITE(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_CTRL, reg);
 162 }
 163
 164 static void xgbe_an73_clear_interrupts(struct xgbe_prv_data *pdata)
 165 {
 166         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_INT, 0);
 167 }
 168
 169 static void xgbe_an73_disable_interrupts(struct xgbe_prv_data *pdata)
 170 {
 171         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_INTMASK, 0);
 172 }
 173
 174 static void xgbe_an73_enable_interrupts(struct xgbe_prv_data *pdata)
 175 {
 176         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_INTMASK, XGBE_AN_CL73_INT_MASK);
 177 }
 178
 179 static void xgbe_an_enable_interrupts(struct xgbe_prv_data *pdata)
 180 {
 181         switch (pdata->an_mode) {
 182         case XGBE_AN_MODE_CL73:
 183         case XGBE_AN_MODE_CL73_REDRV:
 184                 xgbe_an73_enable_interrupts(pdata);
 185                 break;
 186         case XGBE_AN_MODE_CL37:
 187         case XGBE_AN_MODE_CL37_SGMII:
 188                 xgbe_an37_enable_interrupts(pdata);
 189                 break;
 190         default:
 191                 break;
 192         }
 193 }
 194
 195 static void xgbe_an_clear_interrupts_all(struct xgbe_prv_data *pdata)
 196 {
 197         xgbe_an73_clear_interrupts(pdata);
 198         xgbe_an37_clear_interrupts(pdata);
 199 }
 200
 201 static void xgbe_an73_enable_kr_training(struct xgbe_prv_data *pdata)
 202 {
 203         unsigned int reg;
 204
 205         reg = XMDIO_READ(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_PMD_CTRL);
 206
 207         reg |= XGBE_KR_TRAINING_ENABLE;
 208         XMDIO_WRITE(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_PMD_CTRL, reg);
 209 }
 210
 211 static void xgbe_an73_disable_kr_training(struct xgbe_prv_data *pdata)
 212 {
 213         unsigned int reg;
 214
 215         reg = XMDIO_READ(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_PMD_CTRL);
 216
 217         reg &= ~XGBE_KR_TRAINING_ENABLE;
 218         XMDIO_WRITE(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_PMD_CTRL, reg);
 219 }
 220
 221 static void xgbe_kr_mode(struct xgbe_prv_data *pdata)
 222 {
 223         /* Enable KR training */
 224         xgbe_an73_enable_kr_training(pdata);
 225
 226         /* Set MAC to 10G speed */
 227         pdata->hw_if.set_speed(pdata, SPEED_10000);
 228
 229         /* Call PHY implementation support to complete rate change */
 230         pdata->phy_if.phy_impl.set_mode(pdata, XGBE_MODE_KR);
 231 }
 232
 233 static void xgbe_kx_2500_mode(struct xgbe_prv_data *pdata)
 234 {
 235         /* Disable KR training */
 236         xgbe_an73_disable_kr_training(pdata);
 237
 238         /* Set MAC to 2.5G speed */
 239         pdata->hw_if.set_speed(pdata, SPEED_2500);
 240
 241         /* Call PHY implementation support to complete rate change */
 242         pdata->phy_if.phy_impl.set_mode(pdata, XGBE_MODE_KX_2500);
 243 }
 244
 245 static void xgbe_kx_1000_mode(struct xgbe_prv_data *pdata)
 246 {
 247         /* Disable KR training */
 248         xgbe_an73_disable_kr_training(pdata);
 249
 250         /* Set MAC to 1G speed */
 251         pdata->hw_if.set_speed(pdata, SPEED_1000);
 252
 253         /* Call PHY implementation support to complete rate change */
 254         pdata->phy_if.phy_impl.set_mode(pdata, XGBE_MODE_KX_1000);
 255 }
 256
 257 static void xgbe_sfi_mode(struct xgbe_prv_data *pdata)
 258 {
 259         /* If a KR re-driver is present, change to KR mode instead */
 260         if (pdata->kr_redrv)
 261                 return xgbe_kr_mode(pdata);
 262
 263         /* Disable KR training */
 264         xgbe_an73_disable_kr_training(pdata);
 265
 266         /* Set MAC to 10G speed */
 267         pdata->hw_if.set_speed(pdata, SPEED_10000);
 268
 269         /* Call PHY implementation support to complete rate change */
 270         pdata->phy_if.phy_impl.set_mode(pdata, XGBE_MODE_SFI);
 271 }
 272
 273 static void xgbe_x_mode(struct xgbe_prv_data *pdata)
 274 {
 275         /* Disable KR training */
 276         xgbe_an73_disable_kr_training(pdata);
 277
 278         /* Set MAC to 1G speed */
 279         pdata->hw_if.set_speed(pdata, SPEED_1000);
 280
 281         /* Call PHY implementation support to complete rate change */
 282         pdata->phy_if.phy_impl.set_mode(pdata, XGBE_MODE_X);
 283 }
 284
 285 static void xgbe_sgmii_1000_mode(struct xgbe_prv_data *pdata)
 286 {
 287         /* Disable KR training */
 288         xgbe_an73_disable_kr_training(pdata);
 289
 290         /* Set MAC to 1G speed */
 291         pdata->hw_if.set_speed(pdata, SPEED_1000);
 292
 293         /* Call PHY implementation support to complete rate change */
 294         pdata->phy_if.phy_impl.set_mode(pdata, XGBE_MODE_SGMII_1000);
 295 }
 296
 297 static void xgbe_sgmii_100_mode(struct xgbe_prv_data *pdata)
 298 {
 299         /* Disable KR training */
 300         xgbe_an73_disable_kr_training(pdata);
 301
 302         /* Set MAC to 1G speed */
 303         pdata->hw_if.set_speed(pdata, SPEED_1000);
 304
 305         /* Call PHY implementation support to complete rate change */
 306         pdata->phy_if.phy_impl.set_mode(pdata, XGBE_MODE_SGMII_100);
 307 }
 308
 309 static enum xgbe_mode xgbe_cur_mode(struct xgbe_prv_data *pdata)
 310 {
 311         return pdata->phy_if.phy_impl.cur_mode(pdata);
 312 }
 313
 314 static bool xgbe_in_kr_mode(struct xgbe_prv_data *pdata)
 315 {
 316         return (xgbe_cur_mode(pdata) == XGBE_MODE_KR);
 317 }
 318
 319 static void xgbe_change_mode(struct xgbe_prv_data *pdata,
 320                              enum xgbe_mode mode)
 321 {
 322         switch (mode) {
 323         case XGBE_MODE_KX_1000:
 324                 xgbe_kx_1000_mode(pdata);
 325                 break;
 326         case XGBE_MODE_KX_2500:
 327                 xgbe_kx_2500_mode(pdata);
 328                 break;
 329         case XGBE_MODE_KR:
 330                 xgbe_kr_mode(pdata);
 331                 break;
 332         case XGBE_MODE_SGMII_100:
 333                 xgbe_sgmii_100_mode(pdata);
 334                 break;
 335         case XGBE_MODE_SGMII_1000:
 336                 xgbe_sgmii_1000_mode(pdata);
 337                 break;
 338         case XGBE_MODE_X:
 339                 xgbe_x_mode(pdata);
 340                 break;
 341         case XGBE_MODE_SFI:
 342                 xgbe_sfi_mode(pdata);
 343                 break;
 344         case XGBE_MODE_UNKNOWN:
 345                 break;
 346         default:
 347                 netif_dbg(pdata, link, pdata->netdev,
 348                           "invalid operation mode requested (%u)\n", mode);
 349         }
 350 }
 351
 352 static void xgbe_switch_mode(struct xgbe_prv_data *pdata)
 353 {
 354         xgbe_change_mode(pdata, pdata->phy_if.phy_impl.switch_mode(pdata));
 355 }
 356
 357 static void xgbe_set_mode(struct xgbe_prv_data *pdata,
 358                           enum xgbe_mode mode)
 359 {
 360         if (mode == xgbe_cur_mode(pdata))
 361                 return;
 362
 363         xgbe_change_mode(pdata, mode);
 364 }
 365
 366 static bool xgbe_use_mode(struct xgbe_prv_data *pdata,
 367                           enum xgbe_mode mode)
 368 {
 369         return pdata->phy_if.phy_impl.use_mode(pdata, mode);
 370 }
 371
 372 static void xgbe_an37_set(struct xgbe_prv_data *pdata, bool enable,
 373                           bool restart)
 374 {
 375         unsigned int reg;
 376
 377         reg = XMDIO_READ(pdata, MDIO_MMD_VEND2, MDIO_CTRL1);
 378         reg &= ~MDIO_VEND2_CTRL1_AN_ENABLE;
 379
 380         if (enable)
 381                 reg |= MDIO_VEND2_CTRL1_AN_ENABLE;
 382
 383         if (restart)
 384                 reg |= MDIO_VEND2_CTRL1_AN_RESTART;
 385
 386         XMDIO_WRITE(pdata, MDIO_MMD_VEND2, MDIO_CTRL1, reg);
 387 }
 388
 389 static void xgbe_an37_restart(struct xgbe_prv_data *pdata)
 390 {
 391         xgbe_an37_enable_interrupts(pdata);
 392         xgbe_an37_set(pdata, true, true);
 393
 394         netif_dbg(pdata, link, pdata->netdev, "CL37 AN enabled/restarted\n");
 395 }
 396
 397 static void xgbe_an37_disable(struct xgbe_prv_data *pdata)
 398 {
 399         xgbe_an37_set(pdata, false, false);
 400         xgbe_an37_disable_interrupts(pdata);
 401
 402         netif_dbg(pdata, link, pdata->netdev, "CL37 AN disabled\n");
 403 }
 404
 405 static void xgbe_an73_set(struct xgbe_prv_data *pdata, bool enable,
 406                           bool restart)
 407 {
 408         unsigned int reg;
 409
 410         reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_CTRL1);
 411         reg &= ~MDIO_AN_CTRL1_ENABLE;
 412
 413         if (enable)
 414                 reg |= MDIO_AN_CTRL1_ENABLE;
 415
 416         if (restart)
 417                 reg |= MDIO_AN_CTRL1_RESTART;
 418
 419         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_CTRL1, reg);
 420 }
 421
 422 static void xgbe_an73_restart(struct xgbe_prv_data *pdata)
 423 {
 424         xgbe_an73_enable_interrupts(pdata);
 425         xgbe_an73_set(pdata, true, true);
 426
 427         netif_dbg(pdata, link, pdata->netdev, "CL73 AN enabled/restarted\n");
 428 }
 429
 430 static void xgbe_an73_disable(struct xgbe_prv_data *pdata)
 431 {
 432         xgbe_an73_set(pdata, false, false);
 433         xgbe_an73_disable_interrupts(pdata);
 434
 435         pdata->an_start = 0;
 436
 437         netif_dbg(pdata, link, pdata->netdev, "CL73 AN disabled\n");
 438 }
 439
 440 static void xgbe_an_restart(struct xgbe_prv_data *pdata)
 441 {
 442         if (pdata->phy_if.phy_impl.an_pre)
 443                 pdata->phy_if.phy_impl.an_pre(pdata);
 444
 445         switch (pdata->an_mode) {
 446         case XGBE_AN_MODE_CL73:
 447         case XGBE_AN_MODE_CL73_REDRV:
 448                 xgbe_an73_restart(pdata);
 449                 break;
 450         case XGBE_AN_MODE_CL37:
 451         case XGBE_AN_MODE_CL37_SGMII:
 452                 xgbe_an37_restart(pdata);
 453                 break;
 454         default:
 455                 break;
 456         }
 457 }
 458
 459 static void xgbe_an_disable(struct xgbe_prv_data *pdata)
 460 {
 461         if (pdata->phy_if.phy_impl.an_post)
 462                 pdata->phy_if.phy_impl.an_post(pdata);
 463
 464         switch (pdata->an_mode) {
 465         case XGBE_AN_MODE_CL73:
 466         case XGBE_AN_MODE_CL73_REDRV:
 467                 xgbe_an73_disable(pdata);
 468                 break;
 469         case XGBE_AN_MODE_CL37:
 470         case XGBE_AN_MODE_CL37_SGMII:
 471                 xgbe_an37_disable(pdata);
 472                 break;
 473         default:
 474                 break;
 475         }
 476 }
 477
 478 static void xgbe_an_disable_all(struct xgbe_prv_data *pdata)
 479 {
 480         xgbe_an73_disable(pdata);
 481         xgbe_an37_disable(pdata);
 482 }
 483
 484 static enum xgbe_an xgbe_an73_tx_training(struct xgbe_prv_data *pdata,
 485                                           enum xgbe_rx *state)
 486 {
 487         unsigned int ad_reg, lp_reg, reg;
 488
 489         *state = XGBE_RX_COMPLETE;
 490
 491         /* If we're not in KR mode then we're done */
 492         if (!xgbe_in_kr_mode(pdata))
 493                 return XGBE_AN_PAGE_RECEIVED;
 494
 495         /* Enable/Disable FEC */
 496         ad_reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE + 2);
 497         lp_reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_LPA + 2);
 498
 499         reg = XMDIO_READ(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_FECCTRL);
 500         reg &= ~(MDIO_PMA_10GBR_FECABLE_ABLE | MDIO_PMA_10GBR_FECABLE_ERRABLE);
 501         if ((ad_reg & 0xc000) && (lp_reg & 0xc000))
 502                 reg |= pdata->fec_ability;
 503
 504         XMDIO_WRITE(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_FECCTRL, reg);
 505
 506         /* Start KR training */
 507         reg = XMDIO_READ(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_PMD_CTRL);
 508         if (reg & XGBE_KR_TRAINING_ENABLE) {
 509                 if (pdata->phy_if.phy_impl.kr_training_pre)
 510                         pdata->phy_if.phy_impl.kr_training_pre(pdata);
 511
 512                 reg |= XGBE_KR_TRAINING_START;
 513                 XMDIO_WRITE(pdata, MDIO_MMD_PMAPMD, MDIO_PMA_10GBR_PMD_CTRL,
 514                             reg);
 515
 516                 netif_dbg(pdata, link, pdata->netdev,
 517                           "KR training initiated\n");
 518
 519                 if (pdata->phy_if.phy_impl.kr_training_post)
 520                         pdata->phy_if.phy_impl.kr_training_post(pdata);
 521         }
 522
 523         return XGBE_AN_PAGE_RECEIVED;
 524 }
 525
 526 static enum xgbe_an xgbe_an73_tx_xnp(struct xgbe_prv_data *pdata,
 527                                      enum xgbe_rx *state)
 528 {
 529         u16 msg;
 530
 531         *state = XGBE_RX_XNP;
 532
 533         msg = XGBE_XNP_MCF_NULL_MESSAGE;
 534         msg |= XGBE_XNP_MP_FORMATTED;
 535
 536         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_XNP + 2, 0);
 537         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_XNP + 1, 0);
 538         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_XNP, msg);
 539
 540         return XGBE_AN_PAGE_RECEIVED;
 541 }
 542
 543 static enum xgbe_an xgbe_an73_rx_bpa(struct xgbe_prv_data *pdata,
 544                                      enum xgbe_rx *state)
 545 {
 546         unsigned int link_support;
 547         unsigned int reg, ad_reg, lp_reg;
 548
 549         /* Read Base Ability register 2 first */
 550         reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_LPA + 1);
 551
 552         /* Check for a supported mode, otherwise restart in a different one */
 553         link_support = xgbe_in_kr_mode(pdata) ? 0x80 : 0x20;
 554         if (!(reg & link_support))
 555                 return XGBE_AN_INCOMPAT_LINK;
 556
 557         /* Check Extended Next Page support */
 558         ad_reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE);
 559         lp_reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_LPA);
 560
 561         return ((ad_reg & XGBE_XNP_NP_EXCHANGE) ||
 562                 (lp_reg & XGBE_XNP_NP_EXCHANGE))
 563                ? xgbe_an73_tx_xnp(pdata, state)
 564                : xgbe_an73_tx_training(pdata, state);
 565 }
 566
 567 static enum xgbe_an xgbe_an73_rx_xnp(struct xgbe_prv_data *pdata,
 568                                      enum xgbe_rx *state)
 569 {
 570         unsigned int ad_reg, lp_reg;
 571
 572         /* Check Extended Next Page support */
 573         ad_reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_XNP);
 574         lp_reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_LPX);
 575
 576         return ((ad_reg & XGBE_XNP_NP_EXCHANGE) ||
 577                 (lp_reg & XGBE_XNP_NP_EXCHANGE))
 578                ? xgbe_an73_tx_xnp(pdata, state)
 579                : xgbe_an73_tx_training(pdata, state);
 580 }
 581
 582 static enum xgbe_an xgbe_an73_page_received(struct xgbe_prv_data *pdata)
 583 {
 584         enum xgbe_rx *state;
 585         unsigned long an_timeout;
 586         enum xgbe_an ret;
 587
 588         if (!pdata->an_start) {
 589                 pdata->an_start = jiffies;
 590         } else {
 591                 an_timeout = pdata->an_start +
 592                              msecs_to_jiffies(XGBE_AN_MS_TIMEOUT);
 593                 if (time_after(jiffies, an_timeout)) {
 594                         /* Auto-negotiation timed out, reset state */
 595                         pdata->kr_state = XGBE_RX_BPA;
 596                         pdata->kx_state = XGBE_RX_BPA;
 597
 598                         pdata->an_start = jiffies;
 599
 600                         netif_dbg(pdata, link, pdata->netdev,
 601                                   "CL73 AN timed out, resetting state\n");
 602                 }
 603         }
 604
 605         state = xgbe_in_kr_mode(pdata) ? &pdata->kr_state
 606                                        : &pdata->kx_state;
 607
 608         switch (*state) {
 609         case XGBE_RX_BPA:
 610                 ret = xgbe_an73_rx_bpa(pdata, state);
 611                 break;
 612
 613         case XGBE_RX_XNP:
 614                 ret = xgbe_an73_rx_xnp(pdata, state);
 615                 break;
 616
 617         default:
 618                 ret = XGBE_AN_ERROR;
 619         }
 620
 621         return ret;
 622 }
 623
 624 static enum xgbe_an xgbe_an73_incompat_link(struct xgbe_prv_data *pdata)
 625 {
 626         struct ethtool_link_ksettings *lks = &pdata->phy.lks;
 627
 628         /* Be sure we aren't looping trying to negotiate */
 629         if (xgbe_in_kr_mode(pdata)) {
 630                 pdata->kr_state = XGBE_RX_ERROR;
 631
 632                 if (!XGBE_ADV(lks, 1000baseKX_Full) &&
 633                     !XGBE_ADV(lks, 2500baseX_Full))
 634                         return XGBE_AN_NO_LINK;
 635
 636                 if (pdata->kx_state != XGBE_RX_BPA)
 637                         return XGBE_AN_NO_LINK;
 638         } else {
 639                 pdata->kx_state = XGBE_RX_ERROR;
 640
 641                 if (!XGBE_ADV(lks, 10000baseKR_Full))
 642                         return XGBE_AN_NO_LINK;
 643
 644                 if (pdata->kr_state != XGBE_RX_BPA)
 645                         return XGBE_AN_NO_LINK;
 646         }
 647
 648         xgbe_an_disable(pdata);
 649
 650         xgbe_switch_mode(pdata);
 651
 652         xgbe_an_restart(pdata);
 653
 654         return XGBE_AN_INCOMPAT_LINK;
 655 }
 656
 657 static void xgbe_an37_isr(struct xgbe_prv_data *pdata)
 658 {
 659         unsigned int reg;
 660
 661         /* Disable AN interrupts */
 662         xgbe_an37_disable_interrupts(pdata);
 663
 664         /* Save the interrupt(s) that fired */
 665         reg = XMDIO_READ(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_STAT);
 666         pdata->an_int = reg & XGBE_AN_CL37_INT_MASK;
 667         pdata->an_status = reg & ~XGBE_AN_CL37_INT_MASK;
 668
 669         if (pdata->an_int) {
 670                 /* Clear the interrupt(s) that fired and process them */
 671                 reg &= ~XGBE_AN_CL37_INT_MASK;
 672                 XMDIO_WRITE(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_STAT, reg);
 673
 674                 queue_work(pdata->an_workqueue, &pdata->an_irq_work);
 675         } else {
 676                 /* Enable AN interrupts */
 677                 xgbe_an37_enable_interrupts(pdata);
 678
 679                 /* Reissue interrupt if status is not clear */
 680                 if (pdata->vdata->irq_reissue_support)
 681                         XP_IOWRITE(pdata, XP_INT_REISSUE_EN, 1 << 3);
 682         }
 683 }
 684
 685 static void xgbe_an73_isr(struct xgbe_prv_data *pdata)
 686 {
 687         /* Disable AN interrupts */
 688         xgbe_an73_disable_interrupts(pdata);
 689
 690         /* Save the interrupt(s) that fired */
 691         pdata->an_int = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_INT);
 692
 693         if (pdata->an_int) {
 694                 /* Clear the interrupt(s) that fired and process them */
 695                 XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_INT, ~pdata->an_int);
 696
 697                 queue_work(pdata->an_workqueue, &pdata->an_irq_work);
 698         } else {
 699                 /* Enable AN interrupts */
 700                 xgbe_an73_enable_interrupts(pdata);
 701
 702                 /* Reissue interrupt if status is not clear */
 703                 if (pdata->vdata->irq_reissue_support)
 704                         XP_IOWRITE(pdata, XP_INT_REISSUE_EN, 1 << 3);
 705         }
 706 }
 707
 708 static void xgbe_an_isr_task(unsigned long data)
 709 {
 710         struct xgbe_prv_data *pdata = (struct xgbe_prv_data *)data;
 711
 712         netif_dbg(pdata, intr, pdata->netdev, "AN interrupt received\n");
 713
 714         switch (pdata->an_mode) {
 715         case XGBE_AN_MODE_CL73:
 716         case XGBE_AN_MODE_CL73_REDRV:
 717                 xgbe_an73_isr(pdata);
 718                 break;
 719         case XGBE_AN_MODE_CL37:
 720         case XGBE_AN_MODE_CL37_SGMII:
 721                 xgbe_an37_isr(pdata);
 722                 break;
 723         default:
 724                 break;
 725         }
 726 }
 727
 728 static irqreturn_t xgbe_an_isr(int irq, void *data)
 729 {
 730         struct xgbe_prv_data *pdata = (struct xgbe_prv_data *)data;
 731
 732         if (pdata->isr_as_tasklet)
 733                 tasklet_schedule(&pdata->tasklet_an);
 734         else
 735                 xgbe_an_isr_task((unsigned long)pdata);
 736
 737         return IRQ_HANDLED;
 738 }
 739
 740 static irqreturn_t xgbe_an_combined_isr(struct xgbe_prv_data *pdata)
 741 {
 742         xgbe_an_isr_task((unsigned long)pdata);
 743
 744         return IRQ_HANDLED;
 745 }
 746
 747 static void xgbe_an_irq_work(struct work_struct *work)
 748 {
 749         struct xgbe_prv_data *pdata = container_of(work,
 750                                                    struct xgbe_prv_data,
 751                                                    an_irq_work);
 752
 753         /* Avoid a race between enabling the IRQ and exiting the work by
 754          * waiting for the work to finish and then queueing it
 755          */
 756         flush_work(&pdata->an_work);
 757         queue_work(pdata->an_workqueue, &pdata->an_work);
 758 }
 759
 760 static const char *xgbe_state_as_string(enum xgbe_an state)
 761 {
 762         switch (state) {
 763         case XGBE_AN_READY:
 764                 return "Ready";
 765         case XGBE_AN_PAGE_RECEIVED:
 766                 return "Page-Received";
 767         case XGBE_AN_INCOMPAT_LINK:
 768                 return "Incompatible-Link";
 769         case XGBE_AN_COMPLETE:
 770                 return "Complete";
 771         case XGBE_AN_NO_LINK:
 772                 return "No-Link";
 773         case XGBE_AN_ERROR:
 774                 return "Error";
 775         default:
 776                 return "Undefined";
 777         }
 778 }
 779
 780 static void xgbe_an37_state_machine(struct xgbe_prv_data *pdata)
 781 {
 782         enum xgbe_an cur_state = pdata->an_state;
 783
 784         if (!pdata->an_int)
 785                 return;
 786
 787         if (pdata->an_int & XGBE_AN_CL37_INT_CMPLT) {
 788                 pdata->an_state = XGBE_AN_COMPLETE;
 789                 pdata->an_int &= ~XGBE_AN_CL37_INT_CMPLT;
 790
 791                 /* If SGMII is enabled, check the link status */
 792                 if ((pdata->an_mode == XGBE_AN_MODE_CL37_SGMII) &&
 793                     !(pdata->an_status & XGBE_SGMII_AN_LINK_STATUS))
 794                         pdata->an_state = XGBE_AN_NO_LINK;
 795         }
 796
 797         netif_dbg(pdata, link, pdata->netdev, "CL37 AN %s\n",
 798                   xgbe_state_as_string(pdata->an_state));
 799
 800         cur_state = pdata->an_state;
 801
 802         switch (pdata->an_state) {
 803         case XGBE_AN_READY:
 804                 break;
 805
 806         case XGBE_AN_COMPLETE:
 807                 netif_dbg(pdata, link, pdata->netdev,
 808                           "Auto negotiation successful\n");
 809                 break;
 810
 811         case XGBE_AN_NO_LINK:
 812                 break;
 813
 814         default:
 815                 pdata->an_state = XGBE_AN_ERROR;
 816         }
 817
 818         if (pdata->an_state == XGBE_AN_ERROR) {
 819                 netdev_err(pdata->netdev,
 820                            "error during auto-negotiation, state=%u\n",
 821                            cur_state);
 822
 823                 pdata->an_int = 0;
 824                 xgbe_an37_clear_interrupts(pdata);
 825         }
 826
 827         if (pdata->an_state >= XGBE_AN_COMPLETE) {
 828                 pdata->an_result = pdata->an_state;
 829                 pdata->an_state = XGBE_AN_READY;
 830
 831                 if (pdata->phy_if.phy_impl.an_post)
 832                         pdata->phy_if.phy_impl.an_post(pdata);
 833
 834                 netif_dbg(pdata, link, pdata->netdev, "CL37 AN result: %s\n",
 835                           xgbe_state_as_string(pdata->an_result));
 836         }
 837
 838         xgbe_an37_enable_interrupts(pdata);
 839 }
 840
 841 static void xgbe_an73_state_machine(struct xgbe_prv_data *pdata)
 842 {
 843         enum xgbe_an cur_state = pdata->an_state;
 844
 845         if (!pdata->an_int)
 846                 return;
 847
 848 next_int:
 849         if (pdata->an_int & XGBE_AN_CL73_PG_RCV) {
 850                 pdata->an_state = XGBE_AN_PAGE_RECEIVED;
 851                 pdata->an_int &= ~XGBE_AN_CL73_PG_RCV;
 852         } else if (pdata->an_int & XGBE_AN_CL73_INC_LINK) {
 853                 pdata->an_state = XGBE_AN_INCOMPAT_LINK;
 854                 pdata->an_int &= ~XGBE_AN_CL73_INC_LINK;
 855         } else if (pdata->an_int & XGBE_AN_CL73_INT_CMPLT) {
 856                 pdata->an_state = XGBE_AN_COMPLETE;
 857                 pdata->an_int &= ~XGBE_AN_CL73_INT_CMPLT;
 858         } else {
 859                 pdata->an_state = XGBE_AN_ERROR;
 860         }
 861
 862 again:
 863         netif_dbg(pdata, link, pdata->netdev, "CL73 AN %s\n",
 864                   xgbe_state_as_string(pdata->an_state));
 865
 866         cur_state = pdata->an_state;
 867
 868         switch (pdata->an_state) {
 869         case XGBE_AN_READY:
 870                 pdata->an_supported = 0;
 871                 break;
 872
 873         case XGBE_AN_PAGE_RECEIVED:
 874                 pdata->an_state = xgbe_an73_page_received(pdata);
 875                 pdata->an_supported++;
 876                 break;
 877
 878         case XGBE_AN_INCOMPAT_LINK:
 879                 pdata->an_supported = 0;
 880                 pdata->parallel_detect = 0;
 881                 pdata->an_state = xgbe_an73_incompat_link(pdata);
 882                 break;
 883
 884         case XGBE_AN_COMPLETE:
 885                 pdata->parallel_detect = pdata->an_supported ? 0 : 1;
 886                 netif_dbg(pdata, link, pdata->netdev, "%s successful\n",
 887                           pdata->an_supported ? "Auto negotiation"
 888                                               : "Parallel detection");
 889                 break;
 890
 891         case XGBE_AN_NO_LINK:
 892                 break;
 893
 894         default:
 895                 pdata->an_state = XGBE_AN_ERROR;
 896         }
 897
 898         if (pdata->an_state == XGBE_AN_NO_LINK) {
 899                 pdata->an_int = 0;
 900                 xgbe_an73_clear_interrupts(pdata);
 901         } else if (pdata->an_state == XGBE_AN_ERROR) {
 902                 netdev_err(pdata->netdev,
 903                            "error during auto-negotiation, state=%u\n",
 904                            cur_state);
 905
 906                 pdata->an_int = 0;
 907                 xgbe_an73_clear_interrupts(pdata);
 908         }
 909
 910         if (pdata->an_state >= XGBE_AN_COMPLETE) {
 911                 pdata->an_result = pdata->an_state;
 912                 pdata->an_state = XGBE_AN_READY;
 913                 pdata->kr_state = XGBE_RX_BPA;
 914                 pdata->kx_state = XGBE_RX_BPA;
 915                 pdata->an_start = 0;
 916
 917                 if (pdata->phy_if.phy_impl.an_post)
 918                         pdata->phy_if.phy_impl.an_post(pdata);
 919
 920                 netif_dbg(pdata, link, pdata->netdev, "CL73 AN result: %s\n",
 921                           xgbe_state_as_string(pdata->an_result));
 922         }
 923
 924         if (cur_state != pdata->an_state)
 925                 goto again;
 926
 927         if (pdata->an_int)
 928                 goto next_int;
 929
 930         xgbe_an73_enable_interrupts(pdata);
 931 }
 932
 933 static void xgbe_an_state_machine(struct work_struct *work)
 934 {
 935         struct xgbe_prv_data *pdata = container_of(work,
 936                                                    struct xgbe_prv_data,
 937                                                    an_work);
 938
 939         mutex_lock(&pdata->an_mutex);
 940
 941         switch (pdata->an_mode) {
 942         case XGBE_AN_MODE_CL73:
 943         case XGBE_AN_MODE_CL73_REDRV:
 944                 xgbe_an73_state_machine(pdata);
 945                 break;
 946         case XGBE_AN_MODE_CL37:
 947         case XGBE_AN_MODE_CL37_SGMII:
 948                 xgbe_an37_state_machine(pdata);
 949                 break;
 950         default:
 951                 break;
 952         }
 953
 954         /* Reissue interrupt if status is not clear */
 955         if (pdata->vdata->irq_reissue_support)
 956                 XP_IOWRITE(pdata, XP_INT_REISSUE_EN, 1 << 3);
 957
 958         mutex_unlock(&pdata->an_mutex);
 959 }
 960
 961 static void xgbe_an37_init(struct xgbe_prv_data *pdata)
 962 {
 963         struct ethtool_link_ksettings lks;
 964         unsigned int reg;
 965
 966         pdata->phy_if.phy_impl.an_advertising(pdata, &lks);
 967
 968         /* Set up Advertisement register */
 969         reg = XMDIO_READ(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_ADVERTISE);
 970         if (XGBE_ADV(&lks, Pause))
 971                 reg |= 0x100;
 972         else
 973                 reg &= ~0x100;
 974
 975         if (XGBE_ADV(&lks, Asym_Pause))
 976                 reg |= 0x80;
 977         else
 978                 reg &= ~0x80;
 979
 980         /* Full duplex, but not half */
 981         reg |= XGBE_AN_CL37_FD_MASK;
 982         reg &= ~XGBE_AN_CL37_HD_MASK;
 983
 984         XMDIO_WRITE(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_ADVERTISE, reg);
 985
 986         /* Set up the Control register */
 987         reg = XMDIO_READ(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_CTRL);
 988         reg &= ~XGBE_AN_CL37_TX_CONFIG_MASK;
 989         reg &= ~XGBE_AN_CL37_PCS_MODE_MASK;
 990
 991         switch (pdata->an_mode) {
 992         case XGBE_AN_MODE_CL37:
 993                 reg |= XGBE_AN_CL37_PCS_MODE_BASEX;
 994                 break;
 995         case XGBE_AN_MODE_CL37_SGMII:
 996                 reg |= XGBE_AN_CL37_PCS_MODE_SGMII;
 997                 break;
 998         default:
 999                 break;
1000         }
1001
1002         reg |= XGBE_AN_CL37_MII_CTRL_8BIT;
1003
1004         XMDIO_WRITE(pdata, MDIO_MMD_VEND2, MDIO_VEND2_AN_CTRL, reg);
1005
1006         netif_dbg(pdata, link, pdata->netdev, "CL37 AN (%s) initialized\n",
1007                   (pdata->an_mode == XGBE_AN_MODE_CL37) ? "BaseX" : "SGMII");
1008 }
1009
1010 static void xgbe_an73_init(struct xgbe_prv_data *pdata)
1011 {
1012         struct ethtool_link_ksettings lks;
1013         unsigned int reg;
1014
1015         pdata->phy_if.phy_impl.an_advertising(pdata, &lks);
1016
1017         /* Set up Advertisement register 3 first */
1018         reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE + 2);
1019         if (XGBE_ADV(&lks, 10000baseR_FEC))
1020                 reg |= 0xc000;
1021         else
1022                 reg &= ~0xc000;
1023
1024         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE + 2, reg);
1025
1026         /* Set up Advertisement register 2 next */
1027         reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE + 1);
1028         if (XGBE_ADV(&lks, 10000baseKR_Full))
1029                 reg |= 0x80;
1030         else
1031                 reg &= ~0x80;
1032
1033         if (XGBE_ADV(&lks, 1000baseKX_Full) ||
1034             XGBE_ADV(&lks, 2500baseX_Full))
1035                 reg |= 0x20;
1036         else
1037                 reg &= ~0x20;
1038
1039         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE + 1, reg);
1040
1041         /* Set up Advertisement register 1 last */
1042         reg = XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE);
1043         if (XGBE_ADV(&lks, Pause))
1044                 reg |= 0x400;
1045         else
1046                 reg &= ~0x400;
1047
1048         if (XGBE_ADV(&lks, Asym_Pause))
1049                 reg |= 0x800;
1050         else
1051                 reg &= ~0x800;
1052
1053         /* We don't intend to perform XNP */
1054         reg &= ~XGBE_XNP_NP_EXCHANGE;
1055
1056         XMDIO_WRITE(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE, reg);
1057
1058         netif_dbg(pdata, link, pdata->netdev, "CL73 AN initialized\n");
1059 }
1060
1061 static void xgbe_an_init(struct xgbe_prv_data *pdata)
1062 {
1063         /* Set up advertisement registers based on current settings */
1064         pdata->an_mode = pdata->phy_if.phy_impl.an_mode(pdata);
1065         switch (pdata->an_mode) {
1066         case XGBE_AN_MODE_CL73:
1067         case XGBE_AN_MODE_CL73_REDRV:
1068                 xgbe_an73_init(pdata);
1069                 break;
1070         case XGBE_AN_MODE_CL37:
1071         case XGBE_AN_MODE_CL37_SGMII:
1072                 xgbe_an37_init(pdata);
1073                 break;
1074         default:
1075                 break;
1076         }
1077 }
1078
1079 static const char *xgbe_phy_fc_string(struct xgbe_prv_data *pdata)
1080 {
1081         if (pdata->tx_pause && pdata->rx_pause)
1082                 return "rx/tx";
1083         else if (pdata->rx_pause)
1084                 return "rx";
1085         else if (pdata->tx_pause)
1086                 return "tx";
1087         else
1088                 return "off";
1089 }
1090
1091 static const char *xgbe_phy_speed_string(int speed)
1092 {
1093         switch (speed) {
1094         case SPEED_100:
1095                 return "100Mbps";
1096         case SPEED_1000:
1097                 return "1Gbps";
1098         case SPEED_2500:
1099                 return "2.5Gbps";
1100         case SPEED_10000:
1101                 return "10Gbps";
1102         case SPEED_UNKNOWN:
1103                 return "Unknown";
1104         default:
1105                 return "Unsupported";
1106         }
1107 }
1108
1109 static void xgbe_phy_print_status(struct xgbe_prv_data *pdata)
1110 {
1111         if (pdata->phy.link)
1112                 netdev_info(pdata->netdev,
1113                             "Link is Up - %s/%s - flow control %s\n",
1114                             xgbe_phy_speed_string(pdata->phy.speed),
1115                             pdata->phy.duplex == DUPLEX_FULL ? "Full" : "Half",
1116                             xgbe_phy_fc_string(pdata));
1117         else
1118                 netdev_info(pdata->netdev, "Link is Down\n");
1119 }
1120
1121 static void xgbe_phy_adjust_link(struct xgbe_prv_data *pdata)
1122 {
1123         int new_state = 0;
1124
1125         if (pdata->phy.link) {
1126                 /* Flow control support */
1127                 pdata->pause_autoneg = pdata->phy.pause_autoneg;
1128
1129                 if (pdata->tx_pause != pdata->phy.tx_pause) {
1130                         new_state = 1;
1131                         pdata->tx_pause = pdata->phy.tx_pause;
1132                         pdata->hw_if.config_tx_flow_control(pdata);
1133                 }
1134
1135                 if (pdata->rx_pause != pdata->phy.rx_pause) {
1136                         new_state = 1;
1137                         pdata->rx_pause = pdata->phy.rx_pause;
1138                         pdata->hw_if.config_rx_flow_control(pdata);
1139                 }
1140
1141                 /* Speed support */
1142                 if (pdata->phy_speed != pdata->phy.speed) {
1143                         new_state = 1;
1144                         pdata->phy_speed = pdata->phy.speed;
1145                 }
1146
1147                 if (pdata->phy_link != pdata->phy.link) {
1148                         new_state = 1;
1149                         pdata->phy_link = pdata->phy.link;
1150                 }
1151         } else if (pdata->phy_link) {
1152                 new_state = 1;
1153                 pdata->phy_link = 0;
1154                 pdata->phy_speed = SPEED_UNKNOWN;
1155         }
1156
1157         if (new_state && netif_msg_link(pdata))
1158                 xgbe_phy_print_status(pdata);
1159 }
1160
1161 static bool xgbe_phy_valid_speed(struct xgbe_prv_data *pdata, int speed)
1162 {
1163         return pdata->phy_if.phy_impl.valid_speed(pdata, speed);
1164 }
1165
1166 static int xgbe_phy_config_fixed(struct xgbe_prv_data *pdata)
1167 {
1168         enum xgbe_mode mode;
1169
1170         netif_dbg(pdata, link, pdata->netdev, "fixed PHY configuration\n");
1171
1172         /* Disable auto-negotiation */
1173         xgbe_an_disable(pdata);
1174
1175         /* Set specified mode for specified speed */
1176         mode = pdata->phy_if.phy_impl.get_mode(pdata, pdata->phy.speed);
1177         switch (mode) {
1178         case XGBE_MODE_KX_1000:
1179         case XGBE_MODE_KX_2500:
1180         case XGBE_MODE_KR:
1181         case XGBE_MODE_SGMII_100:
1182         case XGBE_MODE_SGMII_1000:
1183         case XGBE_MODE_X:
1184         case XGBE_MODE_SFI:
1185                 break;
1186         case XGBE_MODE_UNKNOWN:
1187         default:
1188                 return -EINVAL;
1189         }
1190
1191         /* Validate duplex mode */
1192         if (pdata->phy.duplex != DUPLEX_FULL)
1193                 return -EINVAL;
1194
1195         /* Force the mode change for SFI in Fixed PHY config.
1196          * Fixed PHY configs needs PLL to be enabled while doing mode set.
1197          * When the SFP module isn't connected during boot, driver assumes
1198          * AN is ON and attempts autonegotiation. However, if the connected
1199          * SFP comes up in Fixed PHY config, the link will not come up as
1200          * PLL isn't enabled while the initial mode set command is issued.
1201          * So, force the mode change for SFI in Fixed PHY configuration to
1202          * fix link issues.
1203          */
1204         if (mode == XGBE_MODE_SFI)
1205                 xgbe_change_mode(pdata, mode);
1206         else
1207                 xgbe_set_mode(pdata, mode);
1208
1209         return 0;
1210 }
1211
1212 static int __xgbe_phy_config_aneg(struct xgbe_prv_data *pdata)
1213 {
1214         int ret;
1215
1216         set_bit(XGBE_LINK_INIT, &pdata->dev_state);
1217         pdata->link_check = jiffies;
1218
1219         ret = pdata->phy_if.phy_impl.an_config(pdata);
1220         if (ret)
1221                 return ret;
1222
1223         if (pdata->phy.autoneg != AUTONEG_ENABLE) {
1224                 ret = xgbe_phy_config_fixed(pdata);
1225                 if (ret || !pdata->kr_redrv)
1226                         return ret;
1227
1228                 netif_dbg(pdata, link, pdata->netdev, "AN redriver support\n");
1229         } else {
1230                 netif_dbg(pdata, link, pdata->netdev, "AN PHY configuration\n");
1231         }
1232
1233         /* Disable auto-negotiation interrupt */
1234         disable_irq(pdata->an_irq);
1235
1236         /* Start auto-negotiation in a supported mode */
1237         if (xgbe_use_mode(pdata, XGBE_MODE_KR)) {
1238                 xgbe_set_mode(pdata, XGBE_MODE_KR);
1239         } else if (xgbe_use_mode(pdata, XGBE_MODE_KX_2500)) {
1240                 xgbe_set_mode(pdata, XGBE_MODE_KX_2500);
1241         } else if (xgbe_use_mode(pdata, XGBE_MODE_KX_1000)) {
1242                 xgbe_set_mode(pdata, XGBE_MODE_KX_1000);
1243         } else if (xgbe_use_mode(pdata, XGBE_MODE_SFI)) {
1244                 xgbe_set_mode(pdata, XGBE_MODE_SFI);
1245         } else if (xgbe_use_mode(pdata, XGBE_MODE_X)) {
1246                 xgbe_set_mode(pdata, XGBE_MODE_X);
1247         } else if (xgbe_use_mode(pdata, XGBE_MODE_SGMII_1000)) {
1248                 xgbe_set_mode(pdata, XGBE_MODE_SGMII_1000);
1249         } else if (xgbe_use_mode(pdata, XGBE_MODE_SGMII_100)) {
1250                 xgbe_set_mode(pdata, XGBE_MODE_SGMII_100);
1251         } else {
1252                 enable_irq(pdata->an_irq);
1253                 return -EINVAL;
1254         }
1255
1256         /* Disable and stop any in progress auto-negotiation */
1257         xgbe_an_disable_all(pdata);
1258
1259         /* Clear any auto-negotitation interrupts */
1260         xgbe_an_clear_interrupts_all(pdata);
1261
1262         pdata->an_result = XGBE_AN_READY;
1263         pdata->an_state = XGBE_AN_READY;
1264         pdata->kr_state = XGBE_RX_BPA;
1265         pdata->kx_state = XGBE_RX_BPA;
1266
1267         /* Re-enable auto-negotiation interrupt */
1268         enable_irq(pdata->an_irq);
1269
1270         xgbe_an_init(pdata);
1271         xgbe_an_restart(pdata);
1272
1273         return 0;
1274 }
1275
1276 static int xgbe_phy_config_aneg(struct xgbe_prv_data *pdata)
1277 {
1278         int ret;
1279
1280         mutex_lock(&pdata->an_mutex);
1281
1282         ret = __xgbe_phy_config_aneg(pdata);
1283         if (ret)
1284                 set_bit(XGBE_LINK_ERR, &pdata->dev_state);
1285         else
1286                 clear_bit(XGBE_LINK_ERR, &pdata->dev_state);
1287
1288         mutex_unlock(&pdata->an_mutex);
1289
1290         return ret;
1291 }
1292
1293 static bool xgbe_phy_aneg_done(struct xgbe_prv_data *pdata)
1294 {
1295         return (pdata->an_result == XGBE_AN_COMPLETE);
1296 }
1297
1298 static void xgbe_check_link_timeout(struct xgbe_prv_data *pdata)
1299 {
1300         unsigned long link_timeout;
1301
1302         link_timeout = pdata->link_check + (XGBE_LINK_TIMEOUT * HZ);
1303         if (time_after(jiffies, link_timeout)) {
1304                 netif_dbg(pdata, link, pdata->netdev, "AN link timeout\n");
1305                 xgbe_phy_config_aneg(pdata);
1306         }
1307 }
1308
1309 static enum xgbe_mode xgbe_phy_status_aneg(struct xgbe_prv_data *pdata)
1310 {
1311         return pdata->phy_if.phy_impl.an_outcome(pdata);
1312 }
1313
1314 static void xgbe_phy_status_result(struct xgbe_prv_data *pdata)
1315 {
1316         struct ethtool_link_ksettings *lks = &pdata->phy.lks;
1317         enum xgbe_mode mode;
1318
1319         XGBE_ZERO_LP_ADV(lks);
1320
1321         if ((pdata->phy.autoneg != AUTONEG_ENABLE) || pdata->parallel_detect)
1322                 mode = xgbe_cur_mode(pdata);
1323         else
1324                 mode = xgbe_phy_status_aneg(pdata);
1325
1326         switch (mode) {
1327         case XGBE_MODE_SGMII_100:
1328                 pdata->phy.speed = SPEED_100;
1329                 break;
1330         case XGBE_MODE_X:
1331         case XGBE_MODE_KX_1000:
1332         case XGBE_MODE_SGMII_1000:
1333                 pdata->phy.speed = SPEED_1000;
1334                 break;
1335         case XGBE_MODE_KX_2500:
1336                 pdata->phy.speed = SPEED_2500;
1337                 break;
1338         case XGBE_MODE_KR:
1339         case XGBE_MODE_SFI:
1340                 pdata->phy.speed = SPEED_10000;
1341                 break;
1342         case XGBE_MODE_UNKNOWN:
1343         default:
1344                 pdata->phy.speed = SPEED_UNKNOWN;
1345         }
1346
1347         pdata->phy.duplex = DUPLEX_FULL;
1348
1349         xgbe_set_mode(pdata, mode);
1350 }
1351
1352 static void xgbe_phy_status(struct xgbe_prv_data *pdata)
1353 {
1354         unsigned int link_aneg;
1355         int an_restart;
1356
1357         if (test_bit(XGBE_LINK_ERR, &pdata->dev_state)) {
1358                 netif_carrier_off(pdata->netdev);
1359
1360                 pdata->phy.link = 0;
1361                 goto adjust_link;
1362         }
1363
1364         link_aneg = (pdata->phy.autoneg == AUTONEG_ENABLE);
1365
1366         pdata->phy.link = pdata->phy_if.phy_impl.link_status(pdata,
1367                                                              &an_restart);
1368         if (an_restart) {
1369                 xgbe_phy_config_aneg(pdata);
1370                 goto adjust_link;
1371         }
1372
1373         if (pdata->phy.link) {
1374                 if (link_aneg && !xgbe_phy_aneg_done(pdata)) {
1375                         xgbe_check_link_timeout(pdata);
1376                         return;
1377                 }
1378
1379                 xgbe_phy_status_result(pdata);
1380
1381                 if (test_bit(XGBE_LINK_INIT, &pdata->dev_state))
1382                         clear_bit(XGBE_LINK_INIT, &pdata->dev_state);
1383
1384                 netif_carrier_on(pdata->netdev);
1385         } else {
1386                 if (test_bit(XGBE_LINK_INIT, &pdata->dev_state)) {
1387                         xgbe_check_link_timeout(pdata);
1388
1389                         if (link_aneg)
1390                                 return;
1391                 }
1392
1393                 xgbe_phy_status_result(pdata);
1394
1395                 netif_carrier_off(pdata->netdev);
1396         }
1397
1398 adjust_link:
1399         xgbe_phy_adjust_link(pdata);
1400 }
1401
1402 static void xgbe_phy_stop(struct xgbe_prv_data *pdata)
1403 {
1404         netif_dbg(pdata, link, pdata->netdev, "stopping PHY\n");
1405
1406         if (!pdata->phy_started)
1407                 return;
1408
1409         /* Indicate the PHY is down */
1410         pdata->phy_started = 0;
1411
1412         /* Disable auto-negotiation */
1413         xgbe_an_disable_all(pdata);
1414
1415         if (pdata->dev_irq != pdata->an_irq) {
1416                 devm_free_irq(pdata->dev, pdata->an_irq, pdata);
1417                 tasklet_kill(&pdata->tasklet_an);
1418         }
1419
1420         pdata->phy_if.phy_impl.stop(pdata);
1421
1422         pdata->phy.link = 0;
1423         netif_carrier_off(pdata->netdev);
1424
1425         xgbe_phy_adjust_link(pdata);
1426 }
1427
1428 static int xgbe_phy_start(struct xgbe_prv_data *pdata)
1429 {
1430         struct net_device *netdev = pdata->netdev;
1431         int ret;
1432
1433         netif_dbg(pdata, link, pdata->netdev, "starting PHY\n");
1434
1435         ret = pdata->phy_if.phy_impl.start(pdata);
1436         if (ret)
1437                 return ret;
1438
1439         /* If we have a separate AN irq, enable it */
1440         if (pdata->dev_irq != pdata->an_irq) {
1441                 tasklet_init(&pdata->tasklet_an, xgbe_an_isr_task,
1442                              (unsigned long)pdata);
1443
1444                 ret = devm_request_irq(pdata->dev, pdata->an_irq,
1445                                        xgbe_an_isr, 0, pdata->an_name,
1446                                        pdata);
1447                 if (ret) {
1448                         netdev_err(netdev, "phy irq request failed\n");
1449                         goto err_stop;
1450                 }
1451         }
1452
1453         /* Set initial mode - call the mode setting routines
1454          * directly to insure we are properly configured
1455          */
1456         if (xgbe_use_mode(pdata, XGBE_MODE_KR)) {
1457                 xgbe_kr_mode(pdata);
1458         } else if (xgbe_use_mode(pdata, XGBE_MODE_KX_2500)) {
1459                 xgbe_kx_2500_mode(pdata);
1460         } else if (xgbe_use_mode(pdata, XGBE_MODE_KX_1000)) {
1461                 xgbe_kx_1000_mode(pdata);
1462         } else if (xgbe_use_mode(pdata, XGBE_MODE_SFI)) {
1463                 xgbe_sfi_mode(pdata);
1464         } else if (xgbe_use_mode(pdata, XGBE_MODE_X)) {
1465                 xgbe_x_mode(pdata);
1466         } else if (xgbe_use_mode(pdata, XGBE_MODE_SGMII_1000)) {
1467                 xgbe_sgmii_1000_mode(pdata);
1468         } else if (xgbe_use_mode(pdata, XGBE_MODE_SGMII_100)) {
1469                 xgbe_sgmii_100_mode(pdata);
1470         } else {
1471                 ret = -EINVAL;
1472                 goto err_irq;
1473         }
1474
1475         /* Indicate the PHY is up and running */
1476         pdata->phy_started = 1;
1477
1478         xgbe_an_init(pdata);
1479         xgbe_an_enable_interrupts(pdata);
1480
1481         return xgbe_phy_config_aneg(pdata);
1482
1483 err_irq:
1484         if (pdata->dev_irq != pdata->an_irq)
1485                 devm_free_irq(pdata->dev, pdata->an_irq, pdata);
1486
1487 err_stop:
1488         pdata->phy_if.phy_impl.stop(pdata);
1489
1490         return ret;
1491 }
1492
1493 static int xgbe_phy_reset(struct xgbe_prv_data *pdata)
1494 {
1495         int ret;
1496
1497         ret = pdata->phy_if.phy_impl.reset(pdata);
1498         if (ret)
1499                 return ret;
1500
1501         /* Disable auto-negotiation for now */
1502         xgbe_an_disable_all(pdata);
1503
1504         /* Clear auto-negotiation interrupts */
1505         xgbe_an_clear_interrupts_all(pdata);
1506
1507         return 0;
1508 }
1509
1510 static void xgbe_dump_phy_registers(struct xgbe_prv_data *pdata)
1511 {
1512         struct device *dev = pdata->dev;
1513
1514         dev_dbg(dev, "\n************* PHY Reg dump **********************\n");
1515
1516         dev_dbg(dev, "PCS Control Reg (%#06x) = %#06x\n", MDIO_CTRL1,
1517                 XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_CTRL1));
1518         dev_dbg(dev, "PCS Status Reg (%#06x) = %#06x\n", MDIO_STAT1,
1519                 XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_STAT1));
1520         dev_dbg(dev, "Phy Id (PHYS ID 1 %#06x)= %#06x\n", MDIO_DEVID1,
1521                 XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_DEVID1));
1522         dev_dbg(dev, "Phy Id (PHYS ID 2 %#06x)= %#06x\n", MDIO_DEVID2,
1523                 XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_DEVID2));
1524         dev_dbg(dev, "Devices in Package (%#06x)= %#06x\n", MDIO_DEVS1,
1525                 XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_DEVS1));
1526         dev_dbg(dev, "Devices in Package (%#06x)= %#06x\n", MDIO_DEVS2,
1527                 XMDIO_READ(pdata, MDIO_MMD_PCS, MDIO_DEVS2));
1528
1529         dev_dbg(dev, "Auto-Neg Control Reg (%#06x) = %#06x\n", MDIO_CTRL1,
1530                 XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_CTRL1));
1531         dev_dbg(dev, "Auto-Neg Status Reg (%#06x) = %#06x\n", MDIO_STAT1,
1532                 XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_STAT1));
1533         dev_dbg(dev, "Auto-Neg Ad Reg 1 (%#06x) = %#06x\n",
1534                 MDIO_AN_ADVERTISE,
1535                 XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE));
1536         dev_dbg(dev, "Auto-Neg Ad Reg 2 (%#06x) = %#06x\n",
1537                 MDIO_AN_ADVERTISE + 1,
1538                 XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE + 1));
1539         dev_dbg(dev, "Auto-Neg Ad Reg 3 (%#06x) = %#06x\n",
1540                 MDIO_AN_ADVERTISE + 2,
1541                 XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_ADVERTISE + 2));
1542         dev_dbg(dev, "Auto-Neg Completion Reg (%#06x) = %#06x\n",
1543                 MDIO_AN_COMP_STAT,
1544                 XMDIO_READ(pdata, MDIO_MMD_AN, MDIO_AN_COMP_STAT));
1545
1546         dev_dbg(dev, "\n*************************************************\n");
1547 }
1548
1549 static int xgbe_phy_best_advertised_speed(struct xgbe_prv_data *pdata)
1550 {
1551         struct ethtool_link_ksettings *lks = &pdata->phy.lks;
1552
1553         if (XGBE_ADV(lks, 10000baseKR_Full))
1554                 return SPEED_10000;
1555         else if (XGBE_ADV(lks, 10000baseT_Full))
1556                 return SPEED_10000;
1557         else if (XGBE_ADV(lks, 2500baseX_Full))
1558                 return SPEED_2500;
1559         else if (XGBE_ADV(lks, 2500baseT_Full))
1560                 return SPEED_2500;
1561         else if (XGBE_ADV(lks, 1000baseKX_Full))
1562                 return SPEED_1000;
1563         else if (XGBE_ADV(lks, 1000baseT_Full))
1564                 return SPEED_1000;
1565         else if (XGBE_ADV(lks, 100baseT_Full))
1566                 return SPEED_100;
1567
1568         return SPEED_UNKNOWN;
1569 }
1570
1571 static void xgbe_phy_exit(struct xgbe_prv_data *pdata)
1572 {
1573         pdata->phy_if.phy_impl.exit(pdata);
1574 }
1575
1576 static int xgbe_phy_init(struct xgbe_prv_data *pdata)
1577 {
1578         struct ethtool_link_ksettings *lks = &pdata->phy.lks;
1579         int ret;
1580
1581         mutex_init(&pdata->an_mutex);
1582         INIT_WORK(&pdata->an_irq_work, xgbe_an_irq_work);
1583         INIT_WORK(&pdata->an_work, xgbe_an_state_machine);
1584         pdata->mdio_mmd = MDIO_MMD_PCS;
1585
1586         /* Check for FEC support */
1587         pdata->fec_ability = XMDIO_READ(pdata, MDIO_MMD_PMAPMD,
1588                                         MDIO_PMA_10GBR_FECABLE);
1589         pdata->fec_ability &= (MDIO_PMA_10GBR_FECABLE_ABLE |
1590                                MDIO_PMA_10GBR_FECABLE_ERRABLE);
1591
1592         /* Setup the phy (including supported features) */
1593         ret = pdata->phy_if.phy_impl.init(pdata);
1594         if (ret)
1595                 return ret;
1596
1597         /* Copy supported link modes to advertising link modes */
1598         XGBE_LM_COPY(lks, advertising, lks, supported);
1599
1600         pdata->phy.address = 0;
1601
1602         if (XGBE_ADV(lks, Autoneg)) {
1603                 pdata->phy.autoneg = AUTONEG_ENABLE;
1604                 pdata->phy.speed = SPEED_UNKNOWN;
1605                 pdata->phy.duplex = DUPLEX_UNKNOWN;
1606         } else {
1607                 pdata->phy.autoneg = AUTONEG_DISABLE;
1608                 pdata->phy.speed = xgbe_phy_best_advertised_speed(pdata);
1609                 pdata->phy.duplex = DUPLEX_FULL;
1610         }
1611
1612         pdata->phy.link = 0;
1613
1614         pdata->phy.pause_autoneg = pdata->pause_autoneg;
1615         pdata->phy.tx_pause = pdata->tx_pause;
1616         pdata->phy.rx_pause = pdata->rx_pause;
1617
1618         /* Fix up Flow Control advertising */
1619         XGBE_CLR_ADV(lks, Pause);
1620         XGBE_CLR_ADV(lks, Asym_Pause);
1621
1622         if (pdata->rx_pause) {
1623                 XGBE_SET_ADV(lks, Pause);
1624                 XGBE_SET_ADV(lks, Asym_Pause);
1625         }
1626
1627         if (pdata->tx_pause) {
1628                 /* Equivalent to XOR of Asym_Pause */
1629                 if (XGBE_ADV(lks, Asym_Pause))
1630                         XGBE_CLR_ADV(lks, Asym_Pause);
1631                 else
1632                         XGBE_SET_ADV(lks, Asym_Pause);
1633         }
1634
1635         if (netif_msg_drv(pdata))
1636                 xgbe_dump_phy_registers(pdata);
1637
1638         return 0;
1639 }
1640
1641 void xgbe_init_function_ptrs_phy(struct xgbe_phy_if *phy_if)
1642 {
1643         phy_if->phy_init        = xgbe_phy_init;
1644         phy_if->phy_exit        = xgbe_phy_exit;
1645
1646         phy_if->phy_reset       = xgbe_phy_reset;
1647         phy_if->phy_start       = xgbe_phy_start;
1648         phy_if->phy_stop        = xgbe_phy_stop;
1649
1650         phy_if->phy_status      = xgbe_phy_status;
1651         phy_if->phy_config_aneg = xgbe_phy_config_aneg;
1652
1653         phy_if->phy_valid_speed = xgbe_phy_valid_speed;
1654
1655         phy_if->an_isr          = xgbe_an_combined_isr;
1656 }